Mozek z křemíku
Jak funguje neuronová síť
Martin Polák
Máte ho v hlavě
Mozek. Nejsložitější útvar ve známém vesmíru.
- Asi 100 miliard neuronů
- Každý neuron až 10000 synapsí (spojení)
- Dohromady je synapsí až 1 trilion (1015)
Umělý „mozek“
- 1957, Frank Rosenblatt a jeho perceptron
- 1960, Bernard Widrow a jeho ADALINE (memistor)
- 1969, Marvin Minsky a Seymour Papert, kniha „Perceptrons“ a AI Winter
- 80. léta, algoritmus backpropagation
- Po roce 2010, masivní investice a výzkum
Za vším hledej matematiku
Potřebujeme model (zjednodušený) fungování reálného systému.
Naše úloha
Vstup: souřadnice X a Y.
Výstup: barva bodu (červená nebo modrá).
Naše úloha
Jednoduchá síť.
Jeden neuron, 2 vstupy, 1 výstup.
Naše úloha
Podrobněji...
Naše úloha
Řešíme tedy lineární rovnici, musíme najít koeficienty w1, w2.
- Zvolíme náhodně w1, w2.
- Vložíme trénovací vstup a necháme spočítat výsledek; spočítáme odchylku od očekávaného výsledku, upravíme w1, w2 a přičteme lokální ke globální odchylce.
- Opakujeme pro všechny položky v trénovací množině.
- Opakujeme, dokud není globální odchylka rovna 0.
To je všechno krásné, ale...
vs.
Řešení: vícevrstvá síť
Ale...
- Jak učit síť? (backpropagation)
- Jakou zvolit topologii? (počet skrytých vrstev, atd.)
- ...