Grossbergova neuronová síť

Grossbergova síť je dvouvrstvá dopředná umělá neuronová síť představená Stephenem Grossbergem. Je to samoorganizující síť pracující ve spojitém čase zvyšující na druhé vrstvě kontrast na první vrstvu předloženého vzoru. Grossberg, neurovědec a biomedicínský inženýr, navrhl tuto síť na základě modelu lidského vidění.

Shunting model

Grossbergův model vývoje úrovně aktivace neuronu je popsaný diferenciální rovnicí:^[1]

${\displaystyle {dx \over dt}\;+Ax\;=\;(B-x)I^{+}\;-(C+x)I^{-}}$,

kde ${\displaystyle x}$ představuje úroveň aktivace neuronu, ${\displaystyle I^{+}}$ a ${\displaystyle I^{-}}$ představují excitační a inhibiční vstupy neuronu a ${\displaystyle A}$, ${\displaystyle B}$ a ${\displaystyle C}$ jsou nezáporné konstanty představující rychlost vývoje úrovně aktivace neuronu a maximální a minimální úroveň aktivace neuronu.

Leaky integrator a Instar učení

Pro ${\displaystyle A+I^{+}+I^{-}=1}$ a ${\displaystyle BI^{+}-CI^{-}=Z}$ dostaneme model vývoje úrovně aktivace výstupního neuronu resp. jeho řešení ve tvaru:

${\displaystyle {dy \over dt}\;+y\;=\;Z}$ resp. ${\displaystyle y\;=\;Z(1-e^{-t})}$, tj. pro ${\displaystyle t\rightarrow \infty }$ dostaneme ${\displaystyle y\;=\;Z}$ (Short-term memory (STM)),

přičemž učící instar pravidlo (učení bez učitele), tj. ukládání úrovně aktivace vstupního neuronu (presynaptická aktivita) do váhy vstupu výstupního neuronu resp. jeho řešení pro ${\displaystyle t\rightarrow \infty }$ máme ve tvaru:^[2]

${\displaystyle {dw \over dt}\;+yw\;=\;xy}$ resp. ${\displaystyle w\;=\;x}$ (Long-term memory (LTM)),

kde ${\displaystyle w=w(t)}$ představuje váhu vstupu výstupního neuronu a ${\displaystyle x=x(t)}$ resp. ${\displaystyle y=y(t)}$ představují úroveň aktivace vstupního resp. výstupního neuronu.

Outstar učení a Hebbovské učení

Pro srovnání učící outstar pravidlo (učení s učitelem), tj. ukládání úrovně aktivace výstupního neuronu (postsynaptická aktivita) do váhy vstupu výstupního neuronu resp. jeho řešení pro ${\displaystyle t\rightarrow \infty }$ máme ve tvaru:^[2]

${\displaystyle {dw \over dt}\;+xw\;=\;xy}$ resp. ${\displaystyle w\;=\;y}$

a učící Hebbovo pravidlo (učení s učitelem), tj. ukládání úrovně aktivace vstupního neuronu vážené úrovní aktivace výstupního neuronu do váhy vstupu výstupního neuronu resp. jeho řešení pro ${\displaystyle t\rightarrow {\mathit {1}}}$ při zanedbání změny úrovně aktivace neuronů v čase máme ve tvaru:^[3]

${\displaystyle {dw \over dt}\;=\;xy}$ resp. ${\displaystyle w\;=\;xy\int _{0}^{1}dt}$ tj. ${\displaystyle w\;=\;xy}$.

Normalizace vzoru

Přepišme model vývoje úrovně aktivace neuronu do vektorového tvaru, tj. pro vstupní vrstvu o n neuronech pro ${\displaystyle I^{+}=W^{+}I}$ a ${\displaystyle I^{-}=W^{-}I}$:

${\displaystyle {dx \over dt}\;+Ax\;=\;(B-x)W^{+}I\;-(C+x)W^{-}I}$,

kde ${\displaystyle W^{+}}$ resp. ${\displaystyle W^{-}}$ je jednotková matice řádu n resp. jednotková matice řádu n modifikovaná záměnou jedniček za nuly a naopak, určující propojení neuronů vrstvy vzájemnými excitačními (on-center) resp. inhibičními (off-surround) vazbami, pak pro i-tou složku modelu pro ${\displaystyle A=1}$, ${\displaystyle B=1}$ a ${\displaystyle C=0}$ dostaneme:^[2]

${\displaystyle {dx_{i} \over dt}\;=\;-x_{i}\;+(1-x_{i})I_{i}\;-x_{i}(I_{1}+...+I_{n}-I_{i})\;=\;-(1+I_{\Sigma })x_{i}+I_{i}}$,

kde ${\displaystyle I_{\Sigma }=I_{1}+...+I_{n}}$ a pro nulové počáteční podmínky pak obdržíme předpis vývoje úrovně aktivace neuronu resp. ustálený stav aktivace neuronu ve tvaru:

${\displaystyle x_{i}(t)\;=\;\mu _{i}{I_{\Sigma } \over (1+I_{\Sigma })}(1-e^{-(1+I_{\Sigma })t})}$ resp. ${\displaystyle x_{i}(\infty )\;=\;\mu _{i}{I_{\Sigma } \over (1+I_{\Sigma })}}$,

kde ${\displaystyle \mu _{i}\;=\;{I_{i} \over I_{\Sigma }}}$ pro ${\displaystyle I_{\Sigma }>0}$ a pro lineární přenosovou funkci představuje normalizovaný vzor.

Kontrast vzoru

V případě výstupní vrstvy se k excitačnímu vstupu daného neuronu ještě připočte příspěvek vstupní vrstvy, tj. skalární součin aktivit vstupních neuronů s vahami vstupu daného výstupního neuronu. Volba přenosové funkce výstupních neuronů má vliv na zobrazení předloženého vzoru na výstupní vrstvě. Zvýšení kontrastu předloženého vzoru na výstupní vrstvě při sigmoidální přenosové funkci výstupních neuronů je automaticky dosaženo vývojem úrovně aktivace výstupních neuronů k ustáleným stavům (Lateral inhibition). Sigmoidní funkce jsou rychlejší než lineární pro malé signály, lineární pro střední signály a pomalejší než lineární pro velké signály.

Související články

• Adaptivní rezonanční teorie

Reference

Literatura

• KŘIVAN, Miloš. Umělé neuronové sítě. [s.l.]: Nakladatelství Oeconomica, Vysoká škola ekonomická v Praze 77 s. Dostupné online. ISBN 978-80-245-2420-7. 

• NOVÁK, M.; FABER, J.; KUFUDAKI, O. Neuronové sítě a informační systémy živých organismů. [s.l.]: Grada, 1993. 265 s. ISBN 8085424959.