Adaptivní rezonanční teorie

Adaptivní rezonanční teorie (Adaptive Resonance Theory, ART) je teorie, kterou vytvořili Stephen Grossberg a Gail Carpenterová a která se zabývá aspekty zpracování informací v mozku. Popisuje řadu modelů neuronových sítí, které využívají metody učení s učitelem i učení bez učitele a řeší problémy, jako je rozpoznávání vzorů. Hlavní intuice modelu ART spočívá v tom, že identifikace a rozpoznávání objektů obecně probíhá jako výsledek interakce očekávání pozorovatele „shora dolů“ se smyslovými informacemi „zdola nahoru“. Model předpokládá, že očekávání „shora dolů“ mají podobu paměťové šablony nebo prototypu, který je následně porovnáván se skutečnými vlastnostmi objektu zjištěnými smysly. Toto porovnání vede k míře kategoriální příslušnosti. Dokud tento rozdíl mezi vjemem a očekáváním nepřekročí stanovenou hranici nazývanou „parametr bdělosti“, bude vjemový objekt považován za příslušníka očekávané třídy. Systém tak nabízí řešení problému „plasticity/stability“, tj. problému získávání nových znalostí bez narušení stávajících znalostí, kterému se také říká inkrementální učení.

Modifikace ART

ART 1^[1][2] je nejjednodušší variantou sítí ART, která přijímá pouze binární vstupy.

ART 2^[3] rozšiřuje možnosti sítě o podporu spojitých vstupů.

ART 2-A^[4] je zjednodušená forma ART-2 s výrazně zrychlenou dobou běhu a s kvalitativními výsledky, které jsou jen výjimečně horší než u plné implementace ART-2.

ART 3^[5] navazuje na ART-2 simulací rudimentární neurotransmiterové regulace synaptické aktivity tím, že do rovnic systému začleňuje simulované koncentrace sodíkových (Na⁺) a vápníkových (Ca²⁺) iontů, což vede k fyziologicky realističtějšímu způsobu částečné inhibice kategorií, které spouštějí resety neshod.

ARTMAP^[6], známý také jako prediktivní ART , kombinuje dvě mírně upravené jednotky ART-1 nebo ART-2 do struktury učení s dohledem, kde první jednotka přijímá vstupní data a druhá jednotka přijímá správná výstupní data, která se pak používají k minimální možné úpravě parametru bdělosti v první jednotce, aby se provedla správná klasifikace.

Fuzzy ART^[7] implementuje fuzzy logiku do rozpoznávání vzorů ART, čímž zvyšuje zobecnitelnost. Volitelnou (a velmi užitečnou) funkcí fuzzy ART je kódování doplňků, což je způsob, jak do klasifikace vzorů zahrnout nepřítomnost rysů, což do značné míry zabraňuje neefektivnímu a zbytečnému rozšiřování kategorií. Je známo, že fuzzy ART je velmi citlivý na šum.

Fuzzy ARTMAP^[8] je pouze ARTMAP využívající fuzzy jednotky ART, což vede k odpovídajícímu zvýšení účinnosti.

Zjednodušený fuzzy ARTMAP (SFAM)^[9] představuje silně zjednodušenou variantu fuzzy ARTMAP určenou pro klasifikační úlohy.

Gaussovský ART a Gaussovský ARTMAP^[10] používají Gaussovy aktivační funkce a výpočty založené na teorii pravděpodobnosti. Proto mají určitou podobnost s modely Gaussovských směsí. Ve srovnání s fuzzy ART a fuzzy ARTMAP jsou méně citlivé na šum. Stabilita naučených reprezentací je však snížena, což může vést k rozšiřování kategorií v otevřených učebních úlohách.

Fúzní ART a příbuzné sítě^[11][12][13] rozšiřují ART a ARTMAP na více kanálů vzorů. Podporují několik paradigmat učení, včetně učení bez dohledu, učení s dohledem a učení s posilováním.

TopoART^[14] kombinuje fuzzy ART se sítěmi pro učení topologie, jako je rostoucí neuronový plyn. Navíc přidává mechanismus redukce šumu. Existuje několik odvozených neuronových sítí, které rozšiřují TopoART na další paradigmata učení.

Hypersférický ART a Hypersférický ARTMAP^[15] úzce souvisí s fuzzy ART, resp. fuzzy ARTMAP. Protože však používají jiný typ reprezentace kategorií (konkrétně hypersféry), nevyžadují, aby byl jejich vstup normalizován na interval ⟨0,1⟩.

LAPART^[16], tj. Laterally Primed Adaptive Resonance Theory, spojuje dva algoritmy Fuzzy ART a vytváří mechanismus pro vytváření předpovědí na základě naučených asociací. Spojení dvou algoritmů Fuzzy ART má jedinečnou stabilitu, která umožňuje systému rychle konvergovat k jasnému řešení. Navíc dokáže provádět logické odvozování a učení pod dohledem podobně jako fuzzy ARTMAP.

ART 1

ART 1^[17] je dvouvrstvá rekurentní umělá neuronová síť pracující s binárními vstupy a tzv. vnořením vnitřní přenosové funkce do vnější, tj. vnitřní přenosovou funkci užívá tzv. Shunting model (viz Grossbergova síť) až do své stabilizace, po té se vnitřní přenosová funkce přepne na vnější přenosovou funkci ve tvaru skokové funkce, tj. stavy neuronů všech vrstev jsou pak binární. Změny potenciálů neuronů v čase probíhají mnohem rychleji než změny vah v čase, proto během adaptace vah můžeme uvažovat potenciály neuronů jako již ustálené, tj. konstantní (Fast learning). Dopředné i zpětné váhy se aktualizují současně. Kdykoli vzor a očekávání mají odpovídající shodu, jak určuje orientační subsystém, jsou obě upraveny. Tento proces shody a následné adaptace vah se označuje jako rezonance. Potenciály neuronů 1. resp. 2. resp. 0. vrstvy se v dalším značí ${\displaystyle x}$, ${\displaystyle y}$, ${\displaystyle z}$ s indexováním i resp. j resp. žádným a vnější přenosová funkce se v dalším značí ${\displaystyle f}$.

Vrstva 1

Mějme Shunting model první (porovnávací) vrstvy o n neuronech pro vnitřní přenosovou lineární funkci a pro ${\displaystyle A=B=C=1}$ ve tvaru:

${\displaystyle {dx \over dt}\;+x\;=\;(1-x)\;W^{+}I\;-\;(1+x)\;W^{-}f(y)}$

kde ${\displaystyle W^{+}}$ resp. ${\displaystyle W^{-}}$ je jednotková matice řádu n resp. matice o jednotkových prvcích řádu m, pak dostaneme:

${\displaystyle {dx_{i} \over dt}\;=\;-x_{i}\;+(1-x_{i})(I_{i}+f(y_{1})w_{1i}+...+f(y_{m})w_{mi})\;-\;x_{i}(f(y_{1})+...+f(y_{m}))\;-\;(f(y_{1})+...+f(y_{m}))}$.

Zaprvé uvažujme nulové stavy všech neuronů druhé vrstvy, pak dostaneme Shunting model ve tvaru:

${\displaystyle {dx_{i} \over dt}\;=\;-x_{i}\;+(1-x_{i})I_{i}\;=\;0}$ tj. ${\displaystyle x_{i}={I_{i} \over 1+I_{i}}}$ tj.:

ad 1) pro ${\displaystyle I_{i}=0}$ platí ${\displaystyle x_{i}=0}$ a potažmo platí ${\displaystyle f(x_{i})=0}$

ad 2) pro ${\displaystyle I_{i}=1}$ platí ${\displaystyle x_{i}={1 \over 2}}$ a potažmo platí ${\displaystyle f(x_{i})=1}$

tj. z ad 1) a ad 2) plyne ${\displaystyle f(x)=I}$.

Zadruhé uvažujme nulové stavy všech neuronů druhé vrstvy, kromě jediného k-tého neuronu s jednotkovým stavem, pak dostaneme Shunting model ve tvaru:

${\displaystyle {dx_{i} \over dt}\;=\;-x_{i}\;+(1-x_{i})(I_{i}+w_{ki})-(x_{i}+1)\;=\;0}$ tj. ${\displaystyle x_{i}={I_{i}+w_{ki}-1 \over 2+I_{i}+w_{ki}}}$ tj.:

ad 1) z ${\displaystyle I_{i}=0\lor w_{ki}=0}$ plyne ${\displaystyle x_{i}\leq 0}$ a potažmo plyne ${\displaystyle f(x_{i})=0}$

ad 2) z ${\displaystyle I_{i}=1\land w_{ki}=1}$ plyne ${\displaystyle x_{i}>0}$ a potažmo plyne ${\displaystyle f(x_{i})=1}$

tj. z ad 1) a ad 2) plyne ${\displaystyle f(x)=I\land w_{k}}$ kde ${\displaystyle w_{k}=[w_{k1},...,w_{kn}]}$.

Z výše uvedených úvah plyne, že v případě neaktivní druhé vrstvy se stav první vrstvy nastaví na předložený vzor. V případě aktivní druhé vrstvy, se stav první vrstvy nastaví na druhou vrstvou iniciovaný očekávaný vzor, tj. na logický součin předloženého vzoru s uvedeným váhovým vektorem.

Vrstva 2

Mějme Shunting model druhé (rozpoznávací) vrstvy o m neuronech pro vnitřní přenosovou kvadratickou funkci a pro ${\displaystyle A=B=1}$ a ${\displaystyle C=0}$ (${\displaystyle W^{+}}$ resp. ${\displaystyle W^{-}}$ viz Grossbergova síť) ve tvaru:

${\displaystyle {dy_{j} \over dt}\;=\;-y_{j}\;+(1-y_{j})(y_{j}^{2}+g_{j})\;-\;y_{j}(|y|^{2}-y_{j}^{2})\;=\;y_{j}^{2}-(1+g_{j}+|y|^{2})y_{j}+g_{j}\;=\;0}$

kde ${\displaystyle g_{j}}$ představuje skalární součin stavů vstupních neuronů s vahami vstupu j-tého výstupního neuronu, neboli zisk potenciálu výstupního neuronu od vstupní (první) vrstvy, tj.:

${\displaystyle g_{j}=f(x_{1})w_{1j}+...+f(x_{n})w_{nj}=f(x)w_{j}}$ kde ${\displaystyle w_{j}=[w_{1j},...,w_{nj}]}$.

Zaprvé uvažujme uvedený Shunting model při zanedbání zisku potenciálu, pak ustálený potenciál neuronu dostaneme ve tvaru:

${\displaystyle y_{j}\;=\;{1 \over 2}((1+|y|^{2})\pm (1+|y|^{2}))}$ tj. ${\displaystyle y_{j}=0}$ nebo ${\displaystyle y_{j}=(1+|y|^{2})}$ tj. neuron je buď inhibován na nulu nebo excitován na uvedenou hodnotu.

Vrátíme-li do předchozího zanedbaný zisk potenciálu, dostaneme ustálený stav druhé vrstvy se všemi neurony inhibovanými, kromě jediného, a to neuronu s největším ziskem potenciálu, tj. vítěz bere vše.

Zadruhé pro srovnání uvažujme uvedený Shunting model pro vnitřní přenosovou lineární funkci:

${\displaystyle {dy_{j} \over dt}\;=\;-y_{j}\;+(1-y_{j})(y_{j}+g_{j})\;-\;y_{j}(y_{\Sigma }-y_{j})\;=\;0}$ tj. ${\displaystyle y_{j}={g_{j} \over g_{j}+y_{\Sigma }}<1}$

kde ${\displaystyle y_{\Sigma }=y_{1}+...+y_{m}}$, pak dostáváme normalizované potenciály druhé vrstvy sítě (srovnejte se vzory normalizovanými první vrstvou Grossbergovy sítě).

Vrstva 0

Mějme Shunting model nulté (resetovací) vrstvy o jednom neuronu (Orienting subsystem ) pro ${\displaystyle A=B=C=1}$ ve tvaru:

${\displaystyle {dz \over dt}\;+z\;=\;(1-z)\;W^{+}I\;-\;(1+z)\;W^{-}f(x)}$

kde ${\displaystyle W^{+}}$ resp. ${\displaystyle W^{-}}$ je vektor o složkách ${\displaystyle \nu }$ řádu n resp. vektor o jednotkových složkách řádu n, pak dostaneme:

${\displaystyle {dz \over dt}\;=\;-z(1+\nu |I|^{2}+|f(x)|^{2})\;+\;(\nu |I|^{2}-|f(x)|^{2})\;=\;0}$ tj. ${\displaystyle z\;=\;{\nu |I|^{2}-|f(x)|^{2} \over 1+\nu |I|^{2}+|f(x)|^{2}}}$ tj. pro ${\displaystyle \nu >{|f(x)|^{2} \over |I|^{2}}}$ dostaneme ${\displaystyle z>0}$ tj. ${\displaystyle f(z)=1}$.

Parametr ${\displaystyle \nu }$ (${\displaystyle 0<\nu <1}$) nazveme mírou bdělosti (Vigilance), na základě které se případně iniciuje inhibice (reset) neuronů druhé vrstvy po dobu, dokud nedojde k odpovídající shodě mezi binárním vstupem ${\displaystyle I}$ a binárním očekáváním ${\displaystyle f(x)}$ na první vrstvě o n neuronech. Z neuronu nulté vrstvy vedou vazby do neuronů druhé vrstvy o hodnotě váhy ${\displaystyle -1}$. Resetovací signál tedy způsobí inhibici vítězného neuronu druhé vrstvy a umožní tak jinému neuronu druhé vrstvy vyhrát soutěž.

Dopředné učení

Pro dopředné učení platí instar ^[18] učící pravidlo modifikované o analogii Shunting modelu pro ${\displaystyle A=B=1}$, ${\displaystyle C=0}$ a ${\displaystyle W^{+}}$ resp. ${\displaystyle W^{-}}$ viz Grossbergova síť:

${\displaystyle {dw_{ij} \over dt}\;=\;y_{j}\;((1-w_{ij})cf(x_{i})\;-\;w_{ij}(f(x_{1})+...+f(x_{n})-f(x_{i})))\;=\;0}$ tj. ${\displaystyle w_{ij}={cf(x_{i}) \over cf(x_{i})+|f(x)|^{2}-f(x_{i})}}$ tj.:

ad 1) z ${\displaystyle f(x_{i})=0}$ plyne ${\displaystyle w_{ij}=0}$

ad 2) z ${\displaystyle f(x_{i})=1}$ plyne ${\displaystyle w_{ij}={c \over c+|f(x)|^{2}-1}\leq 1}$, tj. pro ${\displaystyle |f(x)|^{2}=1}$ dostaneme ${\displaystyle w_{ij}=1}$

tj. z ad 1) a ad 2) plyne pro ${\displaystyle c>0}$, že váha ${\displaystyle w_{ij}}$ se pohybuje v rozmezí od nuly k jedné včetně, tj. modifikací učícího pravidla o analogii Shunting modelu jsme docílili normalizace ustálených dopředných vah.

Zpětné učení

Pro zpětné učení platí outstar ^[18] učící pravidlo viz Grossbergova síť:

${\displaystyle {dw_{ji} \over dt}+f(y_{j})\;w_{ji}\;=\;f(y_{j})\;f(x_{i})}$ tj. pro ustálenou hodnotu váhy dostaneme ${\displaystyle w_{ji}\;=\;f(x_{i})}$

tj. ustálená váha ${\displaystyle w_{ji}}$ nabývá hodnoty nula nebo jedna.

Související články

• Grossbergova síť

Reference

V tomto článku byl použit překlad textu z článku Adaptive resonance theory na anglické Wikipedii.

Literatura

• KŘIVAN, Miloš. Umělé neuronové sítě. [s.l.]: Nakladatelství Oeconomica, Vysoká škola ekonomická v Praze 77 s. Dostupné online. ISBN 978-80-245-2420-7. 

• HOŘEJŠ, J.; KUFUDAKI, O. Počítače a mozek (neuropočítače). [s.l.]: SOFSEM, 1988. 38 s. 

• NOVÁK, M.; FABER, J.; KUFUDAKI, O. Neuronové sítě a informační systémy živých organismů. [s.l.]: Grada, 1993. 265 s. ISBN 8085424959.