Hopfieldova neuronová síť

(c) Zawersh, CC BY-SA 3.0

Hopfieldova síť, anglicky značeno Hopfiel network či Hopfiel (Auto-)Associative Memory (HAM), je jednovrstvá rekurentní umělá neuronová síť s plně vzájemně propojenými neurony popularizovaná Johnem Hopfieldem v roce 1982. Hopfieldovy sítě, tj. disktrétní resp. spojité, slouží k filtraci šumu resp. optimalizaci vybraných problémů. Hopfieldovy sítě také poskytují model pro pochopení lidské paměti.

Diskrétní Hopfieldova síť

Diskrétní Hopfieldova síť^[1] je jednovrstvá rekurentní neuronová síť se skokovou bipolární přenosovou funkcí, pracující jako autoasociativní paměť, do které se ve fázi učení (učení bez učitele) uloží bipolární vzory obsažené v trénovacích datech. Tyto vzory, pokud se částečně poškodí a síti znovu předloží, tentokrát ve fázi vybavování, dokáže síť opravit. Během vybavování uloženého vzoru z paměti probíhá v síti rekurentní proces, tj. síť se snaží zaujmout stav s lokálně minimální energií, tj. výchozí stav padá do lokálního energetického minima (atraktoru) na dně oblasti jeho gradientního spádu, kde se nalézá uložený vzor. Během učení sítě však vznikají ale i tzv. falešné atraktory (poutače), tj. pokud je vzor více poškozen, může se výchozí stav sítě dostat do oblasti falešného atraktoru a síť si vybaví z paměti něco, s čím se během učení nesetkala (iluze již viděného). S počtem vzorů v trénovacích datech roste během učení i počet falešných atraktorů, tj. trénovací data nesmí obsahovat příliš velké množství vzorů, kapacita paměti sítě je tak omezena.

Energetická funkce stavu sítě má tvar:

${\displaystyle E\;=\;-{\frac {1}{2}}\sum \limits _{j=1}^{n}\sum \limits _{i=1}^{n}y_{i}w_{ij}y_{j}\ \ \ \ \ }$ tj. po naučení sítě: ${\displaystyle \ \ \ \ \ E\;=\;-{\frac {1}{2}}\;n\;({\boldsymbol {y}}\;{\boldsymbol {y}}_{p}-N)}$

kde je:

${\displaystyle n}$ počet neuronů,

${\displaystyle N}$ počet učících vzorů,

${\displaystyle y_{i}}$ stav neuronu,

${\displaystyle w_{ij}}$ váha vazby mezi neurony,

${\displaystyle {\boldsymbol {y}}}$ vektor stavů neuronů (stav) sítě,

${\displaystyle {\boldsymbol {y}}_{p}}$ ortogonální projekce stavu sítě do nadroviny generované učícími vzory,

tj. vektor výchozího stavu sítě padá během rekurentního procesu vybavování stavu sítě z paměti do nadroviny generované dostatečně odlišitelnými (ortogonálními) bipolárními učícími vzory do lokálního minima energetické funkce, kde splyne se svou ortogonální projekcí.

Spojitá Hopfieldova síť

Spojitá Hopfieldova síť^[2] má stejnou architekturu jako předchozí typ, pouze přenosové funkce neuronů nejsou skokové, ale spojité (sigmoida). Síť se neučí, váhy neurálních vazeb a prahy neuronů se nastaví extrakcí z objektivní funkce určením jejích příslušných parciálních derivací. Během vybavování výchozího stavu sítě probíhá v síti rekurentní proces, tj. síť se snaží zaujmout stav s lokálně minimální energií, během kterého postupně snižujeme hodnotu teploty (převrácená hodnota strmosti sigmoidy), tj. analogicky s metodou simulovaného žíhání tak, že ke konci rekurentního procesu vybavování se sigmoida začne limitně blížit skokové binární přenosové funkci. Taková síť (Boltzmannův stroj) pak umožňuje řešit jistou třídu optimalizačních úloh, vymezenou objektivními funkcemi ve tvaru kvadratické formy na oblasti binárních řešení, např. problém obchodního cestujícího.

Energetická funkce stavu sítě má tvar:

${\displaystyle E\;=\;-{\frac {1}{2}}(\sum \limits _{j=1}^{n}\sum \limits _{i=1}^{n}y_{i}w_{ij}y_{j}-\sum \limits _{j=1}^{n}y_{j}\vartheta _{j})}$

kde je:

${\displaystyle n}$ počet neuronů,

${\displaystyle y_{i}}$ stav neuronu,

${\displaystyle w_{ij}}$ váha vazby mezi neurony,

${\displaystyle \vartheta _{j}}$ práh neuronu.

Reference

Literatura

• KŘIVAN, Miloš. Umělé neuronové sítě. [s.l.]: Nakladatelství Oeconomica, Vysoká škola ekonomická v Praze 77 s. Dostupné online. ISBN 978-80-245-2420-7. 

Související články

• Lineární autoasociativní paměť
• Bidirektní asociativní paměť