Rekurentní neuronová síť

Příklad rekurentní neuronové sítě. Signál vycházející z každého ze tří neuronů sítě je zároveň vstupním signálem téhož neuronu.

Rekurentní neuronová síť (Recurrent Neural Network, RNN) je jedním ze dvou charakteristických typů umělých neuronových sítí, které se vyznačují směrem toku informací mezi jednotlivými vrstvami sítě. Tok informací v rekurentní síti je obousměrný, tj. výstup z některých neuronů ovlivňuje následný vstup do stejných resp. jiných neuronů, tj. tvoří se smyčky resp. zpětné vazby, na rozdíl od druhého typu sítí, tzv. dopředných neuronových sítí (Feed-forward Neural Network, FFNN), kde informace v síti proudí pouze jedním směrem od vstupní vrstvy neuronů, přes skryté vrstvy neuronů (pokud existují), až k výstupní vrstvě neuronů.

Rekurentní neuronové sítě mohou být dvou typů, prosté a zpětnovazební. U prosté rekurentní sítě je každý následující stav sítě jednoznačně předurčen stavem předcházejícím, např. gradientním spádem energetické funkce sítě (HAM, BAM) či konvergenčním procesem mezi dvěma nadrovinami vzorů (LAM). U zpětnovazební rekurentní sítě (Feed-back Neural Network, FBNN) je každý následující stav sítě závislý na zpětné vazbě, tj. síť může nabýt různých následujících stavů v závislosti na zpětné vazbě, např. dané shodou sítí vnímaného vzoru se vzorem uloženým v paměti sítě (ART).

Rekurentní (prosté) sítě

Rekurentní (zpětnovazební) sítě

Reference

  1. ↑ MARKS, R.J. Class of continuous level associative memory neural nets (odst. III). [s.l.]: Applied Optics Vol. 26, Issue 10, str. 2005-2010, 1987. Dostupné online. (anglicky) 
  2. ↑ HOPFIELD, J.J. Neural networks and physical systems with emergent collective computational abilities. [s.l.]: National Academy of Sciences 79 (8), 1982. 8 s. (anglicky) 
  3. ↑ KOSKO, B. Bidirectional Associative Memories 18 (1). [s.l.]: IEEE Transactions on Systems, Man, and Cybernetics, 1988. 12 s. Dostupné online. (anglicky) 
  4. ↑ ELMAN, Jeffrey L. Finding Structure in Time. Cognitive Science. 1990, s. 179–211. DOI 10.1016/0364-0213(90)90002-E. (anglicky) 
  5. ↑ JORDAN, Michael I. Neural-Network Models of Cognition - Biobehavioral Foundations. [s.l.]: [s.n.], 1997-01-01. (Neural-Network Models of Cognition; sv. 121). ISBN 978-0-444-81931-4. DOI 10.1016/s0166-4115(97)80111-2. S2CID 15375627. Kapitola Serial Order: A Parallel Distributed Processing Approach, s. 471–495. (anglicky) 
  6. ↑ TEAM, Editorial. Introduction to Long Short Term Memory (LSTM). Artificial Intelligence + [online]. 2022-06-27 [cit. 2023-08-15]. Dostupné online. (anglicky) 
  7. ↑ Carpenter, G.A. & Grossberg, S. (2003), Adaptive Resonance Theory Archivováno 19. 5. 2006 na Wayback Machine., In Michael A. Arbib (Ed.), The Handbook of Brain Theory and Neural Networks, Second Edition (pp. 87-90). Cambridge, MA: MIT Press

Literatura

  • KŘIVAN, Miloš. Umělé neuronové sítě. [s.l.]: Nakladatelství Oeconomica, Vysoká škola ekonomická v Praze 77 s. Dostupné online. ISBN 978-80-245-2420-7. 

Média použitá na této stránce

RecurrentLayerNeuralNetwork english.png
Autor: Chrislb, Licence: CC BY-SA 3.0
Diagram of a artificial neural network with one layer and recurrent connections (D for time delay).