Apskatīt LSTM izejas kodu

'''LSTM''' — rekurentā mākslīgā neironu tīkla (RNN) paveids “Long Short-Term Memory”,<ref name=":0">{{Publikācijas atsauce|last=[[Sepp Hochreiter]]|last2=[[Jürgen Schmidhuber]]|date=1997|title=Long Short-term Memory|url=https://www.researchgate.net/publication/13853244|journal=[[Neural Computation (journal)|Neural Computation]]|volume=9|issue=8|pages=1735–1780|doi=10.1162/neco.1997.9.8.1735|pmid=9377276|via=}}</ref> kas tiek izmantots dziļās mācīšanās jomā. Atšķirībā no standarta [[Mākslīgais neironu tīkls|neironu tīkliem]], LSTM ir atgriezeniskās saites savienojumi. Ar LSTM var aprēķināt visu, ko var izmantot [[Tjūringa mašīna]].<ref>{{Grāmatas atsauce|title=On the Computational Power of Neural Nets|last=Siegelmann|first=Hava T.|year=1992|isbn=978-0-89791-497-0|pages=440–449|volume=COLT '92|first2=Eduardo D.|last2=Sontag|DOI=10.1145/130385.130432|location=ACM}}</ref> Tam nevar būt viens datu punkts (piem., attēls vai video). LSTM ir piemērots tādiem uzdevumiem kā saistītā rokraksta atpazīšana<ref>{{Publikācijas atsauce|last=Graves|first=A.|last2=Liwicki|first2=M.|last3=Fernandez|first3=S.|last4=Bertolami|first4=R.|last5=Bunke|first5=H.|last6=Schmidhuber|first6=J.|author-link6=Jürgen Schmidhuber|year=2009|title=A Novel Connectionist System for Improved Unconstrained Handwriting Recognition|url=http://www.idsia.ch/~juergen/tpami_2008.pdf|journal=IEEE Transactions on Pattern Analysis and Machine Intelligence|volume=31|issue=5|pages=855–868|citeseerx=10.1.1.139.4502|doi=10.1109/tpami.2008.137|pmid=19299860}}</ref> un runas atpazīšana.<ref>{{Tīmekļa atsauce|url=https://static.googleusercontent.com/media/research.google.com/en//pubs/archive/43905.pdf|title=Long Short-Term Memory recurrent neural network architectures for large scale acoustic modeling|last=Sak|first=Hasim|last2=Senior|first2=Andrew|date=2014|last3=Beaufays|first3=Francoise|access-date={{dat|2019|06|02||bez}}|archiveurl=https://web.archive.org/web/20180424203806/https://static.googleusercontent.com/media/research.google.com/en//pubs/archive/43905.pdf|archivedate={{dat|2018|04|24||bez}}}}</ref> ''Bloomberg Business Week'' rakstīja: "Šīs īpašības neapšaubāmi padara LSTM par vislielāko komerciālo AI sasniegumu, ko izmanto visur, sākot no [[Slimība|slimību]] prognozēšanas līdz [[Mūzikas instruments|mūzikas]] veidošanai."<ref>{{Ziņu atsauce|url=https://www.bloomberg.com/news/features/2018-05-15/google-amazon-and-facebook-owe-j-rgen-schmidhuber-a-fortune|title=Quote: These powers make LSTM arguably the most commercial AI achievement, used for everything from predicting diseases to composing music.|work=Bloomberg Business Week|date=2018|last=Vance|first=Ashlee}}</ref>

Bieži sastopama LSTM vienība sastāv no šūnas, ievada vārtiem, izvada vārtiem un aizmiršanas vārtiem. Šūna atceras vērtības patvaļīgos laika intervālos, un trīs vārti regulē informācijas plūsmu uz un no šūnas.

LSTM tika izstrādāts, lai risinātu pārslodzes un izzūdošo [[Gradients|gradientu]] problēmas, kas var rasties, apmācot tradicionālos RNN. Relatīvā nejutība pret tukšiem datiem ir LSTM priekšrocība pār RNN, slēptajiem Markova modeļiem un citām secību mācīšanās metodēm daudzās [[Lietojumprogrammatūra|lietojumprogrammatūrās]].

== Vēsture ==
[[Attēls:The LSTM cell.png|thumb|LSTM šūna var apstrādāt datus secīgi un saglabāt tās slēpto stāvokli laika gaitā.]]
1997. gadā Zeps Hohreiters un Jirgens Šmīdhūbers<ref name=":0" /> ierosināja LSTM. Ieviešot ''Constant Error Carousel'' (CEC) vienības, LSTM nodarbojas ar pārslodzes un izzūdošām gradienta problēmām. LSTM bloka sākotnējā versija ietvēra šūnas, ievada un izvada vārtus.<ref name=":1">{{Publikācijas atsauce|last=Klaus Greff|last2=Rupesh Kumar Srivastava|last3=Jan Koutník|last4=Bas R. Steunebrink|last5=Jürgen Schmidhuber|date=2015|title=LSTM: A Search Space Odyssey|url=|journal=IEEE Transactions on Neural Networks and Learning Systems|volume=28|issue=10|pages=2222–2232|arxiv=1503.04069|doi=10.1109/TNNLS.2016.2582924|pmid=27411231}}</ref>

1999. gadā Felikss Gers, viņa padomnieks Jirgens Šmīdhūbers un Freds Cummins LSTM arhitektūrā ieviesa aizmiršanas vārtus (sauktus arī par “turēšanas vārtiem”),<ref>{{Publikācijas atsauce|last=[[Felix Gers]]|last2=[[Jürgen Schmidhuber]]|last3=Fred Cummins|year=1999|title=Learning to Forget: Continual Prediction with LSTM|url=https://ieeexplore.ieee.org/document/818041|journal=Proc. ICANN'99, IEE, London|pages=850–855|via=}}</ref> ļaujot LSTM atjaunot savu stāvokli.<ref name=":1" />

2000. gadā Gers, Šmīdhūbers un Cummins pievienoja arhitektūrā savienojumus no šūnas uz vārtiem.<ref name=":2">{{Publikācijas atsauce|last=Felix A. Gers|last2=Jürgen Schmidhuber|last3=Fred Cummins|year=2000|title=Learning to Forget: Continual Prediction with LSTM|journal=[[Neural Computation (journal)|Neural Computation]]|volume=12|issue=10|pages=2451–2471|citeseerx=10.1.1.55.5709|doi=10.1162/089976600300015015|via=}}</ref> Turklāt izejas aktivizēšanas funkcija tika izlaista.<ref name=":1" />

Citu panākumu vidū LSTM sasniedza rekorda rezultātus dabiskās valodas teksta saspiešanā,<ref>{{Tīmekļa atsauce|url=http://www.mattmahoney.net/dc/text.html#1218|title=The Large Text Compression Benchmark|last=Mahoney|first=Matt|date=2019}}</ref> saistītā rokraksta atpazīšanā<ref>{{Publikācijas atsauce|last=Graves|first=A.|last2=Liwicki|first2=M.|last3=Fernández|first3=S.|last4=Bertolami|first4=R.|last5=Bunke|first5=H.|last6=Schmidhuber|first6=J.|date=2009. gada maijs|title=A Novel Connectionist System for Unconstrained Handwriting Recognition|url=|journal=IEEE Transactions on Pattern Analysis and Machine Intelligence|volume=31|issue=5|pages=855–868|citeseerx=10.1.1.139.4502|doi=10.1109/tpami.2008.137|issn=0162-8828|pmid=19299860|via=}}</ref> un uzvarēja ICDAR rokraksta sacensībās (2009).

Kopš 2016. gada vadošie tehnoloģiju uzņēmumi, tostarp [[Google]], [[Apple]] un [[Microsoft]], izmantoja LSTM kā pamatelementu jaunos produktos.<ref>{{Publikācijas atsauce|last=Metz|first=Cade|date=2016. gada jūnijs|title=Apple is bringing the AI revolution to your iphone.|url=https://www.wired.com/2016/06/apple-bringing-ai-revolution-iphone/|journal=WIRED|volume=|pages=|via=}}</ref> Google izmantoja LSTM runas atpazīšanai [[Viedtālrunis|viedtālrunī]],<ref>{{Ziņu atsauce|url=http://googleresearch.blogspot.co.at/2015/08/the-neural-networks-behind-google-voice.html|title=The neural networks behind Google Voice transcription|publisher=|work=Research Blog|access-date=|date=11.08.2015|last=Beaufays|first=Françoise}}</ref><ref>{{Ziņu atsauce|url=http://googleresearch.blogspot.co.uk/2015/09/google-voice-search-faster-and-more.html|title=Google voice search: faster and more accurate|publisher=|work=Research Blog|access-date=|date=24.09.2015|last=Haşim Sak, Andrew Senior, Kanishka Rao, Françoise Beaufays, Johan Schalkwyk|first=Haşim}}</ref> viedajam palīgam Allo<ref>{{Ziņu atsauce|url=http://googleresearch.blogspot.co.at/2016/05/chat-smarter-with-allo.html|title=Chat Smarter with Allo|publisher=|work=Research Blog|access-date=|date=18.05.2016|last=Khaitan|first=Pranav}}</ref> un Google tulkotājam.<ref>{{Publikācijas atsauce|last=Metz|first=Cade|date=27.09.2016|title=An Infusion of AI Makes Google Translate More Powerful Than Ever {{!}} WIRED|url=https://www.wired.com/2016/09/google-claims-ai-breakthrough-machine-translation/|journal=Wired|volume=|pages=|via=}}</ref> Apple izmanto LSTM "Quicktype" funkcijai iPhone<ref>{{Tīmekļa atsauce|url=https://www.theinformation.com/apples-machines-can-learn-too|title=Apple's Machines Can Learn Too|last=Efrati|first=Amir|website=The Information|access-date=|date=}}</ref><ref>{{Ziņu atsauce|url=http://www.zdnet.com/article/ai-big-data-and-the-iphone-heres-how-apple-plans-to-protect-your-privacy|title=iPhone, AI and big data: Here's how Apple plans to protect your privacy {{!}} ZDNet|publisher=|work=|access-date=|date=14.06.2016|last=Ranger|first=Steve}}</ref> un Siri.<ref>{{Tīmekļa atsauce|url=http://bgr.com/2016/06/13/ios-10-siri-third-party-apps/|title=iOS 10: Siri now works in third-party apps, comes with extra AI features|last=Smith|first=Chris|website=BGR|access-date=|date=}}</ref> Amazon izmanto LSTM iekš Amazon Alexa.<ref>{{Tīmekļa atsauce|url=http://www.allthingsdistributed.com/2016/11/amazon-ai-and-alexa-for-all-aws-apps.html|title=Bringing the Magic of Amazon AI and Alexa to Apps on AWS. - All Things Distributed|last=Vogels|first=Werner|website=www.allthingsdistributed.com|access-date=|date=}}</ref>

2017. gadā Facebook katru dienu veica aptuveni 4,5 miljardus automātisko tulkojumu, izmantojot LSTM tīklus.<ref>{{Tīmekļa atsauce|url=https://www.theverge.com/2017/8/4/16093872/facebook-ai-translations-artificial-intelligence|title=Facebook's translations are now powered completely by AI|last=Ong|first=Thuy|website=www.allthingsdistributed.com|access-date=|date=}}</ref>

2017. gadā [[Mičiganas Universitāte]], [[IBM]] pētniecība un [[Kornela Universitāte]] pētnieki publicēja pētījumu “Knowledge Discovery and Data Mining” (KDD) konferencē.<ref>{{Tīmekļa atsauce|url=http://biometrics.cse.msu.edu/Publications/MachineLearning/Baytasetal_PatientSubtypingViaTimeAwareLSTMNetworks.pdf|title=Patient Subtyping via Time-Aware LSTM Networks|last=Inci Baytas ;Cao Xiao ;Xi Zhang ;Fei Wang ;Anil Jain;Jiayu Zhou|first=|access-date=|date=2017. gada augusts}}</ref><ref>{{Tīmekļa atsauce|url=http://www.kdd.org/kdd2017/papers/view/patient-subtyping-via-time-aware-lstm-networks|title=Patient Subtyping via Time-Aware LSTM Networks|last=Inci Baytas ;Cao Xiao ;Xi Zhang ;Fei Wang ;Anil Jain;Jiayu Zhou|first=|website=Kdd.org|access-date=|date=}}</ref> Viņu pētījums apraksta jaunu neironu tīklu, kas noteiktus datu kopumus apstrādā labāk nekā plaši izmantotais LSTM tīkls.

== Ideja ==
Teorētiski, klasiskais RNN var izsekot patvaļīgām ilgtermiņa atkarībām. RNN problēma ir skaitļošanā — RNN apmācības laikā, izmantojot ''back-propagation'', gradienti var "izzust" (tie var būt nulle) vai “pārslogoties” (tie ir tendēti uz bezgalību), jo procesā iesaistītie aprēķini izmanto galīgās precizitātes skaitļus. Izmantojot LSTM vienības, RNN daļēji atrisina gradienta izzušanas problēmu, jo LSTM vienības ļauj gradientiem palikt nemainītiem. Tomēr LSTM tīkli joprojām var ciest no gradienta pārslodzes problēmas.<ref>{{Tīmekļa atsauce|url=https://stats.stackexchange.com/q/320919/82135|title=Why can RNNs with LSTM units also suffer from "exploding gradients"?|last=|first=|website=Cross Validated|access-date=|date=}}</ref>

== Arhitektūra ==
Ir vairākas LSTM vienību arhitektūras. Kopēja arhitektūra sastāv no šūnas (LSTM vienības atmiņas daļas) un trīs informācijas plūsmas "regulatoriem" (vārtiem) — ievada vārtiem, izvada vārtiem un aizmiršanas vārtiem. Dažām LSTM vienības variācijām nav vieni vai vairāki no šiem vārtiem vai varbūt ir citi vārti. Piemēram, GRU nav izvada vārtu.

''Šūna'' ir atbildīga par atkarības saglabāšanu starp ievades secībā esošajiem elementiem. ''Ievada'' vārti kontrolē, cik daudz jauno vērtību ieplūst šūnā, ''aizmiršanas'' vārti kontrolē, cik lielā mērā vērtība paliek šūnā, un ''izvada'' vārti kontrolē, kāda daļa šūnas vērtības tiek izmantota izvada aprēķināšanai LSTM vienībai. LSTM vārtu aktivizēšanas funkcija bieži ir loģistikas funkcija.

Ir savienojumi uz un no LSTM vārtiem, no kuriem daži atkārtojas. Šo savienojumu svars, kas jāapgūst treniņa laikā, nosaka, kā darbojas vārti.

== Versijas ==
Turpmākajos vienādojumos mazie burti ir vektori. Matricas <math>W_q</math>un <math>U_q</math>satur ievada un atkārtojumu svarojuma saistību, kur indekss <math>_q</math> var būt gan ievada vārti <math>i</math>, izvada vārti <math>o</math>, aizmiršanas vārti <math>f</math> vai atmiņas šūna <math>c</math>, atkarībā no tā, kas tiek aprēķināts. Šajā sadaļā tiek izmants "[[Vektors|vektora]] apzīmējums". Piemēram, <math>c_t \in \mathbb{R}^{h}</math> ir nevis viena LSTM vienības šūna, bet <math>h</math> LSTM vienību šūnas.

=== LSTM ar aizmiršanas vārtiem ===
Kompaktas vienādojumu formas padotajām LSTM vienībām ar aizmiršanas vārtiem:<ref name=":0" /><ref name=":2" />

<math>
\begin{align}
f_t &= \sigma_g(W_{f} x_t + U_{f} h_{t-1} + b_f) \\
i_t &= \sigma_g(W_{i} x_t + U_{i} h_{t-1} + b_i) \\
o_t &= \sigma_g(W_{o} x_t + U_{o} h_{t-1} + b_o) \\
c_t &= f_t \circ c_{t-1} + i_t \circ \sigma_c(W_{c} x_t + U_{c} h_{t-1} + b_c) \\
h_t &= o_t \circ \sigma_h(c_t)
\end{align}
</math>

kur sākotnējās vērtības ir <math>c_0 = 0</math> un <math>h_0 = 0</math> un operators <math>\circ</math>apzīmē Hadamard produktu (element-gudrs produkts). Apakšindekss <math>t</math> apzīmē laika soli.

==== Mainīgie ====

* <math>x_t \in \mathbb{R}^{d}</math>: LSTM vienības ievades vektors
* <math>f_t \in \mathbb{R}^{h}</math>: aizmiršanas vārtu aktivizācijas vektors
* <math>i_t \in \mathbb{R}^{h}</math>: ievades vārtu aktivizācijas vektors
* <math>o_t \in \mathbb{R}^{h}</math>: izvades vārtu aktivizācijas vektors
* <math>h_t \in \mathbb{R}^{h}</math>: slēptā stāvokļa vektors, zināms arī kā LSTM vienības izejas vektors
* <math>c_t \in \mathbb{R}^{h}</math>: šūnas stāvokļa vektors
* <math>W \in \mathbb{R}^{h \times d}</math>, <math>U \in \mathbb{R}^{h \times h} </math> un <math>b \in \mathbb{R}^{h}</math>: svara matricas un novirzes vektora parametri, kas jāapgūst apmācības laikā

mainīgie <math>d</math> un <math>h</math> attiecas uz ievades funkciju skaitu un slēpo vienības skaitu.

==== Aktivizācijas funkcijas ====

* <math>\sigma_g</math>: sigmoid funkcija.
* <math>\sigma_c</math>: hyperbolic tangent funkcija.
* <math>\sigma_h</math>: hyperbolic tangent funkcija vai kā LSTM raksts<ref name="peepholeLSTM">{{publikācijas atsauce|last1=Gers|first1=F. A.|last2=Schmidhuber|first2=J.|year=2001|title=LSTM Recurrent Networks Learn Simple Context Free and Context Sensitive Languages|url=ftp://ftp.idsia.ch/pub/juergen/L-IEEE.pdf|journal=IEEE Transactions on Neural Networks|volume=12|issue=6|pages=1333–1340|doi=10.1109/72.963769|pmid=18249962|access-date={{dat|2019|06|02||bez}}|archive-date={{dat|2020|07|10||bez}}|archive-url=https://web.archive.org/web/20200710122825/ftp://ftp.idsia.ch/pub/juergen/L-IEEE.pdf}}</ref><ref name="peephole2002">{{publikācijas atsauce|last1=Gers|first1=F.|last2=Schraudolph|first2=N.|last3=Schmidhuber|first3=J.|year=2002|title=Learning precise timing with LSTM recurrent networks|url=http://www.jmlr.org/papers/volume3/gers02a/gers02a.pdf|journal=Journal of Machine Learning Research|volume=3|issue=|pages=115–143}}</ref> raksta, <math>\sigma_h(x) = x</math>.

==== Peephole LSTM ====
[[Attēls:Long Short Term Memory.png|thumb|Peephole LSTM vienība ar ievada <math>i</math>, izvada <math>o</math>, un aizmiršanas <math>f</math>vārtiem. Katrus no šiem vārtiem var uzskatīt par "standarta" neironu vairāku slāņu neirona tīklā. Tie, izmantojot aktivizēšanas funkciju, aprēķina svērto summu aktivizāciju. <math>i_t,  o_t</math> un <math>f_t</math>laika <math>t</math>gaitā attēlo attiecīgi ievada, izvada un aizmiršanas vārtu aktivizēšanu. 3 izejas bultas no atmiņas šūnas <math>c</math> uz 3 vārtiem <math>i,  o</math> un <math>f</math> attēlo ''peephole'' savienojumus. Šie peephole savienojumi faktiski apzīmē atmiņas šūnas <math>c</math>aktivizēšanas ieguldījumu laikā ar soli <math>t-1</math>, t.i. ieguldījumu <math>c_{t-1}</math> nevis <math>c_{t}</math>, kā bildē attēlots. Citiem vārdiem sakot, vārti <math>i,  o</math> un <math>f</math> aprēķina aktivizēšanos ar laika soli <math>t</math> (<math>i_t,  o_t</math> un <math>f_t</math>), ņemot vērā arī atmiņas šūnas aktivizēšanu <math>c</math> ar laika soli <math>t - 1</math>,t.i, <math>c_{t-1}</math>. Vienīgā bulta, kas iziet no atmiņas šūnas no kreisās uz labo pusi, nav peephole savienojums un apzīmē <math>c_{t}</math>. Mazie aplīši ar <math>\times</math> simbolu ir element-gudrs reizinājums. Lielie apļi ar S veida līkni atspoguļo diferencējamas funkcijas pielietojumu (piemēram, sigmoido funkciju) ar svērto summu. Ir arī daudzi citi LSTM veidi.<ref name=":1" />]]
Peephole savienojumi ļauj vārtiem piekļūt ''constant error carousel'' (CEC), kura aktivizācija ir šūnas stāvoklis.<ref>{{publikācijas atsauce|last=Gers|first=F. A.|last2=Schmidhuber|first2=E.|date=November 2001|title=LSTM recurrent networks learn simple context-free and context-sensitive languages|url=ftp://ftp.idsia.ch/pub/juergen/L-IEEE.pdf|journal=IEEE Transactions on Neural Networks|volume=12|issue=6|pages=1333–1340|doi=10.1109/72.963769|pmid=18249962|issn=1045-9227|via=|access-date={{dat|2019|06|02||bez}}|archive-date={{dat|2020|07|10||bez}}|archive-url=https://web.archive.org/web/20200710122825/ftp://ftp.idsia.ch/pub/juergen/L-IEEE.pdf}}</ref> <math>h_{t-1}</math> netiek izmantots, tā vietā vairums vietās izmanto <math>c_{t-1}</math>.

: <math>
\begin{align}
f_t &= \sigma_g(W_{f} x_t + U_{f} c_{t-1} + b_f) \\
i_t &= \sigma_g(W_{i} x_t + U_{i} c_{t-1} + b_i) \\
o_t &= \sigma_g(W_{o} x_t + U_{o} c_{t-1} + b_o) \\
c_t &= f_t \circ c_{t-1} + i_t \circ \sigma_c(W_{c} x_t + U_{c} c_{t-1} + b_c) \\
h_t &= o_t \circ \sigma_h(c_t)
\end{align}
</math>

=== Peephole konvolūcijas LSTM ===
Peephole konvolūcijas LSTM.<ref>{{publikācijas atsauce|author=Xingjian Shi|author2=Zhourong Chen|author3=Hao Wang|author4=Dit-Yan Yeung|author5=Wai-kin Wong|author6=Wang-chun Woo|title=Convolutional LSTM Network: A Machine Learning Approach for Precipitation Nowcasting|url=https://archive.org/details/arxiv-1506.04214|journal=Proceedings of the 28th International Conference on Neural Information Processing Systems|pages=802–810|year=2015|arxiv=1506.04214|bibcode=2015arXiv150604214S}}</ref> Simbols <math>*</math> apzīmē konvulūcijas operatoru.

: <math id="Page 4, formula 4 in [33] reference (Ot is calculated for C(t) intead of C(t-1)): https://arxiv.org/abs/1506.04214v2">
\begin{align}
f_t &= \sigma_g(W_{f} * x_t + U_{f} * h_{t-1} + V_{f} \circ c_{t-1} + b_f) \\
i_t &= \sigma_g(W_{i} * x_t + U_{i} * h_{t-1} + V_{i} \circ c_{t-1} + b_i) \\
c_t &= f_t \circ c_{t-1} + i_t \circ \sigma_c(W_{c} * x_t + U_{c} * h_{t-1} + b_c) \\
o_t &= \sigma_g(W_{o} * x_t + U_{o} * h_{t-1} + V_{o} \circ c_{t} + b_o) \\
h_t &= o_t \circ \sigma_h(c_t)
\end{align}
</math>

== Atsauces ==
{{atsauces}}

[[Kategorija:Mākslīgais intelekts]]
[[Kategorija:Mašīnmācīšanās]]