Sequenzen haben eine Ordnung. Ein rekurrentes neuronales Netzwerk verarbeitet Eingaben schrittweise und speichert dabei einen verborgenen Zustand, der die vorherigen Eingaben zusammenfasst. In jedem Schritt werden dieselben Gewichte verwendet, wodurch das Netzwerk Eingaben variabler Länge verarbeiten kann.

Diese Wiederholungsfunktion verleiht dem Modell ein Gedächtnis, verlangsamt aber gleichzeitig das Training. Jeder Schritt baut auf dem vorherigen auf, sodass die Berechnung nicht parallelisiert werden kann. Lange Sequenzen führen außerdem dazu, dass Gradienten verschwinden oder stark ansteigen.

Gängige RNN-Varianten

• Einfache rekurrente Netzwerke
• Langzeit-Kurzzeitgedächtnis
• Gated recurrent units
• Bidirektionale RNNs
• Tief gestapelte RNNs

Transformer haben RNNs für die meisten Sprachverarbeitungsaufgaben abgelöst, da Attention-Prozesse parallelisieren und Abhängigkeiten über größere Distanzen zuverlässiger erfassen. RNNs kommen weiterhin in Streaming- und eingebetteten Systemen zum Einsatz, wo ihre Effizienz entscheidend ist.