Rekurrente Netzwerke vergessen Informationen. Gradienten verblassen mit zunehmender zeitlicher Ausbreitung, und Langzeitabhängigkeiten gehen verloren. Das 1997 eingeführte Long Short-Term Memory (LSTM) löste dieses Problem weitgehend durch einen Filtermechanismus, der steuert, welche Informationen erhalten bleiben.

Drei Gates regulieren den Datenfluss. Das Eingangs-Gate bestimmt, welche Daten in den Zellzustand gelangen. Das Vergessens-Gate entscheidet, welche Daten verworfen werden. Das Ausgangs-Gate entscheidet, welche Daten freigegeben werden. Ein Zellzustand durchläuft die Sequenz und transportiert Informationen über viele Schritte hinweg ohne Qualitätsverlust.

Gängige LSTM-Anwendungen

• Spracherkennung
• Maschinelle Übersetzung vor der Transformer-Ära
• Zeitreihenprognose
• Handschrifterkennung
• Musikgeneration

Transformer haben LSTMs für die meisten Sequenzaufgaben abgelöst, da sie besser parallelisierbar sind und längere Kontexte verarbeiten können. LSTMs werden weiterhin in eingebetteten Systemen und Streaming-Anwendungen eingesetzt, wo Speicher- und Latenzbeschränkungen ihre effiziente Wiederholung begünstigen.