Τα επαναλαμβανόμενα δίκτυα ξεχνούν. Οι διαβαθμίσεις εξασθενούν καθώς διαδίδονται προς τα πίσω στο χρόνο και οι εξαρτήσεις μακροπρόθεσμης εμβέλειας εξαφανίζονται. Η μακροχρόνια βραχυπρόθεσμη μνήμη, που εισήχθη το 1997, έλυσε μεγάλο μέρος του προβλήματος με έναν μηχανισμό πύλης που ελέγχει ποιες πληροφορίες παραμένουν.

Τρεις πύλες ρυθμίζουν τη ροή. Η πύλη εισόδου αποφασίζει τι εισέρχεται στην κατάσταση κελιού. Η πύλη λήθης αποφασίζει τι θα απορριφθεί. Η πύλη εξόδου αποφασίζει τι θα εκτεθεί. Μια κατάσταση κελιού διατρέχει την ακολουθία, μεταφέροντας πληροφορίες σε πολλά βήματα χωρίς υποβάθμιση.

Common LSTM applications

• Speech recognition
• Machine translation before transformers
• Time series forecasting
• Handwriting recognition
• Music generation

Transformers replaced LSTMs for most sequence tasks because they parallelize better and handle longer contexts. LSTMs still appear in embedded systems and streaming applications where memory and latency constraints favour their efficient recurrence.