Jaringan berulang (recurrent networks) melupakan informasi. Gradien memudar saat merambat mundur melalui waktu, dan ketergantungan jarak jauh menghilang. Long short-term memory (LSTM), yang diperkenalkan pada tahun 1997, memecahkan sebagian besar masalah ini dengan mekanisme penyaringan yang mengontrol informasi apa yang tetap ada.

Tiga gerbang mengatur aliran. Gerbang masukan menentukan apa yang masuk ke dalam keadaan sel. Gerbang lupakan menentukan apa yang harus dibuang. Gerbang keluaran menentukan apa yang harus diekspos. Suatu keadaan sel berjalan melalui urutan tersebut, membawa informasi melintasi banyak langkah tanpa degradasi.

Aplikasi LSTM umum

• Pengenalan suara
• Terjemahan mesin sebelum transformator
• Peramalan deret waktu
• Pengenalan tulisan tangan
• Generasi musik

Transformer menggantikan LSTM untuk sebagian besar tugas sekuens karena lebih mudah diparalelkan dan menangani konteks yang lebih panjang. LSTM masih muncul dalam sistem tertanam dan aplikasi streaming di mana kendala memori dan latensi mendukung rekurensi efisiennya.