Mạng nơ-ron hồi quy hay quên. Độ dốc giảm dần khi lan truyền ngược thời gian, và các phụ thuộc tầm xa biến mất. Bộ nhớ dài hạn ngắn hạn (LSTM), được giới thiệu vào năm 1997, đã giải quyết phần lớn vấn đề bằng một cơ chế điều khiển thông tin được lưu giữ.

Ba cổng điều chỉnh luồng thông tin. Cổng đầu vào quyết định thông tin nào được đưa vào trạng thái ô nhớ. Cổng quên quyết định thông tin nào bị loại bỏ. Cổng đầu ra quyết định thông tin nào được hiển thị. Trạng thái ô nhớ chạy qua chuỗi, mang thông tin qua nhiều bước mà không bị suy giảm.

Các ứng dụng LSTM phổ biến

• Nhận dạng giọng nói
• Dịch máy trước khi có máy biến áp
• Dự báo chuỗi thời gian
• Nhận dạng chữ viết tay
• Thế hệ âm nhạc

Transformer đã thay thế LSTM trong hầu hết các tác vụ xử lý chuỗi vì chúng song song hóa tốt hơn và xử lý được các ngữ cảnh dài hơn. LSTM vẫn xuất hiện trong các hệ thống nhúng và ứng dụng xử lý dữ liệu luồng, nơi các ràng buộc về bộ nhớ và độ trễ ưu tiên tính hiệu quả của chúng.