순환 신경망은 기억을 잃습니다. 시간 역행 전파 과정에서 기울기가 희미해지고, 장거리 의존 관계가 사라집니다. 1997년에 도입된 장단기 메모리(LSTM)는 어떤 정보를 저장할지 제어하는 ​​게이팅 메커니즘을 통해 이러한 문제의 상당 부분을 해결했습니다.

세 개의 게이트가 흐름을 조절합니다. 입력 게이트는 어떤 정보가 셀 상태로 들어갈지 결정합니다. 망각 게이트는 어떤 정보를 버릴지 결정합니다. 출력 게이트는 어떤 정보를 공개할지 결정합니다. 셀 상태는 이러한 일련의 과정을 거치면서 정보 손실 없이 여러 단계를 통과합니다.

일반적인 LSTM 활용 사례

• 음성 인식
• 트랜스포머 이전의 기계 번역
• 시계열 예측
• 필기체 인식
• 음악 세대

트랜스포머는 병렬 처리 성능이 뛰어나고 더 긴 컨텍스트를 처리할 수 있기 때문에 대부분의 순차 처리 작업에서 LSTM을 대체했습니다. 하지만 LSTM은 메모리 및 지연 시간 제약이 있는 임베디드 시스템 및 스트리밍 애플리케이션에서 여전히 사용되고 있으며, 이러한 환경에서는 효율적인 순환 구조가 유리합니다.