시퀀스에는 순서가 있습니다. 순환 신경망은 입력을 한 단계씩 처리하며, 이전 단계를 요약하는 은닉 상태를 다음 단계로 전달합니다. 모든 단계에서 동일한 가중치가 적용되므로 네트워크는 가변 길이 입력을 처리할 수 있습니다.

이러한 재귀적 특성은 모델에 메모리를 제공하지만, 학습 속도를 저하시킵니다. 각 단계는 이전 단계에 의존하므로 시간적으로 병렬화된 계산이 불가능합니다. 또한 긴 시퀀스는 기울기 소실이나 폭발을 초래할 수 있습니다.

일반적인 RNN 변형

• 단순 순환 네트워크
• 장단기 기억
• 게이트형 순환 단위
• 양방향 RNN
• 딥 스택드 RNN

트랜스포머는 어텐션 메커니즘이 병렬 처리를 지원하고 장거리 종속성을 더욱 안정적으로 포착하기 때문에 대부분의 언어 처리 작업에서 RNN을 대체했습니다. 하지만 RNN은 효율성이 중요한 스트리밍 및 임베디드 환경에서 여전히 사용되고 있습니다.