문장의 모든 단어가 똑같이 중요한 것은 아닙니다. "은행 계좌"라는 구문을 번역할 때, 모델은 여기서 "은행"이 강변이 아니라 금융을 의미한다는 것을 알아야 합니다. 어텐션(Attention)은 모델이 모든 것을 똑같이 중요하게 여기는 대신, 각 출력을 생성할 때 입력의 서로 다른 부분에 가중치를 부여할 수 있도록 합니다.

이 메커니즘은 쿼리와 키 집합 간의 점수를 계산하고, 이러한 점수를 가중치로 변환한 다음, 이를 사용하여 값을 결합합니다. 결과적으로 관련 정보를 강조하는 가중치가 적용된 요약 결과가 생성됩니다. 셀프 어텐션은 단일 시퀀스 내에서 동일한 아이디어를 적용합니다.

일반적인 주의력 변형

• 스케일링된 도트곱 어텐션
• 병렬 뷰를 사용하는 멀티 헤드 어텐션
• 하나의 시퀀스 내에서의 자기 주의
• 두 시퀀스 간의 교차 주의

어텐션 메커니즘에 전적으로 기반한 트랜스포머 아키텍처는 대부분의 언어 처리 작업에서 순환 신경망을 대체했습니다. 이 아키텍처는 병렬 처리가 더 뛰어나고 장거리 의존성을 더 효과적으로 포착하기 때문에 거의 모든 대규모 언어 모델에서 사용됩니다.