문장의 모든 단어는 다른 모든 단어와 관련될 수 있습니다. 셀프 어텐션은 단일 시퀀스 내에서 이러한 관계를 계산하여 각 위치가 다른 모든 위치에서 정보를 수집할 수 있도록 합니다. 이것이 트랜스포머 내부의 핵심 작동 방식입니다.

이 메커니즘은 각 토큰을 쿼리, 키, 값으로 변환합니다. 쿼리와 키 간의 점수는 어텐션 가중치를 결정하고, 이 가중치는 값들을 결합하여 새로운 표현을 생성합니다. 멀티 헤드 어텐션은 다양한 유형의 관계를 포착하기 위해 이러한 과정을 여러 개 병렬로 실행합니다.

주요 속성

• 위치 간 병렬 계산
• 멀리 떨어진 토큰 간의 직접 경로
• 학습된 주의 패턴
• 시퀀스 길이에 따른 확장성

처리 비용은 시퀀스 길이에 따라 제곱으로 증가하므로 모델이 한 번에 처리할 수 있는 텍스트 양에 제한이 있습니다. 희소 어텐션, 슬라이딩 윈도우, 선형 근사법은 표현력 저하를 감수하더라도 이러한 부담을 줄여줍니다.