충분한 양의 텍스트로 트랜스포머를 학습시키면 단순히 다음 단어를 예측하는 것 이상의 기능을 수행할 수 있습니다. 대규모 언어 모델은 에세이를 작성하고, 질문에 답하고, 코드를 작성하고, 언어 간 번역까지 할 수 있습니다. 이러한 기능은 매개변수와 데이터 규모 모두에서 확장될 때 비로소 가능해집니다.

이 모델들은 수십억 개의 토큰에 걸쳐 통계적 패턴을 학습합니다. 데이터베이스에 사실을 저장하는 것이 아니라, 지식이 가중치에 분산되어 저장되기 때문에 유창하면서도 동시에 오류를 범할 수 있습니다. 이러한 오류 발생은 아키텍처의 자연스러운 결과이며, 수정해야 할 버그가 아닙니다.

공통 기능

• 텍스트 생성 및 요약
• 질문에 답하고 추론하기
• 번역 및 재작성
• 코드 생성 및 디버깅
• 대화형 상호작용

배포에는 여러 문제가 따릅니다. 학습 비용은 수백만 달러에 달하며, 대규모 추론은 비용이 많이 듭니다. 학습 데이터에는 저작권 및 개인정보 보호 문제가 수반됩니다. 정렬 작업은 모델의 동작을 유도하려고 하지만, 어떤 방법도 모델이 항상 의도한 대로 반응할 것이라고 보장하지는 않습니다.