Обучив трансформера на достаточно большом количестве текста, он начинает делать больше, чем просто предсказывать следующее слово. Крупные языковые модели генерируют эссе, отвечают на вопросы, пишут код и переводят между языками. Масштаб, как по параметрам, так и по объему данных, определяет его возможности.

Эти модели изучают статистические закономерности на основе миллиардов токенов. Они не хранят факты в базе данных. Знания распределены по весам, поэтому они могут быть одновременно и гибкими, и ошибочными. Галлюцинации — это естественное следствие архитектуры, а не ошибка, которую нужно исправлять.

Общие возможности

• Генерация и суммирование текста
• Ответы на вопросы и рассуждения
• Перевод и переписывание
• Генерация и отладка кода
• Разговорное взаимодействие

Внедрение сопряжено с проблемами. Обучение обходится в миллионы долларов. Вывод результатов в больших масштабах обходится дорого. Данные для обучения также вызывают опасения по поводу авторских прав и конфиденциальности. Работа по выравниванию пытается управлять поведением, но ни один метод не гарантирует, что модель всегда будет реагировать так, как задумано.