Прежде чем языковая модель сможет что-либо прочитать, текст необходимо разбить на подсчитываемые части. Эти части называются токенами, и токенизация — это именно этот процесс. Токен может представлять собой целое слово, фрагмент, например, «ing» или «pre», знак препинания или даже отдельный символ. Модель никогда не видит необработанный текст; она видит последовательность целочисленных идентификаторов, сопоставленных с этими токенами.

Различные схемы предполагают разные компромиссы. Токенизация на уровне слов сохраняет смысл, но приводит к появлению миллионов редких слов и проблемам с опечатками. Токенизация на уровне символов имеет очень маленький словарь, но создает очень длинные последовательности. Методы на уровне субслов, такие как кодирование пар байтов, занимают промежуточное положение: они начинают с символов и многократно объединяют наиболее часто встречающиеся пары, пока не будет достигнут целевой размер словаря.

Почему это важно

• Размер словаря определяет размер таблицы встраивания модели и объем используемой памяти.
• Количество токенов определяет контекстное окно и стоимость каждого вызова API.
• Некачественная токенизация разделяет слова таким образом, что это негативно сказывается на производительности при многоязычной обработке.
• В языках с нелатинской письменностью часто требуется гораздо больше символов в предложении.

В английском предложении может использоваться 20 токенов; то же самое предложение на тайском или хинди может потребовать 60 и более токенов при использовании токенизатора, ориентированного на западные технологии. Этот дисбаланс влияет на скорость, стоимость и точность для миллиардов носителей языка.