Обучение строит модель. Вывод использует её. После того, как веса зафиксированы, сеть принимает новые входные данные и выдаёт выходные данные, будь то метка, вероятность или сгенерированное предложение. Обновления градиента здесь не происходят.

На этапе вывода проявляется экономика ИИ. Обучение происходит один раз, иногда в течение нескольких недель. Вывод происходит миллионы раз, часто в рамках ограничений по задержке, измеряемых миллисекундами. Модель, слишком медленно реагирующая в окне чата или на телефоне, бесполезна, независимо от её точности.

Общие настройки вывода

• Пакетный вывод для автономной обработки
• Выполнение вычислений в реальном времени для интерактивных приложений
• Определение границ на локальных устройствах
• Вывод данных серверами в центрах обработки данных

Оптимизация фокусируется на пропускной способности и задержке. Квантование, обрезка и специализированное оборудование — все это направлено на оптимизацию процесса вывода. Одна и та же модель может вести себя совершенно по-разному в зависимости от способа ее обработки.