Entraînez un modèle de langage transformable sur suffisamment de texte et il commencera à faire bien plus que prédire le mot suivant. Les grands modèles de langage génèrent des dissertations, répondent à des questions, écrivent du code et traduisent entre les langues. La capacité dépend de l'échelle, tant en termes de paramètres que de données.

Ces modèles apprennent les schémas statistiques à partir de milliards de jetons. Ils ne stockent pas les données dans une base de données. La connaissance est distribuée selon des pondérations, ce qui explique pourquoi ils peuvent être à la fois précis et erronés. Les hallucinations sont une conséquence naturelle de l'architecture, et non un bug à corriger.

Capacités communes

• Génération et résumé de texte
• Réponse aux questions et raisonnement
• Traduction et réécriture
• Génération et débogage de code
• interaction conversationnelle

Le déploiement soulève des problèmes. L'entraînement coûte des millions de dollars. L'inférence est onéreuse à grande échelle. Les données d'entraînement soulèvent des questions de droits d'auteur et de confidentialité. Les travaux d'alignement tentent d'orienter le comportement, mais aucune méthode ne garantit que le modèle répondra toujours comme prévu.