पर्याप्त पाठ पर ट्रांसफ़ॉर्मर को प्रशिक्षित करने से यह अगले शब्द की भविष्यवाणी करने से कहीं अधिक कार्य करने लगता है। बड़े भाषा मॉडल निबंध तैयार करते हैं, प्रश्नों के उत्तर देते हैं, कोड लिखते हैं और भाषाओं के बीच अनुवाद करते हैं। मापदंडों और डेटा दोनों में व्यापकता इसकी क्षमता को बढ़ाती है।

ये मॉडल अरबों टोकनों में सांख्यिकीय पैटर्न सीखते हैं। ये डेटाबेस में तथ्य संग्रहीत नहीं करते हैं। ज्ञान भारों में वितरित होता है, यही कारण है कि ये एक ही समय में सटीक और गलत दोनों हो सकते हैं। भ्रम इस आर्किटेक्चर का एक स्वाभाविक परिणाम है, न कि कोई बग जिसे ठीक करने की आवश्यकता हो।

सामान्य क्षमताएँ

• पाठ निर्माण और सारांश
• प्रश्नोत्तर और तर्क
• अनुवाद और पुनर्लेखन
• कोड जनरेशन और डिबगिंग
• वार्तालापात्मक बातचीत

तैनाती में कई समस्याएं आती हैं। प्रशिक्षण पर लाखों डॉलर खर्च होते हैं। बड़े पैमाने पर अनुमान लगाना महंगा पड़ता है। प्रशिक्षण डेटा के साथ कॉपीराइट और गोपनीयता संबंधी चिंताएं भी जुड़ी होती हैं। संरेखण कार्य व्यवहार को निर्देशित करने का प्रयास करता है, लेकिन कोई भी विधि यह गारंटी नहीं देती कि मॉडल हमेशा इच्छानुसार प्रतिक्रिया देगा।