बिल्ली और कुत्ते को पहचानने के लिए प्रशिक्षित मॉडल को किनारों, बनावटों और फर के बारे में पहले से ही कुछ जानकारी होती है। ट्रांसफर लर्निंग इसी का फायदा उठाती है: यादृच्छिक भार से शुरू करने के बजाय, आप एक ऐसे नेटवर्क से शुरुआत करते हैं जिसने एक बड़े डेटासेट से सीखा है और इसे अपनी छोटी, विशिष्ट समस्या पर परिष्कृत करते हैं। पहले कार्य से प्राप्त ज्ञान दूसरे कार्य में स्थानांतरित हो जाता है।

यह तरीका मानक बन गया क्योंकि लेबल किया हुआ डेटा दुर्लभ है और कंप्यूटिंग लागत बहुत अधिक है। 5,000 मेडिकल छवियों पर शुरू से विज़न मॉडल को प्रशिक्षित करना शायद ही कभी सफल होता है। ImageNet पर पहले से प्रशिक्षित नेटवर्क लेकर और उसकी अंतिम परतों को पुनः प्रशिक्षित करना अक्सर कारगर होता है। शुरुआती परतें सामान्य विशेषताओं का पता लगाती हैं; बाद की परतें विशिष्ट विशेषताओं का पता लगाती हैं।

सामान्य रणनीतियाँ

• फ़ीचर एक्सट्रैक्शन: प्री-ट्रेन्ड लेयर्स को फ्रीज़ करें और केवल एक नए क्लासिफायर हेड को ट्रेन करें।
• फाइन-ट्यूनिंग: कुछ या सभी लेयर्स को अनफ्रीज करें और कम लर्निंग रेट के साथ ट्रेनिंग जारी रखें।
• डोमेन अनुकूलन: किसी मॉडल को एक डेटा वितरण से दूसरे डेटा वितरण में समायोजित करना, जैसे कृत्रिम से वास्तविक डेटा वितरण में।

बड़े भाषा मॉडलों ने इसे और आगे बढ़ाया है। एक पूर्व-प्रशिक्षित मॉडल को मामूली अतिरिक्त प्रशिक्षण के साथ कानूनी लेखन, मेडिकल कोडिंग या ग्राहक सहायता के लिए अनुकूलित किया जा सकता है। लेकिन इसमें नकारात्मक स्थानांतरण की समस्या है: यदि स्रोत और लक्ष्य कार्य बहुत भिन्न हैं, तो पूर्व-प्रशिक्षित भार मदद करने के बजाय नुकसान पहुंचा सकते हैं।