Labels zijn duur. Ruwe data is goedkoop. Semi-supervised learning combineert een kleine gelabelde dataset met een grote ongelabelde dataset, waarbij de structuur van de ongelabelde data wordt gebruikt om de generalisatie te verbeteren tot een niveau dat verder gaat dan wat labels alleen zouden kunnen bereiken.

De aanpak varieert. Bij zelflerende modellen worden ongelabelde voorbeelden gelabeld met een model, waarna het model opnieuw wordt getraind op de gecombineerde dataset. Consistentieregularisatie dwingt het model om vergelijkbare outputs te produceren voor verstoorde versies van dezelfde input. Op grafieken gebaseerde methoden verspreiden labels via gelijkenisnetwerken.

Veelgebruikte semi-supervised technieken

• Zelfstudie en pseudo-etikettering
• Consistentieregularisatie
• Entropieminimalisatie
• Grafiekgebaseerde labelpropagatie
• Contrastieve voorbereiding gevolgd door fijnafstemming

De resultaten zijn sterk afhankelijk van de data. Als de niet-gelabelde voorbeelden uit een andere distributie komen dan de gelabelde voorbeelden, kan de prestatie verslechteren. Zorgvuldige validatie en afstemming op het domein zijn net zo belangrijk als het algoritme zelf.