Labels sind teuer. Rohdaten sind günstig. Semi-überwachtes Lernen kombiniert einen kleinen Datensatz mit Labels mit einem großen Datensatz ohne Labels und nutzt die Struktur der Daten ohne Labels, um die Generalisierungsfähigkeit über das hinaus zu verbessern, was mit Labels allein möglich wäre.

Die Ansätze variieren. Selbstlernende Modelle versehen unbeschriftete Beispiele mit einem Modell und trainieren es anschließend mit dem kombinierten Datensatz neu. Konsistenzregularisierung zwingt das Modell, ähnliche Ausgaben für veränderte Versionen derselben Eingabe zu erzeugen. Graphbasierte Methoden propagieren Beschriftungen durch Ähnlichkeitsnetzwerke.

Gängige halbüberwachte Techniken

• Selbsttraining und Pseudo-Etikettierung
• Konsistenzregularisierung
• Entropieminimierung
• Graphbasierte Label-Propagation
• Kontrastives Vortraining mit anschließender Feinabstimmung

Die Ergebnisse hängen stark von den Daten ab. Stammen die ungelabelten Beispiele aus einer anderen Verteilung als die gelabelten, kann sich die Leistung verschlechtern. Sorgfältige Validierung und Domänenanpassung sind ebenso wichtig wie der Algorithmus selbst.