Modeller ser ikke den rå virkelighed. De ser funktioner, de målbare egenskaber, der udtrækkes fra data og føres ind i en læringsalgoritme. Et hus bliver til kvadratmeter, antal soveværelser, alder og beliggenhed. Et dokument bliver til ordtællinger eller indlejringer.

Funktionsudvikling dominerede engang anvendt maskinlæring. Praktikere håndlavede forhold, logaritmiske transformationer og interaktionstermer for at hjælpe modeller med at finde mønstre. Deep learning ændrede arbejdet og lod netværk lære funktioner direkte fra rå input.

Almindelige funktionstyper

• Numeriske værdier som pris eller temperatur
• Kategoriske etiketter kodet som tal
• Tekst konverteret til antal eller vektorer
• Billedpixels eller lærte indlejringer
• Afledte forhold og interaktioner

Gode ​​funktioner bærer signal. Redundante eller støjende funktioner forsinker træning og skader generalisering. Funktionsudvælgelse og -udtrækning er fortsat vigtig, især på små datasæt, hvor dyb læring har ringe fordel.