Modeller ser inte rå verklighet. De ser funktioner, de mätbara egenskaper som extraheras från data och matas in i en inlärningsalgoritm. Ett hus blir kvadratmeter, antal sovrum, ålder och läge. Ett dokument blir ordräkning eller inbäddningar.

Funktionsteknik dominerade en gång tillämpad maskininlärning. Utövare utformade handhållna förhållanden, logaritmiska transformationer och interaktionstermer för att hjälpa modeller att hitta mönster. Djupinlärning skiftade arbetet och lät nätverk lära sig funktioner direkt från rå indata.

Vanliga funktionstyper

• Numeriska värden som pris eller temperatur
• Kategoriska etiketter kodade som siffror
• Text konverterad till antal eller vektorer
• Bildpixlar eller inlärda inbäddningar
• Härledda förhållanden och interaktioner

Bra funktioner bär signaler. Redundanta eller brusiga funktioner saktar ner träningen och skadar generaliseringen. Funktionsurval och extraktion är fortfarande viktigt, särskilt på små datamängder där djupinlärning har liten fördel.