Å sende hver sensoravlesning til skyen koster båndbredde og øker ventetiden. Edge AI kjører modeller direkte på lokale enheter, fra telefoner og kameraer til industrielle sensorer og biler. Beregning skjer der dataene opprettes.

Fordelene er praktiske. Ingen tur/retur til en server betyr raskere respons. Sensitive data forblir lokale, noe som bidrar til personvernet. Enheter fortsetter å fungere selv om tilkoblingen brytes.

Vanlige kantapplikasjoner

• Behandling av smarttelefonkamera
• Kvalitetsinspeksjon fra fabrikken
• Oppfatning av autonome kjøretøy
• Bærbar helseovervåking
• Smarte hjemmeenheter

Begrensningen er ressurser. Edge-enheter har begrenset minne, kraft og beregningskapasitet. Modellkomprimering, kvantisering og spesialiserte brikker bidrar til å tilpasse kapable modeller til små pakker, men det er alltid avveininger mellom nøyaktighet og effektivitet.