Wysyłanie każdego odczytu z czujnika do chmury zwiększa przepustowość i opóźnienia. Edge AI uruchamia modele bezpośrednio na urządzeniach lokalnych, od telefonów i aparatów po czujniki przemysłowe i samochody. Obliczenia odbywają się tam, gdzie generowane są dane.

Korzyści są praktyczne. Brak konieczności przesyłania danych do serwera oznacza szybszą odpowiedź. Dane wrażliwe pozostają lokalne, co sprzyja prywatności. Urządzenia nadal działają, nawet gdy połączenie zostanie przerwane.

Typowe aplikacje brzegowe

• Przetwarzanie obrazu za pomocą aparatu w smartfonie
• Kontrola jakości fabrycznej
• Percepcja pojazdu autonomicznego
• Noszony monitor zdrowia
• Inteligentne urządzenia domowe

Ograniczeniem są zasoby. Urządzenia brzegowe mają ograniczoną pamięć, moc i moc obliczeniową. Kompresja modeli, kwantyzacja i wyspecjalizowane układy scalone pomagają zmieścić wydajne modele w małych obudowach, ale zawsze istnieje kompromis między dokładnością a wydajnością.