Việc gửi mọi dữ liệu cảm biến lên đám mây tốn băng thông và làm tăng độ trễ. Trí tuệ nhân tạo biên (Edge AI) chạy các mô hình trực tiếp trên các thiết bị cục bộ, từ điện thoại và máy ảnh đến cảm biến công nghiệp và ô tô. Quá trình tính toán diễn ra tại nơi dữ liệu được tạo ra.

Lợi ích rất thiết thực. Không cần gửi yêu cầu đến máy chủ, tốc độ phản hồi nhanh hơn. Dữ liệu nhạy cảm được lưu trữ cục bộ, giúp bảo mật thông tin. Thiết bị vẫn hoạt động khi mất kết nối.

Ứng dụng biên phổ biến

• xử lý camera điện thoại thông minh
• Kiểm tra chất lượng nhà máy
• Nhận thức của xe tự hành
• Theo dõi sức khỏe bằng thiết bị đeo được
• Thiết bị nhà thông minh

Hạn chế nằm ở tài nguyên. Các thiết bị biên có bộ nhớ, công suất và khả năng tính toán hạn chế. Việc nén mô hình, lượng tử hóa và các chip chuyên dụng giúp đưa các mô hình có khả năng vào các thiết bị nhỏ gọn, nhưng luôn có sự đánh đổi giữa độ chính xác và hiệu quả.