Modele uczą się od ludzi. Każdy zestaw treningowy zawiera ślady prawdziwych osób, a każda prognoza dotyczy osoby, której dane ukształtowały system. Ochrona danych osobowych dotyczy sposobu gromadzenia, przechowywania, wykorzystywania i ochrony tych informacji.

Przepisy wyznaczają ramy prawne. RODO w Europie, CCPA w Kalifornii i podobne przepisy w innych krajach przyznają prawo do dostępu, poprawiania i usuwania danych osobowych. Systemy sztucznej inteligencji komplikują przestrzeganie przepisów, ponieważ modele przyswajają wzorce z danych i nie mogą łatwo zapomnieć o konkretnych przykładach.

Główne obawy

• Zgoda i przejrzystość w gromadzeniu danych
• Ponowna identyfikacja na podstawie rzekomo anonimowych danych
• Zapamiętywanie modeli przykładów szkoleniowych
• Transgraniczny transfer danych
• Wnioskowanie o wrażliwych atrybutach

Techniki takie jak prywatność różnicowa, uczenie federacyjne i minimalizacja danych zmniejszają ryzyko, ale zwiększają koszty i złożoność. Idealna prywatność jest rzadko osiągalna. Praktycznym celem jest znacząca ochrona z jasno określonymi zasadami rozliczania.