Kun je AI vertrouwen? Moet u de bevindingen zonder meer als objectief geldig aanvaarden? Het probleem is dat zelfs het in twijfel trekken van de AI zelf geen duidelijke antwoorden zou opleveren.
AI-systemen hebben over het algemeen gewerkt als een black box: gegevens worden ingevoerd en gegevens worden uitgevoerd, maar de processen die die gegevens transformeren, zijn een raadsel. Dat levert een dubbel probleem op. Een daarvan is dat het onduidelijk is welke prestaties van algoritmen het meest betrouwbaar zijn. De andere is dat de schijnbaar objectieve resultaten scheef kunnen worden getrokken door de waarden en vooroordelen van de mensen die de systemen programmeren. Daarom is er behoefte aan transparantie voor de virtuele denkprocessen die dergelijke systemen gebruiken, of "verklaarbare AI".
De ethische verplichting is legaal geworden voor iedereen die onder de AVG valt, wat niet alleen gevolgen heeft voor bedrijven in de EU, maar ook voor bedrijven die daar te maken hebben met mensen of organisaties. Het bevat een aantal bepalingen over gegevensbescherming die van toepassing zijn op EU-burgers "het recht om niet uitsluitend te worden onderworpen aan geautomatiseerde besluitvorming, behalve in bepaalde situaties" en "het recht om zinvolle informatie te krijgen over de logica die bij het besluit is betrokken .”
