Op 2 december 2027 gaat een nieuw en zwaar deel van de Europese AI Act gelden. Organisaties die bepaalde hoogrisico-AI inzetten krijgen dan te maken met strengere eisen en een specifieke groep moet vóór ingebruikname zelfs een verplichte grondrechtenbeoordeling uitvoeren. De Autoriteit Persoonsgegevens roept organisaties nu al op daarmee te oefenen. Maar welke AI valt eigenlijk onder dat zware regime? Juist daar kan voor bestuurders een verrassing zitten: waarschijnlijk niet bij de chatbot waar iedereen over praat, maar bij systemen die op de achtergrond al mensen selecteren, beoordelen en rangschikken.
2 december 2027 lijkt nog ver weg. Voor organisaties die kunstmatige intelligentie inmiddels op tientallen plaatsen gebruiken, kan die datum echter sneller dichtbij komen dan gedacht. Vanaf dat moment worden belangrijke bepalingen uit de Europese AI Act voor zogenoemde hoogrisicosystemen uit Annex III van toepassing. Daarmee verschuift de Europese regulering van AI voor veel organisaties van algemene principes naar concrete verplichtingen rond het gebruik van systemen die grote gevolgen voor mensen kunnen hebben.
AP waarschuwt: wacht niet tot 2027
De Autoriteit Persoonsgegevens waarschuwt organisaties daarom om niet tot 2027 te wachten. De toezichthouder is inmiddels begonnen organisaties te laten oefenen met een van de opvallendste nieuwe verplichtingen: de Fundamental Rights Impact Assessment, afgekort FRIA. In de berichtgeving wordt die inmiddels wel de verplichte AI-test genoemd. Dat is een aansprekende term, maar ook enigszins misleidend. Er komt geen keurmeester langs die een algoritme test en vervolgens een Europees goedkeuringsstempel afgeeft. Een FRIA onderzoekt iets anders: wat gebeurt er met de grondrechten van mensen wanneer een organisatie een bepaald hoogrisico-AI-systeem daadwerkelijk gaat gebruiken? Een organisatie die onder de verplichting valt, moet vóór de inzet onder meer beschrijven waarvoor het systeem wordt gebruikt, welke groepen mensen ermee te maken krijgen, welke risico’s voor hun grondrechten kunnen ontstaan, hoe menselijk toezicht is georganiseerd en welke maatregelen worden genomen wanneer die risico’s zich daadwerkelijk voordoen. Dat is een wezenlijk andere benadering dan de technische controles waarmee CIO’s, CISO’s en IT-afdelingen vertrouwd zijn.
FRIA meer dan een AI-vraagstuk
De vraag is niet alleen of het systeem veilig is, of het model voldoende accuraat presteert of de leverancier aan zijn contractuele verplichtingen voldoet. De organisatie moet kunnen uitleggen waarom het verantwoord is om juist deze technologie in juist dit bedrijfsproces tegenover juist deze mensen in te zetten. Daarmee wordt de FRIA veel meer dan een technisch AI-vraagstuk. Het raakt aan governance, risk, HR, privacy, compliance en uiteindelijk aan de verantwoordelijkheid van het bestuur. Er is daarbij een belangrijke nuance. De FRIA wordt niet verplicht voor iedere onderneming die AI gebruikt. Zelfs het gebruik van een hoogrisico-AI-systeem betekent niet automatisch dat iedere private onderneming een FRIA moet uitvoeren. Artikel 27 van de AI Act richt deze specifieke verplichting onder meer op publiekrechtelijke organisaties, bepaalde private organisaties die publieke diensten aanbieden en gebruikers van specifieke hoogrisicosystemen voor kredietwaardigheidsbeoordeling en risico- en prijsbeoordeling bij levens- en ziektekostenverzekeringen. Dat neemt niet weg dat veel meer organisaties met het hoogrisicoregime van de AI Act te maken kunnen krijgen. En precies daar begint voor bestuurders het interessante gedeelte.
De AI waar iedereen over praat, is niet per se het grootste risico
Wie vandaag in een bestuursvergadering vraagt waar binnen de organisatie kunstmatige intelligentie wordt gebruikt, krijgt waarschijnlijk als eerste namen als Microsoft Copilot, Claude en ChatGPT te horen. Misschien wordt ook een eigen chatbot genoemd, een experiment met AI-agents of een project waarbij generatieve AI wordt gekoppeld aan bedrijfsdata. Dat is begrijpelijk. Het zijn zichtbare toepassingen. Medewerkers praten erover, directies maken er budget voor vrij en vrijwel iedere CIO heeft inmiddels een discussie gevoerd over de vraag welke generatieve AI wel en niet binnen de organisatie mag worden gebruikt. Toch zijn dit vanuit de Europese AI Act lang niet altijd de toepassingen waar een bestuurder zich de meeste zorgen over hoeft te maken. Veel interessanter is wat er elders, vaak veel minder zichtbaar, in de organisatie gebeurt. Misschien gebruikt HR inmiddels software die automatisch cv’s analyseert en kandidaten rangschikt. Een contactcenter kan technologie hebben ingeschakeld die gesprekken beoordeelt. Een financiële afdeling gebruikt mogelijk een model om klanten van een risicoscore te voorzien. Een verzekeraar experimenteert met geautomatiseerde risicobeoordeling, terwijl ergens anders in de organisatie een SaaS-leverancier ongemerkt een nieuwe AI-functie heeft toegevoegd aan een applicatie die al jaren wordt gebruikt. Geen van die toepassingen hoeft intern bekend te staan als een groot AI-project. Toch kunnen juist daar de zwaarste verplichtingen van de Europese AI Act ontstaan. Dat komt doordat Europa AI niet primair beoordeelt op hoe indrukwekkend, nieuw of geavanceerd de technologie is. De centrale vraag is wat een organisatie ermee doet en welke gevolgen dat gebruik voor mensen kan hebben.
Een AI-systeem dat een manager helpt een tekst te schrijven, is iets fundamenteel anders dan een AI-systeem dat diezelfde manager vertelt welke medewerker waarschijnlijk niet goed presteert. Een chatbot die een klant uitlegt hoe hij een lening kan aanvragen, heeft een andere positie dan een algoritme dat invloed heeft op de vraag of die klant de lening daadwerkelijk krijgt. En een systeem dat een vacaturetekst herschrijft is iets anders dan een systeem dat uit vijfhonderd sollicitanten bepaalt welke vijftig kandidaten een recruiter überhaupt nog te zien krijgt.
Precies op dat onderscheid is het hoogrisicoregime van de AI Act gebouwd. De Europese wetgever heeft een aantal terreinen aangewezen waarop het gebruik van AI zulke grote gevolgen kan hebben dat aanvullende bescherming nodig is. Daaronder vallen onder meer arbeid, onderwijs, biometrie, kritieke infrastructuur, toegang tot essentiële publieke en private diensten, rechtshandhaving, migratie en de rechtspleging. Voor bestuurders verandert daarmee de vraag die zij aan hun organisatie zouden moeten stellen.
Niet langer alleen: waar gebruiken wij AI?
Maar vooral: waar laten wij AI beslissingen over mensen nemen of beïnvloeden?
Die tweede vraag kan een heel andere lijst opleveren dan de eerste.
