Vanaf februari 2025 worden bepaalde AI-praktijken verboden in de EU om burgers te beschermen tegen misbruik. Verboden praktijken zijn onder andere manipulatieve AI-systemen, AI-gebaseerde sociale scores, voorspellende risicobeoordelingen voor criminaliteit gebaseerd op profilering, en AI-systemen voor realtime biometrische identificatie in openbare ruimtes. Organisaties moeten deze systemen tijdig uitfaseren om boetes te voorkomen. Deze maatregelen zijn onderdeel van de nieuwe Europese AI-verordening, die vanaf 1 augustus 2024 van kracht is geworden.
Wat wordt er verboden?
Dit zijn in het kort de verboden AI-praktijken:
- Manipulatieve of misleidende AI-systemen. Hoewel AI-systemen kunnen helpen bij het nemen van gerichte en weloverwogen beslissingen, is er ook een risico. AI-technieken kunnen mensen beïnvloeden om keuzes te maken die ze normaal niet zouden maken. Denk bijvoorbeeld aan het gebruik van audio-, beeld- en videomateriaal dat zij niet bewust kunnen waarnemen. Daarom zijn AI-systemen die via onderbewuste technieken en AI-systemen die gericht manipuleren of misleiden, verboden. AI-systemen die kwetsbaarheden – zoals leeftijd, handicap of een sociaaleconomische situatie – misbruiken om mensen te beïnvloeden zijn ook verboden.
- AI-systemen voor ‘social scoring’. Dit houdt in dat AI-systemen mensen beoordelen op basis van hun sociale gedrag of persoonlijke kenmerken. Dit kan voor problemen zorgen, zoals discriminatie en uitsluiting van bepaalde groepen.
- AI-gebaseerde voorspelde risicobeoordelingen voor criminaliteit. AI kan worden gebruikt om te ondersteunen bij het voorspellen van mogelijke strafbare feiten. Hierbij is het wel van belang dat het gebaseerd is op feiten die daadwerkelijk verband houden met criminele activiteiten. AI-systemen die uitsluitend op basis van profilering of beoordeling van persoonlijkheidseigenschappen en -kenmerken strafbare feiten voorspellen, zijn verboden.
- Biometrische categorisering. Systemen die individuen categoriseren op basis van biometrische gegevens (zoals gezichtsafbeeldingen en vingerafdrukken) om ras, politieke opvattingen, lidmaatschap van een vakbond, religieuze of levensbeschouwelijke overtuigingen, seksleven of seksuele gerichtheid af te leiden zijn verboden. Dit verbod beschermt de privacy en grondrechten van personen. Uitzonderingen gelden alleen voor het rechtmatig labelen of filteren van rechtmatig verkregen biometrische datasets, op het gebied van rechtshandhaving.
- Het gebruik van AI-systemen voor biometrische identificatie op afstand in realtime in openbare ruimten. Dit wordt verboden, behalve als het strikt noodzakelijk is voor specifieke en afgebakende situaties. Voorbeelden hiervan zijn het zoeken naar slachtoffers van ontvoering of vermiste personen, het voorkomen van imminente dreigingen voor het leven van mensen en het opsporen van verdachten van bepaalde zeer ernstige misdrijven. De inzet hiervan dient bij nationale wetgeving voorzien te zijn van een wettelijke grondslag waarin de voorwaarden gedetailleerd zijn vastgelegd.
- Andere verboden praktijken. Andere AI-praktijken die verboden zijn vanaf februari 2025 zijn emotieherkenning op de werkplek en in het onderwijs. Ook het ongericht scrapen van gezichtsafbeeldingen van internet of camerabeelden (CCTV) om databanken voor gezichtsherkenning aan te leggen of aan te vullen zijn verboden.
Meer informatie vind je op de website van de Digitale Overheid
