Un rapport de la FRA préconise une évaluation efficace des droits fondamentaux dans le domaine de l’IA à haut risque

Le rapport « Assessing high-risk artificial intelligence » (évaluer l'intelligence artificielle à haut risque) se penche sur le développement et l'utilisation de l'IA dans cinq domaines définis comme étant à haut risque en vertu du règlement sur l'IA : l'asile, l'enseignement, l'emploi, l'application de la loi et les biens publics. Il s'agit notamment de l'utilisation de l'IA dans le cadre des candidatures professionnelles et des examens, de la détermination de l'éligibilité aux pensions d'invalidité, de l'évaluation des capacités de lecture des enfants, et d'autres applications. Ces systèmes doivent être fiables, car ils peuvent influencer des décisions importantes qui affecteront la vie quotidienne des citoyens. Construire cette confiance nécessite d'examiner attentivement les incidences de ces systèmes sur les droits fondamentaux.

Les conclusions de la FRA montrent que les fournisseurs d'IA sont généralement conscients des risques que leurs systèmes font peser sur le respect de la vie privée, la protection des données et la non-discrimination. Toutefois, nombre d'entre eux ne prennent pas en considération leurs conséquences plus larges sur les droits fondamentaux. Par exemple, les fournisseurs de systèmes d'IA utilisés pour évaluer les capacités de lecture des enfants négligent souvent d'apprécier comment leur système est susceptible d'influer sur le droit à l'éducation.

Les approches visant à atténuer les risques découlant des utilisations de l'IA sont fragmentées et leur efficacité n'a pas été prouvée. Par exemple, de nombreux prestataires se concentrent sur la surveillance humaine en tant que mesure d'atténuation, mais il ne s'agit pas d'une solution globale. Les personnes chargées de superviser un système d'IA peuvent se fier excessivement à ses résultats ou ne pas détecter certaines erreurs. Parallèlement à la surveillance humaine, d'autres mesures d'atténuation sont primordiales.

Basé sur des entretiens approfondis menés avec des personnes travaillant avec des IA à haut risque, le rapport met en évidence les difficultés rencontrées pour définir ce qui constitue un système d'IA et déterminer quand ces systèmes doivent être classés comme présentant un risque élevé au sens du règlement concerné. Par exemple, les organisations peuvent appliquer ce que l'on appelle un « filtre » pour exclure les systèmes de la catégorie à haut risque s'ils effectuent des tâches simples ou préparatoires telles que le traitement de dossiers. Néanmoins, ces systèmes peuvent tout de même porter atteinte aux droits des personnes s'ils produisent des résultats inexacts. Si ce filtre était interprété de manière trop large, il pourrait créer des failles et limiter la protection des droits fondamentaux dans la pratique.

Pour remédier à ces problèmes et garantir une compréhension commune des systèmes d'IA à haut risque, la FRA propose:

• D'interpréter de façon extensive la définition de l'IA: même les systèmes les moins complexes peuvent contenir des biais, conduire à des discriminations ou porter atteinte aux droits fondamentaux. Par conséquent, la définition d'un système d'IA devrait être interprétée de façon extensive afin de garantir une protection efficace des droits fondamentaux et de solidifier l'application du règlement sur l'IA.
• D'éviter les failles liées aux « filtres »: les filtres des systèmes à haut risque prévus par le règlement sur l'IA doivent être appliqués de manière claire et restrictive afin d'éviter toute faille susceptible de compromettre la protection des droits fondamentaux dans l'ensemble de l'UE. La Commission européenne et les autorités nationales doivent surveiller de près la manière dont les filtres sont utilisés. Si nécessaire, la Commission doit réviser les règles afin d'éviter toute utilisation abusive.
• Des orientations claires en matière d'analyses d'impact sur les droits fondamentaux: des orientations claires et cohérentes sont nécessaires pour garantir que les évaluations des risques liés aux systèmes d'IA à haut risque protègent efficacement tous les droits fondamentaux, au-delà des droits à la vie privée, à la protection des données et à la non-discrimination. Le recensement et l'atténuation des risques pour les droits fondamentaux favoriseront une innovation responsable et une concurrence loyale en aidant les fournisseurs à créer une IA de meilleure qualité et plus digne de confiance.
• D'investir dans une meilleure compréhension des risques et des mesures d'atténuation: la Commission européenne et les pays de l'UE devraient investir dans des études et des essais sur les systèmes d'IA, en particulier dans les domaines à haut risque, en vue d'une meilleure compréhension des risques liés aux droits fondamentaux et de pratiques d'atténuation efficaces, ce qui faciliterait la mise en œuvre du règlement sur l'IA.
• D'assurer une surveillance adéquate: les auto-évaluations sont importantes, mais elles ne fonctionnent que lorsqu'elles sont soutenues par un contrôle indépendant exercé par des organismes dotés de ressources suffisantes et possédant une expertise en matière de droits fondamentaux. L'UE et ses États membres doivent veiller à ce que les autorités de contrôle disposent d'un financement, de personnel et d'un appui technique suffisants pour superviser efficacement l'utilisation des systèmes d'IA.

Citation de la directrice de la FRA Sirpa Rautio :

« Évaluer les risques liés aux droits fondamentaux constitue une bonne pratique et est bénéfique pour les entreprises. Cette démarche contribue à la mise en place d'une IA digne de confiance au service des personnes et crée une sécurité juridique pour les entreprises. Ce type d'évaluation permet également de concrétiser l'engagement pris par l'UE en faveur de l'innovation et de rester compétitif sans renier aucune valeur ou norme. La simplification de la réglementation est la bienvenue, mais pas au détriment des droits fondamentaux, en particulier dans les domaines à haut risque. »

Les entretiens menés en vue d'élaborer ce rapport ont été achevés avant que la Commission européenne ne publie la proposition de train de mesures omnibus sur le numérique le 19 novembre 2025. Les conclusions du rapport n'abordent donc pas directement celle-ci.

Le rapport s'appuie sur des entretiens menés auprès de fournisseurs et de déployeurs de systèmes d'IA ainsi que d'experts en IA en Allemagne, en Irlande, aux Pays-Bas, en Espagne et en Suède. Il s'achève par les enseignements tirés des entretiens menés avec des groupes cibles et des titulaires de droits.

Le rapport se fonde sur les précédents rapports de la FRA concernant l'intelligence artificielle et les droits fondamentaux, et les biais des algorithmes, qui mettent en évidence la manière dont l'IA affecte tous les droits fondamentaux, et pas seulement le droit à la vie privée ou à la protection des données.

Pour obtenir de plus amples informations, veuillez envoyer un message à l'adresse : [email protected] / Tél. : +43 1 580 30 642

Interviews for this report and its contents were finalised before the European Commission issued the Digital Omnibus proposal on 19 November 2025. The report's findings do not directly address the Digital Omnibus proposal.

The report is based on interviews with providers and deployers of AI systems and AI experts in Germany, Ireland, the Netherlands, Spain and Sweden. Insights from focus groups and interviews with rightsholders complement the analysis.

It builds on FRA's previous reports on artificial intelligence and fundamental rights, and on bias in algorithms which highlight how AI affects all fundamental rights, not just privacy or data protection.

For more, please contact: [email protected] / Tel.: +43 1 580 30 642