[ DÉCRYPTAGE ] FRANCE : L’équité algorithmique, nouveau défi des banques face à l’IA

L’ intelligence artificielle promet de rendre les banques et les compagnies d’assurance plus efficaces. Mais elle pose aussi une question fondamentale : un algorithme peut-il discriminer sans en avoir l’intention ? C’est précisément à cette interrogation que répond le document de réflexion publié par l’ Autorité de contrôle prudentiel et de résolution (ACPR).

En ouvrant une consultation publique sur l’équité algorithmique, le superviseur bancaire français prépare l’entrée en application de l’AI Act européen dans les services financiers et esquisse ce qui pourrait devenir, demain, le référentiel de contrôle des systèmes d’intelligence artificielle utilisés par les établissements financiers.

Plus qu’un simple document technique, cette publication marque une évolution majeure : l’équité des algorithmes devient un véritable enjeu de gouvernance.

Une nouvelle génération de discriminations

Le droit interdit depuis longtemps les discriminations fondées sur l’âge, le sexe, l’origine ou l’état de santé. Pourtant, avec l’intelligence artificielle, ces discriminations peuvent apparaître sous des formes beaucoup plus difficiles à détecter. Contrairement à une décision humaine, un algorithme n’utilise pas nécessairement une donnée sensible de manière explicite. Il peut en revanche la reconstituer indirectement grâce à d’autres variables.

Un code postal peut révéler une origine sociale. Des habitudes de consommation peuvent renseigner sur l’état de santé. Un historique bancaire peut laisser deviner l’âge ou la situation familiale. Ces corrélations statistiques ne sont pas toujours illégales, mais elles peuvent conduire à des traitements injustifiés.

L’ACPR rappelle ainsi que le véritable risque ne réside pas seulement dans les données utilisées, mais dans les relations invisibles que les modèles apprennent à exploiter.

Toutes les différences de traitement ne sont pas discriminatoires

L’un des principaux apports du document est de rappeler une distinction souvent absente du débat public.

Dans le secteur financier, traiter différemment deux clients n’est pas nécessairement discriminatoire. Une banque peut refuser un crédit à un emprunteur présentant un risque élevé. Un assureur peut appliquer une prime différente selon le niveau de risque couvert.

Ces différences reposent sur des critères économiques légitimes.

Le véritable enjeu consiste donc à distinguer trois notions souvent confondues :

• une disparité, qui correspond à une différence statistique observée entre plusieurs groupes ;
• un biais, lorsqu’une différence révèle une déviation systématique du modèle ;
• une discrimination, lorsque ce biais devient juridiquement ou éthiquement inacceptable.

Cette clarification est essentielle : constater une différence de traitement ne suffit pas à conclure à une discrimination.

L’illusion de l’algorithme neutre

Le document balaie également une idée longtemps dominante : celle selon laquelle il suffirait de supprimer les variables sensibles pour garantir l’équité d’un modèle. Cette approche, qualifiée « d’équité par l’ignorance », est aujourd’hui largement remise en cause.

Les chercheurs montrent qu’un système d’IA peut retrouver indirectement ces informations grâce à d’autres variables fortement corrélées. Pour contrôler les discriminations, il devient parfois nécessaire… de connaître les caractéristiques sensibles des personnes concernées.

L’AI Act autorise d’ailleurs, sous certaines conditions strictes, l’utilisation de ces données lorsqu’elles servent exclusivement à détecter ou corriger les biais.

Un paradoxe qui illustre la complexité croissante de la gouvernance algorithmique.

Une équité impossible à optimiser parfaitement

L’une des parties les plus intéressantes du document concerne les limites mathématiques de l’équité.

Les chercheurs distinguent aujourd’hui trois grandes familles d’indicateurs :

• la parité des décisions prises ;
• la parité des erreurs commises ;
• la cohérence prédictive des résultats.

Chacune poursuit un objectif différent.

Le problème est qu’il est généralement impossible de satisfaire simultanément ces trois critères.

Ce résultat, connu sous le nom de théorème d’impossibilité, oblige les établissements financiers à faire des arbitrages.

Chercher davantage d’équité peut réduire les performances du modèle. Améliorer la précision peut, au contraire, accroître certaines disparités.

Autrement dit, il n’existe pas d’algorithme parfaitement juste.

Corriger un biais ne relève pas uniquement de la technique

Le document passe ensuite en revue les différentes méthodes utilisées pour réduire les biais.

Certaines consistent à modifier les données avant l’entraînement du modèle. D’autres imposent des contraintes directement pendant l’apprentissage. Une troisième approche ajuste les décisions après coup.

Aucune solution n’est idéale.

L’ACPR insiste également sur un point souvent négligé : la mesure des biais reste une estimation statistique. Les résultats varient selon la taille des échantillons, la qualité des données ou encore les paramètres d’entraînement.

Le superviseur recommande donc d’accompagner toute analyse d’intervalles de confiance et de tests de robustesse afin d’éviter des conclusions hâtives.

Une question de gouvernance avant d’être une question informatique

L’un des messages les plus forts du document est sans doute que l’équité algorithmique ne peut être laissée aux seuls data scientists.

Déterminer le niveau de risque acceptable, choisir les indicateurs d’équité, définir des seuils d’alerte ou arbitrer entre performance économique et non-discrimination relèvent avant tout de décisions stratégiques.

L’ACPR appelle ainsi les établissements à mettre en place une gouvernance associant directions générales, responsables des risques, juristes, métiers et équipes techniques.

L’équité devient une responsabilité collective.

Déjà penser à l’IA générative

Enfin, le document ouvre une réflexion prospective sur les modèles génératifs.

Les méthodes utilisées pour auditer un modèle de scoring de crédit ne suffisent plus lorsqu’il s’agit d’évaluer un grand modèle de langage.

Les biais ne résident plus uniquement dans les décisions prises, mais aussi dans les représentations internes du modèle, dans les réponses générées et dans les usages qui en seront faits.

L’ACPR propose ainsi une approche en trois niveaux : analyser les représentations internes du modèle, observer son comportement face à différents scénarios, puis mesurer les effets concrets de ses réponses lorsqu’elles alimentent une décision humaine.

Une feuille de route pour la finance de demain

Avec ce document de réflexion, l’ACPR franchit une étape importante dans la préparation du secteur financier à l’AI Act. Plus qu’un guide méthodologique, le texte montre que l’équité algorithmique ne se résume pas à un problème technique. Elle suppose des arbitrages entre performance, inclusion, transparence et sécurité juridique.

En rappelant qu’aucune métrique universelle ne permet de définir un algorithme « juste », le superviseur invite les établissements à documenter leurs choix, à renforcer leur gouvernance et à intégrer l’évaluation des biais tout au long du cycle de vie des systèmes d’IA. À mesure que les modèles deviennent plus puissants et plus autonomes, cette capacité à démontrer l’équité des décisions algorithmiques pourrait devenir l’un des principaux critères de confiance dans la finance numérique.