Résumé : l’explicabilité de l’IA, une obligation réglementaire avant la première ligne de code
Quand un algorithme refuse un crédit, bloque un virement ou écarte un candidat d’un processus de recrutement par exemple, l’entreprise doit pouvoir justifier cette décision (à un client, un régulateur, et parfois même à un juge). L’article 22 du RGPD et l’AI Act en font une exigence opposable, qui s’impose dès la conception d’une IA (et pas seulement au moment du déploiement).
- 2 questions à ne pas confondre : l’observabilité trace ce que le modèle fait en production (données entrées, sortie produite, cheminement). Mais la façon dont ce même modèle a été construit (données d’entraînement, biais, ajustement des paramètres) reste souvent hors de portée dès qu’on s’appuie sur un modèle de fondation tiers.
- L’usage d’un modèle souverain ne règle pas tout : choisir Mistral va par exemple réduire la dépendance aux acteurs non-européens et faciliter un hébergement conforme, mais ce choix ne donne pas pour autant accès à la traçabilité du pré-entraînement. La valeur se joue en aval, dans l’instrumentation des prompts, des réponses et des dérives.
- Le choix de l’algorithme se révèle plus structurant qu’il n’y paraît : le deep learning et les grands modèles ne s’imposent pas toujours. Sur des variables connues et structurées, un modèle classique égale leurs performances tout en restant lisible et défendable devant un auditeur.
- Pas d’explicabilité sans lignage de la donnée : documenter le parcours de chaque donnée, de sa source à son usage dans le modèle, reste incontournable dans le cadre d’une démarche XAI (explicabilité de l’IA). Le raisonnement ne sera pas possible à reconstituer avec des origines floues et/ou des transformations non documentées.
L’enjeu : la reprise d’une architecture existante pour y intégrer l’explicabilité nécessite bien plus de temps qu’une conception correctement pensée dès le départ.
Quand un algorithme de scoring refuse un dossier de crédit, bloque un virement ou élimine un candidat à l’embauche, l’entreprise qui exploite ce système doit être en mesure d’expliquer ce choix… Pas à la machine, mais à un client, à un régulateur, ou même à un juge : le droit français et européen l’exige explicitement.
En effet, l’article 22 du RGPD interdit toute décision entièrement automatisée produisant des effets significatifs sur une personne physique, sauf à garantir un droit d’explication opposable.
En parallèle, l’AI Act, en vigueur depuis août 2024, va plus loin pour les systèmes dits à haut risque (finance, RH, santé, éducation) en imposant des exigences de transparence et d’auditabilité qui s’appliquent dès la phase de conception. Ces secteurs sont précisément ceux où les décisions algorithmiques sont les plus fréquentes et les plus conséquentes.
Dans ce contexte, l’explicabilité de l’IA devient une obligation réglementaire dans tout projet de déploiement, avant même la première ligne de code.
Construction et fonctionnement en production : deux enjeux à ne pas confondre
L’explicabilité d’une décision IA recouvre deux problématiques distinctes, que beaucoup d’organisations traitent comme une seule… Et c’est souvent là que les projets déraillent !
La première porte sur ce que le modèle fait en production : quelles données sont entrées, quelle sortie a été produite, et par quel cheminement. C’est le domaine de l’observabilité, qui permet de tracer les flux, de surveiller les dérives comportementales et de reconstituer le raisonnement du système à tout moment.
La seconde porte sur la façon dont le modèle a été construit : données d’entraînement, biais potentiels, méthodologie d’ajustement des paramètres. Malheureusement, dès lors qu’on utilise un modèle de fondation tiers, cette question devient potentiellement hors de portée. Un point que beaucoup d’entreprises découvrent trop tard dans leurs projets.
Cadrez votre projet dès le départ
Construisez des projets IA qui mettent à contribution la tech et les métiers, afin d’envisager un déploiement sécurisé dans votre organisation, qui répond réellement à vos besoins spécifiques et cas d’usage.
Pourquoi le choix d’un modèle souverain ne suffit pas
Le choix d’un modèle français comme Mistral apparaît comme une décision stratégique pertinente. En effet, il s’agit d’un bon moyen de réduire la dépendance aux acteurs non-européens, tout en facilitant l’hébergement sur des infrastructures conformes aux exigences en matière de localisation des données. Mais cette stratégie ne règle pas la question de l’explicabilité.
Concrètement, même avec un modèle plus transparent, l’entreprise n’a généralement pas accès à la traçabilité complète du préentraînement. En revanche, elle peut (et doit) instrumenter ce qui se passe en aval : comment le prompt est formulé et transmis, quelle réponse est générée, si cette réponse respecte les règles métier définies, et si le comportement du système évolue dans le temps. C’est au niveau de cette couche qu’une solution d’observabilité déploie sa valeur, indépendamment du modèle sous-jacent.
Appuyez-vous sur une IA savamment pilotée
Sigma vous accompagne dans le déploiement des bons outils pour capturer les flux, reconstruire les cheminements et même alerter sur les anomalies – que votre stack repose sur Mistral, un modèle propriétaire ou hybride.
Le choix de l’algorithme, une décision bien plus structurante qu’il n’y paraît
Votre projet IA ne doit pas forcément s’orienter vers du deep learning ou de grands modèles de langage – même si ce sont les technologies dont on parle le plus actuellement.
En effet, si ce choix peut être pleinement justifié dans certains cas, il se révèle parfois aussi complètement disproportionné, et même contre-productif. Il va par exemple vous porter préjudice du point de vue réglementaire, parce qu’il sacrifie l’explicabilité sans offrir de véritable gain de performance, tout en créant de la dette cognitive.
Exemple concret : un assureur souhaite modéliser le risque de résiliation (IA prédictive) avec des variables connues et structurées comme l’ancienneté, la sinistralité, le canal de souscription ou encore la fréquence des contrats. Sur ce type de données, un modèle classique (qui apprend des règles à partir de données historiques et peut ensuite indiquer précisément quelles variables ont pesé dans chaque décision) produit des résultats tout aussi bons qu’un grand modèle d’IA générative, avec un avantage décisif : ses conclusions sont lisibles et justifiables devant un auditeur ou un régulateur. Ici, le choix d’un modèle plus complexe n’apporterait pas de performance, mais rendrait chaque décision produite beaucoup plus difficile à expliquer et à défendre.
Faites-vous accompagner dès la phase initiale de votre projet IA
Sigma vous aiguille dans tous les arbitrages incontournables à poser en amont : quelles contraintes réglementaires s’appliquent, quelle est la criticité des décisions produites, quel niveau d’explication sera attendu par les parties prenantes ?
Sans traçabilité de la donnée, l’explicabilité reste une promesse
Les données sur lesquelles un modèle a été entraîné déterminent en grande partie ce qu’il sera possible d’expliquer plus tard. Si leur origine est floue, si les transformations appliquées ne sont pas documentées, alors il ne sera pas possible de reconstituer le raisonnement du modèle (pour un régulateur, un client qui conteste ou même une équipe interne qui reprend le projet).
C’est pourquoi le lignage de la donnée (documenter le parcours de chaque donnée depuis sa source jusqu’à son utilisation dans le modèle) conditionne la solidité de toute démarche XAI. Ce travail ne concerne pas que les grandes organisations disposant d’équipes data étoffées : toute entreprise qui prend des décisions algorithmiques s’y exposera tôt ou tard.
L’AI Act prévoit une échéance à août 2026 pour les systèmes à haut risque. Pour les acteurs de la finance, des ressources humaines ou de la santé, le temps disponible pour mettre en conformité les systèmes déjà en production est compté… Sans oublier que la reprise d’une architecture existante pour y intégrer l’explicabilité prend significativement plus de temps qu’une nouvelle conception.
Les entreprises qui s’y attellent maintenant se donnent les moyens de le faire avec le recul nécessaire pour faire les bons choix. Celles qui attendent se retrouveront à devoir justifier des décisions produites par des systèmes dont elles ont perdu la maîtrise ; une position inconfortable face à un régulateur, et difficilement défendable face à leurs clients.
À la une
Découvrez tous nos articles, webinaires et contenus sur la thématique de l’intelligence artificielle dans les entreprises.
