Dans son analyse des risques algorithmiques, un article de la MITSloan Management Review attire l’attention sur un ensemble de cadres d’évaluation qui, dit-on, pourraient aider les organisations, même celles non techniques, à vérifier le fonctionnement de leurs outils d’intelligence artificielle (IA).

En effet, alors que les outils intelligents prennent en charge de plus en plus de processus bureaucratiques, on commence à se demander si ces systèmes hautement sophistiqués vont toujours fonctionner comme prévu ou s’ils pourraient faire du mal involontairement.

Conséquemment, il devient pertinent d’auditer les risques algorithmiques afin d’identifier les scénarios de défaillance pour les personnes susceptibles d’être lésées par un système algorithmique, puis de trouver comment les surveiller. Cela s’applique aussi aux grands modèles de langage, dont la complexité repose non seulement sur les aspects techniques liés à leur conception, mais également sur la multitude de cas où ils sont utilisés.

Essentiellement, l’article propose la mise en place d’une « matrice éthique » qui pourrait s’appliquer à tout système basé sur des règles susceptibles d’affecter des parties prenantes dans le contexte de son utilisation prévue. Il est question donc de l’IA générative, des scores de risque des mégadonnées ou des processus bureaucratiques décrits dans un organigramme. La conception de ce cadre d’audit nécessite la contribution de diverses parties prenantes, y compris les communautés concernées et les experts du domaine, qui doivent s’engager dans des discussions inclusives et non techniques.

Concrètement, suite à la description d’un système d’IA, on demande aux représentants de chaque groupe de parties prenantes concernées comment il pourrait échouer et quelles seraient les conséquences, à la fois positives et négatives, pour eux. Chaque cellule de la matrice éthique doit donc représenter la manière dont une préoccupation particulière s’applique à un groupe de parties prenantes particulier.

Pour juger le calibre d’un risque, la matrice éthique évalue :

• la probabilité qu’il se concrétise;
• le nombre de personnes concernées;
• les implications de ce risque;
• les contraintes juridiques ou procédurales.

Ensuite, les cellules de la matrice sont codées par couleur afin de mettre en relief les risques les plus importants et les plus urgents.

Il est à noter que les cellules codées en rouge représentent des « risques existentiels », où il y a une grande probabilité qu’une partie prenante soit gravement lésée ou que l’algorithme transgresse une contrainte stricte. Les cellules en jaune sont celles qui soulèvent des inquiétudes éthiques chez la partie prenante. Enfin, les cellules qui satisfont les objectifs de la partie prenante et ne soulèvent aucune inquiétude sont surlignées en vert.

Selon l’article, cette matrice éthique doit être vue comme un document évolutif dont le contenu est conditionnel à une conversation continue entre les parties prenantes. Elle doit être conçue pendant la phase de conception et de développement d’une application algorithmique ou, au minimum, au fur et à mesure de son déploiement.