Un article de Nature analyse les efforts des chercheurs pour comprendre l’organisation des grands modèles de langage d’intelligence artificielle (IA). Selon les experts, les systèmes informatiques deviennent si complexes qu’il est difficile de suivre leur fonctionnement.

Plus précisément, ce qui semble inquiéter les scientifiques est que la dernière vague d’IA s’appuie fortement sur l’apprentissage automatique, qui propulse les agents conversationnels (chatbots) tels que ChatGPT. Dans ce cas-ci, le logiciel identifie lui-même les modèles dans les données, sans se voir imposer des règles prédéterminées quant à la manière d’organiser ou de classer les informations. Le problème est que ces schémas peuvent être impénétrables pour les humains.

Nature explique que les systèmes d’apprentissage automatique les plus avancés utilisent des réseaux de neurones qui, à l’instar du cerveau humain, établissent de nouvelles connexions à mesure qu’ils apprennent. Puisque la logique derrière cette dynamique échappe à la compréhension des chercheurs, on parle de ces systèmes intelligents comme de « boîtes noires ». Cette contrainte met en relief le domaine de l’IA explicable (XAI), qui offrirait aux chercheurs des outils capables d’aider à la rétro-ingénierie des systèmes d’IA. Il serait ainsi possible, dit-on, de mieux comprendre le comportement de l’IA.

Nature mentionne que l’explicabilité s’avère un besoin criant pour toute sorte de publics :

• pour les chercheurs (à qui les explications permettraient de concevoir une IA plus sûre, plus efficace et plus précise);
• pour les utilisateurs (qui veulent savoir quand faire confiance aux résultats d’un agent conversationnel);
• pour les régulateurs (qui ont besoin de savoir quels garde-fous en matière d’IA mettre en place).

Cependant, les scientifiques se heurtent à la complexité ahurissante des grands modèles de langage (GML), qui peuvent avoir des centaines de milliards de « paramètres » correspondant aux variables que l’IA utilise pour prendre des décisions.

Cette complexité a de quoi inquiéter, alors que l’utilisation des GML est de plus en plus répandue. Nature signale que les gens les utilisent pour demander des conseils médicaux, écrire du code informatique, faire le point sur l’actualité, rédiger des articles universitaires, et bien plus encore. En même temps, il y a toujours un risque que ces modèles puissent générer de la désinformation, perpétuer des stéréotypes sociaux et divulguer des informations privées.

Ainsi donc, Nature mentionne qu’il existe de multiples approches visant à comprendre le comportement de l’IA. Par exemple, certains scientifiques utilisent ce qu’on appelle la « psychologie des machines », qui traite un GML comme un sujet humain. L’objectif est de s’engager dans une conversation afin de mettre en lumière des comportements sophistiqués qui émergent de simples calculs sous-jacents.

D’autres chercheurs explorent le fonctionnement interne des GML en les interrogeant afin d’examiner les patrons d’activation de leurs réseaux neuronaux. Il s’agit d’une technique qui, aux dires des chercheurs, s’apparente à un examen de neuro-imagerie chez les humains, où l’on analyse la réaction des neurones par le biais de requêtes de vérité ou de mensonge. Cela permettrait aux chercheurs de créer une représentation mathématique de la véracité.