OpenAI a conçu un outil pour comprendre le fonctionnement des modèles de langage, qui sont considérés comme une boîte noire
TechCrunch souligne la conception de nouveaux outils qui devraient rendre plus compréhensible le fonctionnement des grands modèles de langage comme ChatGPT d'OpenAI. En effet, ces modèles sont souvent vus comme une boîte noire, car, semble-t-il, il est parfois difficile, même pour les scientifiques des données, de comprendre comment ils aboutissent à certains résultats.
C'est dans le but de répondre à ces inquiétudes qu'OpenAI est en train de développer un outil capable, dit-on, d'identifier automatiquement quelles composantes d'un grand modèle de langage sont responsables de chacun de ses comportements. Quoique les ingénieurs soulignent que cette innovation n'en est qu'à ses débuts, le code pour l'exécuter serait déjà disponible en source ouverte sur GitHub.
Ultimement, aux dires des experts, l'objectif de cet outil est d'anticiper les problèmes qui pourraient survenir dans un système d'IA afin de pouvoir faire confiance aux aptitudes d'un modèle de langage et aux réponses qu'il propose. Pour atteindre ces objectifs, la solution proposée par OpenAI utilise un modèle de langage complexe qui est capable de comprendre les fonctions des composants d'autres modèles de langage plus simples sur le plan architectural.
Dans le détail, TechCrunch explique qu'à l'instar du comportement des neurones, l'outil d'OpenAI décompose les modèles de langage en leurs éléments individuels afin de cibler, après l'exécution de plusieurs séquences, les neurones qui s'activent le plus fréquemment. Dans une deuxième étape, ces configurations actives de neurones actives sont analysées par GPT-4 – le dernier modèle d'IA générative d'OpenAI –, qui serait donc en mesure d'offrir une explication sur leur comportement en langage naturel.
TechCrunch signale que cette innovation permettrait aux experts de concevoir une notation indiquant dans quelle mesure l'explication proposée par GPT-4 correspond au comportement réel des neurones activés. Nature mentionne que grâce à cet outil, des chercheurs ont été en mesure de générer des explications pour 307 200 neurones de GPT-2, dans un ensemble de données qui a été publié avec le code du susdit outil.
Les spécialistes pensent que des outils comme GPT-4 pourraient un jour être utilisés pour améliorer les performances d'un grand modèle de langage. Ainsi, il serait possible d'épurer les modèles de langage et, par exemple, de réduire les biais. Cela dit, il semble qu'il reste encore un long chemin à parcourir avant de pouvoir compter sur un outil absolument opérationnel, car cet outil n'était confiant dans ses explications que pour environ 1 000 des neurones, ce qui est une petite fraction du total.
Les critiques de cette initiative estiment que cette innovation n'est qu'une manœuvre publicitaire pour GPT-4, car il y aurait d'autres outils d'interprétabilité qui dépendent moins des API commerciales, comme Tracr de DeepMind, un compilateur qui traduit les programmes en modèles de réseaux neuronaux.
TechCrunch souligne la conception de nouveaux outils qui devraient rendre plus compréhensible le fonctionnement des grands modèles de langage comme ChatGPT d'OpenAI. En effet, ces modèles sont souvent vus comme une boîte noire, car, semble-t-il, il est parfois difficile, même pour les scientifiques des données, de comprendre comment ils aboutissent à certains résultats.
C'est dans le but de répondre à ces inquiétudes qu'OpenAI est en train de développer un outil capable, dit-on, d'identifier automatiquement quelles composantes d'un grand modèle de langage sont responsables de chacun de ses comportements. Quoique les ingénieurs soulignent que cette innovation n'en est qu'à ses débuts, le code pour l'exécuter serait déjà disponible en source ouverte sur GitHub.
Ultimement, aux dires des experts, l'objectif de cet outil est d'anticiper les problèmes qui pourraient survenir dans un système d'IA afin de pouvoir faire confiance aux aptitudes d'un modèle de langage et aux réponses qu'il propose. Pour atteindre ces objectifs, la solution proposée par OpenAI utilise un modèle de langage complexe qui est capable de comprendre les fonctions des composants d'autres modèles de langage plus simples sur le plan architectural.
Dans le détail, TechCrunch explique qu'à l'instar du comportement des neurones, l'outil d'OpenAI décompose les modèles de langage en leurs éléments individuels afin de cibler, après l'exécution de plusieurs séquences, les neurones qui s'activent le plus fréquemment. Dans une deuxième étape, ces configurations actives de neurones actives sont analysées par GPT-4 – le dernier modèle d'IA générative d'OpenAI –, qui serait donc en mesure d'offrir une explication sur leur comportement en langage naturel.
TechCrunch signale que cette innovation permettrait aux experts de concevoir une notation indiquant dans quelle mesure l'explication proposée par GPT-4 correspond au comportement réel des neurones activés. Nature mentionne que grâce à cet outil, des chercheurs ont été en mesure de générer des explications pour 307 200 neurones de GPT-2, dans un ensemble de données qui a été publié avec le code du susdit outil.
Les spécialistes pensent que des outils comme GPT-4 pourraient un jour être utilisés pour améliorer les performances d'un grand modèle de langage. Ainsi, il serait possible d'épurer les modèles de langage et, par exemple, de réduire les biais. Cela dit, il semble qu'il reste encore un long chemin à parcourir avant de pouvoir compter sur un outil absolument opérationnel, car cet outil n'était confiant dans ses explications que pour environ 1 000 des neurones, ce qui est une petite fraction du total.
Les critiques de cette initiative estiment que cette innovation n'est qu'une manœuvre publicitaire pour GPT-4, car il y aurait d'autres outils d'interprétabilité qui dépendent moins des API commerciales, comme Tracr de DeepMind, un compilateur qui traduit les programmes en modèles de réseaux neuronaux.