Une crise de reproductibilité affecterait la précision prédictive de certains modèles d’apprentissage automatique
Selon Nature, la précision prédictive offerte par la modélisation des données à l’aide de l’apprentissage automatique pourrait être exagérée. Apparemment, il y aurait ce que deux chercheurs de l’Université de Princeton, Kapoor et Narayanan, appellent une « crise de reproductibilité » dans les sciences basées sur l’apprentissage automatique.
Lorsqu’on parle de reproductibilité, on fait référence à la possibilité que d’autres équipes de chercheurs reproduisent les résultats d’un modèle, compte tenu de toutes les conditions contextuelles. Ainsi donc, un modèle serait non reproductible lorsque les chercheurs commettent des erreurs dans l’analyse des données. Éventuellement, cela pourrait se répercuter dans le pouvoir prédictif des modèles de données, et donc les affirmations de nombreuses études seraient exagérées.
Il est à noter d’ailleurs que les techniques prédictives offertes par l’apprentissage automatique sont appliquées, de plus en plus, dans toute sorte de domaines, allant de la biomédecine aux sciences politiques. C’est pourquoi la subjectivité dans le jugement des erreurs, dit-on, serait inévitable. Selon certains, il faudrait avoir une connaissance approfondie du domaine dans lequel l’apprentissage automatique est appliqué pour saisir des problèmes de reproductibilité. Cela explique pourquoi il y a des chercheurs qui pensent que les critères avancés par Kapoor et Narayanan sont trop contraignants.
Il n’en reste pas moins qu’après avoir analysé 20 revues dans 17 domaines de recherche, Kapoor et Narayanan ont réussi à cibler 329 articles de recherche dont les résultats ne pouvaient être entièrement reproduits en raison de problèmes d’application de l’apprentissage automatique. Les chercheurs précisent que les échecs ne sont la faute d’aucun chercheur individuel, mais découleraient plutôt de certains problèmes d’inattention, notamment, la fuite de données.
Cela se produit lorsque les informations de l’ensemble de données qui est utilisé pour l’apprentissage d’un modèle prédictif incluent des données qui seront utilisées ultérieurement pour juger de son efficacité. Éventuellement, si par mégarde ces données ne sont pas exclues, le modèle, qui a déjà analysé les réponses, offrira des prédictions d’une précision artificiellement supérieure.
Apparemment, il y aurait huit types principaux de fuites de données face auxquels les chercheurs devraient être vigilants. Quelques-uns, comme la fuite temporelle, sont très subtils. Celle-ci se produit lorsqu’on introduit dans les données d’apprentissage (training set data) des points postérieurs à ceux utilisés pendant le test. Dans de tels cas, les algorithmes d’apprentissage automatique pourraient, en effet, voir l’avenir et faire des prédictions très justes.
Kapoor et Narayanan estiment que pour lutter contre les fuites de données, les chercheurs devraient attester que leurs modèles n’ont été affectés par aucun des huit types de fuites. Cela pourrait se faire au moyen d’un modèle qu’ils appellent des fiches « d’informations sur le modèle ».
Selon Nature, la précision prédictive offerte par la modélisation des données à l’aide de l’apprentissage automatique pourrait être exagérée. Apparemment, il y aurait ce que deux chercheurs de l’Université de Princeton, Kapoor et Narayanan, appellent une « crise de reproductibilité » dans les sciences basées sur l’apprentissage automatique.
Lorsqu’on parle de reproductibilité, on fait référence à la possibilité que d’autres équipes de chercheurs reproduisent les résultats d’un modèle, compte tenu de toutes les conditions contextuelles. Ainsi donc, un modèle serait non reproductible lorsque les chercheurs commettent des erreurs dans l’analyse des données. Éventuellement, cela pourrait se répercuter dans le pouvoir prédictif des modèles de données, et donc les affirmations de nombreuses études seraient exagérées.
Il est à noter d’ailleurs que les techniques prédictives offertes par l’apprentissage automatique sont appliquées, de plus en plus, dans toute sorte de domaines, allant de la biomédecine aux sciences politiques. C’est pourquoi la subjectivité dans le jugement des erreurs, dit-on, serait inévitable. Selon certains, il faudrait avoir une connaissance approfondie du domaine dans lequel l’apprentissage automatique est appliqué pour saisir des problèmes de reproductibilité. Cela explique pourquoi il y a des chercheurs qui pensent que les critères avancés par Kapoor et Narayanan sont trop contraignants.
Il n’en reste pas moins qu’après avoir analysé 20 revues dans 17 domaines de recherche, Kapoor et Narayanan ont réussi à cibler 329 articles de recherche dont les résultats ne pouvaient être entièrement reproduits en raison de problèmes d’application de l’apprentissage automatique. Les chercheurs précisent que les échecs ne sont la faute d’aucun chercheur individuel, mais découleraient plutôt de certains problèmes d’inattention, notamment, la fuite de données.
Cela se produit lorsque les informations de l’ensemble de données qui est utilisé pour l’apprentissage d’un modèle prédictif incluent des données qui seront utilisées ultérieurement pour juger de son efficacité. Éventuellement, si par mégarde ces données ne sont pas exclues, le modèle, qui a déjà analysé les réponses, offrira des prédictions d’une précision artificiellement supérieure.
Apparemment, il y aurait huit types principaux de fuites de données face auxquels les chercheurs devraient être vigilants. Quelques-uns, comme la fuite temporelle, sont très subtils. Celle-ci se produit lorsqu’on introduit dans les données d’apprentissage (training set data) des points postérieurs à ceux utilisés pendant le test. Dans de tels cas, les algorithmes d’apprentissage automatique pourraient, en effet, voir l’avenir et faire des prédictions très justes.
Kapoor et Narayanan estiment que pour lutter contre les fuites de données, les chercheurs devraient attester que leurs modèles n’ont été affectés par aucun des huit types de fuites. Cela pourrait se faire au moyen d’un modèle qu’ils appellent des fiches « d’informations sur le modèle ».