Les coûts de formation de l’intelligence artificielle générative grimpent en flèche
Les observateurs constatent l’augmentation des coûts liés à l’intelligence artificielle (IA) générative depuis un moment déjà. Un article de Nature (février 2024) mettait en garde quant à la possibilité d’une crise énergétique en raison de la consommation démesurée d’énergie et d’eau que demanderait la prochaine vague de systèmes d’IA générative. Par exemple, il soulignait des recherches suggérant que l’énergie consommée par ChatGPT, créé par OpenAI à San Francisco, en Californie, équivalait à la consommation de 33 000 foyers.
Faisant toujours état de la tendance à la hausse des coûts de l’IA, un article récent de Fortunesignale des coûts supplémentaires. Apparemment, la création de modèles d’IA massifs peut coûter des centaines de millions de dollars, et les projections suggèrent que le montant pourrait atteindre le milliard de dollars d’ici quelques années. Cette évolution serait attribuable, en partie, aux dépenses que doivent engager les entreprises pour se procurer la puissance des puces spécialisées, souvent des processeurs graphiques Nvidia. Ces puces, qui peuvent coûter jusqu’à 30 000 dollars chacune, sont utilisées massivement, parfois par dizaines de milliers.
Les entreprises doivent cependant faire face aux coûts croissants liés à l’étiquetage des données, étape incontournable pour la formation des grands modèles de langage. Il s’agit, dit-on, d’un processus très laborieux, à forte intensité de main-d’œuvre, où l’on identifie des objets dans les données brutes – les images, les vidéos, les fichiers audio ou le texte –, puis on les étiquette pour aider le modèle d’apprentissage automatique à faire des prédictions et des estimations précises.
Ce processus d’étiquetage utilise actuellement la technique appelée « apprentissage par renforcement avec rétroaction humaine », par laquelle des humains fournissent un retour d’information qualitatif ou des classements sur la base de ce que le modèle produit. Apparemment, il s’agirait d’un facteur qui explique la hausse des coûts, tout comme l’effort impliqué dans l’étiquetage des données privées que les entreprises veulent intégrer dans leurs modèles d’IA, telles que les informations sur les clients ou les données internes de l’entreprise.
D’ailleurs, l’étiquetage de données hautement techniques et de niveau expert dans des domaines très spécialisés – tels que le droit, la finance et la santé – fait également grimper les dépenses. En effet, dans l’élaboration de leurs modèles, certaines entreprises embauchent à grand prix des médecins, des avocats, des titulaires de doctorats en philosophie et des scientifiques pour étiqueter certaines données. Est à noter le phénomène de la sous-traitance à des sociétés tierces telles que Scale AI, qui a récemment obtenu un financement stupéfiant d’un milliard de dollars.
L’article note que ces coûts très élevés peuvent créer des problèmes budgétaires pour les jeunes pousses technologiques qui se développent dans des domaines clés comme celui de la santé. C’est le cas, par exemple, de CareYaya, une plateforme censée devenir le premier formateur d’aidants au monde pour les patients atteints de démence, qui a dû faire face à une hausse de 40 % des coûts d’étiquetage des données au cours de l’année écoulée.
Les observateurs constatent l’augmentation des coûts liés à l’intelligence artificielle (IA) générative depuis un moment déjà. Un article de Nature (février 2024) mettait en garde quant à la possibilité d’une crise énergétique en raison de la consommation démesurée d’énergie et d’eau que demanderait la prochaine vague de systèmes d’IA générative. Par exemple, il soulignait des recherches suggérant que l’énergie consommée par ChatGPT, créé par OpenAI à San Francisco, en Californie, équivalait à la consommation de 33 000 foyers.
Faisant toujours état de la tendance à la hausse des coûts de l’IA, un article récent de Fortunesignale des coûts supplémentaires. Apparemment, la création de modèles d’IA massifs peut coûter des centaines de millions de dollars, et les projections suggèrent que le montant pourrait atteindre le milliard de dollars d’ici quelques années. Cette évolution serait attribuable, en partie, aux dépenses que doivent engager les entreprises pour se procurer la puissance des puces spécialisées, souvent des processeurs graphiques Nvidia. Ces puces, qui peuvent coûter jusqu’à 30 000 dollars chacune, sont utilisées massivement, parfois par dizaines de milliers.
Les entreprises doivent cependant faire face aux coûts croissants liés à l’étiquetage des données, étape incontournable pour la formation des grands modèles de langage. Il s’agit, dit-on, d’un processus très laborieux, à forte intensité de main-d’œuvre, où l’on identifie des objets dans les données brutes – les images, les vidéos, les fichiers audio ou le texte –, puis on les étiquette pour aider le modèle d’apprentissage automatique à faire des prédictions et des estimations précises.
Ce processus d’étiquetage utilise actuellement la technique appelée « apprentissage par renforcement avec rétroaction humaine », par laquelle des humains fournissent un retour d’information qualitatif ou des classements sur la base de ce que le modèle produit. Apparemment, il s’agirait d’un facteur qui explique la hausse des coûts, tout comme l’effort impliqué dans l’étiquetage des données privées que les entreprises veulent intégrer dans leurs modèles d’IA, telles que les informations sur les clients ou les données internes de l’entreprise.
D’ailleurs, l’étiquetage de données hautement techniques et de niveau expert dans des domaines très spécialisés – tels que le droit, la finance et la santé – fait également grimper les dépenses. En effet, dans l’élaboration de leurs modèles, certaines entreprises embauchent à grand prix des médecins, des avocats, des titulaires de doctorats en philosophie et des scientifiques pour étiqueter certaines données. Est à noter le phénomène de la sous-traitance à des sociétés tierces telles que Scale AI, qui a récemment obtenu un financement stupéfiant d’un milliard de dollars.
L’article note que ces coûts très élevés peuvent créer des problèmes budgétaires pour les jeunes pousses technologiques qui se développent dans des domaines clés comme celui de la santé. C’est le cas, par exemple, de CareYaya, une plateforme censée devenir le premier formateur d’aidants au monde pour les patients atteints de démence, qui a dû faire face à une hausse de 40 % des coûts d’étiquetage des données au cours de l’année écoulée.