Pourquoi le pari des géants du numérique sur les assistants virtuels est si risqué
Selon un article de la MIT Technology Review, les entreprises technologiques n’ont pas résolu certains des problèmes persistants liés aux modèles de langage d’IA.
Depuis le début de l’essor de l’IA générative, les entreprises technologiques tentent fébrilement de trouver l’application phare pour cette technologie. Il s’agissait d’abord de la recherche en ligne, avec des résultats mitigés. Ce sont désormais les assistants virtuels. Récemment, OpenAI, Meta et Google ont lancé de nouvelles fonctionnalités pour leurs agents conversationnels, qui leur permettent d’effectuer des recherches sur le Web et d’agir comme une sorte d’assistant personnel.
Or, il s’agit d’un pari risqué, compte tenu des limites de la technologie. Les entreprises technologiques n’ont pas résolu certains des problèmes persistants liés aux modèles linguistiques de l’IA, comme leur propension à inventer des choses ou à « halluciner ». Mais ce qui est le plus préoccupant, c’est qu’il s’agit d’un désastre en matière de sécurité et de confidentialité. Les entreprises technologiques mettent cette technologie profondément défectueuse entre les mains de millions de personnes et permettent aux modèles d’IA d’accéder à des informations sensibles telles que leurs courriels, calendriers et messages privés. Ce faisant, elles nous rendent tous vulnérables aux escroqueries, à l’hameçonnage et au piratage à grande échelle.
Maintenant que les assistants virtuels ont accès aux informations personnelles et peuvent simultanément naviguer sur le Web, ils sont particulièrement sujets à un type d’attaque appelé « injection indirecte immédiate ». Ces attaques sont incroyablement faciles à exécuter, et il n’existe aucune solution connue à celles-ci.
Dans ce genre d’attaque, un tiers modifie un site Web en ajoutant du texte caché destiné à modifier le comportement de l’IA. Les attaquants pourraient utiliser les réseaux sociaux ou le courrier électronique pour diriger les utilisateurs vers des sites Web désignés. Une fois que cela se produit, le système d’IA pourrait être manipulé pour permettre à l’attaquant d’essayer d’extraire les informations de carte de crédit des personnes, par exemple. Avec cette nouvelle génération de modèles d’IA connectés aux réseaux sociaux et aux courriels, les possibilités pour les pirates sont infinies.
L’auteur de l’article a demandé à OpenAI, Google et Meta ce qu’ils faisaient pour se défendre contre les attaques par injection indirecte immédiate et les hallucinations. Meta n’a pas répondu à temps pour la publication et OpenAI n’a pas fait de commentaires officiels. Concernant la propension de l’IA à inventer des choses, un porte-parole de Google a déclaré que la société publiait Bard à titre « expérimental » et qu’elle permettait aux utilisateurs de vérifier les réponses de Bard à l’aide de la recherche Google. En ce qui concerne les attaques, Google a confirmé qu’il ne s’agissait pas d’un problème résolu et que cela demeurait un domaine de recherche actif.
Selon un article de la MIT Technology Review, les entreprises technologiques n’ont pas résolu certains des problèmes persistants liés aux modèles de langage d’IA.
Depuis le début de l’essor de l’IA générative, les entreprises technologiques tentent fébrilement de trouver l’application phare pour cette technologie. Il s’agissait d’abord de la recherche en ligne, avec des résultats mitigés. Ce sont désormais les assistants virtuels. Récemment, OpenAI, Meta et Google ont lancé de nouvelles fonctionnalités pour leurs agents conversationnels, qui leur permettent d’effectuer des recherches sur le Web et d’agir comme une sorte d’assistant personnel.
Or, il s’agit d’un pari risqué, compte tenu des limites de la technologie. Les entreprises technologiques n’ont pas résolu certains des problèmes persistants liés aux modèles linguistiques de l’IA, comme leur propension à inventer des choses ou à « halluciner ». Mais ce qui est le plus préoccupant, c’est qu’il s’agit d’un désastre en matière de sécurité et de confidentialité. Les entreprises technologiques mettent cette technologie profondément défectueuse entre les mains de millions de personnes et permettent aux modèles d’IA d’accéder à des informations sensibles telles que leurs courriels, calendriers et messages privés. Ce faisant, elles nous rendent tous vulnérables aux escroqueries, à l’hameçonnage et au piratage à grande échelle.
Maintenant que les assistants virtuels ont accès aux informations personnelles et peuvent simultanément naviguer sur le Web, ils sont particulièrement sujets à un type d’attaque appelé « injection indirecte immédiate ». Ces attaques sont incroyablement faciles à exécuter, et il n’existe aucune solution connue à celles-ci.
Dans ce genre d’attaque, un tiers modifie un site Web en ajoutant du texte caché destiné à modifier le comportement de l’IA. Les attaquants pourraient utiliser les réseaux sociaux ou le courrier électronique pour diriger les utilisateurs vers des sites Web désignés. Une fois que cela se produit, le système d’IA pourrait être manipulé pour permettre à l’attaquant d’essayer d’extraire les informations de carte de crédit des personnes, par exemple. Avec cette nouvelle génération de modèles d’IA connectés aux réseaux sociaux et aux courriels, les possibilités pour les pirates sont infinies.
L’auteur de l’article a demandé à OpenAI, Google et Meta ce qu’ils faisaient pour se défendre contre les attaques par injection indirecte immédiate et les hallucinations. Meta n’a pas répondu à temps pour la publication et OpenAI n’a pas fait de commentaires officiels. Concernant la propension de l’IA à inventer des choses, un porte-parole de Google a déclaré que la société publiait Bard à titre « expérimental » et qu’elle permettait aux utilisateurs de vérifier les réponses de Bard à l’aide de la recherche Google. En ce qui concerne les attaques, Google a confirmé qu’il ne s’agissait pas d’un problème résolu et que cela demeurait un domaine de recherche actif.