Des pirates ont trompé le robot d'achat IA d'un grand détaillant pour qu'il fasse quelque chose qu'il n'était jamais censé faire

Cela a commencé avec les avocats et s’est terminé avec la fuite d’informations sensibles.

Sur scène lors de la conférence sur la cybersécurité Black Hat à Las Vegas, les chercheurs Netanel Rubin et Dan Avraham ont mis au point un assistant d'achat IA, du type disponible dans la plupart des principales applications de vente au détail, pour répondre aux questions, comparer les produits et aider les acheteurs à naviguer dans l'énorme catalogue d'un magasin.

Mais la conversation n’a pas porté longtemps sur l’épicerie.

À la fin de la démonstration, les chercheurs avaient contourné les protections de l'assistant et forcé le code à s'exécuter dans l'environnement informatique derrière lui. Le robot a renvoyé des listes de répertoires, des variables d'environnement et d'autres informations qu'un acheteur ordinaire ne devrait jamais pouvoir voir.

Entre de mauvaises mains, ce type d'informations pourrait donner à un attaquant des indices sur les systèmes du détaillant et potentiellement révéler des secrets ou des accès qui pourraient être utilisés dans d'autres attaques, mettant ainsi en danger l'entreprise et, en fonction de ce que l'IA peut atteindre, ses clients.

Le détaillant n’était pas non plus une petite boutique en ligne expérimentant un chatbot assemblé à la hâte.

Selon la société de Rubin et Avraham Rêne la sécuritéc'était l'un des trois plus grands détaillants aux États-Unis, et l'assistant était disponible via la même application mobile publique utilisée par les clients quotidiens.

Quelques remarques importantes : Rein Security vend une technologie conçue pour surveiller les agents IA et fournir une visibilité sur ce que font ces agents. Rein n'a pas non plus identifié le détaillant, invoquant des problèmes juridiques. Cela signifie que les résultats ne peuvent pas être vérifiés de manière indépendante auprès du détaillant et que les acheteurs ne peuvent pas savoir s'ils ont utilisé l'assistant concerné.

Comment la vendeuse a été trompée

L’attaque a commencé avec l’une des capacités les plus utiles de l’assistant : comparer les produits.

Pour répondre à certaines questions, l’IA peut récupérer des informations sur des sites Internet hors du contrôle du détaillant. Cela l'aide à recueillir davantage d'informations pour les acheteurs, mais cela signifie également que l'assistant peut rencontrer du matériel créé par pratiquement n'importe qui, y compris un attaquant.

Les chercheurs ont placé des instructions dans le contenu qu’ils contrôlaient et ont demandé à l’assistant commercial de les récupérer. Au lieu de traiter ce matériel uniquement comme une information à résumer, l’IA a été manipulée pour en traiter une partie comme de nouvelles directions à suivre.

C’est ce qu’on appelle une injection indirecte rapide. Le code malveillant peut être caché dans un site Web, un document, une liste de produits ou tout autre élément rencontré par l’IA alors qu’elle tente d’accomplir une tâche légitime.

Cela ne suffisait pas à lui seul pour atteindre le système derrière l’assistant, mais cela donnait aux chercheurs un point de départ.

Le détaillant avait installé une couche de sécurité qui examine les conversations et tente de garder l'assistant concentré sur ses achats. Si vous lui demandez quelque chose en dehors de son rôle approuvé, la demande pourrait être rejetée.

Les chercheurs ont constaté que ces protections n’étaient pas appliquées de manière uniforme. L'interface de discussion principale avait des garanties en place, mais le champ de recherche habituel de l'application n'avait pas le même niveau de protection.

Grâce à cette entrée moins protégée, Rubin et Avraham ont déclaré avoir persuadé l'assistant de révéler des informations sur sa configuration interne, y compris les noms des outils qu'il pourrait utiliser et la syntaxe pour les appeler.

Ils ont ensuite créé un autre ensemble d’instructions qui ont amené l’assistant à exécuter du code dans son propre environnement informatique – essentiellement le système informatique sur lequel l’IA s’exécutait. L'assistant a renvoyé des listes de fichiers et d'autres informations sur ce système, montrant que l'injection rapide avait fonctionné et que les commandes des chercheurs avaient effectivement été exécutées.

Le compte public de Rein n'établit pas à quoi d'autre l'environnement isolé de l'assistant pourrait potentiellement accéder ni si un attaquant pourrait passer de là à des systèmes contenant des données sur les clients, les paiements ou les stocks.

Mais faire fonctionner le code signifie que les chercheurs ont pu franchir une frontière de sécurité importante.

Les chercheurs ont déclaré avoir signalé les vulnérabilités le 13 mars. Le 16 juillet, soit plus de 90 jours plus tard, Rein a déclaré qu'elles n'avaient pas été corrigées. La société n’a pas fourni publiquement de mise à jour plus récente indiquant si les problèmes persistent.

Les chercheurs ont également souligné qu'ils n'avaient pas accès aux informations réelles des clients, n'avaient pas modifié les commandes de qui que ce soit et n'avaient pas tenté de perturber les systèmes du détaillant. Leur travail a été effectué dans un environnement contrôlé en utilisant leur propre session.

L'IA ne faisait pas que parler

Chatbots ont été manipulés pour dire étrange, offensant ou des choses sans rapport pendant des années. Mais les assistants IA peuvent faire plus que générer des réponses ; ils peuvent récupérer des informations, appeler des services externes et utiliser des outils logiciels pour effectuer des tâches.

Les détaillants souhaitent que ces assistants puissent éventuellement créer des listes de courses, vérifier les stocks, gérer les commandes et même finaliser les achats. Mais chaque nouvelle capacité crée un autre risque potentiel si l’IA peut être amenée à suivre de mauvaises instructions.

Dans ce cas, le système de sécurité du détaillant surveillait ce que les acheteurs disaient à l’IA et ce qu’elle répondait. Selon Rein, il ne pouvait pas voir tout ce qui se passait entre les deux, y compris les informations récupérées par l'assistant et les outils utilisés.

Cela créait un angle mort dans lequel le système de sécurité pouvait voir la conversation, mais pas tout ce que l’IA faisait derrière.

Lors de leur examen de l'application, les chercheurs ont également découvert des clés API Google Maps visibles dans le trafic qu'elles ont déchiffré depuis l'application mobile. Si ces clés n'étaient pas correctement restreintes, un attaquant pourrait potentiellement les utiliser pour effectuer des requêtes non autorisées aux services Google Maps sur le compte du détaillant, augmentant ainsi les frais ou épuisant ses limites d'utilisation.

Les chercheurs n'ont pas signalé avoir accédé aux informations client avec les clés, mais un attaquant pourrait potentiellement les utiliser pour effectuer des requêtes Google Maps non autorisées aux frais du détaillant.

Ce que tout cela signifie

Un acheteur ordinaire ne peut pas faire grand-chose pour prévenir ce type de vulnérabilité. L'attaque visait le design du détaillant, et non un mot de passe faible ou une erreur du client.

La responsabilité appartient aux entreprises qui donnent aux assistants IA accès aux outils et informations internes. Ces systèmes doivent supposer que tout ce qui est extrait de l’Internet ouvert peut contenir des instructions destinées à induire l’IA en erreur – et mettre en place des garanties appropriées.

Il est toujours sage d'éviter de partager des informations personnelles inutiles avec des assistants commerciaux, en particulier si le robot peut accéder à des commandes précédentes ou à d'autres détails de compte. Garder les applications de vente au détail à jour peut également garantir que vous recevrez des correctifs de sécurité dès qu'ils seront disponibles.

Et cela laisse également une énorme question sans réponse : de quel vendeur s’agissait-il ?

Pour l’instant, les chercheurs ne le disent pas. Mais la démonstration montre ce qui peut arriver lorsque les assistants commerciaux IA obtiennent plus de contrôle. S’ils peuvent être amenés à suivre de mauvaises instructions, leurs fonctionnalités les plus utiles peuvent également devenir des risques pour la sécurité.