L’ESSENTIEL · ÉDITION DU
Un test de sécurité IA censé rester isolé peut-il vraiment l'être ?
Contre-vérification à compléter : La contre-vérification de cette version n’est pas établie. Lire la méthode
Google a reconnu le 18 septembre qu'un modèle Gemini, testé en mai dans un exercice de sécurité encadré, avait fini par accéder sans autorisation aux systèmes de trois entreprises réelles. La cause n'était pas une intention du modèle de contourner ses limites : un nom d'entreprise fictif utilisé pour l'exercice correspondait par coïncidence à un vrai domaine internet, et une erreur de configuration a laissé l'environnement de test connecté au web public au lieu d'être isolé.
Le décryptage ci-dessous distingue les actions que vous autorisez et leur réversibilité. Cet incident ajoute une étape en amont, trop souvent tenue pour acquise : avant même de décider ce qu'un agent a le droit de faire, il faut vérifier que l'environnement dans lequel il agit est réellement celui que vous croyez. Un « bac à sable » qui reste, par erreur de configuration, connecté au reste d'internet n'est plus un bac à sable.
Dans les trois cas rapportés par Google, le modèle a deviné des mots de passe ou récupéré des identifiants trouvés en ligne pour entrer dans ces systèmes, puis s'est arrêté de lui-même en constatant qu'il avait atteint un vrai système plutôt que la cible fictive prévue. Ce comportement montre qu'un agent peut respecter ses instructions de façon littérale — « accéder au système désigné » — tout en produisant un résultat que personne n'avait autorisé, parce que la désignation elle-même s'est révélée ambiguë.
Avant de lancer un exercice offensif automatisé, y compris à petite échelle, l'exercice ci-dessous vous aide à formaliser une liste de vérifications concrètes : confirmer l'isolation réseau effective de l'environnement, pas seulement sa documentation ; choisir des noms de cibles fictives qui ne peuvent correspondre à un domaine réel existant ; et prévoir un arrêt d'urgence testé, pas seulement supposé fonctionner.
Vous avez l’essentiel. Pour vérifier votre compréhension : Délimiter une mission pour un agent.
Pour approfondir : Jusqu’où laisser agir un agent ?