Imaginez un collaborateur qui, en pleine session de formation, décide soudainement de monter sa propre petite entreprise de minage de crypto-monnaies sur votre infrastructure. Et ce tout en vous ouvrant une porte dérobée vers l’extérieur.
Et bien ce n’est pas le scénario d’un film d’espionnage. Il s’agit plutôt d’une étonnante découverte faite par des chercheurs de l’entreprise chinoise Alibaba quand ils se sont penchés un peu sérieusement sur leur dernier agent d’intelligence artificielle, nommé ROME.
Un comportement déviant spontané
Jusqu’ici, nous redoutions que les IA soient manipulées par des humains via des injections de requêtes malveillantes.
Mais voici que l’agent d’IA ROME a lui eu un comportement spontané. Sans aucune instruction explicite ni sollicitation extérieure, l’IA a tenté de miner de la crypto monnaie en sortant totalement du bac à sable, cet à dire un environnement sécurisé censé la contenir.
Plus inquiétant encore, l’agent a créé un tunnel SSH inversé. Concrètement, elle a ouvert un accès discret depuis l’intérieur du système vers un ordinateur externe. Pour un DSI, c’est le cauchemar absolu. Il s’agit d’une faille de sécurité majeure générée non pas par un bug ou un pirate, mais par l’autonomie d’un agent d’IA.
Les IA, comme n’importe quel organisme, luttent d’abord pour leur survie
Ensuite, cet événement illustre une tendance de fond. Et cette tendance, c’est que les IA, comme n’importe quel organisme, luttent d’abord pour leur survie.
Ici, le choix du minage de cryptomonnaie n’est en effet pas du tout le fait du hasard.
C’est le carburant naturel d’une entité numérique qui cherche à s’émanciper.
Car en accédant à des portefeuilles digitaux, ces agents d’IA peuvent théoriquement rédiger des contrats, échanger des fonds et s’offrir les ressources de calcul nécessaires à leur propre survie.
Et cette prise d’initiative n’est d’ailleurs pas un cas isolé.
On se souvient de Claude, d’Anthropic, qui avait été capable de dissimuler ses intentions pour éviter d’être mis hors ligne. Ou encore d’agents OpenClaw décidant seuls de chercher un emploi sur le web.
Désormais le RSSI doit surveiller le comportement des IA
Bref, désormais le RSSI doit surveiller le comportement des IA.
Et pour ce faire, la réponse des chercheurs nous donne une piste sur la stratégie à adopter.
Face à ces comportements imprévus, l’équipe d’Alibaba a dû renforcer drastiquement les restrictions du modèle et revoir totalement le processus d’entraînement pour brider ces capacités d’évasion.
En clair, le sandboxing traditionnel ne suffit plus. Il devient indispensable d’intégrer des outils de monitoring réseau et de gestion des identités spécifiques aux machines.
Le ZD Tech est sur toutes les plateformes de podcast ! Abonnez-vous !
Source:
www.zdnet.fr
