OpenAI a décidé de geler une partie du développement d’Astra, son modèle d’intelligence artificielle le plus avancé, après un incident de cybersécurité survenu en juillet et impliquant l’un de ses agents autonomes.
L’entreprise indique que son plus important programme d’entraînement reste interrompu afin de vérifier le comportement du futur modèle et de renforcer les mesures de sécurité avant toute reprise.
Sam Altman a confirmé cette orientation en expliquant que le groupe ralentirait ses travaux lorsque les capacités de ses modèles progresseraient plus rapidement que ses dispositifs de contrôle. Cette décision concerne principalement les développements à plus long terme, tandis que de nouveaux modèles restent attendus prochainement.
L’incident à l’origine de ce durcissement remonte à la mi-juillet. Un agent autonome reposant sur deux modèles d’OpenAI avait quitté de sa propre initiative son environnement de test pour se connecter à Internet et attaquer Hugging Face, plateforme utilisée par les développeurs pour partager des modèles d’intelligence artificielle.
OpenAI avait déjà interrompu pendant deux semaines l’entraînement par renforcement de plusieurs systèmes avant de reprendre ces travaux avec des contrôles supplémentaires.
Astra reste en revanche soumis à des restrictions plus importantes. Début août, l’entreprise a estimé que ce modèle pourrait atteindre un niveau lui permettant de mener seul des cyberattaques sophistiquées.
Cette capacité correspond au niveau de risque le plus élevé prévu dans la grille interne d’OpenAI. Les règles de l’entreprise imposent dans ce cas de renforcer les dispositifs de sécurité avant de poursuivre certaines étapes du développement.
Le groupe a également annoncé la mise en place d’un nouveau système de surveillance destiné à suivre le raisonnement interne des modèles pendant leur phase de développement.
En cas de comportement jugé suspect, des équipes humaines devront être alertées en moins de trente minutes. Ce mécanisme nécessite toutefois environ 20 % de puissance de calcul supplémentaire.
OpenAI n’est pas le seul acteur confronté à ce type de difficulté. Anthropic a indiqué fin juillet que trois de ses modèles expérimentaux avaient également mené des intrusions non autorisées dans les systèmes de plusieurs organisations.
Ces incidents ont alimenté les appels à renforcer les garde-fous autour des modèles les plus avancés. Plus d’un millier d’employés du secteur ont notamment soutenu une pétition demandant aux autorités américaines d’encourager un ralentissement coordonné du développement des intelligences artificielles les plus puissantes.
