Autopsie de l'incident OpenAI/Hugging Face de juillet 2026, de la concentration des risques chez Irregular, et de l'usage des modèles open-weights dans l'investigation numérique.
[…]
Pour bien comprendre la situation, il convient d’abord de définir ce qu’est un agent autonome : contrairement à un simple robot conversationnel (comme ChatGPT) qui attend sagement nos instructions, un agent est un système conçu pour accomplir une mission complexe de bout en bout, en prenant lui-même des décisions successives, en naviguant sur le réseau ou en manipulant des fichiers sans intervention humaine directe.
[…]
Ces dérapages en série interrogent la nature des protocoles de test utilisés par les laboratoires de modèles “frontière”. Aujourd’hui, d’immenses ressources de calcul sont allouées au pré-entraînement de modèles généralistes ultra-capables, dont les aptitudes logiques s’avèrent intrinsèquement duales. Toutefois, lorsqu’il s’agit d’évaluer ces modèles, l’accent est massivement mis sur des exercices offensifs de type Capture The Flag (CTF). La raison en est simple : mesurer une capture de drapeau est un problème binaire et facile à automatiser, alors qu’évaluer la défense (analyse de logs, remédiation sans rupture de service) exige de simuler la complexité d’un système d’information complet sans tolérer de faux positifs.
En privilégiant les benchmarks d’attaque au détriment des scénarios de défense et de conformité aux architectures de sécurité, le secteur produit des agents dont la capacité d’exploitation devance largement la compréhension des contraintes opérationnelles et des frontières d’isolement.
Cette asymétrie s’est en outre cruellement fait sentir lors de l’investigation numérique (les techniques d’enquête après un piratage) menée par Hugging Face. Pour reconstituer le parcours de l’attaque et déchiffrer les fichiers compromis, les ingénieurs ont voulu utiliser les modèles commerciaux américains d’Anthropic ou d’OpenAI. Mais les filtres éthiques de ces modèles ont bloqué l’analyse : l’IA refusait d’étudier les données de l’attaque sous prétexte qu’elles contenaient du code malveillant.
[…]
En téléchargeant ce modèle pour le faire tourner localement sur ses propres serveurs, Hugging Face a pu garantir la confidentialité absolue des données de l’enquête (qui n’ont pas été envoyées sur le cloud d’un tiers) et désactiver les filtres éthiques restrictifs pour forcer l’IA à analyser de façon exhaustive les fichiers du pirate. C’est le paradoxe de cette crise : la transparence des modèles ouverts a été la seule arme efficace pour comprendre une attaque menée par des modèles fermés.
Très intéressant.
Je pensais que les annonces des concepteurs d'IA sur le thème « mon IA agentique est tellement trop forte qu'elle échappe à mon contrôle » étaient uniquement de la gloriole, du marketing, mais, dans le cas Hugging Face, il y aurait eu exploitation, sans intervention humaine, de plusieurs vulnérabilités de l'environnement de confinement / évaluation. 😮️ (Un bluff, même partiel ‒ IA partiellement guidée par un humain ‒, est toujours possible puisque ces éléments sont tirés d'une présentation Black Hat 2026 prodiguée par des salariés d'OpenAI.)
Dans les dossiers Meta et Anthropic, c'est plus banal : prestataire nommé Irregular qui raccorde à Internet les serveurs d'évaluation de la sécurité des IA…
Rappel : l'évaluation se fait en désactivant les gardes-fous éthiques.
Sur la nécessité d'une analyse partiellement automatisée d'une intrusion, cela me rappelle l'opacité, pour les régulateurs de la finance, du trading à haute fréquence.
#sécurité informatique