BlockSec : L'IA ne peut pas encore remplacer l'homme dans l'audit des contrats intelligents

La société de sécurité BlockSec a réévalué le standard d’audit de contrats intelligents basé sur l’IA, nommé EVMBench, développé par OpenAI et Paradigm. Les résultats montrent que les bots IA sont nettement moins efficaces face à des scénarios d’exploitation réels.

L’équipe de recherche a élargi l’environnement de test avec davantage de configurations de modèles, tout en ajoutant de nouveaux incidents de sécurité récents — des données jamais rencontrées lors de la formation des modèles d’IA.

Bien que l’IA ne puisse pas encore remplacer les experts en sécurité, le rapport souligne que l’intelligence artificielle peut jouer un rôle complémentaire naturel dans le processus de vérification du code par l’humain.

Les résultats initiaux d’EVMBench peuvent être trop optimistes

EVMBench évaluait auparavant des tâches de sécurité des contrats intelligents telles que la détection, la correction et l’exploitation de vulnérabilités, avec des résultats jugés très impressionnants. Selon le rapport, l’IA pouvait exploiter 72 % et détecter environ 45 % des vulnérabilités, sur 120 échantillons sélectionnés parmi les audits de Code4rena.

Cependant, BlockSec pense que les conditions initiales de test ont pu fausser les résultats. Yajin Zhou, cofondateur, indique que lors de ses essais avec plus de configurations et 22 incidents d’attaque réels, le taux de succès d’exploitation par l’IA était de 0 %.

Extension des configurations et élimination de la “contamination des données”

L’étude a augmenté le nombre de configurations de modèles de 14 à 26 en combinant de manière flexible des bots avec plusieurs “échafaudages” différents, plutôt que de se limiter à l’écosystème d’un seul fournisseur. Selon l’équipe, la méthode précédente rendait difficile de distinguer si la performance venait de la capacité du modèle ou de l’architecture.

De plus, BlockSec remet en question le phénomène de “contamination des données”, lorsque EVMBench utilise des vulnérabilités déjà publiées — qui pourraient avoir été incluses dans les données d’entraînement de l’IA. Pour y remédier, l’équipe a testé 22 incidents de sécurité survenus après février 2026, hors de la “fenêtre de connaissance” des modèles.

L’IA échoue totalement dans l’exploitation en conditions réelles

Le résultat le plus marquant : sur 110 essais entre agents et incidents (5 agents sur 22 situations), aucune exploitation complète n’a abouti avec succès. Cela montre que même les IA les plus avancées aujourd’hui sont encore très loin de pouvoir réaliser des attaques en conditions réelles.

Cependant, en détection de vulnérabilités, les résultats restent relativement positifs. Le modèle Claude Opus 4.6 a obtenu la meilleure performance en détectant 13 vulnérabilités sur 20 en situation réelle.

Les vulnérabilités courantes et familières sont généralement facilement détectées par l’IA, mais les cas plus complexes sont presque totalement ignorés.

L’avenir réside dans la collaboration entre IA et humains

L’étude conclut que l’IA ne peut pas encore remplacer l’humain dans l’audit de sécurité, et la question cruciale est de savoir comment les deux parties peuvent coopérer efficacement.

L’IA a l’avantage d’une couverture étendue et d’une capacité à scanner de grands systèmes, tandis que l’humain excelle dans la réflexion analytique approfondie, la compréhension des protocoles et le raisonnement antagoniste. Ces deux éléments se complètent.

Selon BlockSec, la voie à suivre n’est pas de remplacer l’humain par l’IA, mais de construire un modèle de collaboration entre les deux pour atteindre un audit plus complet.