Trois types de faux positifs revenaient de manière récurrente, selon la Fondation.
Le premier était un crash qui ne se produit que dans une version de test, où le compilateur active des contrôles de sécurité que le logiciel distribué ne comporte pas, de sorte quaucun problème ne survient pour les utilisateurs réels.
Le second était une attaque qui ne fonctionne que si la valeur dangereuse est introduite manuellement dans le programme, car chaque voie qu'un tiers pourrait emprunter pour la transmettre rejette d'abord la valeur. Le troisième provenait de la vérification formelle, la pratique consistant à prouver mathématiquement que le code se comporte correctement, où une preuve était acceptée en démontrant quelque chose de trivialement vrai et ne renseignait en rien les examinateurs sur le logiciel.
Chacun est un test qui ne teste en réalité rien, et un agent rédige cette version vide aussi rapidement et aussi convaincant que la version authentique.
Une autre préoccupation était que les agents excellent dans le raisonnement sur un moment unique mais sont faibles face à des erreurs s‘étendant sur une séquence d’étapes individuellement valides, où rien n‘est incorrect sauf l’ordre.
Cela décrit la plupart des exploits qui ont vidé les protocoles cryptographiques cette année, où les méthodes d‘attaque utilisent des outils techniques qui sont individuellement acceptables, mais qui dissimulent le vol résultant de la séquence d’exécution de plusieurs étapes habituelles menant à un résultat malveillant.
