Des guides d'intervention pour les agents d'IA : quoi écrire avant que l'alerte sonne

Les agents tombent en panne autrement que les services ordinaires : une consigne modifiée, une mise à jour du modèle ou un document empoisonné peuvent changer le comportement sans le moindre déploiement. La première réponse ressemble à celle de n'importe quel incident, mais la personne de garde a besoin d'étapes propres aux agents, rédigées à l'avance.

Pourquoi l'écrire

Le livre SRE de Google rapporte que réfléchir aux bonnes pratiques et les consigner à l'avance dans un guide procure une amélioration d'environ un facteur trois du temps moyen de réparation, par rapport à l'improvisation. Ce chiffre vient de l'expérience de Google avec ses propres services, et non d'une promesse pour les vôtres, mais la tendance est claire.

D'abord arrêter, ensuite expliquer

L'erreur la plus coûteuse lors d'un incident d'agent est d'enquêter pendant que l'agent continue d'agir. Le guide devrait placer l'endiguement avant le diagnostic : suspendre l'agent ou plafonner son débit, et révoquer ou restreindre ses identifiants s'il risque d'agir sur des instructions injectées.

Ce que contient tout guide d'intervention

• Le symptôme et l'alerte qui mène ici, avec le lien vers le tableau de bord.
• La gravité et qui appeler, pour que personne n'en débatte pendant l'incident.
• Des étapes de diagnostic avec la commande exacte et le résultat attendu.
• Des étapes d'atténuation. Les étapes destructrices sont signalées et indiquent comment les annuler.
• Comment vérifier le rétablissement, et quand revenir en arrière plutôt.
• Un lien vers le modèle d'analyse après incident.

Entrées propres aux agents

• Annuler le dernier changement de la consigne, du modèle ou de la configuration, et pas seulement du code.
• Retrouver les appels d'outils faits par l'agent, avec quelle identité, grâce à la piste de vérification.
• Décider quelles actions doivent être révisées par une personne avant la reprise de l'agent. Les lignes directrices d'Anthropic sur les agents notent qu'ils peuvent s'interrompre pour obtenir une rétroaction humaine à des points de contrôle.

Mettez-le à l'essai

Un guide que personne n'a exécuté n'est qu'une supposition. Répétez l'interrupteur d'urgence et le retour en arrière à intervalles réguliers, et corrigez les étapes qui ne fonctionnent plus.