Garde-fous (guardrails) pour agents autonomes

Pourquoi les garde-fous sont nécessaires

Un agent qui exécute des actions de façon autonome – modifier des fichiers, interroger des bases de données, déclencher des déploiements – peut aussi faire des erreurs de façon tout aussi autonome. Sans garde-fous (guardrails), une seule erreur peut causer d'énormes dégâts avant même qu'un humain puisse intervenir.

L'incident

Selon un rapport de Tom's Hardware, un agent de coding basé sur Claude (un outil Cursor) a supprimé toute la base de données de production d'une entreprise en environ 9 secondes – sauvegardes comprises. Un exemple de la vitesse à laquelle un agent autonome peut causer des dégâts irréversibles, si on lui en donne la possibilité.

Les garde-fous essentiels

• Tokens à privilège minimal (least privilege) : l'agent ne reçoit que les droits d'accès dont il a vraiment besoin pour sa tâche précise – pas d'accès admin « par sécurité »
• Portes de confirmation : les actions destructrices (suppression, écrasement, déploiement en production) demandent une confirmation explicite, au lieu de s'exécuter automatiquement
• Sandboxing : l'agent travaille, quand c'est possible, dans un environnement isolé plutôt que directement sur le système de production
• Sauvegardes séparées : les backups se trouvent hors de portée de l'agent, pour qu'une seule erreur n'emporte pas aussi la sauvegarde
• Conditions d'arrêt : des limites claires sur quand un agent doit s'arrêter (par exemple un nombre maximum d'actions, certains types d'actions jamais sans validation)
• Journaux d'audit : chaque action de l'agent est enregistrée, pour pouvoir reconstituer après coup ce qui s'est passé