概念●●●4 分钟 · +60 XP
自主 agent 的护栏（guardrails）
自主 agent 可能造成真实的损害。几道护栏就能决定结果的好坏。
为什么需要护栏
一个能独立执行操作的 agent——改文件、查数据库、触发部署——也可能独立犯错。没有护栏（guardrails）的话，一个错误就可能在人类反应过来之前造成巨大损害。
事件经过
根据 Tom's Hardware 的一篇报道，一个基于 Claude 的编码 agent（一个 Cursor 工具）在大约 9 秒内删除了一家公司的整个生产数据库——连备份都没放过。这个例子说明，一旦给了机会，自主行动的 agent 能多快造成不可逆的损害。
核心护栏
- 最小权限 token：agent 只拿到完成具体任务真正需要的访问权限——不要“以防万一”给管理员权限
- 确认门（confirmation gate）：破坏性操作（删除、覆盖、部署到生产环境）需要明确确认，不能自动执行
- 沙箱化：尽可能让 agent 在隔离环境中工作，而不是直接在生产系统上
- 独立备份：备份要放在 agent 访问不到的地方，这样一个错误就不会连备份也一起带走
- 停止条件：agent 必须停止的清晰边界（比如最大操作次数，某些操作类型永远需要审批）
- 审计日志：agent 的每个操作都要被记录，事后才能追溯到底发生了什么
示例
概念示例：一个能访问数据库的 agent 可以读取和修改单条记录，但对整张表执行 DROP 或 DELETE 命令，会自动触发一个需要人工批准的确认门。
小测验
报道中描述的数据库事件说明了什么？
来源
- Tom's Hardware：AI coding agent deletes company database ↗ www.tomshardware.com
- OWASP：Top 10 for LLM Applications ↗ owasp.org