Week 3 · Human-in-the-loop
可复习 · 待写自己的解释本章材料
- OpenAI Agents SDK · Human-in-the-loop:工具怎样声明需要批准、运行怎样暂停和恢复
- OpenAI Agents SDK · Guardrails:在输入或输出阶段做自动检查
- Anthropic · Building effective agents:在关键节点加入人工检查
- DeepLearning.AI · Agentic AI(吴恩达):Module 1 的 Degrees of autonomy
你四周计划里的具体视频(OpenAI Academy、DeepLearning.AI、Agents SDK 教程)还在 Notion 里,导入后放在这里。
重点
- Human-in-the-loop:在敏感操作执行前暂停,等人批准或拒绝,再继续。在 Agents SDK 里,工具可以声明
needs_approval,运行会以中断(interruption)的形式暂停,状态保存下来,等人做出决定后再恢复。 - 哪些操作需要人确认:不可撤销的(转账、删除、发送)、会影响别人的、金额大或风险高的,以及模型自己不确定的。
- 批准界面要让人看得懂:要做什么、参数是什么(收款人、金额)、为什么要这样做、会有什么后果。
- Guardrail 是自动检查:在输入或输出阶段按规则检查,比如拦下超出服务范围的请求,检查不通过就中止。
- 自主程度要和风险匹配:低风险的自动执行,高风险的先让人确认,风险最高的只给建议、由人亲自操作。
由 Claude 根据 OpenAI Agents SDK 的 Human-in-the-loop、Guardrails 文档和 Anthropic 的 Building effective agents 整理。读的时候哪一条看不懂,就把它记到「复习」的“我卡在哪里”。
难点
- 确认太多,人会麻木。 每一步都弹窗,人就会习惯性地点“同意”,确认反而失去意义。
- “人在回路”不等于“人能负责”。 如果人看不到足够的信息就被要求批准,责任其实落在了一个没有判断条件的人身上。
- 撤销比确认更难做。 已经发生的外部操作往往撤销不了,所以确认要放在执行之前。
- 自动检查和人工批准是互补的,不是二选一。 规则能拦住明显的问题,人负责需要判断的问题。
由 Claude 根据 上述文档;第 1、2 条是人机交互设计里的常见问题,不出自某一份特定文档 整理。读的时候哪一条看不懂,就把它记到「复习」的“我卡在哪里”。
动手看
容易混淆的几个机制
| 机制 | 由谁判断 | 发生在什么时候 |
|---|---|---|
| Guardrail | 规则或另一个模型,自动判断 | 输入进来时,或者输出给出前 |
| 人工批准 | 人 | 敏感操作执行之前 |
| 只给建议 | 人亲自执行 | agent 准备好信息之后 |
| 撤销 | 人或系统 | 执行之后(很多操作做不到) |
一个记法:能自动挡住的交给规则,需要判断的交给人,撤销不了的放在确认之后。
来源
- 材料见本页“本章材料”,所有链接都在 2026-10-29 打开确认过;
needs_approval、interruption 和恢复运行的说法来自 Agents SDK 的 Human-in-the-loop 文档原文。 - 重点、难点、示意流程和测验由 Claude 根据本页“本章材料”里的文档整理。示意流程和操作清单是虚构的教学例子,不是真实运行的结果。
- 学习目标来自你的四周 Agent 学习计划截图;计划里的具体视频和任务尚未导入。