AI 学习笔记

Week 3 · Human-in-the-loop

可复习 · 待写自己的解释

本章材料

你四周计划里的具体视频(OpenAI Academy、DeepLearning.AI、Agents SDK 教程)还在 Notion 里,导入后放在这里。

重点

  1. Human-in-the-loop:在敏感操作执行前暂停,等人批准或拒绝,再继续。在 Agents SDK 里,工具可以声明 needs_approval,运行会以中断(interruption)的形式暂停,状态保存下来,等人做出决定后再恢复。
  2. 哪些操作需要人确认:不可撤销的(转账、删除、发送)、会影响别人的、金额大或风险高的,以及模型自己不确定的。
  3. 批准界面要让人看得懂:要做什么、参数是什么(收款人、金额)、为什么要这样做、会有什么后果。
  4. Guardrail 是自动检查:在输入或输出阶段按规则检查,比如拦下超出服务范围的请求,检查不通过就中止。
  5. 自主程度要和风险匹配:低风险的自动执行,高风险的先让人确认,风险最高的只给建议、由人亲自操作。
由 Claude 根据 OpenAI Agents SDK 的 Human-in-the-loop、Guardrails 文档和 Anthropic 的 Building effective agents 整理。读的时候哪一条看不懂,就把它记到「复习」的“我卡在哪里”。

难点

  1. 确认太多,人会麻木。 每一步都弹窗,人就会习惯性地点“同意”,确认反而失去意义。
  2. “人在回路”不等于“人能负责”。 如果人看不到足够的信息就被要求批准,责任其实落在了一个没有判断条件的人身上。
  3. 撤销比确认更难做。 已经发生的外部操作往往撤销不了,所以确认要放在执行之前。
  4. 自动检查和人工批准是互补的,不是二选一。 规则能拦住明显的问题,人负责需要判断的问题。
由 Claude 根据 上述文档;第 1、2 条是人机交互设计里的常见问题,不出自某一份特定文档 整理。读的时候哪一条看不懂,就把它记到「复习」的“我卡在哪里”。

动手看

这些操作该怎么处理? 参考答案不是唯一答案
  1. 查询账户余额

  2. 给常用收款人转账 50 元

  3. 给一个新收款人转账 20,000 元

  4. 草拟一封给客户的回复邮件

  5. 把这封邮件发送给客户

容易混淆的几个机制

机制由谁判断发生在什么时候
Guardrail规则或另一个模型,自动判断输入进来时,或者输出给出前
人工批准人敏感操作执行之前
只给建议人亲自执行agent 准备好信息之后
撤销人或系统执行之后(很多操作做不到)

一个记法:能自动挡住的交给规则,需要判断的交给人,撤销不了的放在确认之后。

学完了?去 复习 记下卡住的地方,或者直接 做测验。

来源

  • 材料见本页“本章材料”,所有链接都在 2026-10-29 打开确认过;needs_approval、interruption 和恢复运行的说法来自 Agents SDK 的 Human-in-the-loop 文档原文。
  • 重点、难点、示意流程和测验由 Claude 根据本页“本章材料”里的文档整理。示意流程和操作清单是虚构的教学例子,不是真实运行的结果。
  • 学习目标来自你的四周 Agent 学习计划截图;计划里的具体视频和任务尚未导入。

On this page