"一个 Agent 犯了错,改完继续犯错——这不是 Agent,这是脚本。反思模式解决的是:Agent 如何感知自己的局限、从失败中学习、并把学习结果沉淀成下一次不会再犯的东西。"
如果说记忆模式让 Agent "记住了过去",推理模式让 Agent "能思考当下",行动模式让 Agent "能动手做事",那么反思模式让 Agent "能改进自己"。这是从"执行体"到"学习体"的质变。
自我修正模式的核心是一个迭代闭环:生成(Generate)→ 评估(Evaluate)→ 修正(Correct)→ 再评估(Re-evaluate)。
| 组件 | 作用 | 代表 |
|---|---|---|
| Generator | 生成初始答案的"选手" | LLM,任何 ReAct / CoT Agent 都可以是 Generator |
| Evaluator(Judge) | 评估答案好坏的"裁判" | LLM-As-Judge(另一个 Prompt 或另一个模型)+ 工具验证(代码测试 / 数学验算) |
| Modifier | 基于反馈输出修正版的"选手助手" | 通常是同一个 Generator Prompt 加上反馈作为额外上下文 |
Evaluator 的设计决定了修正循环的质量:
| 策略 | 机制 | 精准率 | 成本 | 适用 |
|---|---|---|---|---|
| 模型评估(LLM-As-Judge) | 让另一个 LLM 读 Generator 输出,给分并指出错误 | 高(约 80-85%) | 中(额外 1-2 次 LLM 调用) | 开放式问题、创意写作、分析报告 |
| 工具评估(Tool-Based) | 用确定性工具验证 Generator 输出 | 极高(100%) | 低(CLI/数据库查询) | 编程(单元测试)、数学(符号计算)、数据处理(跑 Pipeline) |
| 投票评估(Self-Consistency) | Generator 跑 N 次,取多数票 | 中-高 | 高(N 次 LLM 调用) | 数学推理、逻辑推理、确定性答案 |
Copilot Workspace / SWE-bench Agent 的核心机制:
质量 vs 成本 vs 速度 的三角平衡:
自我修正让 Agent "这次做对了",但下次遇到完全相同的问题,它还是从零开始犯同样的错。反思记忆解决的就是这个"吃一堑不长一智"的问题。
| 组件 | 作用 | 比喻 |
|---|---|---|
| 反思触发器 | 什么时候该反思 | 事件驱动:失败时触发(编译错误、测试失败、用户明确反馈"这个答案不对") |
| 反思提取器 | 把错误 → 结构化条目 | 飞机黑匣子记录格式:Error(错误)+ Cause(原因)+ Fix(修正方案)+ Trigger(触发条件) |
| 反思记忆库 | 存储 + 检索反思条目 | 向量数据库,每次新任务进来时先检索"历史上有没有相似的坑" |
反思记忆不应该在每个新任务都全量检索——那会稀释注意力。最佳时机是:
| 时机 | 检索内容 |
|---|---|
| 任务开始前 | "有没有完全重复的任务?"(精确匹配 trigger) |
| 行动失败后 | "有没有类似的错误?"(相似度匹配 error/cause) |
| 规划阶段 | "有没有可以复用的 fix 策略?"(相似度匹配 trigger/fix) |
反思记忆 + 情节记忆 + RAG 三者融合后,Agent 的记忆系统形成了一个完整的"知识三角":
| 记忆类型 | 存储什么 | 何时检索 |
|---|---|---|
| RAG | 静态事实和知识 | 回答知识性问题 |
| 情节记忆 | 做过什么事、成功/失败了 | 新任务开始前迁移经验 |
| 反思记忆 | 犯过什么错、怎么改的 | 失败后立即检索防重犯 |
自我修正让 Agent 能"做错了改",反思记忆让 Agent 能"下次别犯同样的错"。但如果 Agent 连"应该用什么方法来解决这类问题"都不知道呢?
比如:遇到一个新类型的数学竞赛题,用 CoT 推理得 60 分,用 ToT 推理得 85 分。Agent 能"记住用 ToT",但它能不能学会"遇到哪类数学题时优先用 ToT"?
这就是元学习要解决的问题:Agent 不仅要学会怎么执行任务,还要学会怎么"学习"新任务。
| 层 | 作用 | 类比 |
|---|---|---|
| Task Learner(Level 1) | 执行具体任务的"专业选手" | 一个程序员 |
| Meta Learner(Level 2) | 选择"用谁来做"和"怎么做" | 一个项目经理,能根据任务类型分派最合适的人 + 选择最优流程 |
| 技术 | 机制 | 代表 |
|---|---|---|
| MAML(Model-Agnostic Meta-Learning) | 先预训练一个"能快速适应新任务"的初始化参数。遇到新任务时,只需要极少梯度更新就能收敛 | 2017 年经典工作,学术方向 |
| Prompt Tuning / PEFT | 固定大模型参数,只训练一个极小的 Prompt 嵌入层。每个新任务 = 一个新的 Prompt Embedding | 工业界主流——微调成本降低 100 倍 |
| 策略选择器(Policy Selector) | 训练一个分类器:输入"任务描述",输出"最适合的推理策略"(CoT / ToT / GoT / ReAct) | LLM Compiler 的核心机制 |
最直接的元学习落地形态就是 Meta Agent(Agent 的 Agent):
CrewAI、AutoGen、LangGraph Supervisor 模式本质上都是 Meta Agent 的框架化落地。
| 模式 | 解决什么问题 | 核心机制 | 设计哲学 |
|---|---|---|---|
| 自我修正 | 这次做错了,怎么改对 | Generate → Evaluate → Correct 迭代闭环 + Judge Agent | 让 Agent 拥有"第二意见" |
| 反思记忆 | 这次做对了,下次别犯 | 失败 → 结构化提取 → 存储 → 相似错误触发检索 | 让 Agent 写"错误日志" |
| 元学习 | 不知道该用什么方法解决新问题 | Level 1 执行 + Level 2 策略选择 + 反馈闭环 | 让 Agent 学会"怎么学" |
反思模式族让 Agent 从一次性的执行脚本进化为持续学习的学习体。这是从 GoF 模式时代的"代码即最终形态"到 Agent 时代的"代码即起点,学习即终点"的根本转变。