Yingjie

大语言模型智能体底层框架

薛英杰 / 2026-11-21


一、先把“底层框架”拆成四个问题

层次 设计问题 代表论文
决策与记忆 模型看见什么、可以做什么、怎样利用反馈和历史 CoALA、ReAct、MemGPT
任务编排 哪些步骤能并行、如何选择工作流、多个角色如何交接 LLMCompiler、AFlow、AutoGen
运行时 谁保存流程状态、谁约束工具调用、如何分配模型和硬件 AIOS、有限状态控制、Murakkab
验证与评测 如何判断任务真正完成、做对了几次、是否遵守过程约束 τ-bench、2026 年工作流综述

对垂直智能体最重要的设计选择,是把流程状态、业务状态和模型上下文分别维护。流程状态表示任务走到哪一步,业务状态由业务系统记录实际发生了什么,模型上下文提供当前判断所需的信息。举例来说,“模型生成了工单”可能只意味着生成了一段文字。只有业务系统返回工单编号并能查到对应记录,才有可核验的写入结果。这一区分综合了 CoALA 的认知模块、有限状态控制论文的外部流程状态,以及 τ-bench 的最终环境状态评估。[1][8][9]

二、逐篇阅读

1. CoALA|认知架构如何为智能体划分模块

Sumers 等,Cognitive Architectures for Language Agents,TMLR 2024。 [1]

  • 研究问题。 不同论文使用“记忆”“行动”“推理”等术语却指向不同实现,难以判断差别究竟出在哪里。作者借鉴 Soar 等认知架构,提出一套描述语言智能体的通用框架。
  • 核心机制。 工作记忆保存当前目标、观察和中间结果。长期记忆可按功能理解为情景记忆、语义记忆与程序性记忆,分别对应过去经历、事实知识与行为规则。动作空间包括与外部环境交互,也包括检索、推理和写入记忆等内部动作。决策循环围绕候选动作的提出、评估、选择和执行展开。
  • 证据与边界。 文章通过组织已有研究和案例展示架构的解释力,属于概念框架。它提供统一的分析语言,无法据此预测增加某个模块的性能增益,也没有指定存储后端和调度方式。
  • 工程启示。 在工业异常处理里,当前异常的工单与证据是工作记忆所引用的内容,已核验的设备知识对应语义记忆,已结案的故障记录对应情景记忆,版本化的作业规程对应程序性知识。规程中需要强制执行的规则还要落到运行时的权限、校验或状态转换中。
  • 回读位置。 优先看认知架构背景与 CoALA 框架章节,并对照作者对现有智能体的归类。[1]

架构拆解与判断依据

CoALA 把工作记忆视为各模块之间的连接点。系统从工作记忆取出目标和观察来构造提示,模型输出经过解析形成可执行动作及其参数,执行结果再写回工作记忆。这个循环解释了为什么同一个模型可以构成不同智能体:独立变化的部分包括向模型提供哪些变量,输出如何解析,系统允许哪些动作,以及动作结果如何参与下次选择。图 3A 展示了这一数据流,图 3B–C 对照预先确定调用顺序的提示链与根据环境反馈选择动作的交互循环。[1,图 3、§4]

模块或动作 在论文中的含义 供应链异常调查示例
工作记忆 决策时所用的目标、观测、候选动作等变量 本次订单、已取到的库存快照、待验证的缺货原因
情景记忆 先前决策周期中的经历 上一次同类断供的调查轨迹及处置结果
语义记忆 关于世界或智能体自身的知识 物料关系、供应商交期定义、字段含义
程序性记忆 论文区分模型权重中的隐性程序,以及代码中的显式动作和决策程序 调用库存接口、校验数据日期、触发人工复核的可执行逻辑
外部行动 与外部环境交互并接收反馈 查询 ERP、追问交付负责人、提交已审批工单
内部行动 推理、检索或学习,以改变智能体后续可用的信息 提出假设、调取旧案例、将复盘结果存入记忆

可以据此提出的消融。 固定工具权限和任务集,分别启用历史案例检索、业务知识检索、显式决策流程。记录各组件对诊断正确率、证据覆盖和规则遵循的影响。检索历史案例属于情景记忆的实现,查询当前库存则是外部取证,两者可以分别测量。CoALA 为这个拆法提供术语,效果大小需要由新实验估计。[1,§4.1–4.6]

2. ReAct|如何让每一步动作使用最新观察

Yao 等,ReAct: Synergizing Reasoning and Acting in Language Models,ICLR 2023。 [2]

  • 研究问题。 仅靠模型内部知识推理容易因事实错误而偏离目标。仅生成动作又难以解释如何根据反馈调整计划。能否在一个循环里使用这两种能力?
  • 核心机制。 在执行轨迹中交替生成推理文本与实际动作。外部环境返回观察,模型基于最新轨迹决定下一步。问答场景使用维基百科检索接口,交互场景使用环境所支持的动作。
  • 实验与结果。 在 HotpotQA 和 FEVER 上,ReAct 优于只行动的 Act 基线。论文还讨论了 ReAct 与自一致性思维链组合,以利用内部知识和外部证据。交互任务中,论文报告 ALFWorld 和 WebShop 相对所比较的既有方法分别有约 34 和 10 个百分点的绝对成功率提升。ALFWorld 的 34 个百分点来自表 3 中特定的最佳示例设置(71% 对 37%),同表也给出 ReAct 的平均结果 57%。
  • 边界。 串行交互增加延迟,错误或无关观察会改变后续决策。轨迹可供诊断,仍需要凭工具返回、来源和业务记录验证实际发生的动作。不同基准的提升也对应不同对照条件。
  • 工程启示。 适合下一步高度依赖当前结果的调查任务,例如查到订单延迟后,再根据延迟原因决定核对供应商交期还是仓库收货记录。对彼此独立的查询,可以用并行调度减少等待。
  • 回读位置。 图 1、§3.3、表 3 和 WebShop 实验。[2]

同一个模型怎样构造四种对照

原文用提示示例构造 Standard、CoT、Act 和 ReAct。Standard 直接回答,CoT 生成中间推理,Act 根据观察直接行动,ReAct 则同时保留中间推理和工具反馈。问答端的维基百科接口包括搜索、在当前页面定位信息以及提交答案。成对比较 Act 与 ReAct,可以观察加入中间推理后的变化。比较 CoT 与 ReAct 时,工具与执行轨迹同时变化,结论应结合具体任务。[2,§2–3]

PaLM-540B 提示方法 HotpotQA 精确匹配率 FEVER 准确率
CoT 29.4% 56.3%
Act 25.7% 58.9%
ReAct 27.4% 60.9%
CoT-SC → ReAct 34.2% 64.6%
ReAct → CoT-SC 35.1% 62.0%

表 1 的读法。 ReAct 在 FEVER 超过 CoT,在 HotpotQA 则低 2.0 个百分点。先跑 ReAct、达到步数限制仍未得到答案时转向 CoT-SC,有助于 HotpotQA 的最高表内提示结果。先跑 CoT-SC、候选答案缺乏多数一致时转向 ReAct,在 FEVER 的表内提示结果最高。两种切换策略的名次互换,说明检索和模型内部推理的最佳使用时机取决于任务。[2,表 1]

错误分析。 作者人工标注了两种方法的 200 条正误轨迹。在抽取的错误案例中,CoT 的幻觉错误占 56%,ReAct 的搜索结果错误占 23%,推理错误占 47%。这些比例来自对照抽样,分母是所抽取的错误轨迹。实践中应记录检索是否有结果、证据是否相关、工具参数是否正确、以及回答是否被证据支持,才能知道改进应落在数据、检索还是决策。[2,表 2]

3. LLMCompiler|按依赖关系调度工具

Kim 等,An LLM Compiler for Parallel Function Calling,ICML 2024。 [3]

  • 研究问题。 顺序执行的工具循环可能为每次调用重新请求模型,而且会把本能并行的查询排成串行。论文关注工具调用的依赖关系与端到端执行效率。
  • 核心机制。 Planner 生成带依赖的调用任务,Task Fetching Unit 根据依赖是否满足分发就绪任务,Executor 运行工具。可将其理解为一个依赖图,节点是工具调用,边表示参数或结果依赖。最终汇总使用工具返回的结果。论文也支持动态重规划,将中间结果送回 Planner,生成下一批有依赖关系的调用。
  • 实验与结果。 相对 ReAct,论文在不同函数调用模式的测试中报告最高 3.7 倍的延迟加速、最高 6.7 倍的成本改善,以及最高约 9% 的准确率改善。这些是各项实验中的最大收益,设计容量时应以自身任务分布测量。
  • 边界。 加速依赖可并行部分的比例、工具耗时和限流。错误的依赖关系会让后继任务消费缺失或不一致的数据。涉及写操作时,还需要独立处理授权、去重和部分失败。
  • 工程启示。 对同一事件并行读取天气、物资和联系人信息,再依据这三路结果核验汇总。若物资查询需要先解析事件地点,则先完成地点解析。实测应记录关键路径耗时、工具错误率、重试次数和汇总正确率。
  • 回读位置。 框架总览图、实验对照和限制讨论,重点区分独立分支与依赖分支。[3]

从任务图到关键路径

论文的核心做法可以用比价任务理解。计划器先生成“查询商品 A”“查询商品 B”和“比较价格”三个调用,比较节点引用前两个节点的输出。两个查询可在计划流式产出时启动,调度器等结果到齐后替换下游参数。若中间结果提示两件商品规格不同,执行器可把结果返回计划器,生成新的查询和换算任务。前一种情况是在图上调度,后一种情况是根据新信息生成下一轮图。[3,§3.1–3.4]

闭源 GPT 实验 基线耗时 LLMCompiler 耗时 如何理解
HotpotQA 比较题 7.12 秒 3.95 秒 基线是强化提示后的 ReAct†。两路查询有并行机会,准确率为 62.47% 与 62.00%。
电影推荐 20.47 秒 5.47 秒 同样对照 ReAct†,多路独立信息查找带来约 3.74 倍加速。
ParallelQA 35.90 秒 16.69 秒 对照 ReAct。包含查询、分组计算和最终比较等依赖,收益受关键路径影响。
Game of 24 241.2 秒 83.6 秒 对照 Tree-of-Thoughts,检验中间状态驱动的重规划。

看中位使用场景。 电影推荐任务在论文估算中由每千题 20.46 美元降至 3.04 美元,价格基于当时的模型费率。HotpotQA 则表明延迟降低可以和准确率略降同时出现。业务复验应同时报告计划生成时间、实际工具耗时、汇合等待和结果正确率。读写混合流程还要在任务图之外用业务规则约束写入先决条件,并为失败分支保留状态。[3,表 1–2]

4. AFlow|如何把工作流设计变成可评估的搜索问题

Zhang 等,AFlow: Automating Agentic Workflow Generation,ICLR 2025。 [4]

  • 研究问题。 人工反复试验提示、检查步骤和模型组合,耗时且难以规模化。能否在有明确评分标准的任务上自动发现较优工作流?
  • 核心机制。 将包含模型调用的工作流表示为代码,用蒙特卡洛树搜索的变体探索流程空间。优化模型提出修改,执行模型运行候选流程,验证得分反馈到搜索树。生成、评审、测试、集成等操作可组成不同的候选流程。
  • 实验与结果。 实验包括 HotpotQA、DROP、HumanEval、MBPP、GSM8K 和 MATH 六个数据集,分别使用 F1、 或解题率。作者报告相对人工设计方法平均提升 5.7%,并展示在特定任务上小模型搭配优化后的流程,达到高于 GPT‑4o 对照的表现,推理成本为对照的 4.55%。后一个比例应结合单独的搜索成本和任务条件理解。
  • 边界。 搜索会放大评分器偏好,流程可能对验证集和执行模型过拟合。推理成本和一次性的工作流搜索成本分属不同口径。在业务中,审批、证据门槛等硬约束需要在候选流程和评分器中体现。
  • 工程启示。 可离线比较“先检索后生成”“按候选原因分别取证”“加一次独立核验”等流程,同时报告效果、工具和模型消耗,以及工作流优化所需预算。
  • 回读位置。 §4、§5.1、表 1、附录算法 1。关注优化模型和执行模型的区分。[4]

搜索树记录的是候选工作流

AFlow 的树节点是一版可运行的工作流,树边代表一次代码修改。每轮先选一个候选作为起点,再由优化模型添加操作或调整提示。用执行模型跑验证集,保存代码改动和得分,将表现反馈给后续搜索。验证集用于选流程,测试集用于做最终比较,因而“每轮得分更高”和“最终泛化更好”需要分别看。论文主实验以 Claude 3.5 Sonnet 做优化器,AFlow 搜索设为 20 轮,主结果表以同一个 GPT‑4o-mini 执行并取三次测试平均。[4,§4、§5.1、表 1]

表 1 的部分结果 直接调用 AFlow 该列指标
HotpotQA 68.1 73.5 F1
HumanEval 87.0 94.7
MBPP 71.8 83.4
MATH 难度 5 子集 48.6 56.2 解题率
六任务平均 72.8 80.3 论文对各数据集分数取平均

增益从哪里来。 去掉预置操作的 GSM8K 消融仍报告 93.1%,而预置操作帮助搜索更快找到有效结构。论文的案例还记录了直接修改复杂推理结果的审核节点反而降低正确率。增加复核可能引入二次错误,因此业务试验应记录审核纠正了多少原有错误,以及错误改写了多少正确结果。跨模型测试也显示,同一流程移植后可能优于基线,但未必达到针对新执行模型重新优化的水平。[4,表 2、图 5–6]

5. MemGPT|模型怎样跨越有限上下文窗口

Packer 等,MemGPT: Towards LLMs as Operating Systems,2023 年首次提交,正文采用 2024 年修订版。 [5]

  • 研究问题。 随着会话和资料增多,固定上下文无法持续承载所有历史。模型需要能够按需选择哪些信息立即可见、哪些信息先留在外部存储。
  • 核心机制。 主上下文承载模型当前可见内容,外部层保存可检索的对话历史和归档信息。通过记忆管理函数,模型可更新工作内容并检索相关记录。系统事件和上下文容量警告也可以触发处理,检索分页限制一次回填的内容量。
  • 实验与结果。 作者测试了跨会话对话与长文档分析,后者涉及长文档问答、键值检索和需要跨来源取数的嵌套键值检索。这些实验分别考察能否记住旧信息、定位相关材料以及组合多个片段。
  • 边界。 记忆外置并未改变模型的原生窗口大小。能否找回正确事实仍受写入质量、索引、检索策略和模型工具能力影响。历史摘要可能遗漏关键条件,旧记录还可能和后来更新的业务事实冲突。
  • 工程启示。 可为历史事故记录保存来源、时间、版本和核验状态。检索出的相似历史供诊断参考,现有工单状态则实时从业务系统读取。实验应加入信息被更新、更正或撤回的案例。
  • 回读位置。 §2 的记忆架构及事件机制,§3 的对话和文档实验。[5]

上下文调入、写出与回测

主上下文进一步包含系统指令、工作区及先进先出的消息队列。外部层提供对话回忆存储和可查询的归档。模型可用函数修改工作区或搜索存储。容量告警让模型在消息被移出前保留需要持续使用的信息。函数链允许先后读取多页或不同资料,再统一回答。每个模型调用最终仍受上下文窗口和工具轮数约束。[5,图 3、§2.1–2.4]

深层记忆检索(DMR) 固定上下文准确率 加 MemGPT 后
GPT‑3.5 Turbo 38.7% 66.9%
GPT‑4 32.1% 92.5%
GPT‑4 Turbo 35.3% 93.4%

评测构造。 论文用多会话聊天数据,在额外会话里提出需要回溯先前会话的具体问题,对照标准答案评估准确率并报告 ROUGE-L。上表回答的是“系统能否找回该基准中埋藏的旧事实”。如果要评价工业记忆,还应构造旧值与新值冲突、同名设备、证据撤回、检索返回相近但无关案例四类测试,并分别测量正确来源命中率和最终答案正确率,定位失败发生在检索还是模型归纳。[5,§3.1.1、表 2]

6. AutoGen|多角色如何通过消息交接

Wu 等,AutoGen: Enabling Next-Gen LLM Applications via Multi-Agent Conversation,COLM 2024。 [6]

  • 研究问题。 当不同任务环节需要模型、人或工具共同参与时,能否用同一套交互抽象快速组合应用?
  • 核心机制。 采用可对话的代理及可编程回复机制。一个角色可接收消息、调用模型、执行工具或请求人类输入,再将结果传给下一角色。通信既可按预定义顺序进行,也可由群聊机制在运行中选择下一发言者。
  • 实验与结果。 论文用六类应用展示框架。供应链优化问答案例 OptiGuide 由协调者、代码撰写者和检查者分工。论文报告这一重实现把核心流程代码从 430 多行减到约 100 行。该数字衡量该案例的框架封装收益,任务质量仍需看应用级对照。
  • 边界。 多角色增加消息、令牌、等待和故障定位成本。如果角色共享同样的信息和假设,它们可能重复同一个错误。评价多智能体收益需要固定模型、工具与预算,加入单智能体和确定性规则的对照。
  • 工程启示。 只有当职责、工具权限或交付物有实质差异时,拆角色才容易评估。比如调查角色输出结构化证据,核验角色返回缺失项,协调者依规则决定是否进入人工复核。
  • 回读位置。 §2 的消息与回复机制,应用 A4 和 A5,另看 OptiGuide 附录轨迹。[6]

消息驱动的执行与可验证分工

AutoGen 的可对话代理持有各自的角色、可用后端与回复规则。收到消息后,代理可选择调用模型、执行工具或请求人类输入,并把处理结果作为回复继续传递。侦测到终止条件时停止回复链。群聊额外引入协调者挑选下一发言角色,适合谁来接手需要随讨论而变化的场景。已有固定责任分工时,也能直接定义交接顺序。[6,§2、应用 A5]

OptiGuide 的执行链。 Commander 识别供应链优化问题并提供上下文,Writer 生成求解所需的代码,Safeguard 检查后由流程执行并返回结果,Writer 解读成本或方案变化。遇到错误时协调者转交反馈,直至完成或超时。作者还用 100 项任务对照“一个角色兼任”和“两个角色分工”,任务集含等量的安全与不安全代码任务。由此可以评价该实验中检查角色的作用,实际部署仍应由隔离执行环境和可执行规则控制权限。[6,应用 A4、图 4d]

复验应测量的成本。 对比单智能体、单智能体加规则检查器、分角色且有同等规则检查器三个版本。固定模型、工具及预算,记录解题正确率、错误拦截率、额外轮次、中途转人工比例和任务成本。各代理只为消息提供必要字段,例如输入编号、业务约束、计算证据和错误类型,便于判断收益来自交接结构还是更长推理预算。

7. AIOS|哪些能力值得下沉为共享运行时

Mei 等,AIOS: LLM Agent Operating System,COLM 2025。 [7]

  • 研究问题。 当多个智能体共享模型和工具资源时,各应用各自调度会带来竞争。论文探索如何将重复的基础能力移入统一运行时。
  • 核心机制。 内核提供模型请求调度、上下文管理、记忆、存储、工具及访问控制等能力,应用通过 SDK 使用。论文实现先到先服务(FIFO)和轮转(RR),并讨论推理上下文的中断与恢复。
  • 实验与结果。 论文在单张 RTX A5000 等所列配置上构造资源受限的并发实验,将多种代理框架接入 AIOS,并比较任务表现和系统开销。作者报告特定配置下系统调用吞吐最高提升至 2.1 倍。任务成功率和系统执行速度使用不同指标,前者在所列基准总体得以维持,部分配置有提升。
  • 边界。 调度收益取决于推理服务、并发、时间片和负载分布。推理上下文恢复解决模型执行连续性,业务事务的去重、补偿和审计仍需由应用与业务系统提供。
  • 工程启示。 同时运行多个垂直智能体时,可集中管理模型与工具额度,记录每个运行实例的队列等待和执行耗时。上线验证应分别看平均和尾部延迟,以及不同优先级任务是否获得预期资源。
  • 回读位置。 §3 的模块图与调度,§4 的实验设置及吞吐、延迟和扩展性分析。[7]

内核接口、调度与并发结果

AIOS 把应用的模型、记忆、存储、工具和权限操作表达为统一系统调用。应用侧通过 SDK 提交请求,调度器管理其执行。FIFO 按到达顺序处理,RR 使用时间片轮转。上下文管理器提供中断与恢复能力,访问管理器对共享资源做权限检查。论文附录表 2 给出了模块及接口,适合用来区分“系统如何提供能力”和“业务应用何时应调用能力”。[7,§3、附录 A]

结果精读。 论文对任务质量使用 GPT‑4o-mini,效率实验则使用本地 Llama‑3.1‑8B 与 Mistral‑7B,减少远端接口时延波动。效率指标中的吞吐以每秒完成的系统调用衡量。报告的 2.1 倍是 Llama‑3.1‑8B 上 Reflexion 代理的最高吞吐提升,并非所有工作流端到端时间的统一倍率。效果表中,AutoGen 的 HumanEval 成功率接入前后均为 87.8%,GAIA 则从 7.3% 到 9.7%。这些结果对应论文的具体代理实现和模型设置。[7,表 1、§4.3、图 6–7]

扩展性指标的分母。 作者把 HumanEval 的 164 个样本重复用于构造 250 至 2,000 个并发代理的负载。这个实验适合观察相似任务负载增长时的等待趋势。面向真实租户时,还要用不同请求长度、工具配额、长短任务混排测尾部延迟、饥饿与队列回压。[7,§4.4、图 8]

8. τ-bench|检验智能体实际完成任务的概率

Yao 等,τ-bench: A Benchmark for Tool-Agent-User Interaction in Real-World Domains,2024 年预印本,正式发表于 ICLR 2025。 [8]

  • 研究问题。 面向业务的智能体需要同时理解动态用户意图、遵循领域政策并修改业务状态。对话答得流畅不足以判断执行结果。
  • 核心机制。 在零售和航空两个模拟域中,模型模拟用户,智能体在规则约束下调用领域 API。评估依据最终数据库状态,并对部分必须告知用户的信息做文本检查。pass^k 关注同一任务独立运行 k 次全部成功的概率,按任务聚合。代码生成常见的 关注 k 次中至少有一次成功。例如,同一任务独立运行 5 次且成功 4 次,随机选取 3 次都成功的组合比例为 4/10,即 40%。
  • 实验与结果。 原始版本列出 115 个零售任务和 50 个航空任务。作者报告,在当时的实验配置下,GPT‑4o 函数调用代理的两域等权平均成功率为 48.2%,零售场景的 pass^8 低于 25%。该结果对应论文中的模型版本、代理设置和模拟环境。
  • 边界。 用户模拟会影响交互难度。最终数据库状态正确也可能掩盖中途违反流程,例如缺少明确授权却执行了写入。论文明确讨论了这类终态评估的局限。
  • 工程启示。 同时记录三类结果:工单或数据库终态是否正确,核验与审批步骤是否依序发生,重复执行同一场景能否稳定通过。三类指标分别定位业务错误、流程违规和运行波动。
  • 回读位置。 奖励与 pass^k 定义、表 1 和 §5 的模型对照。[8]

把交互任务变成可以重置和重放的实验

每条任务包含用户意图、模拟用户应遵循的约束和期望的数据库效果。代理看见的是政策、API 和逐轮用户回复,必须通过询问和工具查询取得信息。重跑时恢复相同初始业务状态,代理与模拟用户产生的新对话构成试次差异。正式版主要实验对每题至少跑三次,代理最多采取 30 个动作,动作包括发消息和调用工具。计算 pass^8 则需要不少于八次的独立运行。[8,§3–5]

ICLR 版表 2 的 GPT‑4o 函数调用结果 pass^1
零售 61.2%
航空 35.2%
两域等权平均 48.2%

表 2 与图 4 一起读。 48.2% 对两域等权。零售域单次平均超过六成,八次全成功的指标仍低于 25%。先算每个任务内的全通过比例,再按任务平均,可以保留任务难度差异。直接将全体任务的平均成功率做八次幂会丢掉这个差异。[8,表 2、图 4]

可复验的业务评分。 订单改期任务可分别检查订单日期、用户确认和工具调用顺序。把“正确写入但缺少确认”“已确认但写错字段”“正确升级至人工”分别编码,给转人工场景单独定义预期终态和合格条件。终态评分用于验证业务完成,轨迹评分用于追踪程序约束,两者可合成主指标并单独报告。[8,§3、§5]

9. Keeping LLM Agents on Procedure|有限状态机如何约束长流程

Sun 等,Keeping LLM Agents on Procedure: Executable Finite-State Control for Long-Horizon Instruction Fidelity,2026 年 11 月 arXiv 预印本。 [9]

  • 研究问题。 一个任务的每一步可能都很简单,连续处理大量批次时仍会出现跳步、提前结束或把不同案例混在一起。论文检验运行时约束能否比反复提醒更有效地保持流程一致性。
  • 核心机制。 把流程状态放在模型上下文之外。工具调用前确认当前状态是否允许该工具。状态迁移前执行守卫检查。回合结束前验证任务是否满足退出条件。主实验的守卫检查调用了哪些工具、对应哪个账户以及调用先后顺序。
  • 实验与结果。 在预注册的 SOP-Bench 实验中,每批 200 个账户。Claude Haiku 4.5 配合状态机时,平均有 139 个账户同时满足决策正确与遵循流程,最强非状态机基线为 48 个,差值的 95% 置信区间为 [46, 130] 个。作者同时报告,在特定条件下这一组合超过无状态机的 Claude Sonnet 4.6,成本为对照的 38%。
  • 边界。 可执行约束只能检查已经编码、且系统可观察的条件。调用了核验工具不保证核验结论正确。新场景需要覆盖例外、状态恢复和人工处理路径,预印本结果也需要独立复验。
  • 工程启示。 将“资料已汇总”“关键证据已核验”“人工审批已完成”和“工单写入成功”写成可持久化状态。运行时只有在证据完整且审批记录有效时才允许执行写入。审批前的分析可由模型根据反馈调整。
  • 回读位置。 图 1–2、预注册实验与消融部分。逐项比较提示提醒、自动续跑和执行约束。[9]

为什么同时需要工具门控、迁移守卫和结束检查

工具门控检查当前步骤是否允许该操作,迁移守卫检查账户和调用顺序等前置条件,结束检查处理还有未完任务的情况。三个位置针对不同的故障。比如,禁止无证据提交能阻止部分猜测,但代理仍可能提前结束。单独要求完成所有任务,又可能迫使代理提交未核验决定。原文在主实验中将这三个检查落在可观察的工作流事件上。[9,图 2、§3]

Haiku 4.5 消融子集 平均完成账户数 平均正确且合规账户数
提醒并自动继续 200.0 76.3
只拦提前结束 146.7 5.7
只启用工具与迁移检查 151.7 104.0
三类检查全部启用 200.0 128.0

区分主实验和消融。 表中的 128.0 来自三个指定种子,主实验中全状态机约 139.2 来自八个种子。主实验中 Haiku 的决策本身正确数为 146.5,自动提醒续跑为 138.9,差值区间包含零。更清晰的改善体现在“正确且合规”的交集。对 Sonnet,状态机相对最强续跑基线只在发生明显跳步的一个种子上占优,论文报告该预注册预测未通过。Haiku 状态机的 38% 成本来自与无状态约束 Sonnet 的特定三种任务顺序对照,Haiku 在单独的严格准确性指标上仍低于该对照。[9,§4.2–4.3,表 1–2]

设计规则时的追问。 哪些步骤可由事件日志可靠观察?技术上能否证明证据属于当前订单?故障后恢复时,检查能否识别已完成但响应丢失的提交?把禁止跳步的约束写入程序,同时给模型保留判断原因和提出补证的空间。若单次处理成本过高,也可比较逐单与受控批内并行,两者须有明确的业务合规口径。

10. Murakkab|在质量和延迟约束下做云端调度

Chaudhry 等,Murakkab: Resource-Efficient Agentic Workflow Orchestration in Cloud Platforms,OSDI 2026。 [10]

  • 研究问题。 当工作流被部署成不透明的一串模型和工具请求时,资源调度器难以利用操作之间的关系,也难以协调准确率、响应延迟和成本。
  • 核心机制。 使用声明式工作流表达来解耦业务逻辑与执行配置。基于性能画像的优化器选择组件映射,运行时根据目标协调模型、硬件、部署位置和执行安排。
  • 实验与结果。 论文在视频问答、代码生成和数学解题等代表工作流上,用生产规模的负载轨迹进行评估。在该论文的 LangGraph 对照配置下,作者报告最高 2.8 倍 GPU 用量改善、3.7 倍能耗改善、4.3 倍成本改善,并保持设定的质量和延迟服务目标。三个最大值应按各自实验条件解读。
  • 边界。 优化依赖工作流结构、可替代模型、负载画像和硬件异构性。若业务负载或模型能力变化,原有画像可能失效。服务目标满足也需与业务过程合规分别验证。
  • 工程启示。 部署前先给不同步骤定义质量、响应时间和成本约束。可在历史回放中测算模型分配和并发配置,再通过小规模验证确认对任务成功率与尾部延迟的实际影响。
  • 回读位置。 编程模型、性能画像与优化、评估的基线配置,以及论文中的延迟和质量约束定义。[10]

云服务目标如何改变模型与资源配置

声明式工作流让系统看到模型调用、工具执行和控制关系。对候选配置做性能画像后,可比较模型大小、候选数、部署硬件和执行方式,并按服务目标筛选方案。同一任务可以有重准确率和重延迟两种请求配置。优化器根据目标给出可行组合,运行时随负载变化调整资源,并在不同工作流之间复用算力。[10,§3、§4.3]

24 小时视频问答与代码生成混合负载(表 2) GPU 数 能耗(MWh) 成本(千美元)
LangGraph 固定分配 2,568 82.1 211.7
LangGraph 加自动扩缩容 2,472 80.6 112.3
Murakkab 分别优化工作流 1,164 27.7 57.2
Murakkab 优化并跨工作流复用 912 22.1 47.2

对照口径。 在表 2 中,加入自动扩缩容后基线成本本身从 211.7 降到 112.3 千美元。分别优化和跨工作流复用也各有收益。不能把整段差距归因于单个优化机制。阅读论文时应将该表的部署成本与图 9 的服务目标表现一起看,并区分作者的摘要倍数和各实验表的具体比较。[10,§4.3、表 2、图 9]

对自己的系统怎么测。 先为不同类别定义质量与 P95 延迟门槛。用同一负载轨迹比较固定模型、按步骤选择模型、按请求目标调度三组,然后以单位成功任务成本为预算指标。对任务规模偏小的场景,先用回放观察模型 API 和工具等待是否才是瓶颈,再决定是否需要自行调度 GPU。

11. 2026 年工作流综述|如何比较不同系统的设计

Bhardwaj 等,Agentic Workflows in Large Language Models,Discover Computing,2026 年 11 月。 [11]

  • 研究问题。 角色分工、协调拓扑、工具使用、记忆与人工监督经常被混合描述,造成研究间比较困难。
  • 核心方法。 按 PRISMA 2020 流程综述 2023 年至 2026 年 6 月间 126 篇被 Scopus 收录的期刊研究。作者从单智能体、协作式多智能体和层级监督三类协调拓扑入手,再分析角色专门化、工具、记忆与人工监督。
  • 主要发现。 综述指出长流程中的错误累积,以及对执行轨迹采用统一评测的不足。其所列 57 项实证研究中,27 项以协作式多智能体作为主要可识别拓扑。这个比例描述样本中架构的使用情况,不能用来推断它的效果领先。
  • 边界。 文献筛选由一位评审者完成,且收录口径限于特定期刊范围。计算机科学领域重要会议成果与新近预印本需要另行补充。综述的覆盖截止在 2026 年 6 月,早于本笔记纳入的 11 月有限状态机论文。
  • 阅读用途。 用协调拓扑与功能机制作为文献编码字段,注明每项结果来自概念框架、模拟环境还是系统实证,并保留基准和工作负载口径。
  • 回读位置。 纳入标准、分类框架、实证子样本分析及局限章节。[11]

从检索流程到研究证据的可比性

作者按标题、摘要和关键词搜索。初始命中 2,309 条,经过出版阶段、文献类型、语言与来源筛选后有 620 篇期刊文章进入后续筛选,最终纳入 126 篇。全文纳入判定与质量评估是两个步骤。文章报告高、中、可接受质量分别是 82、38、6 篇,质量评价影响定性综合中的使用方式,126 篇均保留。由于筛选由一位评审者完成,且以 Scopus 期刊为范围,适合用作主题图谱,若要复用其样本比例,应先核对纳入与编码标准。[11,§2、图 2]

阅读维度 研究者可以记录什么
协调拓扑 单一决策者、代理之间协作,或监督者分发和整合
规划方式 固定流程、运行中重规划、反思或迭代式选择
状态与知识 外部记录的来源、记忆更新方式、模型输入中实际可用的信息
工具和监督 工具是否只读、谁有写权限、何时交人工、如何恢复
证据等级 概念框架、基准对照、用真实负载轨迹测试,或业务上线验证
评估单位 单步答案、任务终态、完整轨迹、重复运行,或单位成功成本

进一步使用该综述。 对自己关心的“长流程可靠性”检索方向,可交叉查其规划、评测及未来方向章节,再从参考文献挑出有明确终态和对照的实验。27/57 的统计描述了实证子样本中的拓扑频率。若要回答多智能体是否优于单智能体,需要进一步提取同模型、同任务、同工具和同预算的配对证据。[11,§3–9]

三、跨论文对照

容易混淆的概念 对照结论
ReAct 与 LLMCompiler ReAct 解决收到观察后如何继续决策。LLMCompiler 解决计划中的调用如何按依赖高效执行。同一工作流可以在开放式调查阶段使用前者,在取数阶段使用后者。[2][3]
AFlow 与 Murakkab AFlow 搜索工作流结构,主要在设计时优化。Murakkab 根据服务目标优化给定工作流的执行配置,涉及模型、硬件与运行时调度。[4][10]
MemGPT 与 AIOS MemGPT 聚焦智能体怎样管理可见上下文和外部记忆。AIOS 聚焦多个应用如何复用调度、存储、访问控制等运行时服务。[5][7]
AIOS 与有限状态控制 AIOS 主要关注共享资源与系统执行。有限状态控制明确每个业务步骤的允许动作、迁移条件和完成条件。[7][9]
多智能体与并行执行 AutoGen 以角色通信支持协作。LLMCompiler 可在一个智能体内并行执行多个工具。引入角色与并行化是两项可以独立试验的设计变量。[3][6]
最终正确与过程合规 τ-bench 提供按最终业务状态评测的方法。有限状态控制展示如何检查工具顺序和状态迁移。评测时记录二者的交集,才能识别碰巧得到正确终态的违规运行。[8][9]

不同论文报告的最高加速、成本比例和成功率依赖各自的模型、数据和基线,不能在表格里直接相乘,也不宜按数字给框架排名。更可比的方式,是在同一批业务任务中固定模型版本、工具数据和预算,再逐一改变调度、状态控制或角色划分。

四、落到垂直智能体研究

示例流程|事件核验与工单提交

  1. 受理与定义状态。 系统生成事件编号,保存时间、地点、告警来源与当前流程状态。信息缺失时进入待补充状态。
  2. 并行只读查询。 在地点和时间窗已知后,并行查询预警、资源台账和联系人。每个工具结果带来源、更新时间、请求编号和返回状态。部分接口失败时标记证据缺失,可单独重试。
  3. 证据核验与材料生成。 模型汇总证据、标记冲突,并给出需要补证的字段。确定性的规则检查资料是否齐备,冲突是否已处理,随后生成供人工复核的工单草稿。
  4. 人工审批与写入。 业务系统核验审批身份、审批版本与有效性。审批通过后,用事件编号与审批版本生成幂等键,避免重试时创建重复工单。写入成功后保存业务系统返回的工单编号。
  5. 闭环评测。 检查工单字段和状态、必要证据、审批顺序和重复写入情况。失败轨迹保留可核验的工具返回及状态事件,便于定位卡在哪个环节。

可执行的对照实验

设计项 建议口径
研究问题 在模型与工具相同的情况下,外置流程控制能否提高长批次任务中“业务正确且流程合规”的比例,并保持可接受的延迟与成本?
主要对照 A 组为串行工具调用并在提示中写入 SOP。B 组在 A 组上增加依赖调度。C 组在 B 组上增加外置状态和校验。若要单独识别两者交互,再加只启用状态控制的组。
样本分层 正常、缺字段、来源冲突、超时、重复请求、人工驳回。为每个案例冻结初始数据库、流程规则和预期终态。长批次另外记录案例所处位置,识别后半程表现变化。
主要指标 “终态正确且过程合规”的比例。分别报告终态正确率、流程违规率、重复写入率,并在重复采样的同一任务上计算 pass^k。
效率指标 中位数与 P95 延迟、每个任务的模型调用量和工具调用量、每个成功任务的成本。对失败运行照样计入成本。
公平比较 固定模型、温度、工具权限、输入数据和超时上限。对同一案例配对比较,针对随机运行记录种子或运行批次,并为主要差值报告不确定性。

该方案将文献中的三个机制放入可核验的业务任务:依赖调度对应 LLMCompiler,流程约束对应有限状态控制,终态与重复运行评测对应 τ-bench。它是可用于应急或工业异常处理的研究设计,尚无本项目实测结果。[3][8][9]

参考文献与原文

  1. Sumers, T. R., Yao, S., Narasimhan, K., & Griffiths, T. L. (2024). Cognitive Architectures for Language Agents. Transactions on Machine Learning Research. OpenReview 原文
  2. Yao, S., et al. (2023). ReAct: Synergizing Reasoning and Acting in Language Models. ICLR. 论文 PDF
  3. Kim, S., et al. (2024). An LLM Compiler for Parallel Function Calling. ICML, PMLR 235, 24370–24391. 会议论文 · 正文 PDF
  4. Zhang, J., et al. (2025). AFlow: Automating Agentic Workflow Generation. ICLR. 会议论文 PDF
  5. Packer, C., et al. (2023). MemGPT: Towards LLMs as Operating Systems. arXiv:2310.08560. 论文 PDF
  6. Wu, Q., et al. (2024). AutoGen: Enabling Next-Gen LLM Applications via Multi-Agent Conversation. COLM. 会议页面 · 论文 PDF
  7. Mei, K., et al. (2025). AIOS: LLM Agent Operating System. COLM. 会议论文 · 正文
  8. Yao, S., Shinn, N., Razavi, P., & Narasimhan, K. (2025). τ-bench: A Benchmark for Tool-Agent-User Interaction in Real-World Domains. ICLR. 会议论文 · 2024 年预印本
  9. Sun, Y., et al. (2026). Keeping LLM Agents on Procedure: Executable Finite-State Control for Long-Horizon Instruction Fidelity. arXiv:2611.10884. 预印本正文
  10. Chaudhry, G. I., et al. (2026). Murakkab: Resource-Efficient Agentic Workflow Orchestration in Cloud Platforms. OSDI, 567–587. 会议论文
  11. Bhardwaj, V., et al. (2026). Agentic workflows in large language models: a comprehensive review of architectures, planning strategies, and real-world applications. Discover Computing, 29, 908. 期刊全文

评论