国防科技大学赵翔教授团队与天津大学王鑫教授团队合作在软件学报发表综述论文 “图智能体概念与研究进展”。
大语言模型通过大规模语料预训练获得自然语言理解与生成能力。大模型智能体以其为推理与决策核心,围绕任务目标感知环境、制定计划、执行行动,并依据环境反馈调整行为,形成交互闭环。当任务涉及多个阶段、工具或持续交互时,智能体需要维护实体关系、步骤依赖和动态任务状态。仅依赖文本上下文,模型可能遗漏关键证据、违反工具调用的顺序约束,或沿用过时状态。系统因而需要明确记录相关关系与任务状态,并在执行过程中及时更新。
图结构可以显式表示这些关系:将知识实体、工具、子任务和记忆单元表示为节点,将语义关联、数据流向、执行依赖和时间关系表示为边,使分散在文档、任务描述和交互记录中的关系能够被查询和更新。这些关系进一步用于检索、规划和推理:知识图谱中的实体连接引导证据检索,工具图中的接口关系限定调用组合,任务图中的依赖边约束步骤的执行顺序;推理图组织候选思路和中间结论,用于评估与回溯;记忆图关联历史经验,用于后续检索与复用。
综述提出“图智能体”的概念,描述以图结构为核心组织形式的智能体范式。在这类系统中,至少有一个图的拓扑关系,对信息获取、行为生成或状态维护中的某一环节产生直接的结构性约束。具体以图实例为分析单位,根据图的功能定位与嵌入位置,归纳出图智能体的三类功能角色:
图用于环境建模:组织外部知识、工具关系和环境状态。
图用于依赖建模:表达子任务依赖、资源约束和智能体协作关系。
图用于思维建模:组织候选假设、中间结论和交互经验。
图1:图智能体的研究方向划分及代表性工作
图2:图智能体组织架构
智能体执行任务时,需要查找任务相关信息、选择合适的工具,并识别当前环境状态。图智能体通过环境建模,将外部知识、工具关系和环境状态组织为图结构,使信息获取、工具选择与行动规划能够在显式关系约束下展开。
图3:GraphRAG两阶段索引查询
另一类方法基于预先构建的知识图谱,利用既定的实体关系拓扑组织检索。HippoRAG 通过图上的关联传播激活跨文档证据;ToG 系列通过关系选择、实体扩展和候选筛选控制搜索路径,并逐步引入图文协同检索与动态子图选择。在这些方法中,图决定了候选证据如何被连接与访问。
图还可以用于构建行动环境。ToolFlow 和 ToolNet 将工具及其调用关系表示为图,使工具链规划受到输入输出关系和调用顺序的约束。ControlLLM 进一步将工具节点与资源节点组织为有向二分图,利用资源类型匹配限定可行工具链,为接口合法性检查提供依据。
对于涉及现实场景理解与行动规划的任务,图的建模对象转向场景实体及其交互关系。GraphAD 用场景图表示交通参与者、道路元素与交互关系;Graphormer 将风险关系纳入任务规划;SceneCraft 则将场景关系映射为可计算的空间约束,用于三维布局生成。图中的关系由此参与环境理解、风险判断和行动选择。
环境建模的主要价值体现在三个方面:
分散知识通过实体关系、语义层次或证据子图被组织起来,便于检索与整合。
工具之间的接口、资源和调用关系能够被显式检查。
环境中的空间关系与安全约束能够参与行动规划。
外部环境的结构化表示能够界定证据来源与行动范围。但复杂目标的完成,还取决于子任务之间如何衔接,以及执行主体之间如何分工。图智能体的依赖建模关注子任务之间的执行依赖与智能体之间的协作关系,利用任务图和协作拓扑组织执行过程。
在多智能体系统中,图节点对应智能体,边表示通信或协作关系。当任务需求、角色配置或执行阶段发生变化时,连接关系也需要随之调整,以匹配当前的信息交互需求。相关研究主要从拓扑优化与任务驱动的结构生成两个方向展开。CommFormer 将通信拓扑纳入策略优化,AgentPrune 通过连接剪枝减少冗余交互,G-Designer 则生成与任务相适应的稀疏通信图。ARG-DESIGNER 和 DyLAN 等方法进一步依据任务语义或执行表现配置角色与连接,使协作结构能够随任务需求变化。
图4:DynTaskMAS动态任务驱动的协作组织
DART-LLM 利用大语言模型提取子任务及其依赖关系,生成结构化任务表示,系统再据此构建有向无环图,通过图遍历规则完成任务分配与执行。ChatSOP 则将标准操作流程表示为显式约束图,引导模型在流程约束下进行搜索与规划。
这些方法形成了较为清晰的分工:语言模型负责理解任务和生成结构化表示,图搜索与依赖调度机制负责检查执行条件、选择可行节点和组织步骤衔接。
依赖建模的主要价值体现在:
复杂目标被分解为具有明确依赖关系的子任务。
多智能体的角色分工与通信路径能够随执行需求调整。
执行顺序、并行范围与局部重规划能够依据任务依赖进行控制。
任务图与协作拓扑能够组织任务执行,但具体决策的形成还涉及推理展开与经验调用。思维建模针对图智能体的内部决策过程,利用思维推理图与记忆图组织中间状态、推理关系和交互经验。
图5:EGoT推理及采样温度调节
另一类方法将拓扑约束嵌入训练目标或推理流程,在不显式维护完整思维图的情况下组织推理。例如,ToG 通过关系与实体选择,使逐步推理遵循知识图谱中的可达路径;SSRL 利用图上的可达性信息训练策略网络,引导后续动作选择。ToG 在此处讨论的是图拓扑对推理状态转移的约束。显式方法将中间思考作为可操作的图节点,隐式方法则通过关系路径、状态转移或训练信号引导推理展开。
推理还需要利用此前积累的经验。记忆图将交互中的状态、行动和反馈组织为相互关联的记忆单元,使历史信息能够根据当前任务被检索和复用。
H-MEM 通过层次结构组织不同粒度的经验,A-MEM 根据语义关联建立和更新记忆链接,TSM 引入时间关系,AriGraph 则结合语义记忆与情景记忆记录环境信息。AgentNet 进一步将图结构与策略学习结合,通过子图选择组织执行路径,并根据执行反馈更新连接权重,使经验能够参与后续决策。
当记忆被多个智能体共同使用时,其功能也扩展到跨主体的经验共享与协同更新。G-Memory 通过分层图结构记录交互、任务状态和策略信息,使不同任务与执行主体能够复用已有经验。
图6:MAGMA双路径记忆结构更新
思维建模的主要价值体现在:
中间推理状态能够被扩展、评估、聚合与回溯。
交互经验能够形成持续更新的长期记忆,并参与后续决策。
多个智能体能够共享和复用已有经验,协同维护记忆状态。
三类功能角色的建模对象与运行机制不同,图在信息获取、任务执行与内部状态维护中的作用也各有侧重。综述从作用位置、结构更新代价、运行开销、可解释性和鲁棒性等维度,对相关方法进行横向比较(图7)。图嵌入程度更深,并不必然带来更好的任务表现,实际效果仍需结合图质量、更新机制与任务需求判断。
图7:图智能体在统一维度下的横向比较
图智能体的评测进一步检验这些机制在具体任务中的效果:环境建模评估知识检索质量与工具链合法性,依赖建模评估依赖满足率与协作开销,思维建模评估推理一致性与历史经验的召回效果。综述将相关指标归纳为任务完成效果、长程一致性、图更新成本、工具调用合法性、多智能体通信开销和记忆保持效果六个维度。
图8:评测基准表
笔记整理:常胜,国防科技大学博士,研究方向为图神经网络,图智能体;葛朋林,天津大学硕士,研究方向为知识图谱,大语言模型
论文链接:http://www.jos.org.cn/1000-9825/7724.htm
发表期刊:软件学报