PaperWeekly公众号文章

当Agent开始用图来思考:一篇综述梳理图智能体三大方向

Agent也有自己的「关系图」了

PaperWeekly

公众号 · 39 篇文章


图片

图片
图片

国防科技大学赵翔教授团队与天津大学王鑫教授团队合作在软件学报发表综述论文 “图智能体概念与研究进展”。

图片
图片
01
动机
图片

大语言模型通过大规模语料预训练获得自然语言理解与生成能力。大模型智能体以其为推理与决策核心,围绕任务目标感知环境、制定计划、执行行动,并依据环境反馈调整行为,形成交互闭环。当任务涉及多个阶段、工具或持续交互时,智能体需要维护实体关系、步骤依赖和动态任务状态。仅依赖文本上下文,模型可能遗漏关键证据、违反工具调用的顺序约束,或沿用过时状态。系统因而需要明确记录相关关系与任务状态,并在执行过程中及时更新。

图结构可以显式表示这些关系:将知识实体、工具、子任务和记忆单元表示为节点,将语义关联、数据流向、执行依赖和时间关系表示为边,使分散在文档、任务描述和交互记录中的关系能够被查询和更新。这些关系进一步用于检索、规划和推理:知识图谱中的实体连接引导证据检索,工具图中的接口关系限定调用组合,任务图中的依赖边约束步骤的执行顺序;推理图组织候选思路和中间结论,用于评估与回溯;记忆图关联历史经验,用于后续检索与复用。

综述提出“图智能体”的概念,描述以图结构为核心组织形式的智能体范式。在这类系统中,至少有一个图的拓扑关系,对信息获取、行为生成或状态维护中的某一环节产生直接的结构性约束。具体以图实例为分析单位,根据图的功能定位与嵌入位置,归纳出图智能体的三类功能角色:

  • 图用于环境建模:组织外部知识、工具关系和环境状态。

  • 图用于依赖建模:表达子任务依赖、资源约束和智能体协作关系。

  • 图用于思维建模:组织候选假设、中间结论和交互经验。

同一图智能体系统可以包含多个图实例,分别承担不同功能。综述按照这三类功能角色梳理相关研究,形成了图1所示的方向划分及代表性工作。这些方向对应不同的建模对象与作用环节。

图片

图1:图智能体的研究方向划分及代表性工作

图 2 进一步展示了各类典型图结构及其节点、边的含义,说明图如何参与图智能体的信息获取、任务执行与内部状态维护。下文将沿这一分类框架,介绍图智能体在环境建模、依赖建模和思维建模中的代表性方法,并梳理相应的比较与评测维度。

图片

图2:图智能体组织架构

图片
02
环境建模:组织智能体面对的外部世界
图片

智能体执行任务时,需要查找任务相关信息、选择合适的工具,并识别当前环境状态。图智能体通过环境建模,将外部知识、工具关系和环境状态组织为图结构,使信息获取、工具选择与行动规划能够在显式关系约束下展开。

在知识环境表示方面,一类方法从原始文本出发,通过语义聚合、实体抽取或层次建模构建可检索的结构。RAPTOR 利用递归聚类和摘要生成建立层次化语义树,使检索能够在不同信息粒度之间展开。GraphRAG 则从文档中提取实体及其关系,通过社区划分和摘要生成整合跨文档信息。图3展示了 GraphRAG 基于社区摘要的索引与查询流程:索引阶段完成实体抽取、社区划分与摘要生成,查询阶段处理相关社区摘要并汇聚答案。部分跨文档信息整合由此被前置到索引阶段,在线查询可以利用已经形成的语义结构组织证据。在此基础上,GRAG、FG-RAG 和 KG-Retriever 等方法,通过子图检索、实体扩展或多层图索引,进一步组织查询相关的多跳证据。

图片

图3:GraphRAG两阶段索引查询

另一类方法基于预先构建的知识图谱,利用既定的实体关系拓扑组织检索。HippoRAG 通过图上的关联传播激活跨文档证据;ToG 系列通过关系选择、实体扩展和候选筛选控制搜索路径,并逐步引入图文协同检索与动态子图选择。在这些方法中,图决定了候选证据如何被连接与访问。

图还可以用于构建行动环境。ToolFlow 和 ToolNet 将工具及其调用关系表示为图,使工具链规划受到输入输出关系和调用顺序的约束。ControlLLM 进一步将工具节点与资源节点组织为有向二分图,利用资源类型匹配限定可行工具链,为接口合法性检查提供依据。

对于涉及现实场景理解与行动规划的任务,图的建模对象转向场景实体及其交互关系。GraphAD 用场景图表示交通参与者、道路元素与交互关系;Graphormer 将风险关系纳入任务规划;SceneCraft 则将场景关系映射为可计算的空间约束,用于三维布局生成。图中的关系由此参与环境理解、风险判断和行动选择。

环境建模的主要价值体现在三个方面:

  • 分散知识通过实体关系、语义层次或证据子图被组织起来,便于检索与整合。

  • 工具之间的接口、资源和调用关系能够被显式检查。

  • 环境中的空间关系与安全约束能够参与行动规划。

图片
03
依赖建模:组织任务分解与协作执行
图片

外部环境的结构化表示能够界定证据来源与行动范围。但复杂目标的完成,还取决于子任务之间如何衔接,以及执行主体之间如何分工。图智能体的依赖建模关注子任务之间的执行依赖与智能体之间的协作关系,利用任务图和协作拓扑组织执行过程。

在多智能体系统中,图节点对应智能体,边表示通信或协作关系。当任务需求、角色配置或执行阶段发生变化时,连接关系也需要随之调整,以匹配当前的信息交互需求。相关研究主要从拓扑优化与任务驱动的结构生成两个方向展开。CommFormer 将通信拓扑纳入策略优化,AgentPrune 通过连接剪枝减少冗余交互,G-Designer 则生成与任务相适应的稀疏通信图。ARG-DESIGNER 和 DyLAN 等方法进一步依据任务语义或执行表现配置角色与连接,使协作结构能够随任务需求变化。

在任务组织层面,复杂目标被表示为由子任务节点和依赖边构成的任务图。节点记录执行单元及其条件,边表达前置关系和资源依赖。DynTaskMAS 将自然语言任务分解为带有依赖关系的任务图,再结合任务结构、资源条件与执行需求配置协作关系。如图4所示,任务图刻画子任务之间的依赖,协作图刻画执行主体之间的分工与交互;执行反馈用于识别受影响的结构,并触发局部重构。

图片

图4:DynTaskMAS动态任务驱动的协作组织

DART-LLM 利用大语言模型提取子任务及其依赖关系,生成结构化任务表示,系统再据此构建有向无环图,通过图遍历规则完成任务分配与执行。ChatSOP 则将标准操作流程表示为显式约束图,引导模型在流程约束下进行搜索与规划。

这些方法形成了较为清晰的分工:语言模型负责理解任务和生成结构化表示,图搜索与依赖调度机制负责检查执行条件、选择可行节点和组织步骤衔接。

依赖建模的主要价值体现在:

  • 复杂目标被分解为具有明确依赖关系的子任务。

  • 多智能体的角色分工与通信路径能够随执行需求调整。

  • 执行顺序、并行范围与局部重规划能够依据任务依赖进行控制。

图片
04
思维建模:组织推理展开与长期记忆
图片

任务图与协作拓扑能够组织任务执行,但具体决策的形成还涉及推理展开与经验调用。思维建模针对图智能体的内部决策过程,利用思维推理图与记忆图组织中间状态、推理关系和交互经验。

在显式推理结构中,候选假设、中间结论或思考状态被表示为节点,逻辑依赖与推理关系通过边连接。ToT 将中间思考组织为树形状态空间,使推理能够在不同分支之间搜索与回退。GoT 进一步采用有向图,允许不同思路被聚合、精炼和继续扩展。EGoT 将生成、评估与问题提取结合到节点处理过程中。如图5所示,系统根据节点质量与冲突信息调整后续扩展,并通过采样温度调节探索范围,使推理图的演化与中间状态评估相联系。

图片

图5:EGoT推理及采样温度调节

另一类方法将拓扑约束嵌入训练目标或推理流程,在不显式维护完整思维图的情况下组织推理。例如,ToG 通过关系与实体选择,使逐步推理遵循知识图谱中的可达路径;SSRL 利用图上的可达性信息训练策略网络,引导后续动作选择。ToG 在此处讨论的是图拓扑对推理状态转移的约束。显式方法将中间思考作为可操作的图节点,隐式方法则通过关系路径、状态转移或训练信号引导推理展开。

推理还需要利用此前积累的经验。记忆图将交互中的状态、行动和反馈组织为相互关联的记忆单元,使历史信息能够根据当前任务被检索和复用。

H-MEM 通过层次结构组织不同粒度的经验,A-MEM 根据语义关联建立和更新记忆链接,TSM 引入时间关系,AriGraph 则结合语义记忆与情景记忆记录环境信息。AgentNet 进一步将图结构与策略学习结合,通过子图选择组织执行路径,并根据执行反馈更新连接权重,使经验能够参与后续决策。

当记忆被多个智能体共同使用时,其功能也扩展到跨主体的经验共享与协同更新。G-Memory 通过分层图结构记录交互、任务状态和策略信息,使不同任务与执行主体能够复用已有经验。

记忆的持续维护还涉及新经验如何写入,以及已有关系如何更新。图6展示了 MAGMA 的快慢双路径机制:快路径及时将新观测连接到相关节点,慢路径对局部子图进行关系推断、筛选与更新,使记忆内容与关联结构能够持续演化。

图片

图6:MAGMA双路径记忆结构更新

思维建模的主要价值体现在:

  • 中间推理状态能够被扩展、评估、聚合与回溯。

  • 交互经验能够形成持续更新的长期记忆,并参与后续决策。

  • 多个智能体能够共享和复用已有经验,协同维护记忆状态。

图片
05
图智能体的比较与评测
图片

三类功能角色的建模对象与运行机制不同,图在信息获取、任务执行与内部状态维护中的作用也各有侧重。综述从作用位置、结构更新代价、运行开销、可解释性和鲁棒性等维度,对相关方法进行横向比较(图7)。图嵌入程度更深,并不必然带来更好的任务表现,实际效果仍需结合图质量、更新机制与任务需求判断。


图片

图7:图智能体在统一维度下的横向比较

图智能体的评测进一步检验这些机制在具体任务中的效果:环境建模评估知识检索质量与工具链合法性,依赖建模评估依赖满足率与协作开销,思维建模评估推理一致性与历史经验的召回效果。综述将相关指标归纳为任务完成效果、长程一致性、图更新成本、工具调用合法性、多智能体通信开销和记忆保持效果六个维度。

围绕这些评测内容,综述整理了多跳问答、工具调用、任务分解、网页交互和长期记忆等任务的评测基准、指标与对比设置(图8),从结果质量、过程可靠性和运行代价三个方面考察图智能体的实际表现。

图片

图8:评测基准表

图片
06
总结
图片
图智能体以图结构组织系统运行,使图拓扑直接约束信息获取、行为生成或状态维护。本文介绍的环境建模、依赖建模和思维建模,分别体现了图智能体在外部信息组织、任务协作执行以及内部推理与记忆维护中的不同机制。同一图智能体系统可以包含多个图实例,分别承担不同功能。结合任务表现、结构约束与运行开销进行比较和评测,可以进一步分析不同图智能体设计的实际效果与适用条件。

笔记整理:常胜,国防科技大学博士,研究方向为图神经网络,图智能体;葛朋林,天津大学硕士,研究方向为知识图谱,大语言模型

论文链接:http://www.jos.org.cn/1000-9825/7724.htm

发表期刊:软件学报

前往微信阅读全文

内容来自公众号,可前往微信查看原文。

查看作者的更多文章 →订阅更新、RSS 与阅读指南 →