机器之心SOTA公众号文章

Meta发布Muse Wonder与Muse Wonder Full长任务编程模型,Speridlabs开源Iris-3B像素空间图像生成模型

编程与长任务模型Meta Muse Wonder / Muse Wonder Full,图像生成与处理模型Speridlabs Iris-3B,端侧视觉理解模型OpenBMB MiniCPM-V 4.7,机器人控制模型UniWAM,世界模型生成框架Streaming Code World Model,科研Agent优化方法Sakana AI MASS。

机器之心SOTA

公众号 · 21 篇文章

10月13日,今天关注的项目覆盖长任务编程、图像生成、端侧视觉理解、机器人控制、世界模型与科研 Agent:Meta 发布 Muse Wonder 系列,强化编程与持续任务处理;MiniCPM-V 4.7 提供两档视觉模型与端侧方案,UniWAM 则公开连接语义、视觉预测和动作生成的代码与权重。


💻 编程与长任务


★ Meta Muse Wonder / Muse Wonder Full

处理编程、多步骤长任务与电脑操作,以百万级上下文衔接任务执行和出错恢复。


Meta 于10月12日发布 Muse Wonder 与 Muse Wonder Full,两款模型均提供 100万 token 上下文,面向编程、多步骤长任务和电脑操作。模型可以分派子 Agent 处理子任务,并在执行出错后恢复,重点是让复杂工作继续推进。

其中,ActiveMemory 用于保留上下文,ActiveFocus 支持持续执行任务。对于需要跨多个步骤、反复读取资料或修改代码的工作,这两项机制分别处理信息保留与任务延续。

Wonder 可通过兼容 OpenAI 接口的 Meta Model API 或 Muse Code 使用;Full 仅向 Muse Code 的 Power Usage、Maximum Usage 订阅开放。两者均未公开模型权重。

上手门槛

开发接入:🟢 低|Wonder 提供兼容 OpenAI 的 API

产品入口:https://dev.meta.ai/products/muse-code

模型与 API:https://dev.meta.ai/models/muse-wonder

发布说明:https://research.meta.ai/blog/muse-wonder


🎨 图像生成与处理


★ Speridlabs Iris-3B

直接在像素空间生成图像,并以同一骨干的不同微调版本处理相对深度和四倍修复放大。


Iris-3B 是一个30亿参数的像素空间扩散模型,不依赖 VAE 将图像压缩到潜空间。文生图还需要加载冻结的 Qwen3-VL 编码器,其40亿参数不包含在 Iris 的30亿参数内,因此部署时不能只按3B模型估算资源。

项目围绕同一骨干分别微调出单目相对深度估计与四倍修复放大版本。三项能力对应不同模型版本,并非一个检查点直接完成全部任务;目前还提供四步生成的 Turbo 版本。

代码与权重采用 Apache 2.0 许可证,并提供在线演示。官方演示通过按需加载三个任务模型、配合 CPU 卸载控制资源占用,该方案的峰值显存约20GB,可作为本地尝试时的配置参考。

上手门槛

自行部署:🟡 中|文生图需另加载4B编码器|官方 CPU 卸载方案峰值显存约20GB

在线演示:https://huggingface.co/spaces/speridlabs/iris-3b

模型下载:https://huggingface.co/speridlabs/iris-3b

代码仓库:https://github.com/speridlabs/iris-3b


👁️ 端侧视觉理解


★ OpenBMB MiniCPM-V 4.7

理解单图、多图、文档和视频,提供35B-A3B与1B两档模型及手机端运行方案。


OpenBMB 于10月12日发布 MiniCPM-V 4.7,提供35B-A3B和1B两种规格,覆盖单图、多图、文档与视频理解。两个版本为设备资源和任务需求不同的使用者提供选择,也便于围绕端侧场景开展部署。

35B-A3B 采用总参数350亿、激活参数30亿的设计。项目以 LES 预取专家权重,并配合量化支持端侧运行;30亿激活参数不等于只需容纳30亿参数的内存,评估设备时仍需考虑整体权重与运行方案。

项目提供手机端方案及 GGUF 等量化权重,开发者可按目标设备选择模型规格和运行路径。代码与模型权重均采用 Apache 2.0 许可证,适合进一步验证文档读取、图像问答和视频理解在本地设备上的效果。

上手门槛

自行部署:🟡 中|可选35B-A3B或1B规格|提供量化权重及端侧运行方案

模型权重:https://huggingface.co/collections/openbmb/minicpm-v-47

代码仓库:https://github.com/OpenBMB/MiniCPM-V


🧠 语音 Agent 记忆


★ VoiceMem

把语音中的事实、偏好与情绪沉淀为长期记忆,在用户说话时提前检索,供语音 Agent 调用。


VoiceMem 是一个面向实时语音智能体的开源记忆系统,采用“流式双脑”架构:左脑组织事实信息,右脑管理人格、情绪与关系信息。它结合语音转写、声纹和情绪感知等组件,让助手在后续对话中调用用户此前表达过的偏好与经历。

系统可以在用户尚未说完时提前检索相关记忆,再经过路由和排序,只将少量相关条目送入回复模型的上下文。记忆层与回复模型解耦,开发者可以替换生成回答的模型,用于个性化语音助手、数字人或陪伴设备。

项目已公开代码、配套模型与 ChatMem-400K 数据集,代码采用 Apache 2.0 许可证。记忆检索在本地运行,但默认事实提取仍调用外部模型,不能将默认方案理解为完全离线。仓库提供 Python 接口、流式接口和可本地启动的网页演示。

上手门槛

开发接入:🟢 较低|提供 Python 与流式接口|可替换回复模型

自行部署:🟡 中|需加载语音与嵌入等多个组件|默认事实提取调用外部模型

代码仓库:https://github.com/xzf-thu/VoiceMem

项目主页:https://xzf-thu.github.io/VoiceMem/


🤖 机器人控制


★ UniWAM(Ola-Sem 开源版本)

以80亿参数统一语义理解、未来视觉预测与动作生成,提供仿真环境中的机器人策略流程。


欧拉万象与香港科技大学(广州)此前推出 Ola-Sem,此次公开对应的 UniWAM 版本。模型规模为80亿参数,将语义理解、未来视觉预测和动作生成放入同一框架,通过三个专家之间的联合注意力连接不同任务。

训练结合机器人演示、人类第一视角数据和视觉问答数据,使模型同时接触环境语义、视觉变化与动作示范。对于机器人研究者,这提供了一个研究理解、预测和控制如何协同的实现入口。

当前已公开代码、基础权重及 RoboTwin clean 权重,并提供 LIBERO、RoboTwin 仿真环境中的训练、评测和策略部署流程。公开版本暂不包含真机推理流程,实际尝试应以现有仿真路径为准。

上手门槛

自行部署:🟡 中|需组合视觉语言与视频组件|当前提供仿真环境策略部署

模型权重:https://huggingface.co/collections/chenpyyy/uniwam

代码仓库:https://github.com/UniWAM/UniWAM


🎬 世界模型生成


★ Streaming Code World Model

利用当前与历史代理渲染逐段生成世界模型视频,以因果滑动窗口延续后续片段。


Streaming Code World Model 基于 CodeWorldModel 与 MiniMaxH3,将视频生成改为按片段推进的因果流程。每一段只使用当前和历史的代理渲染,结合六片段滑动窗口及四步蒸馏,处理持续生成时的上下文衔接。

流式生成并不意味着已经达到实时速度。官方报告,单张 H200 生成0.71秒视频片段需要5.1秒;BF16 峰值显存约123GB,FP8 约108GB,暂不支持80GB显卡。这些条件直接限制了可尝试的硬件范围。

项目公开代码与 LoRA 适配权重,运行时仍需配套底座模型。对于拥有足够显存的研究团队,它提供了检验分段生成与有限历史窗口的实现,但适配权重本身不是可独立运行的完整模型。

上手门槛

自行部署:🔴 极高|官方使用单张 H200|FP8 峰值显存约108GB|暂不支持80GB显卡

适配权重:https://huggingface.co/Luffuly/streaming-code-world-model

代码仓库:https://github.com/TingtingLiao/streaming-code-world-model


🧪 科研 Agent 优化


★ Sakana AI MASS

交替搜索多 Agent 工作流与训练优选轨迹,让同一27B模型参与科研任务的执行、优化和评估。


MASS 使用基于 Qwen3.6 的27B模型,让同一模型承担任务执行、优化与评估。流程先固定模型权重,搜索多 Agent 工作流,再用优选轨迹进行后训练,随后进入下一轮搜索,联合调整协作方式与模型能力。

这项研究主要面向科研 Agent。项目在部分科研基准上报告了提升,但编程基准没有同步提升,因此现有结果不能概括为对所有任务都有效。

公开研究代码包含工作流搜索、采样、排序、LoRA 训练及导出流程,需要运行27B模型服务并配置多卡后训练。仓库 NOTICE 明确未授予 MASS 代码公共开源许可证,且未随代码发布训练后的权重;使用时需区分代码可查阅与获得开源授权。

上手门槛

自行部署:🔴 高|需运行27B模型服务|完整流程包含多卡后训练

研究代码:https://github.com/SakanaAI/mass

运行指南:https://github.com/SakanaAI/mass/blob/main/docs/running.md

发布说明:https://sakana.ai/mass/


前往微信阅读全文

内容来自公众号,可前往微信查看原文。

查看作者的更多文章 →订阅更新、RSS 与阅读指南 →