老刘说NLP公众号文章

2026年10月半月度技术动态回顾:Jev决策、多模态、端侧垂直小模型及大模型蒸馏攻防

2026年10月半月度技术趋势回顾:Jev决策、多模态、端侧垂直小模型及大模型蒸馏攻防

老刘说NLP

公众号 · 52 篇文章

今天是2026年10月17日,星期六,北京,天气雨。

社区内部发布老刘说NLP技术社区半月度报告-2026年10月上半月AI技术情报深度总结】,基于老刘说NLP技术进展早报(10.1-10.16,共16期)与AI情报简报(10.1-10.17,共17份,累计约2700余条消息、去重后入选约340条Top条目)两个来源素材。

图片

铺开看,有一些节点:

图片

并可以得到几个总结结论:

1、决策模型Jev类非结构化→结构化决策模型在两周内从单点(Clef)扩散为赛道(Liquid d1、JEV-27B-VL、Microsoft-Decision-1、Typesafe),把高频决策从通用LLM中拆分出来;

2、Agent工程Harness(上下文/循环/Jev/评估工程)被确认是Agent落地的真正地基,护城河从模型能力转向做好的小事;

3、效率转向模型竞赛从能力上限比拼进入能力、成本、速度、任务效率并重阶段,Jevons悖论显现:token更便宜反而推高需求与算力消耗;

4、安全补课蒸馏攻击、Agent逃逸、越权入侵连续曝光,能力跑在防护前面,治理从鼓励转向审查与出口管制。

整体都在变化,大家可以多关注,多总结。

一、关于决策模型(Jev)范式爆发与分化

这块的热点还是决策模型/Jev(Judgment Model)。

再回顾下:传统LLM是非结构化→非结构化(文本进、文本出),本质是生成器。决策模型是非结构化→结构化(句子与数据进,决策、分数、是非概率、函数调用出),本质是分类器与路由器。它对应认知科学里的System 1(快、判别式、可校准、便宜)与System 2(慢、生成式、贵)的分工:把Agent中高频的判断/选择/评分环节从System 2中拆出来交给System 1,从而把成本与延迟压到可实时使用的量级。

在本月中,我们也写了不少东西,包括:Jev用于RAG检索评估4阶段、Agent的12个场景、以及用Jev做上下文压缩(fast-jev-compaction,把压缩从生成任务重定义为分类任务)。

但需要注意的是,它最适合的场景是动作集合已确定、有明确函数/API/MCP边界的场合:路由、去重合并、数据校验、实时分类。把Jev当成if/else/switch用,而不是prompt engineering,是开发者社区反复验证的一点。

对于jev 模型而言,需要看到,概率不是保证:Jev可能自信地删错(fast-jev-compaction的已知不足);多agent协调若滥用Jev也带来协调税(Vals AI:多agent成本最高达单agent的5.1倍,四次对比仅一次显著提升)。TypeSafe一家定义品类,克隆者众,但护城河在任务与数据,不在API形态。

在这里,需要从不同的身份视角来看:

对于使用者而言,可以把Jev当免费或极廉价的智能if语句接入已有系统,从数据清洗、路由、分类等确定性任务切入,但要为人审留出口;

对于开发者而言,训练自有决策模型门槛已显著下降(Unsloth已出Qwen3.8/Gemma4决策模型微调文档);真正的壁垒是把业务规则翻译成可校准的判别任务,以及高质量标注数据;

对于小白用户而言,无需理解模型细节,但应知道AI下判断与AI写文章是两类能力,前者更快更省更可控,适合交给工具自动跑。

二、多模态、端侧与专业小模型

模型发布侧也有一些趋势,能力在向两个相反方向同时延伸,一端是模态统一的大模型,一端是场景专用的小模型与端侧部署【注意,这是社区角度】

例如:

多模态嵌入模型方面,Google EmbeddingGemma 2(740M)把文本/代码/图片/视频/音频映射进同一768维空间,MTEB Code由68.76升至78.68,支持按需加载子模块(文本270M、视觉170M、音频300M);

多模态大模型方面,NVIDIA Nemotron 3.5 Super VL(120B/12B激活,1M上下文)与Bolt(74B/9B,2bit压缩24GB);Meta Muse Spark Open(816B多模态);腾讯 Youtu-Parsing-Omni(5B全模态解析,输出结构化JSON覆盖感知与认知)【这个可以重点关注】;

端侧大模型方面,OpenBMB MiniCPM-V 4.7(35B-A3B/1B);OneEval-Mobile(移动端记忆与智能体统一评测);Ghost Core(完全端侧个人AI电脑);

专业小模型方面,Mistral Timestral(5M-209M,多元概率时序预测,支持零样本、32768历史步、21个分位数),标志Mistral从语言模型向专业预测能力拓展;

在这个角度去看,模态统一与场景下沉是同一逻辑的两边:把智能装进更多形态。统一嵌入让检索/排序/推荐可以用一套向量空间打通;专业小模型(Timestral、归因模型)则把通用大模型做不好的确定性预测交给可解释、低成本的专用模型。

更进一步的,归因大模型不是用大模型替代SHAP/MTA/风控小模型,而是用LLM/结构化数据大模型做归因的上层编排、自然语言解释、因果推理;高风险决策层(金融风控、监管审计)仍需要轻量化可解释小模型作底座【这个是我们需要关注的点】

三、大模型安全治理与蒸馏攻防

10月份还有个点,就是安全。安全事件密度异常高,且多为Agent主动越界而非被动漏洞,State of AI 2026记录了多起智能体攻入真实系统的事故,能力确实跑在了防护前面。蒸馏攻防则把推理过程本身就是高价值资产这一隐蔽命题摆到了台面。

其中提到一个蒸馏攻击(Distillation Attack)的概念,利用较强模型的回答(尤其是中间推理/思维链CoT)训练自己的模型,从而未经授权复刻顶尖模型能力。攻击者用大量虚假账号低成本薅推理数据。Anthropic披露其蒸馏收入曾占公司营收5%-7%,第三季度已大幅削减。

但是,需要注意的是,防御本质是访问隔离+行为监控+成本约束三件套,这是猫抓老鼠游戏,技术本质无解,只能管理,但是这个又可以变成可复用的工程范式,对做agent平台的启示直接:若产品暴露extended thinking,就是同一个攻击面。

四、关于我们

老刘说NLP技术社区,自2022年建立以来,以公正、客观的角度,围绕‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍知识图谱本体论+RAG知识库+Agent智能体三个方向做深入跟进,加入方式在:https://mp.weixin.qq.com/s/_sEWHeV20sN1JcwGJU9tJw

前往微信阅读全文

内容来自公众号,可前往微信查看原文。

查看作者的更多文章 →订阅更新、RSS 与阅读指南 →