zartbot公众号文章

置身 AI 内 : 读懂 AI 竞赛, 必须读懂 AI 组织

zartbot

公众号 · 11 篇文章

本文仅代表个人观点, 与作者任职的机构无关. 

前段时间在讨论一些 AI 时代的组织结构的问题 《谈谈 AI 时代的组织结构》《AI时代 “雕花”的艺术》. 再加上更早的一段时间《置身 X 内》的文章也有不少.

有感而发, 顺手把兰小欢老师的 《置身事内》 又翻了一遍. 这本书讲的是中国政府与经济发展, 副标题叫 "读懂中国经济, 必须读懂中国政府". 越读越觉得, 书里讲的条条块块, 事权划分, 信息与激励, 几乎可以原封不动地搬进今天的 AI 公司, 于是找了几个模型 Vibe 了一下, 本文 AI 生成的含量有点高, 不过看上去还是挺值得读的, 我人肉把一些不合理的东西处理了一些.

前言: 从了解现状开始

《置身事内》 第二章的开头讲了两部电视剧. 兰小欢说他很喜欢 大明王朝1566 和 走向共和, 两部剧的第一集里, 那些历史上赫赫有名的大人物出场时, 没有半点慷慨激昂或阴险狡诈的样子, 反倒都在做世上最乏味的事: 算账. 大明朝的阁老们在算国库的亏空和来年的预算, 李鸿章, 慈禧和光绪在为建海军和修颐和园的费用伤脑筋.

"算着算着, 观众就看到了刀光剑影, 原来所有的政见冲突和人事谋略, 都隐在这一两一两银子的账目之中."

所以他说, 要想把握政府的真实意图和动向, "不能光读文件, 还要看政府资金的流向和数量". 把这段话里的 "银子" 换成 "卡", 大概就是理解今天 AI 公司最好的入口.

一家公司的战略 PPT 写得再漂亮, 也不如看一眼它的 GPU 配额是怎么分的. 哪个团队能随时拿到一整个 Pod, 哪个团队要排两周的队; 一个研究员想做一次跨三个部门的实验, 要找几个人签字; 一张卡空转一小时算谁的成本, 一次失败的实验又算谁的 "事故". 所有的路线之争和人事谋略, 都隐在这一张一张卡的账目之中.

很有趣的一个话题, 在这一波 AI 浪潮中, 为什么传统科技巨头拥有雄厚的资金, 庞大的算力和大量优秀人才, 却没有顺理成章地包揽最重要的创新? 微软, Meta, Apple, AWS 和 Google 都有深厚的技术积累, 但 OpenAI, Anthropic 以及国内一些基模公司的出现, 说明资源规模与创新能力之间, 远没有想象中那么直接的对应关系. 为什么资源优势没有稳定地转化为创新优势? 又是什么决定了这些资源能够被怎样使用? 组织结构, 很可能是其中一个被低估的变量. 梁文锋在 2024 年的一次访谈[1]中谈到:

"我们创新缺的肯定不是资本, 而是缺乏信心以及不知道怎么组织高密度的人才实现有效的创新."

这句话把一个经常被归结为技术路线和资源投入的问题, 推到了组织能力这一层. 招到一批聪明人之后, 如何让他们共同理解问题, 共同试错, 并且把各自的知识转化为整个系统的进步, 是另一种难度完全不同的事情. 兰小欢在前言里写过一句话:

"在我国, 政府不但影响'蛋糕'的分配, 也参与'蛋糕'的生产, 所以我们不可能脱离政府谈经济."

套用到 AI 上, 组织不但影响 "成果" 的分配, 也参与 "成果" 的生产. 谁和谁坐在一起, 哪些数据能被谁看到, 哪个实验能先拿到卡, 这些安排决定了哪些想法能长出来, 哪些想法在第一次实验之前就死掉了. 我们同样不可能脱离组织谈 AI.

书里还有一个词我很喜欢: "同情的理解". 兰小欢提醒读者, 要避免把舶来的理论化成先入为主的判断, 看到现实与理论不符, 便直斥现实之非, 进而把要了解的现象变成了讥讽的对象. 讨论大厂的组织问题也是一样. 骂一句 "大公司病" 很容易, 可每一道审批, 每一条部门边界, 每一套考核指标, 在它诞生的那一天大都有它的道理. 这篇文章想做的, 是先理解这些制度为什么会长成今天的样子, 再看它们为什么在 AI 时代开始失灵.

这里有两类容易混在一起的处境. 一类是研发 AI 本身的组织: 算法与系统相互纠缠, 问题在解决之前无法拆分, 不确定性来自对未知机制的探索. 另一类是使用 AI 的组织: 写代码, 整理信息和调用工具变得更快, 原有的岗位边界开始松动, 不确定性来自判断新工具究竟能在什么条件下承担工作. 将所有问题都归结为减少人数或减少层级, 会把这些差别抹掉.

文章的结构也借用了 《置身事内》. 上篇讲微观机制, 从事权划分, 信息复杂性, 激励相容和算力财政四个角度, 看 AI 组织内部的条条块块是怎么运转的. 下篇讲宏观现象, 用训推不一致, RDMA 演化和边干边学三个故事, 讨论领导者的 taste, 团队的设计, 以及组织从 "学习模式" 走向 "探索模式" 时会遇到的麻烦. 第 9 章把视角从 "研发 AI" 拉到 "使用 AI", 看 AI 进入每一个部门后遇到的外部性, 信息权力和人才培养问题.

上篇 微观机制

1. 条条与块块: AI 组织的事权划分

1.1 层层复制的大厂

《置身事内》 第一章讲政府的事权划分, 开篇就点出了我国政治体系的一个鲜明特点: "层层复制". 中央的主要政治架构, 在省, 市, 县三级都完全复制; 中央政府的主要部委, 在各级政府中均有对应部门, 中央有财政部, 省里有财政厅, 市县有财政局.

"这种从上到下的部门垂直关系, 被称为'条条', 而横向的以行政区划为界的政府, 被称为'块块'."

大多数地方部门都要同时接受条条和块块的双重领导. 书里特意点了一句: 通常情况下, "'条条'关系是业务关系, '块块'关系才是领导关系, 因为地方党委和政府可以决定人事任免".

大厂的组织几乎是同一个模子刻出来的. 集团有基础设施事业部, 每个 BG 下面又有自己的 Infra 部门; 集团有数据中台, 每条业务线又有自己的数据团队; 一个训练平台在集团层面建一套, 在 BG 层面再建一套, 到了具体的模型团队, 往往还要自己再 "包一层". 计算, 网络, 存储, 框架, 数据, 算法, 每一个专业都是一根条条, 从 VP 一路贯通到一线工程师; 每一个模型项目又是一个块块, 需要把这些条条里的人临时拼起来.

那句 "谁决定人事任免, 谁才是领导关系", 放在大厂的矩阵式组织里同样一针见血. 一个被借调到模型项目的网络工程师, 业务上听项目负责人的, 年底的绩效却是部门老板打的. 他会把心思放在哪一边, 不难猜.

过去几十年, 大企业已经发展出一套相当成熟的组织方式: 按专业划分部门, 按职责确定边界, 通过接口协调合作, 再用各自的指标衡量产出. 计算团队负责计算, 网络团队负责网络, 存储团队负责存储. 上层的算法团队提出需求, 数据团队提供数据, Infra 团队交付基础设施. 当技术路径相对稳定, 问题可以提前拆解时, 这种结构能够支撑极大的业务规模.

这套结构有它的道理. 《置身事内》 里讲, 部门之间常常互相扯皮, "某件事只要有一个部门反对, 就不容易办成". 尤其当没有清楚的先例和流程时, 办事人员会在部门之间 "踢皮球", 或者干脆推给上级, "所以权力与决策会自然而然向上集中". 为了避免把过多决策推给上级, 体制内有一条简化决策流程的原则: "尽量在能达成共识的最低层级上解决问题". 部门事务, 本部门领导就可以决定; 经常性的跨部门事务, 就设上级 "分管领导" 甚至 "领导小组" 来协调.

大厂的接口规范, SLA, 工单系统和各种委员会, 本质上就是这条原则的企业版: 把能拆的问题拆开, 让每个问题都在最低的层级上被解决. 只要问题能被提前拆分, 这就是一台高效的机器.

1.2 无法被提前拆分的问题

但前沿 AI 研发有一个麻烦之处: 大量关键问题在解决之前, 根本无法被准确地拆分.

模型结构会改变通信模式, 通信能力会影响并行策略, 并行策略会影响显存占用和训练效率. 数据的长度分布会改变计算负载, 数据配比又会影响模型收敛. 一个看起来属于算法的问题, 到头来可能要靠调整通信来解决; 一个看起来属于存储的问题, 也可能要通过改变数据组织方式才能解决. 算法, 数据和基础设施之间, 存在大量相互影响的关系.

兰小欢讲事权划分时给了三条原则: 公共服务的外部性与规模经济, 信息的复杂性, 以及激励相容. 这三条放进 AI 组织里同样成立, 只是每一条都比政府的情况更极端.

外部性更强, 一个通信库的改动, 可能影响公司里所有的模型团队. 信息更复杂, 一次 loss spike 背后, 可能同时牵扯数据, 数值, 算子和硬件. 激励更难对齐, 研究的产出周期以季度甚至年计, 考核却常常只看半年.

当技术问题需要整体求解, 组织却要求每个部门只对自己的局部指标负责时, 局部最优与整体最优之间的裂缝就出现了.

1.3 外部性: 每张报表都合格, 整体却很慢

设想一次大规模训练的效率不理想. 计算团队拿出报表, GPU 利用率并不低; 网络团队检查链路, 平均带宽和丢包率没有明显异常; 存储团队完成测试, 吞吐符合既定标准. 每个团队都能证明自己交付了合格的服务, 但模型完成一轮实验所需的时间仍然很长.

问题可能藏在这些报表的交界处. 网络平均表现正常, 少数节点的尾部延迟却可能拖住同步训练. 存储系统的顺序读取吞吐很好, 实际数据管线却存在大量小文件访问和预处理等待. GPU 很忙, 也可能有相当一部分时间消耗在重复计算或低效的数据搬运上. 部门指标提供了有用的信息, 但只有把它们放回同一个训练过程, 才能判断整个系统究竟发生了什么.

这里有一个非常朴素的数学事实. 同步训练的一个 step, 要等最慢的那个 rank 完成; 而部门报表里统计的, 通常是平均值:

最大值不小于其中任何一项, 所以期望意义下也有:

平均值合格, 不代表最大值合格. 假设每个 rank 在某一步变慢的概率只有 , 而且彼此独立, 那么在  张卡的同步训练里, 一个 step 中至少出现一个慢节点的概率是:

每一个单独看都 "99.9% 正常" 的节点, 拼在一起之后, 几乎每一步都有人掉队. 网络团队报表上那一行 "P99 延迟正常", 在训练团队眼里可能就是 "每一步都被拖慢". 两边都没有说谎, 只是在用不同的统计量描述同一个系统.

《置身事内》 里有一个水污染的例子特别贴切. 跨省的大江大河是典型的外部性难题, 一些省份把水污染严重的企业集中到了本省边缘的下游区域, "虽然本省的平均污染水平降低了, 下游省份的污染却加重了".

后来中央在主要河流和湖泊上设置了水质自动监测站, 数据直报中央, 数据造假的路被堵上了, 信息扭曲却没有消失. 一个监测站只能监测上游下来的水, 监测不到本站下游的水, 所以地方政府只要重点降低监测站上游的企业排污, 就能改善上报的数据. 结果与监测站下游的企业相比, 上游企业的排放 "减少了近六成". 总体污染确实降低了, 但污染的分布并不合理.

AI 组织里的每一张部门报表, 都是一个监测站. 只要考核看的是 GPU 利用率, GPU 利用率就一定会好看; 只要考核看的是平均带宽, 平均带宽就一定达标. 而真正决定训练速度的那些量, 尾部延迟, 数据等待, 重算比例, 恰好都落在没有监测站的 "下游".

计算, 网络和存储还会围绕同一个问题产生不同的合理诉求. 为了提高资源利用率, 调度系统可能倾向于把任务塞进零散的空闲 GPU, 但分布式训练可能更需要拓扑合适的一组机器. 为了降低存储成本, 平台可能限制高性能存储的使用, 但更快的 checkpoint 保存可以支持更高的保存频率, 减少故障后的重算, 更快的恢复则可以缩短停机时间.

一个部门节省下来的成本, 可能以更高的代价出现在另一个部门. 这就是经济学里说的外部性, 只不过它发生在同一家公司的两层楼之间.

1.4 三不管地带

《置身事内》 里有一组数据让我印象很深. 我国省级的陆路交界线共 66 条, 按边界两侧各 15 公里计算, 总面积约占国土面积的六分之一; 可在 2012 年 592 个国家扶贫开发工作重点县中, 却有超过一半位于省交界处. 书里分析了几个原因: 省会大都远离省界, 公共资源难以覆盖; 省界多在山区; 省界地区在本省之内又往往是非主流文化区. 交通上的 "边界效应" 只存在于省政府投资的高速公路和省道中, 在中央投资的国道和铁路中则不存在, "可见省政府不会把有限的资源优先配置到边界地区".

同样是这些 "三不管地带", 在民国时期给革命提供了广阔的空间. 井冈山位于湖南, 江西交界处的罗霄山脉之中, 陕甘宁, 晋察冀, 鄂豫皖, 湘鄂赣, 很多著名的根据地都在省界上.

AI 组织里的省界, 就是部门之间的接口. 网络团队管到网卡, 训练框架团队管到集合通信库的调用, 中间那一层 "GPU 发起的通信要怎样和网卡的语义配合", 往往没有人管. 存储团队管到文件系统, 数据团队管到样本格式, 中间那一层 "预处理到底卡在哪", 也没有人管. 这些三不管地带不在任何人的 OKR 里, 却恰恰是性能问题最集中的地方. 每个部门都会把有限的人力优先配置到自己的 "省会".

可三不管地带也是根据地. 正因为谁都管不到, 才有人能在那里不经审批地做一些 "不属于自己" 的尝试. 这也是我最近几年一直要 全栈 "人工" 智能 的原因, 很多的优化其实都在知识的边界处.

2. 复杂信息: 部门边界与知识边界

2.1 形式权威与实际权威

《置身事内》 讲事权划分时, 花了很大篇幅讲信息. 原则上, 上级对下级的各项工作都有最终决策权, 但上级不可能掌握和处理所有信息, 很多事务实际上由下级全权处理. 上级视察工作, 要听下级汇报, 内容是否可靠, 上级不见得知道. "如果上级没有独立的信息来源, 就可能被下级牵着鼻子走."

所以上级名义上有最终决定权, 拥有 "形式权威"; 下级掌握信息, 实际上自主性很大, 拥有 "实际权威". 书里给出的平衡原则是:

"若下级有明显信息优势, 且承担主要后果, 那就该自主决策. 若下级虽有信息优势, 但决策后果对上级很重要, 上级就可能多干预. 但上级干预可能会降低下级的工作积极性, 结果不一定对上级更有利."

有意思的是, 形式权威和实际权威这对概念, 本来就出自 Aghion 和 Tirole 1997 年一篇研究企业组织的论文. 书里第八章讲的条条式竞争和块块式竞争, 脚注也说明了它们对应公司治理里的 U 型结构和 M 型结构. 兰小欢把企业组织的理论借去分析政府, 我们现在不过是把它们再借回来.

书里还引了清人笔记里一位吏的自述: "凡属事者如客, 部署如车, 我辈如御, 堂司官如骡, 鞭之左右而已." 衙门像车, 来办事的人是乘客, 当官的是骡子, 真正决定车往哪走的, 是握着鞭子的吏. 英剧 Yes, Minister 讲的也是同一件事: 大臣名义上说了算, 政策的每一个细节却握在常务次官手里.

AI 公司里的大部分管理者都是 "官", 真正知道系统怎么运转的, 是那些 "吏": 写过通信库插件的人, 调过网卡固件的人, 知道哪个数据源有脏数据的人. 一位 VP 看到的是周报里 "训练效率提升 15%", 却很难知道这个数字是怎么算出来的, 分母换没换过, 实验条件和上一次是否一致. 技术细节越深, 管理层离得越远, 形式权威和实际权威之间的距离, 就会被拉得越大.

2.2 部门的边界 vs 知识的边界

知识边界往往比部门边界更加顽固.

部门边界至少是可见的, 可以通过调整汇报关系, 设立联合项目来改变. 知识边界则经常隐藏在日常沟通里. 算法研究者提出 "需要更大的 batch", Infra 工程师接到的是扩容需求, 却未必知道背后是在验证什么训练假设. 工程师反馈 "这个方案通信开销太高", 研究者收到的是一个限制, 却未必知道换一种数据布局或专家放置方式, 就可能让方案重新可行.

双方都在认真工作, 但传递过去的只是结论, 支撑结论的假设和上下文没有过去.

《置身事内》 说, 体制内工作的一大特点就是 "文山会海", "作为信息载体的文件和会议也成了权力的载体之一". 公文有严格的格式和种类, 甚至规定了 "涉及多个部门职权范围内的事务, 部门之间未协商一致的, 不得向下行文".

大厂的工单, 就是今天的公文: 有模板, 有字段, 有优先级, 有审批流. 工单擅长传递已经被定义清楚的问题, 前沿研究却经常需要一群人坐下来, 先弄清楚问题究竟是什么. 一旦合作被压缩成 "提需求, 评估, 排期, 交付", Infra 就容易成为被动接单的服务部门, 算法团队也容易把现有平台的限制当成技术本身的限制.

信息在层级之间的损耗, 可以粗略地算一笔账. 一个  个人的小组, 两两之间的沟通通道数是:

10 个人是 45 条, 100 个人就是 4950 条. 组织用层级和接口把这个数字压下来, 代价是信息要沿着树往上走, 再往下走. 假设每经过一层转述, 关键上下文能保留的比例是 , 两个部门的一线工程师之间隔着  层汇报关系, 那么一条信息要先上行  层, 再下行  层:

每一层只丢一成, 听起来已经很专业了, 可隔着三层汇报线, 到达对方手里的上下文只剩一半. 在前沿研究里, 丢掉的那一半往往恰好是最关键的部分: 这个需求背后的假设是什么, 那个限制在什么条件下可以放松.

《置身事内》 在第一章的扩展阅读里推荐了孔飞力的 叫魂. 这本书讲乾隆年间的一场荒诞事故: 本是某些地方流民和乞丐的零星骗局, 却被乾隆解读成了要颠覆朝廷的大阴谋, 于是发动了全国大清查, 最终在无数冤案之后不了了之. 兰小欢的评语是: "诸多信息都在奏折的来往中被扭曲和误解, 最终酿成大乱."

一次训练事故在大厂里的传播路径, 有时候也很像一场叫魂. 一线工程师说 "某几台机器的网卡固件可能有问题", 到了周报里变成 "网络稳定性存在隐患", 到了高层会议上, 就变成了 "要不要换一家网络供应商".

黄仁勋对这个问题的解法很极端. 他在 Lex Fridman 的播客里说, 自己有 60 位左右的直接下属, 不做一对一会议, 而是 "We present a problem, and all of us attack it", 让所有人同时面对同一个问题, 他把这叫作 "extreme co-design". 背后的意图, 是不让任何一位下属拿到特殊的信息, 每个人看到的上下文都一样. 你可以不喜欢这种管理方式, 但它确实把信息需要穿过的层数压到了最小.

例如一个通算融合的例子, 大家都用过 DeepEP/MegaMoE 吧, 或者更简单来说, MoE 模型的 EP 并行是不是真的需要 ScaleUP? ScaleOut 上为什么除了 DeepSeek 的团队, 没人想到用 IBGDA? 而即便如此, 在低延迟场景下, RDMA 的语义为什么对 GPU 不友好?

然后做网络的人开始盲目地扩大 ScaleUP 的规模, NPO/CPO 不停地上, 甚至要做一卡一专家, 却从不考虑整个系统的 MTBF, 传输协议也不考虑 GPU 本身的微架构...

MTBF 这笔账其实很容易算. 如果系统里有  个相互独立的部件, 第  个部件的故障率是 , 单个部件的平均无故障时间都是 , 那么整个系统的平均无故障时间大约是:

部件越多, 系统越脆. Meta 在 Llama 3 的论文里披露过, 16384 张 H100 训练的 54 天里一共发生了 466 次作业中断, 其中 419 次是非计划的, 相当于大约每 3 小时一次. 一卡一专家意味着任何一张卡出问题, 整个 EP 组都要停下来; ScaleUP 域做得越大, 一个故障域里的部件就越多. 这些账, 网络团队的 KPI 里是没有的.

这也是我一直强调知识边界的原因... 当你完全能够控制 GPU 的微架构, 充分理解网络传输上的限制, 以及完全了解算法上的需求, 一个更简单的方案就呈现出来了, 当然涉密的原因我不会多说...

数据团队与算法团队之间同样如此. 数据团队可能按照交付规模, 清洗进度和处理成本衡量工作, 算法团队则围绕最终模型指标做实验. 如果双方缺少持续反馈, 数据很容易变成一次性交付的原料. 模型在哪些能力上表现薄弱, 哪些样本真正有效, 哪些清洗规则误删了有价值的内容, 就很难形成连续的验证过程.

一个完整的改进过程, 应该能够从模型失败案例出发, 形成数据假设, 调整数据, 开展对照实验, 再把结论反馈给下一轮训练. 如果这些环节分别属于几个团队, 还各有各的排期和考核周期, 一次本来可以快速推进的探索, 就可能在交接中不断等待.

2.3 监测站之后: 上系统, 不等于改体制

监测站的故事还有后续. 2007 年, 国家环保总局把 3115 家废水排放企业, 3592 家废气排放企业和 658 家污水处理厂纳入国家重点监控名单, 要求它们安装自动记录系统, 把实时排放数据直接传到国家环保监控网络. 书里的评价很克制:

"这套技术系统限制了数据造假, 加强了监管效果, 大幅降低了污染, 但没有从根本上改变环保管理体制, 日常执法依然由地方环保部门负责."

这段话放在 AI 组织里同样适用. 很多公司解决跨部门信息问题的第一反应是 "上系统": 建一个统一的监控大盘, 把 GPU, 网络, 存储的指标都接进来. 这当然有用, 至少让数据造假变难了. 但大盘只能告诉你 "哪个指标异常", 不能告诉你 "该谁来修". 日常执法, 依然在各个部门手里.

更棘手的是, 组织有时要求先确定责任归属, 才能投入排查资源. 一次训练突然出现 loss 异常, 原因可能来自数据变化, 数值精度, 算子 kernel 或硬件故障. 在证据不足时, 任何单一团队都很难独立定位. 但如果每个团队都要先看到 "问题属于自己" 的证明才愿意介入, 排查就会陷入循环. AI 研发经常需要先联合诊断, 才能知道问题应该由谁解决.

2.4 说不清楚的时候, 谁来拍板

《置身事内》 里有一句话, 我认为是整本书关于组织最深刻的一句:

"所谓权力, 实质就是在说不清楚的情况下由谁来拍板决策的问题."

书里打了个比方. 大学老师考核学生, 若考卷都是标准化的选择题, 老师虽有出题的权力, 但不能决定最终得分; 若都是主观题, 老师给分的自由度就大一些; 若是研究生毕业论文, 不存在严格的客观判断标准, 导师手中的权力就更大了, "所以研究生称导师为'老板', 而不会称其他授课教师为'老板'". 一件事该不该做, 要做到什么程度, 做好了算谁的功劳, 做砸了由谁负责, 说不清的情况越多, 权力就越会向个人集中, 这也是 "一把手负责制" 的由来.

前沿 AI 研发恰好是一个 "说不清楚" 的密集区. 一个新想法值不值得做, 一个异常值不值得查, 一次失败算谁的, 一次突破又算谁的, 几乎都没有清楚的标准. 按照书里的逻辑, 说不清楚的事情越多, 拍板的权力就越会向少数人集中. 麻烦在于, 拍板的人如果离事实太远, 他的决策就只能依赖下级提供的信息, 又回到了被 "吏" 牵着鼻子走的局面.

部门边界带来的影响还不止于执行效率. 它会逐渐改变研究者愿意提出什么问题.

如果一个想法必须同时协调数据管线, 训练框架和网络栈, 才能完成最初的验证, 而另一个想法只需要修改本部门的一小段代码, 在相同的绩效周期里, 后者自然更有吸引力. 久而久之, 人们会主动选择容易获得资源, 容易交付, 容易归属成果的研究方向. 那些潜在价值很高, 却需要跨越多个边界的想法, 可能连第一次实验都没有获得.

DeepSeek 的 MLA 是一个反例. 梁文锋在访谈里讲过, 这个想法最早来自一位年轻研究员的个人兴趣, 他在总结出 Attention 架构的一些主流变迁规律后, 突发奇想去设计一个替代方案. "从想法到落地, 中间是一个漫长的过程. 我们为此组了一个 team, 花了几个月时间才跑通."

那篇访谈的导语里, 一位 AI 研究者说 Attention 架构提出多年来几乎未被成功改过, 更遑论大规模验证, "这甚至是一个做决策时就会被掐断的念头, 因为大部分人都缺乏信心". 换一个组织, 这位研究员大概要先写一份立项报告, 说明需要哪些部门配合, 预计多久出结果, 失败了怎么办. 很可能写到一半, 他自己就放弃了.

这时, 组织结构已经进入了技术路线本身. 表面上看, 公司拥有充分的研究自由; 实际上, 哪些方向容易被尝试, 哪些方向会被提前放弃, 已经被预算归属, 接口限制和协作成本筛选了一遍.

所以挺认同翁家翌的观点. 他在 WhynotTV 的播客里有一个判断, 大意是现在的 AI 竞赛拼的不只是算法创新, 更是工程能力和迭代速度. 原话更直白: "每一家的 infra 都有不同程度的 bug, 谁修的 bug 越多, 谁的模型训的就越好."

其实真正藏在这背后的, 就是大量的细节, 而这些细节又隐藏在知识的边界里. 对管理层暴露出的又只是片面的部门边界, 以为几次组织调整就能解决, 但知识的壁垒并没有被打破...

3. 激励相容: 聪明人的竞争

3.1 试点班里长大的人

我从小到大一直在各种试点班读书, 非常能够理解什么是 "高密度人才之间的竞争", 这会进一步放大组织的问题.

聪明人同样会响应激励. 当晋升需要证明独立贡献, 预算需要证明部门价值, 管理者的影响力又与团队规模相关时, 人们就会有动力建立自己的项目, 维护自己的边界, 强调自己对成果的所有权.

帮助另一个团队解决关键问题, 对公司可能非常有价值, 对个人却未必容易形成一份清晰的晋升材料. 把自己的经验沉淀成公共工具, 可以让很多人少走弯路, 但贡献可能分散在别人的成果里. 相比之下, 重新建设一套带有明确团队标签的平台, 反而更容易被识别和奖励. 重复建设, 信息保留和成果争夺, 就可能成为一套评价体系下的理性选择.

技术能力越强的人, 也越有能力为自己的选择提供完整而有说服力的解释. 一场争论可以充满专业术语和技术细节, 同时又深受资源分配和成果归属的影响. 当承认另一个方案更好意味着自己的项目失去预算, 技术判断就很难保持开放.

《置身事内》 把这一类问题归结为事权划分的第三条原则: 激励相容. 说得直白一点, 就是让做事的人在追求自身利益的时候, 恰好也在推进组织想要的目标. 书里讲, 计划经济时代部门之间没什么大的利益冲突, 意识形态教化相对有效; 市场经济改革之后, 利益不仅大了, 而且多元化了, "'统一思想'和'大局观'虽依然重要, 但只讲这些就不够了, 需要更加精细的激励机制". 书里给的最低要求是:

"能评价和奖惩工作业绩的上级, 能决定工作内容的上级, 受下级工作影响最大的上级, 应该尽量是同一上级."

拿这句话对照一下前面那位被借调到模型项目的网络工程师: 给他打绩效的是部门老板, 给他安排工作的是项目负责人, 受他工作影响最大的, 是整个模型团队和后面一长串用模型的人. 三个 "上级", 三个人.

大厂开会时最常听到的一句话是 "要有大局观". 可大局观代替不了激励设计, 它只能弥补激励设计的不足. 对聪明人来说尤其如此, 他们比谁都清楚考核表上写的是什么.

3.2 看得见的路桥, 看不见的管网

《置身事内》 第三章讲官员的激励. 书里引用的一项研究收集了 1994 到 2008 年间 241 个城市 1671 名市长和市委书记的数据, 他们在一个城市的平均任期是 3.8 年, 中位数是 3 年. 而基础设施或工业项目最快也要两三年才能完成, 所以 "新官上任三把火" 烧得又快又猛, 上任头两年, 基础设施投资, 工业投资, 财政支出往往都会快速上涨, 城市也呈现出 "摊大饼" 的态势.

更要命的是两件事. 一是 "2016年之前, 官员升迁或调任后就无需再对任内的负债负责, 而新官又通常不理旧账, 会继续加大投资", 政府债务不断攀升. 二是出于政绩考虑, 地方官员在基础设施投资上常常偏重 "看得见" 的工程, 比如城市道路, 桥梁, 地铁, 绿地, 相对忽视 "看不见" 的工程, 比如地下管网. "所以每逢暴雨, '看海'的城市就很多."

AI 公司的路桥和地铁, 是新模型的发布会, 榜单上的 SOTA, 一个全新的训练框架或推理平台. 地下管网则是数值稳定性, 测试覆盖, 监控告警, 数据清洗规则, 以及那些没人愿意碰的老代码. 前者一张 PPT 就能讲清楚, 后者讲上一小时, 听的人也只会问一句: "所以效果提升了多少?"

翁家翌说谁修的 bug 越多, 谁的模型就训得越好. 可修 bug 恰恰是最典型的地下管网: 修好了, 什么都不会发生; 不修, 平时也看不出来. 一直要等到一次大规模训练, 某个 rank 的数值在第三万步突然溢出, 整个集群停下来 "看海", 大家才想起来那条管子已经锈了很多年.

大厂的项目周期和晋升周期, 往往比市长的任期还短. 一位新的负责人上任, 最理性的选择是另起炉灶, 做一个 "看得见" 的新平台. 旧平台的技术债, 新官不理旧账, 旧官已经升迁. 债务会一直累积下去, 直到有一天, 新平台本身也变成了别人眼里的旧账.

3.3 烟厂, 酒厂和重复建设

《置身事内》 第二章讲过一段税制史. 2002 年之前, 企业所得税按行政隶属关系上缴, 中央企业交中央, 地方企业交地方:

"地方政府自然就有动力创办价高利大的企业, 比如烟厂和酒厂, 这些都是创税大户. 20世纪90年代, 各地烟厂, 酒厂越办越多, 很多地方只抽本地牌子的烟, 喝本地牌子的啤酒, 这种严重的地方保护主义不利于形成全国统一市场, 也不利于缩小地区间的经济差距."

大厂里的 credit, 也是按 "隶属关系" 上缴的. 一个推理引擎是哪个部门做的, 收益就记在哪个部门. 于是每个 BG 都有动力办自己的 "烟厂": 自己的训练框架, 自己的推理引擎, 自己的评测集, 自己的数据管线. 更进一步, 只抽本地牌子的烟: 别的部门做得再好, 也要先证明 "不适合我们的场景", 再自研一套.

这件事可以用一个简单的不等式来描述. 设个人在 "分享" 和 "保留" 之间做选择. 对组织而言, 分享几乎总是更好的, . 但个人看的是考核系统 "看得见" 的产出 , 乘以考核赋予它的权重 , 再减去自己付出的成本 . 只有当下面这个不等式成立时, 分享才是个人的理性选择:

所谓激励相容, 就是让这个不等式和  尽量同时成立. 现实里破坏它的, 恰恰是 : 帮别人修好一个 bug, 成果写在别人的报告里,  几乎为零; 自己另起炉灶做一套, 成果全部归自己,  反而很大. 这时候再高的觉悟, 也扛不住一年两次的绩效评定.

不过 《置身事内》 对 "重复建设" 的态度并不是一棍子打死. 书里说, 在经济发展早期, 各地政府扶持下的重复投资至少有两个正面作用. 一是那些 "离土不离乡" 的小工厂, 让当地农民熟悉了工业和工厂, "'工厂'承担了类似'学校'的教育功能". 二是加剧竞争, 价格战让资源和技术迅速向头部企业集中. 所以:

"不管有没有政府扶持, 要害都不是'重复建设', 而是'保持竞争'. 市场经济的根本优势不是决策优势. 面对不可知的未来, 谁也看不清, 自由市场上, 失败也比成功多得多. 市场经济的根本优势是可以不断试错, 在竞争中优胜劣汰."

这段话对 AI 组织同样适用. 两个团队各做一个推理引擎, 本身不是问题. 前沿方向本来就看不清, 多一条路线就多一次试错的机会, 做过一遍的人也会成长, 这就是 "学校" 的功能. 问题在于, 烟厂酒厂的毛病从来不是厂太多, 而是市场被割裂了, 每个地方只抽本地的烟. 内部竞争要想起作用, 前提是有一个 "全国统一市场".

内部竞争可以帮助组织探索不同路线, 但需要共享的评估标准, 可以复现的实验结果, 以及明确的资源调整机制. 如果每个团队都维护自己的评测口径, 对失败保持沉默, 对成功选择性展示, 公司就很难知道哪些方向值得继续投入. 那样的重复建设, 只剩下 "重复", 没有 "竞争".

3.4 鞭打快牛, 突击花钱

《置身事内》 讲分税制之前的财政包干时, 提到过一个有意思的现象. 央地分成比例每隔几年就要重新谈判一次, 若地方税收收入增长很快, 下次谈判时就可能落得一个更高的上缴基数和更吃亏的分成比例. "为避免'鞭打快牛', 地方政府有意不让预算收入增长太快." 钱藏到哪里去了? 藏进了预算外. 1992 年, 地方预算外收入达到了预算内收入的 86%, 相当于 "第二财政".

分税制改革时, 又出现了反方向的博弈. 税收返还要以 "基年" 的税收为基数, 中央最终决定用 1993 年做基年, 结果地方突击征税, 甚至把明年的税挪到今年来收, 1993 年后 4 个月的财政收入分别比上年同期增长了 60%, 90%, 110% 和 150%.

把 "税收" 换成 "GPU 配额", 这两个故事每年都在大厂里上演. 如果明年的配额按今年的用量来定, 那么一个团队把训练效率优化了一倍, 换来的很可能是明年配额被砍一半, 这就是鞭打快牛. 于是没人有动力去做效率优化, 或者做了也不声张, 省下来的卡悄悄留着跑点 "预算外" 的实验. 到了年底, 又会有一批团队突击用卡, 跑一些不那么必要的大实验, 只为保住明年的 "基年".

各种挂在别的项目名下的卡, 自己攒的小集群, 申请了一直没还的机器, 就是大厂里的 "第二财政".

新版预算法对财政资金有一条规定: 连续两年未用完的结转资金, 应当作为结余资金管理. 钱不花掉, 就可能不再归自己支配. 这能遏制 "藏钱", 却也会刺激 "突击花钱". 卡也是一样. 一套资源分配制度如果惩罚节约, 就一定会得到浪费.

3.5 垂直管理, 还是属地管理

Infra 应该集中管理, 还是嵌入到各个模型团队? 这是几乎每一家 AI 公司都反复摇摆过的问题. 《置身事内》 里关于垂直管理的讨论, 几乎可以原样照搬.

书里说, 在专业性强, 标准化程度高的部门, 更倾向于垂直管理. 比如海关, 工作主要由系统内的上级安排, 绩效也主要由上级评价, 这符合激励相容. 工商局的故事则是另一面: 1999 年改革时, "人财物" 收归省级工商部门统管, 初衷是减少地方干扰, 打破地方保护. 可工商工作与所在地区密不可分, 垂直管理之后, 当地政府对工商系统的监督和约束都没有力度. 在一系列事故, 尤其是 2008 年震动全国的 "毒奶粉" 事件之后, 2011 年中央再次改革, 恢复了省级以下工商部门的地方政府分级管理.

环保则反过来. 随着跨地区协调的工作越来越多, 2016 年, 省级以下环保机构调整为以省环保厅垂直领导为主, 所在地政府的影响大大降低.

同一个国家, 同一个时期, 一个部门从垂直改回属地, 另一个部门从属地改成垂直. 这不是摇摆, 而是对三条原则的不同权衡: 外部性越强, 越该往上收; 信息越依赖本地, 越该往下放; 无论往哪边走, 评价工作, 安排工作和承担后果的人, 都要尽量是同一个人.

放到 AI 组织里, 集合通信库, 集群调度, 存储底座这类外部性极强, 标准化程度高的东西, 适合 "垂直管理", 由专业部门集中建设. 训练配方, 数据配比, 并行策略这类强烈依赖具体模型 "本地信息" 的东西, 就该 "属地管理", 交给模型团队自己决定.

真正难的是中间那一层. 比如 MoE 的通信优化, 它既依赖底层网络, 又依赖具体模型的专家分布和路由特征, 放在哪边都不完全对. 这一层, 就是前面说的省界.

3.6 胡萝卜, 大棒, 与内心驱动

《置身事内》 讲官员激励, 用的是 "胡萝卜" 和 "大棒" 的框架. 但书里专门提醒了一个容易被忽略的事实: 在庞大的政府工作人员群体中, "县处级" 及以上的干部大约只占总人数的 1%, 对绝大多数人来说, 晋升这根胡萝卜其实很远. 书里接着写道:

"任何一个组织, 无论是公司还是政府, 都不可能只靠外部奖惩来激励员工. 外部奖惩必然要求看得见的工作业绩, 而绝大多数工作都不像送快递, 没有清清楚楚且可以实时衡量的业绩, 因此需要使命感, 价值观, 愿景等种种与内心感受相关的驱动机制."

这段话的脚注, 引的是斯坦福大学 Kreps 教授一本讲 "公司如何激励员工" 的小书. 在那本书里, 经济学强调的外部激励只占一部分, 大量篇幅留给了管理学更重视的内心驱动.

前沿研究恰恰是 "最不像送快递" 的工作. 一个研究员三个月的成果, 可能是 "证明了这条路走不通"; 一位系统工程师半年的工作, 可能是 "让一类故障再也没有发生过". 这些都很难被实时衡量.

梁文锋在访谈里说, DeepSeek "选人的标准一直都是热爱和好奇心", "很多人对做研究的渴望, 远超对钱的在意". 这不是一句漂亮话, 而是一种组织设计上的选择: 当业绩说不清楚的时候, 只能依赖内心驱动, 那就从一开始挑选内心驱动强的人.

人才密度能够转化为创新密度, 依赖于一个具体条件: 分享知识, 暴露问题和帮助别人成功, 必须对个人也是值得的.

其实我一直都在问自己一个问题: "如果全世界只剩下你一个人, 是要钱还是要名?" 所以最近很多年我一直是一种人畜无害的状态, 有些事情自己明白做成功了就行了, Credit 什么的无所谓, 然后经常打着技术扶贫的旗号, 分享知识给其它人. 想起几年前的一篇文章 技术扶贫与公知.

不过我也清楚, 不能指望每个人都这么想, 组织设计更不能建立在 "人人都是圣人" 的假设上. 外部激励至少要做到不惩罚分享.

《置身事内》 还讲了反腐高压下的另一面. 习惯了旧有工作方式的官员, 难免会变得 "瞻前顾后, 缩手缩脚", 于是 2016 年中央开始强调 "庸政懒政怠政也是一种腐败". 2018 年中办印发的文件要求建立健全容错机制, 其中有一句:

"把尚无明确限制的探索性试验中的失误错误, 同明令禁止后依然我行我素的违纪违法行为区分开来."

研究组织最需要的, 正是这样一条区分. 一次精心设计但失败了的实验, 和一次因为偷懒没做对照组而得出错误结论的实验, 是完全不同的两件事. 如果组织对两者一视同仁地问责, 剩下的人就只会去做 "一定能出结果" 的实验. 如果组织对两者一视同仁地宽容, 失败就失去了信息量.

容错不是对失败的宽容, 而是对探索的定价.

4. 算力财政: 以卡为本, 还是以人为本

4.1 卡权上收, 事权下压

1994 年的分税制改革, 是 《置身事内》 着墨最多的改革之一. 改革之后, 中央占全国预算收入的比重 "从改革前的22%一跃变成55%", 中央的宏观调控能力大大增强. 可财权集中了, 事权却没有跟着上去. 上级权威高于下级, 越往基层分到的钱越少, 分到的任务却越来越多, 出现了 "财权层层上收, 事权层层下压" 的局面. 20 世纪 90 年代末流行过一句顺口溜:

"中央财政蒸蒸日上, 省级财政稳稳当当, 市级财政摇摇晃晃, 县级财政哭爹叫娘, 乡级财政精精光光."

这两年很多大厂也在做自己的 "分税制": 把分散在各个 BG 的 GPU 收归集团的算力中台统一调度. 出发点完全正确, 卡太贵了, 分散持有必然造成闲置, 集中起来才能提高利用率. 可交付模型指标的责任, 依然留在各个团队手里. 于是就有了一个大厂版本:

集团算力蒸蒸日上, BG 配额稳稳当当, 部门排队摇摇晃晃, 项目组哭爹叫娘, 实习生精精光光.

财权上收之后, 中央再用转移支付把钱分下去. 书里也提到了转移支付的副作用: 很多专项资金是由财政部先拨款给各部委后再层层下拨, "所以就有了'跑部钱进'的现象". 算力中台也有它的 "转移支付": 配额申请, 优先级评审, 资源委员会. 一个研究员想验证一个想法, 要先写申请, 说明预期收益, 排进下个月的配额. 而一个想法最脆弱的时候, 恰恰就是它还说不清预期收益的时候.

梁文锋讲 DeepSeek 的做法时说: "我们每个人对于卡和人的调动是不设上限的. 如果有想法, 每个人随时可以调用训练集群的卡无需审批. 同时因为不存在层级和跨部门, 也可以灵活调用所有人, 只要对方也有兴趣." 这当然和公司规模有关, 十万人的公司很难照搬. 但它说明了一件事: 审批的成本, 不是写申请的那几个小时, 而是那些因为要写申请而没有被提出来的想法.

4.2 土地财政与以卡为本

《置身事内》 的上篇有一条贯穿始终的线索: 城市化过程中 "重土地, 轻人". 地方政府以低价工业用地招商引资, 再靠商住用地的出让收入支撑基础设施建设, 优点是可以快速推进城市化, 缺点是公共服务供给不足, 外来人口难以真正安家落户.

书里引过张五常的一个比喻. 地方政府就像一家商场, 招商引资就是引入商铺. 商铺只交一个低廉的入场费, 但营业收入要和商场分成; 一些商铺大名鼎鼎, 能为商场带来更大客流, 商场不仅可以免除它们的入门费, 还可以降低分成, 甚至倒贴.

今天的 AI 竞赛, 很像一场 "以卡为本" 的城市化. 万卡集群, 十万卡集群, 数据中心的电力规模, 成了衡量一家公司 AI 实力最直观的数字, 就像当年衡量一座城市的发展, 看的是新区面积和高楼数量. 卡和地一样, 可以买, 可以批, 可以在发布会上展示.

可真正决定这些卡能产出多少有效实验的, 是 "人": 能把 MFU 从三成推到五成的系统工程师, 能把一个失败案例追到数据源头的研究员, 能同时看懂模型和Infra的那一小撮人. 卡是土地, 人才是城市.

明星研究员就是那些大名鼎鼎的商铺. 这两年大厂动辄用天价薪酬挖人, 免入场费, 降分成, 甚至倒贴, 道理和商场引进名牌店一样, 希望它们带来客流. 但商场能不能赚钱, 不只取决于引进了多少名牌, 还取决于商铺之间能不能互相带客流. 如果明星团队和原有团队之间隔着一道知识边界, 商场里只是多了几家昂贵的店, 人流也不会跟着流动起来.

书里还有一句话, 很值得大厂的资源委员会读一读: "如果竞争不能让资源转移到效率更高的地方, 那这种竞争就和市场竞争不同, 无法长久地提高整体效率." 卡如果按部门, 按层级, 按历史配额来分, 而不是流向最有希望的实验, 那么卡越多, 浪费的绝对量就越大.

4.3 为什么以前没问题

读到这里, 一个自然的疑问是: 大厂这套组织方式已经运转了二十多年, 支撑了搜索, 电商, 社交, 云计算这么多业务, 为什么到了 AI 就开始失灵?

《置身事内》 在讨论土地制度时, 问过几乎一模一样的问题:

"可是制度一直如此, 为什么前些年问题似乎不大? 因为经济发展阶段变了."

工业化和城市化初期, 传统农业生产率低, 只要把农地变成工商业用地, 效率就会大大提升; 可随着竞争越来越激烈, 技术要求越来越高, 先进企业需要的就不只是土地了.

组织也是一样. 互联网业务的问题大都可以提前拆分, 前端, 后端, 推荐, 广告, 每一块都能定义清楚接口和指标, 条条块块的组织方式恰好与之匹配. 前沿 AI 研发的问题, 在解决之前却根本无法拆分. 不是制度变坏了, 是问题变了.

下篇 宏观现象

《置身事内》 的下篇开头, 把上篇介绍的发展模式归纳成三个特点: 城市化过程中 "重土地, 轻人", 招商引资竞争中 "重规模, 重扩张", 发展战略上 "重投资, 重生产, 轻消费". 每一个特点都有它的优点, 推动了快速的城市化, 工业化和增长; 也都在宏观上留下了副作用, 房价与不平衡, 债务与风险, 内外失衡.

大厂的 AI 组织也有对应的三个特点: 重卡, 轻人; 重规模, 重扩张; 重发布, 轻反馈. 前两个上篇已经讲过. 这一篇先从三个具体的故事讲起, 它们都发生在知识的边界上, 每一个看起来都是纯粹的技术问题, 细看下去, 却都是组织问题.

5. 知识边界上的三个故事

5.1 训推不一致: 一个高中生都会的公式

这里说个 RL 中训练推理不一致的问题吧.

大模型的 RL 训练通常涉及两套系统: 推理引擎负责生成回答, 训练引擎根据回答及其奖励计算更新. 即使使用同一份模型权重, 两套引擎也可能因为计算精度, 算子 kernel 和批处理方式等差异, 得到不同的概率分布. 异步执行还可能让推理端使用落后的模型版本, 进一步扩大差异.

如果按照传统部门职责来分配任务, 推理团队会努力提高吞吐, 降低延迟, 用上量化和更高效的执行方式; 训练系统团队会努力提高数值一致性和运行稳定性; 算法团队则会调整重要性采样, 裁剪和样本筛选等机制, 尽量控制失配对训练的影响. 对于 MoE, 还可以通过记录和回放专家路由, 减少两边执行路径的差异.

这些方法有各自的技术依据, 有些还承担着失配处理之外的任务. 但组织需要警惕一种状态: 每个团队都在解决自己收到的问题, 修正措施不断增加, 对共同机制的理解却没有同步加深.

推理团队收到的问题是 "怎样让生成更快", 训练团队收到的问题是 "怎样让两边更一致", 算法团队收到的问题是 "怎样让现有更新方式更稳定". 这些问题一旦被固化为各自的工作范围, 就容易遗漏另一种追问: 两套引擎不一致时, 训练更新里到底多出了什么?

结果整个问题在一系列争吵中就变成了算法团队需要 训推一致, 然后 R3 这样的东西就做出来了... 主流的算法基本上都延续着 On-policy 的路, 却没人想到 Off-policy...

当然解决问题的答案简单到让人发指. 最近一篇论文 Score Centering Stabilizes Off-policy Reinforcement Learning, 用的基本上是高中生或者大一的学生都会的一个公式:

那么整个问题在哪? 从组织角度看, 企业里可能并不缺少懂这条等式的人, 却缺少让这些知识与真实系统问题相遇的机会. 它展示了一类组织风险: 当问题跨越算法假设与系统工程时, 局部修复可以不断有人负责, 对共同假设的重新检查却可能长期无人负责. 最值得讨论的, 是组织有没有能力识别这种空缺, 并把相应的人和资源组织起来.

《置身事内》 第八章的开头讲了一个老笑话. 物理学家, 化学家和经济学家流落荒岛, 饥肠辘辘, 海面上漂来一个罐头. 物理学家说可以用岩石对罐头施以动量, 使其表层疲劳而断裂; 化学家说可以生火加热, 让罐头膨胀以至破裂; 经济学家则说: "假设我们有一个开罐头的起子..."

"训推一致" 就是 RL 里的那把开罐头起子. 主流算法的推导大都建立在 on-policy 的假设上, 于是工程上的任务就变成了 "把这个假设造出来": 对齐两边的 kernel, 统一数值精度, 记录并回放路由. 每一步都很辛苦, 每一步也都有人负责. 可很少有人回头问一句: 这个假设本身是不是必要的?

兰小欢对这个笑话的评论是: "任何理论当然都需要假设, 否则说不清楚. 有些假设不符合现实, 但是否会削弱甚至推翻其理论, 还要依据理论整体来评判. 但一旦走出书斋, 从理论思考走到现实应用和政策建议, 就必须要符合实际, 要考虑方案的可行性."

书里紧接着引了布林德 (Alan Blinder) 的 "经济政策的墨菲定律":

"在经济学家理解最透, 共识最大的问题上, 他们对政策的影响力最小; 在经济学家理解最浅, 分歧最大的问题上, 他们对政策的影响力最大."

AI 组织里也有一条墨菲定律. 协方差分解这种理解最透, 共识最大的东西, 对工程决策的影响最小; 要不要再加一层修正, 要不要换一套框架, 这种理解最浅, 分歧最大的问题, 反而占据了大部分会议时间, 也决定了大部分资源的去向.

《置身事内》 开篇引用的格申克龙 (Gerschenkron) 有一句话, 放在这里最合适: "一套严格的概念框架无疑有助于厘清问题, 但也经常让人错把问题当成答案." 训推不一致是问题, 训推一致却被当成了答案. 把假设当成目标, 是组织最昂贵的一种误会.

组织本身其实也有 drift. 每个团队今年的工作分布, 都是从去年的 "采样分布" 继承来的: 去年做什么, 今年接着做什么; 上个项目怎么分工, 这个项目也怎么分工. 如果不刻意把这部分惯性减掉, 组织的每一次 "更新", 都会夹带一次向过去的模仿, 而且像 RL 里那个反馈回路一样, 越跑越偏. Score Centering 减掉的是对推理引擎的模仿, 一个健康的组织, 也需要定期减掉对自己过去的模仿.

5.2 RDMA: 每一步都有道理的演化

再来举个例子吧, RDMA over Ethernet 这事, 当年为了硬件简单选择了 Lossless 的方案, 在 HPC 的年代似乎完全正确, 数据量小到几乎没有什么拥塞和丢包.

而到了 AI 时代, 一切都变了... 当年被认为笨重的 iWARP, 却逐渐成为最终的答案. RoCE 为了多路径, 逐渐地都开始用上了 DDP, 为了可靠性又逐渐地加上 SACK, 拥塞控制也逐渐改为 Window based... 不停地做加法, 到头来实质上和 iWARP 的区别, 无非就是一个 IP 协议号了...

详细内容可以看看 漫谈 RDMA 现代化

《置身事内》 讲城乡割裂的土地制度是怎么来的, 有一段话几乎可以原封不动地拿来描述 RoCE:

"追根溯源, 其实也没有什么惊天动地的大道理和顶层设计, 不过是从1982年宪法开始一步步演变成今天这样罢了. 虽说每一步变化都有道理, 针对的都是当时亟待解决的问题, 但演变到今天, 已经造成了巨大的城乡差别, 飞涨的城市房价以及各种棘手问题."

Lossless 是为了硬件简单, Go-back-N 是为了网卡上少存状态, 每一步都有道理, 针对的都是当时亟待解决的问题. 可场景从 HPC 换成了 AI, 流量从零散的小消息变成了几千张卡同时打满的集合通信, 当年的约束条件已经不存在了, 当年的设计却一层一层地沉淀了下来. 后来的每一次修补, 都是在不推翻前提的情况下做加法: 为了多路径加 DDP, 为了可靠性加 SACK, 为了拥塞控制改 Window. 一路加下来, 绕了一大圈, 又回到了当年被嫌弃的那个方案.

为什么工业界折腾了好几年? 不是因为没有人懂. 网卡团队懂网卡, 交换机团队懂交换机, 拥塞控制有专门的研究者, 集合通信有专门的库. 每个团队都在自己的边界内做到了局部最优, 而 "Lossless 这个前提在 AI 场景下是否还成立" 这个问题, 不属于任何一个团队. 它落在省界上.

边界上的问题没有主人, 所以总是被修补, 而不是被重新定义.

5.3 边干边学: 京东方和光伏教给我们的事

《置身事内》 第四章用了很大篇幅讲京东方. 京东方的 5 代线运气不好, 在液晶面板大起大落的周期里 "投在了波峰, 产在了波谷", 主打的 17 寸屏从每片 300 美元暴跌到 150 美元, 2005 和 2006 两年亏损了 33 亿元, 北京市政府无力救助.

后来的 6 代线落在了合肥. 2008 年的合肥, 财政预算收入 301 亿元, 归属地方的只有 161 亿元, 想建一条投资 175 亿元的 6 代线, 经济和政治的决策风险都很大. 合肥承诺出资 60 亿元, 又承诺定向增发不顺利时兜底出资 90 亿元, "可以说是把家底押上了". 夏普又来搅局, 领导表示过 "绝不动摇". 后来京东方又在合肥建了 8.5 代和 10.5 代线, 合肥成了我国光电显示产业的中心之一.

面对外界的质疑, 合肥市政府的相关人士说过一段话:

"不要以为我们不会算账, 政府是要算细账的. 一个京东方生产线, 从开始建就能拉动300亿元的工业投资, 建成之后的年产值就是千亿级别."

这段故事在书里引出了一个核心判断:

"创新是买不来的, 只能靠自己做. 创新必须基于知识和经验的积累, 所以只能自己动手'边做边学', 否则永远也学不会."

兰小欢打了个比方: 这就好比学生学习写论文, 不自己动手研究, 动手做, 动手写, 只靠阅读别人的东西, 理解永远只能停留在表面, "就算全天下的论文和书籍都摆在面前, 一个人也不会自动成为科学家".

这段话放在 AI 上一字不用改. 今天全世界的大模型论文, 开源代码, 技术报告几乎都摆在面前, 可读完它们并不会让一个团队自动具备训练前沿模型的能力. "谁修的 bug 越多, 谁的模型就训得越好" 里的那些 bug, 只有在自己的集群上, 用自己的数据, 跑过足够多次大规模训练之后才会遇到.

梁文锋说过: "我们已经习惯摩尔定律从天而降, 躺在家里18个月就会出来更好的硬件和软件. Scaling Law 也在被如此对待." 他还说过一句容易被忽略的话: "外部看到的是幻方2015年后的部分, 但其实我们做了16年."

书里第七章还有一个观察. 对站在科技前沿的国家来说, 新技术一般从实验室开始, 再到专利, 再到大规模量产; 而对后起国家来说, "很多时候顺序是反过来的: 先从制造环节入手, 边干边学, 积累技术和经验, 然后再慢慢根据自身需要改进技术, 创造一些专利". 很多 AI 团队的成长路径也是如此: 先把别人的模型复现出来, 在复现中把 infra 的 bug 修一遍, 再慢慢长出自己的东西.

光伏的故事更能说明边干边学的分量. 书里说, 光伏组件的价格在 2010 到 2019 年间下降了 85%, 同期的全球装机总量上升了 16 倍. 经济学里描述这种现象的工具叫学习曲线, 也叫 Wright 定律: 单位成本随累计产量  按幂律下降,

粗略地把这组数字代进去:

也就是累计装机每翻一番, 组件价格大约降到原来的六成. 这只是一个很粗的算术, 价格里还掺着产能过剩和价格战的因素, 但方向是清楚的: 成本不是在实验室里降下来的, 是在一次又一次的量产里降下来的. 书里的原话是: "研发和创新从来不只是象牙塔里的活动, 离不开现实市场, 也离不开边干边学的企业."

把  换成一个组织累计跑过的大规模实验次数, 这条曲线就是 AI 组织的学习曲线. 一个团队的迭代速度如果是另一个团队的两倍, 在任何时刻, 它的累计经验都多一倍, 单次实验的成本就低一个  的系数. 更快的团队不只是跑得快, 还会越跑越便宜.

组织摩擦, 审批, 排队, 交接, 拖慢的从来不只是某一次实验, 而是整条学习曲线. 迭代速度的差距会复利, 组织摩擦的代价也会复利.

光伏的故事里还有两个细节, 和 AI 组织的关系更直接.

一个是协同. 2013 年以后国内市场打开, "因为整条产业链都在国内, 所以同行沟通成本更低, 开始出现全产业链的自主和协同创新, 各环节共同优化, 加速了技术进步和成本下降". 多晶硅, 硅片, 电池, 组件, 每个环节离得近, 就能一起改. 这正是 AI 里的通算融合和软硬协同: 算法, 框架, 通信, 硬件离得越近, 沟通成本越低, 就越可能一起改出一个更简单的方案. 这也是我一直说 "全栈" 的原因.

另一个是失败. 光伏经历过 "双反" 和大面积的倒闭, 尚德, 赛维这些曾经的龙头都倒下了. 但书里说: "企业不是'人', 不会在'死'后一了百了, 积累的技术, 人才, 行业知识和经验, 并不会随企业破产而消失. 一旦需求回暖, 这些资源就又可以重新整合."

研究项目也是这样. 一个被砍掉的项目, 如果组织能把它的人, 代码和失败记录留下来, 它就不是沉没成本, 而是下一次突破的原料. 如果项目一砍, 人就散到各处, 日志和结论也没人整理, 那才是真正的损失.

6. 领导者的 taste

6.1 taste 是一种经过校准的判断力

即使团队获得了跨越部门边界的自由, 仍然有一个问题需要回答: 团队会把获得的自由用来追问什么? 面对训练不稳定, 有人倾向于继续调整参数, 有人希望增加一道校正, 也有人会停下来检查梯度估计究竟建立在什么假设之上. 这些选择都需要时间和资源, 而组织无法同时尝试所有方向. 核心领导者的 taste, 就在这样的选择中开始发挥作用.

taste 可以理解为一种经过实践校准的判断力. 它帮助领导者辨别哪些问题值得长期投入, 哪些异常可能暴露了更基础的机制, 哪些复杂性确实来自问题本身, 哪些则来自过去决策的累积. 在技术路线尚不清楚时, 这种判断会影响团队最初把注意力放在哪里, 也会影响什么样的人和想法能够获得支持.

合肥押注京东方, 就是一种 taste. 它不是赌博, 而是 "算细账": 一条产线能拉动多少上下游投资, 能不能形成产业集群, 什么样的风险自己扛得住.

韩国也是. 20 世纪 70 年代, 世界银行建议韩国按照当时的 "比较优势" 去发展纺织业, 韩国没听, 一头扎进了本国根本没有的产业. 到了 1990 年, 韩国最具比较优势的十大类出口商品, 比如轮船和电子产品, 1970 年时根本就不存在. 书里的结论是:

"可见'比较优势'具有很大的不确定性, 是可以靠人为创造的. 其实'比较优势'并不神秘, 就是机会成本低的意思. 而对于没干过的事情, 事前其实无从准确判断机会成本, 没干过怎么知道呢?"

"没干过怎么知道呢" 这一问, 几乎就是前沿研究的日常. 一个新架构有没有前途, 一个新的并行方案值不值得做, 事前没有数据, 只有判断. 只按 "比较优势" 做决策的组织, 会永远停在自己已经擅长的事情上. taste 的价值, 就在于在没有数据的时候, 判断哪些 "没干过的事" 值得去干.

6.2 强力的领导, 也要有能力说 "不"

这种 taste 最终需要变成资源安排. 新增一道机制, 除了当下的开发工作, 还会增加之后的调参, 排查和维护负担. 已经投入很多人力的项目, 同样可能需要缩减或结束. 领导者需要帮助团队面对这种取舍, 让过去的投入成为决策背景, 同时把未来还能获得多少有效进展放在更重要的位置.

《置身事内》 第八章有一句话说得极好:

"所谓强力政府, 不仅在于它有能力和资源支持企业发展, 也在于它有能力拒绝对企业提供帮助."

书里讲过赛维的结局. 地方政府屡次注入资金, 动员数家银行救助, 结果越陷越深, 到 2016 年, 赛维总资产 137 亿元, 负债却高达 516 亿元. 所以书里说产业政策要有退出机制, "若效率低的企业不能退出, '竞争性'就是一句空话". 退出机制有两层含义: 政策本身要设计退出, 比如光伏的标杆电价补贴一直在降, 所有企业都清楚补贴会逐渐退出; 低效企业破产退出的渠道也要顺畅.

AI 组织里的 "赛维", 是那些已经证明走不通, 却因为投入太多而停不下来的项目. 每一次续命都有理由: 再给一个季度, 再加一批卡, 再换一个负责人. 一个强力的技术领导者, 不仅要能给一个想法配资源, 更要能对一个自己曾经支持过的项目说 "不". 一个设计良好的研究组织, 也会像标杆电价那样, 让所有项目从一开始就清楚资源会按什么节奏退坡.

奖励机制必须能够看见这些贡献. 找到原因后删除几层无效逻辑, 证明一项昂贵实验没有继续开展的必要, 把自己的经验变成其他团队可以复用的工具, 都应该进入评价依据. 如果组织主要奖励项目数量, 代码规模和团队扩张, 成员就会倾向于增加可以归属于自己的工作. 对删减复杂性的认可, 能让人们更愿意把注意力放在整个系统的实际改进上.

书里还有一句话, 值得每一个想用资源 "扶持" 某个方向的领导者记住: 政策 "最多可以帮助企业降低一些财务风险和市场风险, 但政府不能帮助企业克服最大的不确定性, 即在不断变化的市场中发展出足够的能力和竞争优势". 卡和预算可以降低一个团队的试错成本, 却替代不了这个团队自己长出能力.

6.3 不做被吏牵着走的官

要作出这些判断, 核心领导者需要保持足够的技术深度. 深度的作用是提高问题和证据的质量, 具体推导与工程落地仍应由最接近事实的人推进. 可在 AI 时代, 这样的技术深度是非常困难的, 通常领导者又要面临在大量并不那么懂的领域被迫做决策...

《置身事内》 讲分税制改革的推行过程时, 引了两位亲历者的回忆. 时任财政部长刘仲藜说, 与地方谈的时候气氛很紧张, "单靠财政部是不行的, 得中央出面谈". 当时在财政部的项怀诚回忆, 朱镕基亲自带队, 用两个多月的时间先后走了十几个省, "面对面地算账, 深入细致地做思想工作". 为什么要由国务院常务副总理一个省一个省去谈? "因为只有朱总理去才能够和第一把手省委书记, 省长面对面地交谈, 交换意见." 如果换成部里的人去, "可能连面都见不上".

跨越条块的大改革, 一把手必须亲自下场, 面对面地算账. AI 组织里要推翻一个跨部门的前提, 比如放弃 Lossless, 或者重新划分训练和推理之间的分工, 道理是一样的: 只有能拍板的人亲自坐到桌边, 把细账算清楚, 改革才推得动. 如果领导者只看周报, 他就只能被吏牵着走.

那段回忆后面, 兰小欢还提醒了一句: 公众所接触的信息和看到的现象, 大都已经是博弈后的结果, "而缺少社会阅历的学生容易把博弈结果错当成博弈过程". 成功的政策背后是成功的协商和妥协, 而不是机械的命令与执行.

今天很多公司研究 DeepSeek, 研究 OpenAI, 研究 Anthropic, 看到的都是博弈结果: 扁平的组织, 自由的资源调用, 自下而上的研究文化. 可这些结果背后, 是多年的选人, 磨合, 试错和取舍. 照着结果画一张新的组织架构图, 并不会得到同样的过程.

6.4 选人的 taste, 与被证据推翻的勇气

选人的 taste 也会沿着同样的方向影响组织. 除了专业深度, 还需要识别一个人是否愿意理解相邻领域, 能否把自己的判断解释给不同背景的同事, 是否会主动修正已经投入精力的方案. 一个研究者能够把算法假设和系统行为联系起来, 就可能帮助几个团队重新定义问题. 这种贡献未必对应一个独立模块, 却可能改变整个项目的推进方式.

《置身事内》 里记了一位招商干部的心得, 说招商要做到 "铜头, 铁嘴, 顺风耳, 橡皮腰, 茶壶肚, 兔子腿". 铜头是敢闯, 铁嘴是能说会道, 顺风耳和兔子腿是消息灵通, 行动敏捷, 茶壶肚是能喝酒, 能社交. 最妙的是橡皮腰: "要尊重客商, 身段该软的时候要能弯得下腰, 但在谈判过程中也不能随便让步, 若涉及本市重要利益, 该把腰挺起来的时候也要挺直了."

如果给 AI 时代跨越知识边界的人也写一份 "六件套": 铜头, 是敢碰不属于自己部门的问题; 铁嘴, 是能把自己的判断讲给不同背景的同事听; 顺风耳, 是对相邻领域的异常足够敏感; 兔子腿, 是有了想法当天就动手验证. 茶壶肚不必能喝酒, 但要容得下别人的质疑和自己的失败. 橡皮腰最难: 证据面前, 身段要软得下来, 肯修正自己已经投入精力的方案; 没有证据的时候, 腰又要挺得直, 守得住自己的判断.

领导者也需要允许证据推翻自己的偏好. 一个简洁解释可能遗漏真实的数值问题, 一个看起来笨重的措施也可能在特定条件下不可替代. 当研究者拿出反例时, 资源和方向能否随之调整, 比会上是否允许讨论更能说明问题. 核心人物愿意公开修正判断, 会降低其他人暴露错误的代价, 让失败实验更容易成为共同知识.

iWARP 就是那个 "看起来笨重" 的措施. 当年嫌它复杂的人, 并不是没有道理; 后来回到它身边的人, 也不是承认自己当年错了, 而是承认条件变了. 能分清这两件事, 本身就是 taste 的一部分.

7. 团队的问题: 从领导小组到经济特区

7.1 特区缺的是政策

随着团队扩大, 这些判断还需要逐渐变成可以讨论和传递的依据. 记录重要决策依赖的假设, 明确什么证据会触发调整, 培养能够独立负责问题的人, 都能减少对个人在场的依赖.

那具体的团队该怎么搭? 《置身事内》 第八章回顾了 1980 年设立第一批四个经济特区的故事. 当时政治阻力不小, 所以才特意强调叫 "经济特区" 而不是 "特区", 以确保只搞经济实验. 邓小平对习仲勋说:

"中央没有钱, 可以给些政策, 你们自己去搞, 杀出一条血路来."

书里对这种属地实验的评价是:

"'属地管理'有利于地区性的政策实验和创新, 因为毕竟是地方性实验, 成功了可以总结和推广经验, 失败了也可以将代价和风险限制在当地, 不至于影响大局."

前沿研究团队需要的, 就是这样一块 "特区". 很多公司以为支持一个研究方向, 就是给它卡, 给它 HC, 给它预算. 这些当然重要, 但最稀缺的往往不是钱, 而是 "政策": 不走常规审批就能调卡的权限, 修改别的部门代码的权限, 不经过三层汇报就能拉人讨论的权限, 以及失败了不会被拿去和成熟业务的标准对账的保护. 特区缺的从来不是钱, 而是政策.

梁文锋描述的 DeepSeek, 其实是一个把整个公司办成特区的版本: "DeepSeek也全是自下而上. 而且我们一般不前置分工, 而是自然分工. 每个人有自己独特的成长经历, 都是自带想法的, 不需要 push 他. 探索过程中, 他遇到问题, 自己就会拉人讨论. 不过当一个 idea 显示出潜力, 我们也会自上而下地去调配资源." 自下而上地试验, 自上而下地推广, 和特区 "成功了总结推广, 失败了限制在当地" 的逻辑如出一辙.

7.2 联合项目要有真正的事权

具体到大公司的组织设计, 一个重要起点是围绕研究目标配置稳定合作的算法, 数据和 Infra 成员. 例如改善长上下文训练效率, 提高某类推理能力, 或降低满足既定质量要求的推理成本. 团队从目标和假设开始共同工作, 拥有必要的实验额度和技术修改权限, 并由明确的负责人协调质量, 时间和成本之间的取舍.

专业部门仍然承担人才培养, 技术标准和长期基础设施建设的职责. 网络, 存储和训练稳定性都需要持续的专业积累, 让所有人负责所有事情也会稀释这种能力. 需要调整的是关键问题上的合作方式和决策权限, 让团队能够在必要时共同修改跨越专业边界的代码和方案.

联合项目必须有清楚的决策权, 避免每一步都重新回到多个部门争取支持. 成员在项目上的时间投入, 资源额度和评价依据也需要事先明确. 只有责任而没有资源调动能力的项目负责人, 很容易变成会议协调员; 同时背负几套冲突目标的成员, 也很难持续投入共同的问题.

这几句话, 几乎就是 《置身事内》 上篇那几条原则在团队层面的翻版. 只有责任没有资源, 就是 "财权上收, 事权下压", 项目负责人的处境和当年的县级财政差不多. 同时背负几套冲突目标, 就是评价工作, 安排工作和受影响最大的 "上级" 不是同一个人. 体制内的 "领导小组" 之所以管用, 是因为组长通常就是能拍板的人; 如果一个联合项目只是一个跨部门的周会, 没有任何真正的事权, 它最终只会变成新一轮的文山会海.

7.3 像引导基金那样管理研究

《置身事内》 第四章讲政府产业引导基金. 私募基金常用 "有限合伙" 的形式, "出钱的是LP, 做投资决定的却是GP, LP的权利相当有限". 2015 年底, 财政部的管理办法明确了两点: 允许使用财政资金的政府投资基金出现亏损; 财政部门虽然出资, 但 "一般不参与基金日常管理事务".

书里也很坦率地写了这套机制的难处: "虽然原则上引导基金可以亏钱, 但对基金的经营管理者而言, 亏了钱不容易向上级交待." 于是就出现了各种变通, 比如承诺未来回购社会资本的股权份额, 相当于给对方托了底. 这种 "名股实债" 违背了股权投资的原则, 是中央明确禁止的.

研究管理者和研究团队的关系, 很像 LP 和 GP. 管理者出卡出钱, 研究负责人做具体的技术决定; 管理者要接受大部分投资会亏钱, 也不该天天插手日常的实验安排.

Anthropic 在介绍可解释性团队的工程挑战时写过, 他们把研究和工程视为不可分割的, 成员经常在两者之间来回切换, 先从现有系统里再挤出一点规模, 跑完一个新实验, 再回到研究上. 文章里还有一句很像风险投资的话: 因为很多研究想法终究行不通, 所以在看到成功的迹象之前, 他们不会在这些想法的基础设施上投入更多.

文章里举了一个分布式 shuffle 的例子. 训练数据大到装不进内存之后, 他们没有直接去做一个能扩展到 PB 级的方案, 而是选了一个能很快写出来, 但扩展性一般的办法; 等它真的成了瓶颈, 再换成多轮 shuffle 的方案. 先用便宜的办法验证想法, 有了信号再加码, 这就是研究的 "分轮融资".

反过来, 如果管理者 "亏了钱不容易向上级交待", 就会要求每个研究项目在立项时承诺交付日期和指标提升. 这就是研究里的 "名股实债", 不妨叫它 "名研实交": 名义上是研究, 实际上是交付. 风险全部压回到研究员身上, 剩下的只有 "一定能出结果" 的题目.

7.4 跨界的人, 是最稀缺的产业工人

组织还需要有意识地培养能够跨越知识边界的人. 理解模型训练的系统工程师, 理解硬件约束的算法研究者, 能够通过模型评估判断数据价值的数据工程师, 都能减少关键上下文在交接中的损失.

Anthropic 那篇文章说得更直接: 他们特别想招的是能在不同领域之间灵活工作的 generalist engineers, 无论是搭数据管线, 跑 ML 实验, 还是优化 GPU 的使用. 文章的 FAQ 里还有一句: Anthropic 是一个 "team-science" 的组织, 团队之间的边界以最好的方式保持着通透, 这让他们能很快地做成很多事. 这个案例展示了一种具体的工作方式, 原文可以看 Anthropic 关于可解释性研究工程的介绍[2].

《置身事内》 第八章引了格申克龙的一个观察: 很多落后国家虽人口众多, 却极度缺乏合格的产业工人, "创造一支名副其实的产业工人大军, 是最困难和耗时的过程". 书里说, "工业化" 最核心的一环就是把农民变成工人, 这不仅仅是工作的转变, 也是思想观念和生活习惯的彻底转变, 而这种转变只能在工厂里完成. 那些 "离土不离乡" 的乡镇小工厂, 恰好成了培训农民成为工人的绝佳场所.

AI 时代最稀缺的 "产业工人", 不是会调 API 的人, 而是能跨越知识边界的人. 把一个只懂网络的工程师, 培养成同时懂 GPU 微架构和训练动态的工程师, 同样是思维方式和工作习惯的彻底转变, 靠几门内部培训课是完成不了的, 只能在真实的联合项目里完成.

联合项目就是乡镇企业. 人不离开自己的专业部门, "离土不离乡", 却在项目里 "进厂", 在真实的问题上学会相邻领域的语言.

8. 组织学习与探索创新

8.1 后发优势的尽头

《置身事内》 第八章讨论发展目标与发展过程时, 有一段话我认为是全书最重要的段落之一:

"对处于技术前沿的发达国家来说, 提高生产率的关键是不断探索和创新. 其相对完善的市场经济是一套分散化的决策体系, 其中的竞争和价格机制有利于不断'试错'和筛选胜者. 但对发展中国家来说, 提高生产率的关键不是探索未知和创新, 而是学习已知的技术和管理模式, 将更多资源尽快组织和投入到学习过程中, 以提高学习效率. 这种'组织学习模式'与'探索创新模式'所需要的资源配置方式, 并不一样."

书里接着说, 后进国家虽然有 "后发优势", 但 "组织学习模式" 不可能一直持续下去. 当技术和生产率提高到一定水平之后, 旧有的模式若不能成功转型为 "探索创新模式", "'后发优势'可能变成'后发劣势'".

大厂做 AI 的过去几年, 很大程度上就处在 "组织学习模式" 里. 目标是清楚的, 追上 GPT-4, 追上某个榜单; 路径是已知的, 论文和开源代码都摆在那里; 需要做的是把资源尽快组织起来, 投入到学习过程中. 条条块块, 自上而下, 集中力量办大事, 在这个阶段非常有效. 很多大厂在追赶阶段的速度, 并不比创业公司慢.

可一旦追到前沿, 目标就不再清楚了. 梁文锋说: "我们经常说中国AI和美国有一两年差距, 但真实的gap是原创和模仿之差. 如果这个不改变, 中国永远只能是追随者, 所以有些探索也是逃不掉的." 在前沿, 需要的是分散化的决策, 不断的试错和筛选胜者, 也就是 "探索创新模式".

一个在追赶阶段被证明极其高效的组织, 恰恰最容易在这里卡住, 因为它所有的流程, 指标和晋升路径, 都是为 "学习已知" 设计的. 后发优势的尽头, 往往就是组织惯性的起点.

书里还有一句话很有分寸: "如果'组织学习模式'不止一种, '探索创新模式'自然也不止一种, 欧美模式不一定就是最优的模式." DeepSeek 的组织方式和 OpenAI 不同, Anthropic 和 Google DeepMind 也不同. 探索创新的组织没有标准模板, 能抄的只有原则, 抄不来的是过程.

8.2 从生产型组织到服务型组织

《置身事内》 的结论之一, 是政府需要从 "生产型政府" 向 "服务型政府" 转型. 书里给了两个理由. 一是与重规模, 标准化的工业生产相比, 服务业规模通常较小, 且更加灵活多变, 要满足各种非标准化, 本地化的需求, "在这种行业中, 政府'集中力量办大事'的投资和决策机制, 没有多大优势". 二是:

"'服务型'政府实质上就是投资于'人'的政府."

很多大厂的 Infra 组织, 也是 "生产型" 的: 以交付集群, 交付平台, 交付稳定性指标为中心, 擅长集中力量办大事, 比如建一个十万卡集群. 这件事永远需要有人做好. 但前沿研究更像服务业: 规模小, 变化快, 每个实验的需求都不标准.

一个 "服务型" 的 Infra 组织, 衡量自己的不是集群规模和利用率, 而是研究员从想法到第一个实验结果要等多久. 它投资的不只是机器, 还有工具, 可观测性, 文档, 以及能和研究员说同一种语言的工程师. 说到底, 也是投资于 "人".

书里还有一段话, 可以送给那些希望 "自下而上的研究文化" 自己长出来的管理者:

"对发展中国家而言, 市场和政府的关系, 不是简单的一进一退的问题, 而是政府能否为市场运行打造出一个基本框架和空间的问题. 这需要投入很多资源, 一步一步建设. 如果政府不去做这些事, 市场经济和所谓'企业家精神', 不会像变戏法一样自动出现."

自下而上的研究文化也不会像变戏法一样自动出现. 统一的评测, 可复现的实验平台, 不需要审批就能调卡的调度系统, 这些 "基本框架和空间", 需要管理者一步一步去建.

8.3 当执行变快, 协调就成了瓶颈

当 AI 工具进一步提高代码编写, 数据处理和实验分析的速度, 这些组织能力可能变得更加重要. 如果个人执行任务越来越快, 获取上下文和作出跨团队决策的速度却没有变化, 等待与协调就会占据越来越大的比例. 更多产出会汇集到相同的决策瓶颈前, 暴露出原来被执行成本掩盖的问题.

这其实就是组织版的 Amdahl 定律. 把一件事的耗时分成执行  和协调  两部分, AI 工具只加速执行部分, 倍数为 :

假设今天一件事里协调占四成, 那么就算 AI 让执行快到无穷, 整体也最多快 2.5 倍. 如果执行快了 10 倍, 整体只快了大约 2.2 倍, 而协调在总耗时里的占比, 会从四成涨到将近九成.

文章开头说, 人或许也是一个非常大的 LLM. 理解问题, 找到对的人, 拿到上下文, 是 Prefill; 写代码, 跑实验, 出报告, 是 Decode. AI 工具让 Decode 越来越快, Prefill 却还卡在开会, 找人, 等审批上, 首 token 的延迟正在吃掉整个请求的时间. AI 越强, 组织越像那个串行的部分.

8.4 改革方向与改革过程

读到这里, 很多人的第一反应可能是: 那就打破部门墙, 重组. 《置身事内》 对这种冲动有一个冷静的提醒:

"改革方向和改革过程是两回事. 就算每个人都对改革方向和目的有共识 (事实上不可能), 但对改革路径和步骤也会有分歧. 什么事先办, 什么事后办, 不容易决定. 每一步都有人受益, 有人受损, 拼命争取和拼命抵制的都大有人在."

书里还说, "可行的政策不仅受既有制度的约束, 也受既有利益的约束", 而 "那些受损的人的生活不是理论上的平均数字". 组织调整也一样. 一个负责人会失去他带了五年的团队, 一个只精通某一层的工程师会担心自己在 "全栈" 的口号下被边缘化, 一个平台会被宣布下线, 背后是一群人几年的心血. 平均来看组织效率提高了, 可每个具体的人感受到的, 都不是平均值.

书里关于转型的那句话, 我觉得每一个准备做组织调整的管理者都应该读一读:

"人不是机器部件, 不可能瞬间调整, 也没有人能一直紧跟时代, 所以稳定的改革过程要留下足够的时间和资源去缓冲. 这种'渐进性改革'中的各种缓冲机制, 往往会拖低效率, 所以常常被解读为'扭曲'和'资源错配'. 但任何成功的转型过程都离不开缓冲机制."

专业部门保留人才培养的职能, 联合项目给成员留出学习相邻领域的时间, 被下线的平台给使用者留出迁移的窗口, 失败项目里的人有地方可去. 这些缓冲看起来都在 "拖低效率", 却是组织能够平稳地从学习模式走向探索模式的前提.

对大企业而言, AI 时代的变化还涉及既有业务的优先级. 成熟产品需要稳定性, 可预测的成本和清晰的交付承诺, 前沿研究则需要承担更多不确定性. 两者都合理, 但需要不同的预算节奏和评价方式. 如果探索项目始终用成熟业务的季度回报标准证明自己, 组织就更容易选择可快速交付的改进, 并持续压缩基础创新的空间.

公司的规模并不决定这些问题是否存在. 小公司同样可能出现信息垄断, 决策集中和关键人物过载. 大公司也完全可能通过明确目标, 调整权限和改变激励, 建立高效的研究团队. 值得观察的是, 一个关键问题出现后, 相关的人能否及时看到证据, 能否共同判断, 能否调动资源把判断变成实验.

9. 另一半故事: 当 AI 走出实验室

9.1 从一张工单开始

上面讲的大都是研发 AI 的组织. 可 AI 不只是被研发出来, 还要被用起来. 用的过程里, 组织问题换了一副面孔, 但逻辑一脉相承.

设想一家企业刚上线了 AI 售后助手. 客户描述故障, 助手检索资料, 给出操作步骤, 随后工单标记为已处理. 产品团队看到自动处理比例上升, 平台团队看到调用成本下降. 过了一会儿, 客户打进人工电话: 设备还是不能用. 客服重新核对型号, 发现助手引用的说明只适用于更新的设备版本. 修正文档需要产品人员确认, 修改检索规则需要平台团队排期. 每个人手上都有一项具体工作, 客户的问题却停在了这些工作之间.

这就是第 1 章讲的外部性, 只不过它不发生在两个部门的 GPU 利用率报表之间, 而是发生在一张工单关闭之后. 产品团队减少了一次人工处理, 客服却增加了一次解释和排查; 如果两笔账始终分开计算, 产品负责人可能根本看不到后续代价. 兰小欢讲水污染, 是一座城市发展工业, 收益留在本地, 成本沿河流进入另一座城市; AI 售后助手也是如此, 效率留在了产品报表上, 代价沿着工单流进了客服.

要判断这套助手到底有没有用, 就要把观察延伸到工单关闭之后: 客户是否再次来访, 设备是否恢复, 人工补救花了多少时间. 一张覆盖全流程的报表本身没有调动资源的能力, 但它至少能让相关人员讨论同一件事.

9.2 AI 写代码: 快了, 然后呢

再看企业研发. 一家企业软件公司要新增 "取消订单" 功能. 工程师用 AI 编程助手, 很快生成页面, 服务端逻辑和单元测试. 联调时才发现, 销售理解的 "取消" 是停止交付, 财务还需要处理已开票金额, 仓储则关心货物是否已出库. 同一个按钮, 连着几套不同的业务状态.

如果需求只写 "支持取消", 生成更多代码也无法替团队决定这些含义. 开发团队若只按完成的功能数考核, 未解决的关系就转化为测试和运行团队的返工. 一个部门节省下来的编码时间, 可能以更高的代价出现在另一个部门的联调里, 和上篇讲的每张报表都合格, 整体却很慢, 是同一个结构.

验证也有自己的陷阱. 助手根据同一份含糊需求生成代码和测试, 两者可能同时接受了同一种误解. 发布负责人看到 "全部通过", 其实只是两面镜子在互相照.

9.3 谁在决定 AI 看见什么

《置身事内》 第一章讲, 上级名义上拥有最终决定权, 是形式权威; 下级掌握信息, 自主性很大, 是实际权威. AI 会同时改变两侧: 中枢可以更方便地汇总业务记录, 一线也可以更方便地获得过去需要向其他部门求助的分析能力.

但实际权威还可能向一个以前不存在的位置移动. 谁决定哪些文档进入知识库, 谁定义评测中的正确答案, 谁设置工具调用的权限, 谁就能影响助手展示的选项和执行的动作. 业务负责人即使仍然负责最终批准, 也可能只能在别人已经筛选过的方案中选择.

这种影响不需要任何人故意操纵. 负责知识库的人可能优先收录格式统一的文档, 结果把只存在于工单里的例外经验排除在外; 负责评测的人可能选择容易判分的问题, 让复杂客户的需求长期缺席. 每一个局部选择都有合理理由, 累积起来却决定了系统认为哪些问题值得回答. 组织图没有变化, 数据和软件配置却可能改变实际决策权.

阅读模型的总结时, 还应保留回到依据的能力. 一段流畅的结论可能把样本不足, 记录缺失和几种互相矛盾的解释压成一句确定的话. 书里结语写道: "比较数据和表面现象容易, 但要比较数据产生的过程和现象发生的机制就难了, 而这些往往更加有用." 用在技术汇报里, 就是压缩篇幅时仍须保留足以改变结论的条件.

9.4 保留下一代的判断力

《置身事内》 讲乡镇工业, 除了加剧竞争和推动效率之外, 还有一个容易被忽略的作用: 让当地农民熟悉了工业和工厂, "'工厂'承担了类似'学校'的教育功能". 第 7 章已经用格申克龙的 "产业工人" 讨论了跨越知识边界的人. 这里要补充的, 是使用 AI 工具的组织里同样存在一个培养问题.

研发部门的新人工程师, 过去通过修复小缺陷, 阅读旧代码和补充测试, 逐渐熟悉系统为什么这样设计. 如果这些任务大量交给编程助手, 新人只负责接收改动, 却很少经历独立定位问题的过程, 旧的培养路径就会改变. 企业需要安排受监督的实践和导师时间. 知识库可以保存结论, 但专业判断还需要在使用, 质疑和修正结论的过程中形成.

一种可行的训练方式, 是让新人先独立说明自己的判断和依据, 再与助手的建议比较, 由资深人员解释分歧. 对已经处理过的案例, 改变一个关键条件, 再看原来的答案是否仍然适用. 这样安排会占用当下的工作时间, 却能让团队持续培养能够检查系统的人.

兰小欢在结语中说: "切中要害的问题, 必然基于对现实情况的深刻理解." 提问能力需要接触真实后果. 软件工程师需要看到发布后的故障, 工业设计人员需要看到仿真与实物试验的差异. AI 降低部分资料整理和原型生成成本之后, 节省的时间可以用于这些学习. 如果培训只教如何更快接受答案, 公司可能在短期内提高处理速度, 同时削弱下一批员工发现错误的能力.

9.5 当执行快到无穷:  的另一种拆法

第 8 章用组织版 Amdahl 定律把耗时分成了执行和协调两部分. 在 "使用 AI" 的场景里, 还可以拆得更细. 把一条关键路径的时间分为执行, 协调, 排队等待和核验返工四段:

假设它们分别耗时 8, 12, 16 和 4 小时. AI 把执行从 8 小时降到 1 小时, 总时间从 40 小时降到 33 小时, 省掉的 7 小时不过是 17%. 如果团队紧接着同时启动更多任务, 每个任务都很快完成初稿, 审核者却还是原来几个人, 等待审核的任务就会累积. 限制同时推进的数量, 或让有能力的人在明确边界内自行验收, 可能比继续提高生成速度更有效.

《置身事内》 在讨论省直管县时说, 改革前一个省平均管 12 个市, 改革后平均管 52 个市县, "钱和权给了县, 但监管跟不上". 如果一个负责人直接面对更多团队和更多智能体, AI 可以帮他汇总情况, 但跨业务取舍, 专业争议和人员培养仍然消耗注意力. 一个名义上更扁平的组织, 也可能让所有例外都排到同一个人面前.

书里对这类改革的评价很有分寸: 拉平财政关系后, 浙江效果很好, 因为县域经济本身强劲; 但在其他省份, "省里管不过来" 的问题和 "县市合作关系被打破" 的副作用同时出现. 减少管理层级是否有效, 不取决于组织图画得多扁平, 而取决于被取消的那一层原来在做什么: 如果只是转交信息, 可以随工具变化而缩减; 如果在协调排期, 就需要重新分配; 如果在带新人, 解释历史决策和处理写不成规则的冲突, 成本就会变成一线的额外劳动和高层的不断救火.

结语: 置身 AI 内

《置身事内》 第八章写道: "比较数据和表面现象容易, 但要比较数据产生的过程和现象发生的机制就难了, 而这些往往更加有用." 比较各家公司的组织架构图很容易, 难的是比较一个想法在不同的组织里是怎么出生, 怎么长大, 又是怎么死掉的.

所以, 讨论 AI 时代的组织结构, 到头来需要落到一些非常具体的事情上: 一个研究员发现异常之后, 能直接找到谁; 一个跨领域的想法, 多久能得到第一次验证; 一次失败, 能否帮助所有相关团队少走弯路; 一个人帮助别人取得突破, 能否同样获得认可; 核心领导者提出的判断, 能否被新的证据改变.

这几个问题, 每一个都能在 《置身事内》 里找到影子. 第一个是信息与权威, 第二个是事权与审批, 第三个是退出机制和 "企业不是人", 第四个是激励相容, 第五个是强力的领导能不能说 "不". 兰小欢说: "发现和提出好的问题, 是解决问题的第一步, 且'提问'本身, 往往已蕴含了对解决思路的探索." 这篇文章能做到的, 也只是把问题提出来.

资金可以买到机器, 薪酬可以吸引人才. 组织需要进一步创造条件, 让这些人能够理解彼此的工作, 修正共同的判断, 把分散的专业能力变成持续积累的集体知识. 当最有价值的问题不断出现在部门交界处, 组织就必须让知识, 资源和决策能够及时跨过这些边界. 核心领导者的 taste, 则需要让更多人获得独立作出可靠判断的能力.

我们不可能脱离政府谈经济, 也不可能脱离组织谈 AI. 在这个意义上, 组织结构本身, 已经成为 AI 技术能力的一部分.

《置身事内》 的结束语里, 兰小欢引了凯恩斯在 论概率 里的一段话: 写这样一本书, 若想说清观点, 作者有时必须装得成竹在胸一点, "我有时轻描淡写, 斩钉截铁, 但其实心中始终有所疑虑, 也许读者能够体谅". 这篇文章也是一样. 里面很多判断写得斩钉截铁, 但组织问题从来没有标准答案, 我看到的, 也只是自己经历过的那一小部分.

那本书收尾的一句话是: "生活过得好一点, 比大多数宏伟更宏伟." 借用这个句式: 让一个研究员发现异常之后, 当天就能找到对的人, 比大多数宏伟的组织变革都更宏伟.

置身 AI 内, 我们每个人都既是这台机器里的一个部件, 也是它的一部分设计者. 下一次你在部门的交界处发现一个异常, 是把它写进一张工单, 还是起身走过去, 找那个人聊一聊?

附: 一张对照表

《置身事内》
置身 AI 内
条条与块块, 层层复制
专业部门与模型项目, 每个 BG 一套 Infra
尽量在能达成共识的最低层级上解决问题
接口规范, SLA, 工单和各种委员会
外部性与水质监测站
部门报表与 straggler, 尾部延迟
三不管地带与根据地
部门接口处的性能问题与全栈探索
形式权威与实际权威, 官与吏
管理层与一线工程师之间的信息差
文山会海, 叫魂
工单, 周报, 层层转述的训练事故
所谓权力, 是说不清楚时由谁拍板
前沿研究里, 谁决定一个想法值不值得做
评价, 安排工作和受影响的上级应是同一人
借调工程师的绩效, 工作和影响分属三个人
看得见的路桥, 看不见的管网
发布会与 SOTA, 修 bug 与数值稳定性
烟厂酒厂, 只抽本地牌子的烟
每个部门自研框架, 只用自己的
鞭打快牛, 预算外收入, 突击征税
配额按用量定, 私藏的卡, 年底突击用卡
分税制: 财权上收, 事权下压
算力中台: 卡权上收, 指标下压
重土地, 轻人
重卡, 轻人
边干边学, 创新是买不来的
只有在自己的集群上修过的 bug 才算数
强力政府也要能拒绝帮助, 退出机制
能对自己支持过的项目说 "不"
经济特区: 给政策, 不只给钱
研究团队: 给权限, 不只给卡
引导基金: 允许亏损, 不管日常, 警惕名股实债
研究管理: 分阶段投入, 容忍失败, 警惕名研实交
产业工人大军, 离土不离乡
跨越知识边界的工程师, 在联合项目里成长
组织学习模式与探索创新模式
复现追赶与原创探索
生产型政府向服务型政府转型
交付型 Infra 向服务研究员的 Infra 转型
改革方向与改革过程, 缓冲机制
打破部门墙的方向, 与照顾具体人的过程
工单关闭 vs 客户问题解决
自动处理率上升, 人工补救也可能上升
省直管县: 拉平后省管 52 个市县
扁平化后一个负责人面对所有例外
教育日常归地方, 教材编制归中央
模型调参归一线, 评测标准归统一
乡镇工厂的 "学校" 教育功能
AI 助手可以当教具, 不能当教师
实际权威随信息优势静默移动
知识库和评测配置悄悄改变决策权
参考资料
[1] 

梁文锋访谈: https://finance.sina.com.cn/roll/2024-07-22/doc-inceypaf4744158.shtml

[2] 

Anthropic 关于可解释性研究工程的介绍: https://www.anthropic.com/research/engineering-challenges-interpretability


前往微信阅读全文

内容来自公众号,可前往微信查看原文。

查看作者的更多文章 →订阅更新、RSS 与阅读指南 →