本文基于McCoy、Soulos、Linzen、Smolensky 的论文 《人工神经网络中涌现的符号结构》【文献1】分析整理。
一个矛盾
语言有语法树，数学有运算顺序，代码有变量绑定，这些领域长期用符号系统建模。今天表现最好的系统是神经网络，内部只有连续向量。一个句子进去，出来的是几百个小数，看上去和语法树毫无关系，神经网络却能把这些任务处理得很好。
所以论文假设，网络的向量里应该隐含着符号结构，只是形式特殊，肉眼看不出来。
加法不分顺序
常用的线性表征假说认为，一个向量是若干概念向量之和。"cats chase dogs"和"dogs chase cats"含有同样的三个概念，相加结果相同，意思却相反。4 减 7 与 7 减 4 也是如此。向量里必须记录每个元素的位置，认知科学把这个问题叫绑定问题。
张量积表征
论文采用 Smolensky 在 1990 年提出的张量积表征（TPR）。结构被拆成填充物和角色，填充物是元素本身，角色是它的位置。"cats chase dogs"有三对，cats 在主语，chase 在动词，dogs 在宾语。
每个填充物和角色各有一个向量。填充物向量与角色向量做张量积，得到一个矩阵，编码"这个元素在这个位置"。所有矩阵相加，再做一次仿射变换，得到整个结构的向量
其中 是填充物向量， 是角色向量， 和 把矩阵压成向量并调整空间形状。
一个小例子：让字母 A、B、C 对应 1、2、3，第一位对应 [1, 0]，第二位对应 [0, 1]，字母对 CA 的编码就是 [3, 1]，结构一目了然。当 和 取一般数值时，空间被拉伸、旋转、平移，数字看上去杂乱，几何结构却原样保留，网络自己可以抵消这些变换。所以向量有结构，人却读不出来。
TPR 还可以解绑，已知角色向量，用线性运算就能取回该位置上的填充物。
DISCOVER检验
检验方法叫 DISCOVER，由 McCoy 等人在 2019 年提出，论文把它扩展到多种架构和大模型。分三步
1. 训练目标模型，比如一个倒序排列字母的 GRU，编码器把输入压成向量 。 2. 训练一个结构固定为上式的 TPR 模型，让它产生的向量尽量接近 ，误差用均方误差。可训练的是填充物向量、角色向量以及 和 。 3. 把 TPR 向量直接送进目标模型的解码器。输出仍然正确，说明这个公式可以完整替代原模型的编码过程。
训练前，要先假设角色的划分，比如从左数的位置、从右数的位置、两者拼接的双向位置，或者所有元素共用一个角色的词袋。词袋相当于"没有结构"的零假设。
TPR 的形式很受限，方法并不保证成功。倒序任务中，从左到右的角色方案就失败了。倒序 GRU 上，双向角色的近似准确率最低为 99.98%。
小模型
论文训练了四种网络，多层感知机、GRU、标准 Transformer，以及自己设计的瓶颈 Transformer。瓶颈 Transformer 的解码器只能读第一个位置的向量，迫使这个向量编码整条序列。任务有三个，复制、倒序、交错。
12 种组合里，双向角色的平均近似准确率只有一项略低（0.973），其余都超过 0.99。Wickelroles 有 729 个角色，双向只有 21 个，前者反而更差，成功并不取决于参数多少。把任务换成按字母排序，顺序无关紧要，词袋方案立刻有效。网络只在任务需要时才编码结构。
大语言模型
大模型每层给每个词元一个向量，没有现成的整句向量。论文假设句末的句号承担这个角色，模型只能看到之前的内容，句号是第一个能看到整句的位置。先训练一个解包模型，从句号向量还原整句，成绩说明句号向量确实含有顺序信息。
分析覆盖七个模型：Gemma-3、GPT-2-XL、GPT-OSS、Pythia、Qwen3、OLMo2、Llama-3.1。材料是名词列表、主谓宾句和句法多样的复杂句。评价时，把 TPR 近似向量送进解包模型，看它能否还原原句。
复杂句上有一个意外结果，解包模型用原始句号向量训练，读 DISCOVER 近似向量时反而更准。GPT-OSS 中间层的数字是，原向量 0.71，近似向量 0.96。
论文的解释是，原向量只是不精确地实现了双向结构，带有噪声，DISCOVER 把同一结构精确地实现出来，解码器依赖的正是这个结构。
GPT-OSS 六个任务
上面的实验只涉及句号，还原的也是新训练的解包模型。论文因此选了 GPT-OSS，覆盖算术、三段论、代码执行、被动化、时态改写和疑问句构造，把输入部分在所有层、所有词元上的向量全部换成 TPR 近似，再让模型继续生成答案。
角色方案中，最好的是"任务特定、含全部前文词"：每个词元的向量同时编码自己和前面所有词，每个词带着任务相关的角色，如"宾语的形容词"，角色还写成两个位置的组合，以表达词与词的相互影响。
六个任务上，近似准确率与模型自身相差最多 2.36%，出现在算术任务。每个位置的向量里包含多对角色与填充物，角色的含义对应任务结构。
因果干预
TPR 是各角色填充对之和，所以可以只改一部分，减去一对，再加上另一对
改动量由 TPR 精确算出，不假设信息集中在某几个数上。
GPT-OSS 上共做了 31 类干预，平均准确率 0.903。改填充物，比如把算术式 -2 + 3 * -4 里的 3 换成 8，输出应由 -14 变为 -34，准确率 0.978。改角色，比如把"polite"从宾语形容词位置移到主语形容词位置，模型的反应就像读到了"The polite economists stopped the tourists"，移动形容词、介词短语、关系从句的准确率分别为 0.980、0.892、0.958。
只改目标词自己的向量，改填充物时效果接近整体干预，改角色时大幅下降。词的身份集中在单个向量里，结构分散在多个词的向量中。
系统性检验
高近似准确率还有一种退化解，把每个"词加位置"当成不可拆的整体各占一个向量。检验办法是训练 DISCOVER 时扣留某些组合，比如训练样本里字母 C 从不出现在第 3 位，测试时再给含这个组合的样本。扣留只发生在 DISCOVER 里，目标模型不受影响。
如果目标模型把 C 和第 3 位各自独立编码，DISCOVER 就能推出这个组合怎么表征。若是整体记忆，就无从得知。评价用强随机基线，有 个未见组合时，随机放置全部放对的概率是
结果是，字母序列模型、七个大模型的句号向量，以及 GPT-OSS 除算术外的五个任务，都明显高于基线。网络编码的是角色与填充物的系统绑定，"猫作主语"没有被当成独立单位。
极限论
认知科学里有两种对立的观点，取消论认为符号可以从理论里去掉，实现论认为网络必须精确实现符号系统。
结果与取消论不符，因为网络内部确有符号结构。论文也不接受实现论，近似准确率不是满分，干预准确率 0.903 低于 1，原向量也比近似向量更难解码。
论文支持居中的极限论：网络在极限情形下趋近符号系统，实际只是近似实现。偏差可能只是噪声，也可能让网络把系统的组合计算与模糊的统计计算融合起来，这对自然语言可能有用。
与富集范畴的联系
在笔者的概念里，这些涌现的符号结构就是富集范畴。
TPR 的全部构造都在有限维向量空间范畴 里完成。张量积让 成为对称幺半闭范畴，因此它可以在自身上富集，任意两个空间之间的线性映射构成向量空间，复合是矩阵乘法，对两边都是双线性的。TPR 的解绑，就是这个范畴里的求值映射。这一层对所有向量表征都成立，信息量有限。
有内容的一层在操作上。倒序把"从左第 k 位"换成"从右第 k 位"，在角色空间上是一个置换矩阵。如果网络的每一步结构操作都对应 TPR 空间上的线性算子，这些算子就构成一个 富集范畴，"先倒序再追加"等于两个矩阵相乘。论文脚注给出的恒等式
体现的是编码对填充物的可加性。构件手术里的"减一对，加一对"，是在这个线性结构里做加减。
近似性可以用另一种富集刻画。Lawvere 度量空间是在 上富集的范畴，hom 是距离，复合对应三角不等式。把 DISCOVER 的近似误差看作距离，网络的实际编码相对理想 TPR 就是一个近似的函子，复合时误差会累积。这与极限论的立场吻合，也能解释干预准确率为什么是 0.903，没有到 1。
局限性
角色方案由人假设，需要对任务结构有清楚理解； 实验限于特定任务，扩展到更广的输入需要无监督版本； 描述了结构，没有解释网络如何算出，也没有说明训练中怎样形成； 目前只处理离散的填充物和角色，连续、递归的情形留待后续。
但是，论文探索很有意义，向量与符号的距离，比表面看上去，近的多。读者可参考这篇MIT对大模型数理原理的强有力证明。
文献1，The Emergent Symbolic Structure
of Artificial Neural Networks，https://arxiv.org/pdf/2608.29530