清熙公众号文章

自由概率经由熵最优输运

清熙

公众号

两个随机变量相加,概率论有成熟的卷积理论。两个大随机矩阵相加,事情会复杂很多。矩阵的特征值可以分别知道,但两个矩阵的特征向量如何排列,会影响最后的谱分布。

自由概率研究的就是这种大维度极限。

数学四大顶刊之一Inventiones mathematicae发表论文《自由概率经由熵最优输运》【文献1】,
首次将自由概率的三大核心运算,加法自由卷积、乘法自由卷积与自由压缩,统一表述为熵最优输运问题,并给出了最优耦合的显式公式。

这篇论文给了一个很漂亮的视角,自由卷积可以写成一个熵正则最优输运问题。

摘要: 设  和  为  上具有紧支撑的概率测度, 表示它们的加法自由卷积。对于所有足够大的实数 ,

其中上确界取遍  与  的所有偶合 。类似的公式对于乘法自由卷积  和自由压缩  也成立。

通过这种方式,对对数势关于自由卷积的积分可以表示为熵最优输运问题。对应的最优偶合给出了显式公式,由此可以恢复加法和乘法自由卷积的标准 -变换与 -变换描述。

特别地,上述公式中的极值偶合  通过随机变量的偶合编码了归属方程。此方法基于对称群上的大偏差原理,并结合了 Marcus-Spielman-Srivastava 的正交方法。

论文让随机矩阵、自由概率、最优输运和大偏差理论进入同一个数学框架。

一、自由卷积

设两个概率分布分别为和。经典概率中,如果和相互独立,那么服从经典卷积。

对于两个大随机矩阵,情况不同。假设矩阵和各自的特征值分布已经确定。矩阵相加时,影响结果的还有一个问题,的特征值和的特征值究竟怎样配对?

当矩阵维度不断增大,这种配对关系会形成一种特殊的极限结构,由此得到自由加法卷积。

传统自由概率通常使用变换计算

。

公式非常简洁,但没有直接告诉我们这种“自由”究竟对应怎样的概率结构。这篇论文指出,自由卷积可以看成寻找一种最优的概率耦合。

二、最优耦合

假设服从,服从。只知道两个变量各自的分布,并不能确定它们之间的关系。可以让它们完全独立,也可以让它们存在各种统计依赖。

所有保持和不变的联合分布,都可以看成一种耦合。最简单的是独立耦合。

论文发现,自由卷积对应的耦合具有一个非常特殊的性质,在追求更好的谱结构时,同时要承担偏离独立状态的熵代价。

数学上,这个问题可以写成

第一项可以理解为收益,第二项是代价。前者希望和形成有利的配对,后者阻止它们过度偏离独立状态。所以自由卷积可以理解成一个收益和信息代价之间的最优平衡。

三、概率的代价

这一步来自随机矩阵中的一个自然的事实。把两个对角矩阵的特征值列出来,然后随机打乱其中一个矩阵的特征值,相当于重新安排两个特征值集合之间的配对关系。

大多数排列看起来都差不多,形成接近独立的配对。少数特殊排列则可能形成一种非常有利的结构,使矩阵的行列式异常增大。

那这种特殊排列有多难出现?大偏差理论能够给出解释。

一个特殊的耦合越偏离独立耦合,出现的概率就越低,而这种概率的指数衰减率恰好由相对熵描述

所以,相对熵不是人为加入的正则项,本身就是随机矩阵中特殊配对出现概率的代价。笔者觉得这个认知是整篇论文的精髓。

四、谱收益最大

矩阵的行列式可以写成所有特征值贡献的乘积。取对数以后,就变成特征值贡献的求和

当矩阵维度很大时,这个平均值就变成谱分布上的积分。

随机排列产生的一个特殊配对,同时影响两件事情,有一定的概率代价;会改变矩阵的谱和行列式。

整个问题会变成,寻找一种特征值配对,使谱收益最大,同时概率代价最小。这恰好是一个熵正则最优输运问题。

五、数学桥梁

这里还有一个关键的数学桥梁。对于相关的随机矩阵问题,随机酉矩阵和随机置换矩阵在期望特征多项式层面存在非常深的联系。

随机酉矩阵是自由概率的经典随机矩阵模型。随机置换则是把一组特征值重新配对。所以,自由概率中的随机矩阵问题可以转换成一个随机排列问题。

随机排列又可以通过大偏差理论转换成耦合优化问题,最后得到自由卷积。

随机矩阵的谱问题,可以转化为随机排列的概率问题,再转化为最优输运问题。这个桥梁让自由概率获得了一个完全不同的解释。

六、从属函数

自由概率中还有一个工具叫从属函数。传统理论里,通常通过复分析定义,作用是把两个复杂的自由卷积问题拆开处理。

这篇论文给了直观解释。在最优耦合中,两个变量原本各自服从和。经过优化以后,它们之间建立了特定的依赖关系,从属函数描述了这种重新组织后的关系。

也就是说,从属函数可以理解成,为了形成自由卷积,两个原始分布应该怎样重新配对。笔者被这个视角惊艳到了。

从这个最优耦合出发,可以重新推出变换的加法公式。对于乘法自由卷积,也可以得到变换的乘法公式。变换和变换背后,都可以看到一个共同的概率优化结构。

七、自由vs经典

框架还给出了一个很直观的比较。经典卷积对应独立耦合;自由卷积允许形成更加特殊的耦合,但这种耦合需要支付相对熵代价。

自由卷积可以看成在独立状态附近寻找更有利的特征值配对。

这种差异在低阶统计量中并不明显。自由加法卷积和经典加法卷积的前三阶矩相同,从第四阶矩开始出现差异,而且自由卷积的第四阶矩更小。

这说明自由性并非一种抽象的符号规则,它会在随机矩阵的谱统计中留下可以计算的痕迹。任何“自由”都是有代价的。

八、普适规律

过去我们可以通过变换知道两个分布如何进行自由卷积,但很难从概率直觉上理解自由卷积究竟在做什么。现在可以把它看成一个优化过程。

两个分布首先保留自己的边缘信息,然后允许建立统计依赖。某些特殊的配对能够改善谱结构,但越偏离独立状态,概率代价越高。最终系统选择收益和熵代价之间最优的耦合。

这个最优耦合产生的结果,就是自由卷积。从这个角度看,自由概率与最优输运之间存在一条很自然的联系:

随机矩阵负责产生谱收益,大偏差理论给出概率代价,最优输运寻找最佳耦合,自由概率则描述这个极限状态。

自由概率中的复杂谱结构,可以从最优概率耦合中产生。这个自由概率的生成机制,与沿最优输运方向的重整化可能是世界演化的核心方式遥相呼应。

重整化给世界分尺度,最优输运给演化定方向,这或许是普适的复杂系统演化规律。


文献1,Free probability via entropic optimal transport, https://link.springer.com/article/10.1007/s00222-026-01451-3

 

前往微信阅读全文

内容来自公众号,可前往微信查看原文。

查看作者的更多文章 →订阅更新、RSS 与阅读指南 →