【本篇完全车上手机打字成文】
GPT-6 Astra 目前业内推测架构是looped transformer或者recurrent depth，
笔者觉得这两者主要是动态处理了不同复杂度问题的网络深度。
不过，相比renormalization，如果没有尺度变化，两者局限性还在。
估计基模recurrent之后就是agent的 harness of harness，
原因是现实世界系统的计算结构，本来就是多层级的，没有尺度变化、不嵌套的harness搞不定。
另外笔者感觉现在的大模型还有一个悖论，所有的训练数据，都是在一定上下文产生的，
训练主要用结果数据，缺乏足够上下文， 构建的模型却要在上下文中运行，
预测或者推理，必然涉及泛化，肯定会有错的，by design。
再有，从twitter信息看，ARC-AGI-3 这个benchmark等于训练了个有针对性的小模型。