AREX Feed Article
LeCun 与 Balestriero 发表柏拉图表征定理：109M 文本 JEPA 样本少 42 倍，跨模态对齐胜过最高 72B 的 LLM
2026 年 11 月 1 日 06:28 UTC，，把一篇论文概括为 “Yann LeCun 和 Randall Balestriero 证明了柏拉图表征假说（Platonic Representation Hypothesis），并找到了一条更好的实现路径”，帖子链接指向论文在 alphaXiv 的页面（编号 2610.39302）。这篇题为 Proving and Improving the Platonic Representation Hypothesis with JEPAs 的论文于 10 月 29 日提交 arXiv（），署名 Randall Balestriero（布朗大学、AMI Labs）与 Yann LeCun（纽约大学、AMI Labs）。
论文报告了两条核心量化结论：其一，在同一语料、同一 1.09 亿（109M）参数规模下，把正样本对设为同一场景的两次观测（论文称 good views）后，达到与 next-token prediction 相同图文对齐水平所需的训练样本少 42 倍；其二，一个 109M 参数的文本 JEPA（Joint-Embedding Predictive Architecture，联合嵌入预测架构）在跨模态对齐基准上的成绩高于论文评估过的所有语言模型，其中最大到 720 亿参数的 Qwen2.5-72B。这些数字均出自论文与作者发布的，属作者一方的报告口径。
被证明的是什么：差一次旋转的「同一个表征」
柏拉图表征假说出自 2024 年 Huh、Cheung、Wang 与 Isola 的：他们观察到视觉模型与语言模型的表征随规模扩大越来越相似，据此猜测不同模态的模型会收敛到对现实世界的同一个统计模型。新论文的引言直言，这在那之后仍是一个观察——当时最接近的证明只覆盖用 SGD 训练的嵌入式深度线性网络，对实践中真正在用的自监督目标、尤其是 JEPA 既没有证明，也没有「何时成立」的判据，因此堆模型和数据一直是主要杠杆。
JEPA 是一类自监督方法：编码器把输入映成向量，训练目标要求被声明为「互为视图」的正样本对向量相近，同时用一个防塌缩项阻止所有输入塌到同一个点。Balestriero 与 LeCun 把这条路线写成了定理（）。设世界是一组状态，每个模态用各自的方式渲染它：照片渲染成像素，场景说明渲染成文字。定理说，当两个及以上模态的 JEPA 各自独立训练、彼此看不见对方的模态，而它们的正样本对都来自同一个分布——每一对都是同一世界状态的两次观测——且训练目标的最优解在旋转意义下唯一（论文在白化二阶防塌缩、谱上有间隙的条件下证明了唯一性），那么每个模态学到的编码都等于同一个「世界嵌入」再各自乘一个旋转矩阵，任意两个模态之间恰好差一次旋转。论证不挑模态：图像、视频、文本、音频、动作，只要观测的是同一个世界都适用。
「只差一次旋转」在文献里有先例：分别在不同语言上训练的词嵌入彼此相差一个线性映射，甚至不用任何翻译对就能把这个旋转找出来，足以在无平行语料时翻译单词乃至句子。新论文进一步证明，配对数据在几何上的用量也很小：这个旋转是一个 k×k 的正交矩阵，k 个位置恰当的配对就足以把它定出来，而两个模态各自无配对数据的一、二阶矩永远定不出它。配套的错位上界也在 300 个随机生成的有限世界上做了数值验证：全部落在界内，至多达到该界的 18%。
next-token prediction 在这个框架里是「坏视图」
定理还有反面。当正样本对不是同一场景的两次观测，而是对单次观测的两次破坏（论文称 bad views，比如同一段文字的两次随机掩码、同一张照片的两次裁剪），两个模态的错位不再消失，其上界由各自正样本对「画出的图」相差多少决定。论文据此给 next-token prediction 归了类：它的正样本对是同一文档里的前缀与后续，因此是一种 bad-view JEPA——作者用它解释语言模型为何要靠规模增长才与视觉对齐。的 AI 概览同时注明，论文对「next-token prediction 为何靠规模仍能对齐」给出的解释，作者自己标明是启发式的。
机制落在论文称为 nuisance（干扰信息）的概念上：每次观测都携带只属于本模态的内容，比如一段说明文字碰巧选用的措辞、一张照片的拍摄视角。论文证明，当破坏式增广保留的 nuisance 多于世界状态本身的第 k 个方向时，编码器会分出嵌入维度去记录这些信息，而任何旋转都无法把它们与另一个模态对齐；好视图的两次观测只共享场景本身，这类维度开销为零。
按同样的定义，论文自己的图像编码器和 DINOv2 也都是 bad-view JEPA——它们的正样本对来自同一张照片的两次裁剪。作者指出，好的图像视图需要每个场景有多次观测，比如视频帧；他们在 MSR-VTT 上做了尝试，但用其 7,000 段视频训练的图像 JEPA 远弱于 DINOv2，图像侧 good views 的规模化被明确留作后续工作。
109M 对 72B：数字的出处与限定
主实验把文本侧推到 9.4 亿张网页图的文本（Recap-DataComp-1B 的网页替代文本 alt-text 加上重写字幕）。109M 参数的 good-view 文本 JEPA 在 WIT-1024 上与 DINOv2 ViT-B 图像编码器对齐得到 0.184；WIT-1024 是 PRH 原论文的基准，衡量文本向量与图像向量各自 10 个最近邻的互相重合比例，中间不做任何映射拟合，随机水平为 0.01。同一语料训出的 next-token 对照是 0.111，bad-view 对照是 0.088；被评估的语言模型中最高为 Qwen2.5-72B 的 0.154，Llama-3-70B 为 0.151，CLIP 的文本编码器为 0.124。论文写道：这个读了 1,160 亿文本 token 的 1.09 亿参数编码器，胜过了参数大 660 倍、训练数据多出 100 倍以上的模型。
42 倍的样本效率是这样测的：固定 109M 编码器与语料，good views 用 2,160 万训练样本达到 0.109，next-token prediction 需要 9 亿样本才到 0.111。alphaXiv 论文页的 AI 概览注明，42 倍是训练样本数之差，不是算力或时间之差，两条训练配置的学习率与批量也不同；换算成文本 token，论文图 1 给出的差距是 14 倍。
其余结果方向一致：33M 的文本 JEPA 在 5,000 万网页图的文本上得 0.125，已与 Qwen2.5-3B 和 7B 相当，换成 14.5 万条 Flickr 字幕训练则只有 0.034；对齐得分随「好视图比例与样本量」服从一条 scaling law（缩放定律），作者在开跑之前预登记了 85 组新实验的预测，均方根误差 0.0093，与换一个随机种子重跑的波动 0.0096 相当。换成 CLIP 图像编码器做参照，排序不变：与 CLIP ViT-H 对齐时文本 JEPA 为 0.230（三个种子的区间 0.227～0.233），Qwen2.5-72B 为 0.210。
这些对比带着几处作者自己标注的限定：主结果 0.184 按三个种子报告，第四个种子把 SIGReg 正则权重加倍后只有 0.121，四个种子平均 0.168，仍高于被评估的语言模型；超参数只为 good-view JEPA 调过；Recap-DataComp 每张图的三段文本里有两段由 LLaVA 生成，而 LLaVA 的视觉编码器正是 CLIP ViT-L/14——文本侧的数据并不与图文对比训练完全绝缘。
不用图文对，也能拼出一个看图说话模型
论文把对齐做成了可操作的流程。演示系统由三块冻结部件加一块拟合件组成：DINOv2 与 DINOv3 图像编码器、一个行正交的线性映射——整个系统唯一在图文对上拟合的部分，用了 3 万对 Flickr 数据——以及一个只用纯文本微调的语言模型解码器。它在 COCO 上得 CIDEr 0.838，在 MSR-VTT 视频帧上得 0.246，高于解码器只见过图说或通用文本的零样本（zero-shot）生成器。
再往前一步，连配对都不用。借 Schnaus 等人的共享几何方法（），在互不配对的 COCO 训练集两半之间直接对齐图像与文本编码器：zero-shot ImageNet-100 top-5 准确率 64.4%，高于该基准论文在 21 对视觉-语言模型、5 种设置下报告过的全部成绩（最高 56%）；CIFAR-10 为 86.0、CIFAR-100 为 67.2。与同条件复跑的最强语言模型 Qwen3-8B 相比，ImageNet-100 上高出 17 个百分点。
定理的边界，与这轮传播的口径差
定理是理想化假设下的总体层面结果：世界有限、渲染单射、正样本对共享、最优解在旋转意义下唯一；实验使用的 LeJEPA 训练并不严格满足这些假设，真实观测也可能有损。alphaXiv 论文页 AI 概览给出的总结是：这些结果支持「视图选择是一条实用的训练原则」，但既不证明真实世界的模态会完美收敛，也不证明规模不再重要。
11 月 1 日那条推文的措辞是「刚刚证明了柏拉图表征假说」，比论文自己的表述「我们把假说变成了定理」更进一步；推文把要点压成「训练方式比单纯堆规模更重要」，对应论文摘要末句「杠杆是正样本视图，而不是单纯的规模」。复现材料已随论文放开：GitHub 仓库 galilai-group/prh-proof 以 MIT 协议发布，内含 345 组训练的完整登记（含参数与种子）、约 5,500 GPU 小时的开销记录、把论文第 2 节每条论断变成数值检验的测试，以及可上传自己照片和视频的 。
论文留下的未完成项同样具体：好视图的样本效率优势目前主要体现在文本一侧，图像侧的 good views——每场景多次观测的那种——如何规模化，作者留给了下一项工作。