AREX Feed Article
字节 Seed 论文：DeepSeek-V4 长上下文检索以 4 个 Token 为周期波动，128K 下最多相差 40.2 个百分点
10 月 9 日，（记者江怡曼，新浪财经转载）与先后报道了字节跳动 Seed 团队的一项研究：同一段信息在输入里换个位置，DeepSeek-V4 系列模型在长上下文中的检索结果就会明显不同，而且这种差异以 4 个 Token 为周期反复出现。在 DeepSeek-V4 系列上，最大差距出现在 128K 长度的大海捞针测试中：DeepSeek-V4-Flash 基础版仅因信息位置不同，检索准确率最多相差 40.2 个百分点。
论文把这一现象称为「相位敏感性」（phase sensitivity），并将它归因于 DeepSeek-V4 用于降低长文本推理成本的分块 KV Cache（键值缓存）压缩。压缩按固定步长把连续的 Token 窗口折叠成更少的缓存条目，同时引入了一个新的位置坐标：Token 相对于压缩窗口边界的「相位」。这篇题为《Periodic Weak Spots: Phase Sensitivity from Chunked KV-Cache Compression》的论文于 9 月 28 日提交至 arXiv（、），标注为 65 页、20 张图的预印本；8 位作者均以 ByteDance Seed 作为第一署名单位，部分作者同时署名 Princeton University、Stanford University 和 UC Berkeley。
（图：论文 Figure 2，arXiv:2609.36322）
128K 大海捞针：五个模型版本都出现周期性起伏
论文的核心测试是一场「大海捞针」：上下文长 128K Token，里面包含约 1.6 万个键值对，模型要回答指定 Key 对应的 Value。所有题目的上下文长度、提问位置和键值绑定都保持一致，被系统性调整的只有目标信息相对于压缩窗口边界的位置；题目按位置对 8 取模分成 8 组，覆盖了两代模型的多个压缩周期。评估对象包括 DeepSeek-V4-Flash 与 DeepSeek-V4-Pro 的基础版和后训练版，以及后训练的 DeepSeek-V4.1-Flash，共五个版本。
差距最大的是两个基础版：V4-Flash 基础版在不同位置间的最大差距为 40.2 个百分点，V4-Pro 基础版为 34.8 个百分点。后训练收窄了差距，但没有消除：V4-Flash-0731 为 19.1 个百分点，V4-Pro-0813 为 14.8 个百分点，更新的 V4.1-Flash-0910 降到 6.1 个百分点。周期与各自的压缩步长对应：V4 与 V4-Pro 的四个版本为 4 个 Token，V4.1-Flash 为 2 个。
代码补全：多打几个等号，答案在「8」和「32」之间翻转
论文用一组代码补全实验开篇。研究人员让 DeepSeek-V4-Flash 基础版补全 DeepSeek-V4 官方推理代码中的一个 FP8 量化函数，提示停在类型转换的位置：原始代码里这里是 8，模型却有时倾向另一个候选答案 32。为确认这与位置有关，他们在代码前面加了一段由重复「=」组成的装饰性文档字符串；这段填充没有任何语义作用，变化的只有等号的数量 L。
代码没改、补全位置没改、正确答案也没改，模型的倾向却开始周期性翻转。在测试的 16 个填充长度（L 从 24 到 39）上，L 对 4 取模余 0 或 1 时，模型更倾向错误的 32，平均概率 71.3%，而正确的 8 只有 26.4%；余数为 2 或 3 时反转，8 的平均概率升到 91.5%，32 只剩 7.2%。整个过程以 4 个 Token 为周期重复。
论文给出的对照是：没有使用分块 KV Cache 压缩的 DeepSeek-V3.1 基础版，在同样的 64 个输入里只有 4 个把 32 排在 8 前面，且差距很小。
（图：论文 Figure 1，arXiv:2609.36322）
「Token 相位」：分块压缩引入的新位置坐标
模型处理长上下文时，需要保留历史 Token 的 Key 和 Value 供注意力计算使用；上下文越长，这部分缓存占用的内存和注意力开销越大。DeepSeek-V4 的解法是分块 KV Cache 压缩，论文称之为压缩稀疏注意力（CSA）：以固定步长把连续 Token 的窗口压缩成更少的缓存条目，步长为 4，就意味着每 4 个 Token 折叠一次。
压缩产生了新的位置坐标：一个 Token 处于压缩窗口的第几个位置，就是它的相位。论文发现，模型对不同相位的信息存在系统性差异：同样一份信息，落在某个相位容易检索，落到另一个相位就明显更难。问题也不只是「信息恰好被切在窗口边界」，即便 Key 和 Value 都落在同一个压缩窗口内，不同位置的检索准确率依然能差出很多，说明模型写入和读取压缩缓存的过程本身就带有位置偏好。
机制上，论文给出两条线索。干预实验显示，不同注意力头对不同相位的贡献并不对称：一些头更擅长处理某些位置的信息，另一些头擅长的位置不同，论文称之为「相位专门化」（phase specialization）。对简化检索模型的理论分析则显示，梯度流的动力学可能推动压缩模块在训练中形成稳定的位置偏好，这也解释了周期性为何不是随机噪声。
从头训练的对照实验：周期跟着压缩步长走
后续实验要检验的是：分块压缩是不是相位敏感性的来源。研究人员以 Qwen3-0.6B 架构为基础从头预训练了一组模型，一部分采用不同配置的分块压缩，另一部分是全注意力模型，作为同等训练条件下的对照；除压缩机制外，其他设置尽量保持一致。
所有采用分块压缩的模型都出现了与压缩步长对应的周期：步长 4 对应约 4 个 Token 的周期，步长 6、8、12 的周期也各自跟随；全注意力基线没有出现同等程度的周期性。分别调整窗口大小和压缩步长后，周期主要跟随步长变化；把可学习的压缩权重换成简单平均、甚至去掉旋转位置编码（RoPE），周期性依然存在。论文由此认为，这种周期性源于分块压缩的设计本身，不能简单归到某个位置编码或单独模块上。在论文测试的全部压缩配置里，跨相位的准确率差距最高达到 78 个百分点，而全注意力基线最多为 6.1 个百分点。
（图：论文 Figure 3，arXiv:2609.36322）
平均分掩盖的弱点，与论文的评测建议
论文指出，这类周期性弱点可能被平均基准分掩盖：大量结果汇总成一个平均分后，各相位的优劣互相抵消。一个例子是，在 8 个 KV head 的配置下，一个 W8/S8 压缩模型（窗口 8 个 Token、压缩步长 8）的平均准确率和验证损失都与全注意力基线几乎持平，但它最差相位组的准确率只有 9.9%，而基线最差的组是 58.4%。论文因此建议，评估采用分块 KV Cache 压缩的模型时，不能只看整体检索准确率，还要把同一条信息放到不同压缩相位上分别测量。
界面新闻的报道把这一机制与用户感受联系起来：据该报道，此前不少用户把 DeepSeek 输出表现的时好时坏归因于服务端压力，而这篇论文将原因指向模型架构层面的设计选择。上述数字都出自论文作者自己的实验；论文目前以 arXiv 预印本形式发布，10 月 9 日的两篇报道均围绕这篇论文展开。
论文报告，后训练与架构迭代让跨相位的差距明显缩小，但模式没有消失：差距最小的 V4.1-Flash 按位置对 8 取模分出的四个偶数残差组，准确率仍全部高于四个奇数残差组。