字节论文指出 DeepSeek V4 分块 KV Cache 压缩存在相位敏感性，加几个空格就能让模型答错
来源雷峰网查看原文
速览
- 字节论文指出 DeepSeek V4 系列存在相位敏感性，输入中几个空格即可导致答案错误
- 错误与等号数量除以 4 的余数相关，余数 0/1 时错误率 71.3%，余数 2/3 时正确率 91.5%
- 根因是分块 KV Cache 压缩：Token 在压缩段中的位置决定其被保留的权重
- 128K 大海捞针测试中，DeepSeek-V4-Flash-Base 不同位置准确率差距达 40.2%
- DeepSeek-V4.1-Flash 将压缩步长砍半至 2，差距降至 6.1%，但未根除
- 字节用 Qwen3-0.6B 对照实验证明，固定长度分块压缩必然产生周期性波动
- 去掉 RoPE 或改用平均分配门控权重都无法消除波动，说明是结构缺陷
- 文章认为「动态分块」是可能方向，涉及数学基础、显存管理与硬件对齐三层重构
- ChunkKV 在 NIAH 测试中准确率 73.8%，高于 SnapKV 的 58.9%
- 微软 MInference 在百万字长上下文 prefill 阶段最高实现 10 倍加速
字节团队在 9 月底发表的论文《Periodic Weak Spots: Phase Sensitivity from Chunked KV-Cache Compression》中指出，DeepSeek V4 系列模型存在「神鬼二象性」：同一个问题，仅因输入中多出几个装饰性空格，答案就可能从正确变为错误。研究起源于一次代码补全测试——让 DeepSeek-V4-Flash-Base 补全一段 FP8 量化函数的最后一个 Token，正确答案应为 8，但在代码前加了一串等号后模型输出了 32。进一步测试发现，错误与等号数量直接相关：等号数量除以 4，余数为 0 或 1 时错误率高达 71.3%，余数为 2 或 3 时正确率高达 91.5%。字节将根因归结为分块 KV Cache 压缩带来的「相位敏感性」：Token 在压缩段中的位置（相位）决定了它被保留的权重，落在盲点槽位的 Token 几乎被忽略。在 128K Token、约 1.6 万个键值对的大海捞针测试中，DeepSeek-V4-Flash-Base 不同位置间准确率最大差距达 40.2%，DeepSeek-V4-Pro-Base 为 34.8%，经后训练优化后仍分别有 19.1% 和 14.8%。DeepSeek-V4.1-Flash 将压缩步长从 4 砍半至 2，差距降至 6.1%，但未根除。字节用 Qwen3-0.6B 架构从头训练对照模型，确认只要采用固定长度分块压缩，周期性波动就必然出现，且周期严格等于压缩步长，去掉 RoPE 或改用平均分配门控权重都无法消除。文章同时介绍了可能的方向「动态分块」，以及 ChunkKV、Jina AI 延迟分块、微软亚洲研究院 MInference 等相关工作。
关键事实
- 字节团队 9 月底发表论文《Periodic Weak Spots: Phase Sensitivity from Chunked KV-Cache Compression》，点名 DeepSeek V4 系列模型存在相位敏感性问题
- 测试中 DeepSeek-V4-Flash-Base 补全 FP8 量化函数最后一个 Token，正确答案为 8，在代码前加装饰性等号后输出 32
- 等号数量除以 4，余数为 0 或 1 时错误率高达 71.3%，余数为 2 或 3 时正确率高达 91.5%
- 128K Token、约 1.6 万个键值对的大海捞针测试中，DeepSeek-V4-Flash-Base 不同位置准确率最大差距 40.2%，DeepSeek-V4-Pro-Base 为 34.8%
- 经后训练优化后，上述两个模型的差距仍分别为 19.1% 和 14.8%
- DeepSeek-V4.1-Flash 将压缩步长从 4 降至 2，准确率差距降至 6.1%，但问题未被完全消除
本站视角
这篇论文的价值不在于「DeepSeek 又出 Bug」，而在于它把一个此前被长上下文军备竞赛掩盖的工程风险摆到了台面上。具体受影响的首先是所有依赖长上下文做关键判断的场景：用 DeepSeek V4 系列做合同审阅、财报分析、代码库理解、法律与医疗文档检索的团队，都可能遇到「关键信息明明在上下文里、模型却给出相反结论」的情况，而且这种错误不会报错、不会提示，用户几乎无法归因。其次是国内做 Agent 与 RAG 的团队——如果检索回来的长文档在拼接后恰好把关键条款推到盲点槽位，Agent 的后续决策会整体跑偏，而排查成本极高。第三是采用同类分块压缩或稀疏化技术的开源模型用户，文章明确提到 Llama 3 系列也有类似问题，这意味着这不是 DeepSeek 一家的锅。 我们的判断是：这是一次实质性的技术发现，而非营销包装。字节用 Qwen3-0.6B 从头训练对照模型、逐一排除 RoPE 和门控权重两个变量，方法论上是扎实的，结论「固定长度分块压缩必然产生周期性波动」有实验支撑。对开发者而言，短期内可操作的缓解手段是：避免在 prompt 前部添加无意义的装饰性字符或空白，尽量把关键信息放在语义完整、位置稳定的段落中，并在关键任务上做多次不同排版的交叉验证。 需要观察的是：论文目前只针对 DeepSeek V4 系列和自训练的对照模型给出数据，尚未覆盖更多商用模型，40.2% 这类差距是在特定的大海捞针构造下测得的，真实业务场景中的实际影响幅度可能不同，不宜直接外推为「DeepSeek 不可用」。另外，文章后半部分对「动态分块」的讨论带有明显的技术展望色彩，ChunkKV、MInference 等工作的数据来自各自论文，与本文的相位敏感性问题并非同一评测口径，读者不宜把它们当作现成解药。DeepSeek 方面尚未就此公开回应，V4.1-Flash 把步长砍半至 2 后差距降至 6.1% 说明官方已在优化，但这是否意味着后续版本会转向动态分块，仍需观察。
背景与影响
分块 KV Cache 压缩是 DeepSeek 等模型处理长上下文显存压力的常用手段：把连续 Token 按固定长度切块，每块内的 Token 通过可学习门控层压缩成「小摘要」。这降低了显存占用，但引入了新问题——标准 Transformer 的注意力只依赖 Token 之间的相对距离，而分块压缩后每个 Token 在压缩段中的绝对位置（论文称为「相位」）开始影响其权重，排到强势槽位的 Token 被加权保留，排到盲点槽位的 Token 几乎被忽略。字节的对照实验进一步表明，这不是调参、位置编码或后训练能解决的问题，而是固定长度分块压缩方案本身的结构缺陷。文章提到，若要彻底解决，需要让切块边界根据内容重要性动态决定，即「动态分块」。目前全球顶级 AI 实验室正从「语义连续性」和「稀疏计算」两个方向推进：香港科技大学（广州）团队的 ChunkKV 以连续语义块为压缩单位，整块保留或整块丢弃；Jina AI 肖涵博士团队提出延迟分块方案，先让模型读完整篇文本再按语义切分；微软亚洲研究院的 MInference 框架则为不同注意力头匹配稀疏计算方式。这意味着长上下文竞争的重心可能从「能处理多长」转向「能否稳定不丢信息」。
本文由 AI 辅助整理自公开信源，事实部分以原文为准；「本站视角」一节为编辑部判断，欢迎指正。版权归原作者所有，如有异议请联系我们。
