杨植麟与梁文锋论文撞车，是巧合还是技术发展的必然？

论文撞车事件

同日发表的撞车论文

2月18日，这是个特殊的日子。在马斯克发布Grok3的同一天，技术社区出现了两篇论文。这两篇论文分别来自DeepSeek和月之暗面。有趣的是，两篇论文的作者中分别有梁文锋和杨植麟。他们的论文主题惊人地一致，都是针对Transformer架构的注意力机制进行改进，旨在让其更高效地处理长上下文。这就像是两位大厨，在同一天端出了做法相似的招牌菜。

论文的具体内容

DeepSeek发布的论文《NativeSparseAttention:Hardware-AlignedandNativelyTrainableSparseAttention》提出NSA架构。在基准测试里，NSA与全注意力机制相比，准确率相同或更高。处理长序列时速度大幅提升，训练高效且算力需求少，在长文本任务表现佳。月之暗面的MoBA架构核心思想相似，也采用切块等方法，有独特的门控网络挑选相关块计算注意力，还结合其他优化手段，计算复杂度在长文本处理时有明显优势且已用于产品。

之前的类似情况

R1与K1.5的情况

这不是两家第一次“撞车”。之前R1发布时，Kimi发布了K1.5技术报告。两篇论文都瞄准RL推动的推理模型。月之暗面的K1.5在训练推理模型的分享上更详细，但DeepSeek的R1发布后吸引了更多目光。OpenAI的论文提到这两个模型，表明二者在提升模型能力方面有相似成果。

技术对比与意义

清华大学章明星教授对比了这两次情况。DeepSeekR1和KimiK1.5都指向ORMbasedRL，二者各有特点。KimiMoBA和DeepSeekNSA都指向可反向传递的learnedsparseattention，也各有特性。这些连续的“撞车”有助于人们理解强化学习技术发展和注意力机制进化方向。

背后的竞争与应对

DeepSeek的影响

DeepSeek对月之暗面有着持续的影响。在技术路线上，二者的论文多次撞车。在用户争夺方面，DeepSeek的技术优势也带来挑战。比如在开源模型竞争中，DeepSeek的开源模式是一种竞争策略，而月之暗面面临着要匹配这种开源思路的压力。

月之暗面的应对

月之暗面应对思路引人注目。开源是重要一步，其内部把SOTA结果作为目标，这可能是接近DeepSeek新开源模式的策略。通过开源最强的模型和架构方法，月之暗面渴望在应用侧获得影响力。未来看点是两家公司用各自架构训练出的下一代模型是否会再次撞车并开源。

相关问答

杨植麟和梁文锋的论文在哪些方面存在撞车情况？

他们的论文都针对Transformer架构的注意力机制改进，且都提出了相似的方法，如将词变成块等，目的都是让注意力机制更高效处理长上下文。

NSA架构的优势有哪些？

NSA架构在基准测试中准确率与全注意力机制相当或更高，处理长序列速度快，训练高效算力需求少，在书籍摘要等长文本任务中表现出色。

MoBA架构是如何工作的？

MoBA架构将词切块后，通过门控网络挑选与一个块最相关的Top-K个块计算注意力，还结合FlashAttention和MoE优化手段，灵活性强。

之前R5的撞车有什么意义？

有助于理解强化学习技术发展，能从二者对比中更好地学习推理模型的训练方式，也能看到不同技术在提升模型能力方面的成果。

DeepSeek对月之暗面的影响体现在哪？

体现在技术路线上多次撞车，在用户争夺方面，DeepSeek的技术优势和开源策略给月之暗面带来挑战。

月之暗面如何应对DeepSeek的竞争？

月之暗面把开源作为重要应对手段，内部以SOTA结果为目标，试图通过开源最强模型和架构方法获得应用侧影响力。