DeepSeek开年发布新论文，mHC架构能否引领模型训练新方向？

mHC架构的提出背景

传统残差连接的瓶颈

传统的残差连接，像Transformer中的x+F(x)结构，虽能通过「恒等映射」保证信号无损传输与训练稳定性，但其信息通道宽度受限于隐藏层维度C，在大规模模型训练中存在一定局限性。

超连接带来的问题

以Hyper-Connections(HC)为代表的研究，扩展了残差连接范式，带来性能提升的也引发了数值不稳定性和系统开销大的问题。原始HC中连接矩阵自由学习无约束，导致信号多层传播后数值“爆炸”或“消失”，破坏恒等映射特性，且通道变宽使显存读写和通信成本大增。

mHC架构的核心内容

创新的多流并行架构

mHC将传统Transformer的单一残差流扩展为多流并行架构，为解决大规模模型训练问题提供了新途径。

流形约束解决稳定性

利用Sinkhorn-Knopp算法将连接矩阵约束在双拟随机矩阵流形上，成功解决了超连接在大规模训练中因破坏恒等映射属性而导致的数值不稳定和信号爆炸问题，确保了训练的稳定性。

mHC架构的优势与应用前景

有效支持大规模训练

实证实验表明，mHC能有效支持大规模训练。当扩展率𝑛=4时，仅带来6.7%的额外时间开销，显示出其在大规模模型训练中的高效性。

性能提升与可扩展性

在提供明显性能提升的mHC具备更优的可扩展性。在270亿参数模型的BBH推理测试中提升2.1个百分点，DROP阅读理解测试中提升2.3个百分点，整体损失值降低0.021，为模型训练的发展提供了新的方向。

相关问答

DeepSeek发布的新论文提出了什么架构？

提出了名为mHC（流形约束超连接）的新架构，将传统Transformer的单一残差流扩展为多流并行架构，并约束连接矩阵。

传统超连接在大规模模型训练中存在什么问题？

存在数值不稳定性，信号会“爆炸”或“消失”，破坏恒等映射特性；还存在系统开销大的问题，导致显存读写和通信成本大增。

mHC架构如何解决传统超连接的问题？

通过将连接矩阵约束在双拟随机矩阵流形上，恢复恒等映射属性，解决数值不稳定和信号爆炸问题，同时结合基础设施优化确保效率。

mHC架构在大规模训练中有哪些优势？

能有效支持大规模训练，当扩展率𝑛=7%的额外时间开销，还能提升模型性能，具备更优的可扩展性。

mHC架构的应用前景如何？

作为HC范式的广义拓展，mHC为未来研究开辟了多个重要方向，有望深化对拓扑架构设计的理解，为基座模型的演进指明方向。

DeepSeek之前还有哪些重要的技术成果？

2及增强版模型，在推理性能上比肩国际顶尖水平。