DeepSeek发布新论文，mHC架构能否引领AI模型训练新方向？

新架构的提出背景

传统超连接的局限性

近年来，以超连接（HC）为代表的研究拓展了过去十年确立的通用残差连接范式，靠拓宽神经网络的“信息传输通道”、增加通道间的连接，让模型性能变好。但这种多样化也导致了大规模训练中的不稳定性、可扩展性受限及内存访问开销大的问题。

模型训练的挑战

随着模型规模不断扩大，传统的Transformer残差连接结构逐渐暴露出局限性。信号在传播过程中会“爆炸”或“消失”，破坏恒等映射特性，模型越深越难训练。通道变宽意味着显存开销成倍增加，形成了所谓的“显存墙”。

mHC架构的核心内容

流形约束的概念

DeepSeek团队提出的mHC架构，核心在于“流形约束”这一概念。研究团队将传统HC的残差连接空间投影到一个特定的数学流形上，巧妙地恢复了恒等映射属性。

具体实现方法

研究团队利用Sinkhorn-Knopp算法，将残差连接矩阵投影到Birkhoff多胞形上。这使得信号传播变为特征的“凸组合”，从数学上严格保证了信号范数的稳定性。

mHC架构的优势与应用前景

性能提升与稳定性增强

论文举证说明，新架构不仅能解决大模型训练的稳定性问题，且能在仅增加6.7%的训练时间下，显著提升性能。

推动大模型底层架构工业化落地

mHC架构类似于给超连接的“信息通道”加了一套“交通规则”，在保留性能优势的又恢复了信息原样传递的特性，让模型训练更稳定、更容易做大，从而推动大模型底层架构的工业化落地。

为未来研究开辟新路径

在论文中，DeepSeek表示，mHC为未来研究开辟了多个前景广阔的路径。研究团队希望mHC能重新激发学界对宏观架构设计的兴趣。通过深化对拓扑结构如何影响优化与表征学习的理解，mHC或将有助于突破当前限制，并可能为下一代基础架构的演进指明新方向。

相关问答

DeepSeek发布的新论文提出了什么架构？

提出名为mHC（流形约束超连接）的新架构，旨在解决传统超连接在大规模模型训练中的不稳定性问题。

mHC架构的核心是什么？

核心在于“流形约束”概念，将传统HC的残差连接空间投影到特定数学流形上，恢复恒等映射属性。

mHC架构如何提升模型性能？

通过将残差连接矩阵投影到Birkhoff多胞形上，使信号传播变为特征的“凸组合”，保证信号范数稳定性。

mHC架构对大模型训练有什么帮助？

能解决大模型训练的稳定性问题，在增加少量训练时间的情况下显著提升性能，推动大模型底层架构工业化落地。

mHC架构对未来研究有什么意义？

为未来研究开辟多个前景广阔的路径，有助于重新激发学界对宏观架构设计的兴趣，突破当前限制。