算力崇拜时代真的该结束了吗？

算力扩张的黄金十年走向终结

简单公式下的增长困境

过去十年，AI创新被简化为“更多参数、更多数据、更多算力”的公式。模型参数量大幅增长，如从早期Inception的2300万增至Qwen3-235B的2350亿，增长超千倍。训练结束后大部分权重可删且性能损失小，若一开始不启用则无法达相同效果，表明存在大量冗余，学习效率极低。

学术界与资本投入的变化

“算力驱动进步”信念改变了研究文化。学术界因缺乏算力被边缘化，研究参与地域高度集中。巨额资本投入使发表传统愈发封闭。这导致行业发展过度依赖算力，忽视了其他可能的创新方向。

小模型崛起挑战传统观念

大模型并非总是更优

近年来，大模型被规模小得多的小模型超越的案例增多。这说明更大的模型并不总能带来更好的性能，规模与性能之间的关系正在转变。小模型数量激增，显示出其在某些方面的优势逐渐被发现。

算力回报率的影响因素

在计算资源回报递减时代，优化和架构上的突破决定单位计算资源回报率，这对发展速度和风险水平至关重要。孤立操控变量预见影响很困难，增大模型规模正面临收益递减问题。

未来有价值的方向探讨

优化与架构突破的关键

在算力扩张受限情况下，优化和架构突破成为提升模型性能的关键。通过改进算法、创新架构，能更高效利用计算资源，提高模型表现，探索出不单纯依赖算力的发展路径。

新范式的出现

行业动向显示，即使规模化遇瓶颈，技术演进未停滞。如OpenAI的o1和o3系列模型代表“测试时计算扩展”新范式，在推理阶段投入更多计算资源提升性能，而非仅靠预训练规模。

相关问答

前谷歌研究员为何提出结束算力崇拜时代？

因过去十年AI创新依赖算力公式，虽模型参数量大增，但存在冗余，学习效率低，且学术界与资本投入受影响，如今其局限性渐显。

小模型崛起对AI发展有何意义？

挑战了大模型性能总是更优的传统观念，表明规模与性能关系转变，促使探索不单纯依赖算力的新发展方向。

算力回报率受哪些因素影响？

在复杂系统中，孤立操控变量预见影响困难，增大模型规模面临收益递减，优化和架构突破决定单位计算资源回报率。

未来AI发展有哪些新范式？

如OpenAI的o1和o3系列模型代表的“测试时计算扩展”范式，在推理阶段投入更多计算资源提升性能。

优化和架构突破如何推动AI发展？

能更高效利用计算资源，在算力扩张受限情况下提高模型性能，探索出不单纯依赖算力的发展路径。

学术界因算力问题受到了哪些影响？

因缺乏算力逐渐被边缘化，研究参与在地域上高度集中，原本开放的发表传统因巨额资本投入变得愈发封闭。