AI行业进入推理时代，预训练成本降低意味着什么？
DeepSeek-V3的意义与影响
预训练成本的革新
DeepSeek-V3参数量达671B，预训练仅用2048块GPU训练2个月花费557.6万美元。这与其他大模型相比是极低的成本。这种低成本预训练展示了技术上的突破，它可能改变行业对大模型预训练成本的固有认知，让更多企业看到降低成本的可能性。
技术的创新与应用
DeepSeek-V3采用多头潜在注意力和DeepSeekMoE，还证明多Token预测目标有利于提高性能。后训练方面引入创新方法，从长思维链模型中蒸馏推理能力到标准模型。这些技术创新有助于提高模型的性能和效率，为AI模型的发展提供了新的思路。
AI行业进入推理时代
ScalingLaw定律的转变
AI的ScalingLaw定律收益正在衰减，多位行业人士表示正处于新的ScalingLaw时代即“测试时间计算时代”也就是“推理时代”。这意味着AI模型的发展方向发生了转变，从之前的预训练为主逐渐向推理倾斜。
行业的判断与展望
OpenAI联合创始人的断言表明数据峰值的到来可能使AI预训练时代走向终结。行业内的CEO、研究人员和投资人都对进入推理时代有了新的判断，这一转变预示着AI模型在回答问题时将有更多时间和算力来“思考”，有望开启AI发展的新阶段。
AI应用与推理算力需求
推理对AI应用的关键作用
推理是解锁下一代AI应用的关键。以豆包为例，随着其应用场景不断拓展，对推理算力的需求在硬件设备、数据中心规模和通信网络等方面不断攀升。这体现出推理算力对于AI应用发展的不可或缺性，没有足够的推理算力，很多应用功能无法实现。
企业在推理算力上的投入趋势
从国内的字节跳动、小米到海外的科技巨头如亚马逊、微软等，都在不断加大资本开支。虽然无法明确其中用于AI算力建设的具体金额，但可以推测AI占比不会低。企业客户在2025年可能会更大规模投资AI且侧重于推理侧，这表明推理算力需求将不断增长。
AI行业正在发生深刻的变革，DeepSeek-V3的出现是一个重要的信号，预示着预训练成本的降低和推理时代的到来。随着AI应用的不断发展，推理算力需求的增长将成为行业发展的重要趋势，这也将促使更多的企业和研究人员在推理相关的技术和应用上投入更多的精力。
相关问答
DeepSeek-V3预训练成本低有什么影响？
它可能改变行业对大模型预训练成本的看法，展示了降低成本的技术突破，也可能促使更多企业探索性价比更高的预训练方式。
什么是AI的ScalingLaw定律？
AI的ScalingLaw定律是关于AI模型发展相关的定律，随着行业发展其收益正在衰减，促使行业进入新的“推理时代”。
为什么推理对AI应用很重要？
推理是解锁下一代AI应用的关键，像豆包应用场景拓展就需要足够推理算力，没有推理算力很多响应式智能应用程序无法实现。
哪些企业在加大对AI推理算力的投入？
国内的字节跳动、小米，海外的亚马逊、微软等巨头都在加大资本开支，虽然具体投入到AI推理算力的金额不明确，但总体投入趋势明显。
AI预训练时代真的会终结吗？
有观点认为随着数据峰值的到来可能会终结，但也不能完全确定，不过目前行业确实有向推理时代转变的趋势。
推理算力需求增长会带来什么机会？
如果推理成为扩展AI模型性能的下一个领域，那么对专门用于高速推理的AI芯片需求可能大增，相关的“卖铲人”可能再次获胜。
