国产大模型预训练“换芯”，英伟达的不可替代性真的在松动吗？

国产大模型预训练“换芯”进行时

“换芯”工程初现成果

本土大模型玩家正逐步将大模型预训练的算力底座从英伟达GPU切换至国产AI芯片。美团开源的LongCat-2.0模型在国产算力芯片上完成训练，粤港澳大湾区也发布了“国芯训国模”万卡智算集群，这标志着国产AI芯片在训练侧实现了从“0到1”的跨越。

多方参与推动进程

地方政府和通信运营商纷纷加入这场“换芯”工程。像中国电信负责运营的韶关万卡智算集群，总投资约55亿元，内置多张昇腾910C芯片，可承载万亿参数大模型全流程训练任务。这显示出各方对国产算力在大模型预训练中应用的重视与支持。

两种拥抱姿态：全盘重仓与零星试水

美团与科大讯飞的重仓尝试

美团从2023年起与国产算力厂商推进“模芯协同”研发，此次LongCat-2.0模型完整训练流程使用AIASIC芯片。科大讯飞也较早涉足国产AI算力，从昇腾910B芯片起步，上线“飞星一号”，还发布多款基于国产算力训练的星火大模型，并将国产化经验向更多国产AI芯片迁移。

其他大厂的谨慎试水

国内其他头部科技大厂和大模型企业“换芯”节奏较谨慎。百度使用昆仑芯算力集群完成文心5.1重要版本训练，智谱则与华为昇腾合作验证模型预训练可行性，在非旗舰级大模型版本上进行零星尝试，探索国产算力在大模型训练中的应用。

“换芯”的瓶颈与代价

算力及相关制约因素

国产AI芯片在算力上与英伟达存在差距，如华为昇腾950DT芯片在FP8下算力低于英伟达H100芯片。还面临显存容量和带宽的制约，主流国产AI芯片显存容量多数较小，但大容量显存已成为新一代产品标配。

协同挑战与商业代价

大模型训练对各环节要求高，国产芯片在质量控制方面与英伟达有差距，故障率较高。这些瓶颈导致模型发布进度拖慢，使用成本增加，目前大模型预训练尚不具备全面“去英伟达化”的条件。

“国芯国模”抱团突围成行业基调

紧密协同初显成效

国产模型公司与芯片厂商互动频繁，在推理环节的协同成果显著，实现了对模型的完全兼容和支持正常推理运行。但在预训练阶段，协同成果相对有限，仍面临诸多挑战。

深度协同推动发展

预训练层面的“模芯协同”至关重要，涉及模型结构、算子、通信机制等多方面协同。这种深度协同促使模型公司和芯片公司紧密合作，如科大讯飞与华为昇腾深度联合攻坚关键技术，燧原科技也与客户联合完成多个模型预训练工作，共同推动行业发展。

国产大模型预训练“换芯”工程虽取得一定进展，但英伟达的不可替代性并非轻易就能被撼动。在“换芯”过程中，国产芯片面临诸多瓶颈和挑战，不过通过“国芯国模”的抱团协同，有望逐步突破困境，实现国产算力在大模型训练领域的更好发展。

相关问答

国产大模型预训练“换芯”工程目前有哪些成果？

美团开源的LongCat-0模型基于国产算力完成训练，粤港澳大湾区发布了“国芯训国模”万卡智算集群。

美团在国产算力训练大模型上有哪些举措？

美团从0模型完整训练流程使用AIASIC芯片，未明确厂商身份但确认使用了华为集合通信库。

科大讯飞在国产AI算力方面有什么进展？

科大讯飞从昇腾910B芯片起步，上线“飞星一号”，发布多款基于国产算力训练的星火大模型，还将国产化经验向更多国产AI芯片迁移。

国产AI芯片在大模型训练中面临哪些瓶颈？

算力与英伟达有差距，显存容量和带宽不足，各环节协同要求高，国产芯片质量控制能力有待提高，故障率较高。

“国芯国模”在预训练阶段的协同情况如何？

在预训练阶段协同成果相对有限，工程实现面临很大挑战，但模型公司和芯片厂商紧密互动，积极探索深度协同方式。

国产大模型预训练“换芯”工程未来的发展趋势怎样？

有望通过“国芯国模”的抱团协同逐步突破困境，实现国产算力在大模型训练领域更好发展，推动软硬件协同进化。