小米搭建万卡集群，能否在大模型竞赛中脱颖而出？

万卡集群：大模型竞赛的关键投入

万卡集群的概念与成本

万卡集群是由一万张及以上加速卡组成的高性能计算系统，用于训练基础大模型。建设这样的集群是个“百亿元”成本的投入，光是GPU采购成本就达几十亿元。这是一个极其庞大的数字，体现出构建万卡集群在资金方面的巨大挑战。只有具备雄厚资金实力的企业才有可能涉足，它是大模型发展道路上的一个高门槛。

科技企业的万卡集群建设热潮

在国际上，OpenAI、Meta等科技巨头积极部署万卡集群。国内的运营商、头部互联网大厂、大型AI研发企业等也纷纷入局。一些巨头甚至开始迈向“十万卡集群”。这一现象表明，万卡集群在大模型发展进程中的重要性已经得到众多企业的认可，大家都在为在大模型竞赛中占据有利地位而努力。

小米的大模型战略与万卡集群

小米的大模型发展历程

小米在2023年4月正式组建了AI实验室大模型团队，当时已有6500张GPU资源。同年8月表示AI是长期投入的底层赛道，其60亿参数的自研大模型在同参数量级中排名第一。11月将AI大模型与小米澎湃OS深度融合。小米在大模型方面一直在积极探索和发展。

小米搭建万卡集群的意义

如果小米搭建万卡集群属实，按照独立电信分析师付亮的分析，小米将大模型视为“人车家”战略的重要支撑，其建设万卡集群的方向与其他企业不同，因为小米自带利用率。这意味着小米在大模型的应用场景上有自身独特的优势，万卡集群的搭建将有助于小米更好地发挥这些优势。

万卡集群对大模型发展的推动与端侧AI趋势

万卡集群对大模型训练的作用

万卡集群尽管造价高昂，但它使训练复杂的大模型成为可能。长江证券研报指出，更大、更先进的集群能缩短训练时间，有助于实现模型能力的快速迭代，及时应对市场趋势，从而在大模型技术上实现追赶和领先。这是万卡集群被视作大模型竞赛“入场券”的重要原因。

端侧AI的发展趋势

目前端侧拥抱AI已是共识。在国内，运营商的万卡集群已投产。海外AI大厂更为激进。国内端侧大厂虽少投入万卡集群建设，但端侧AI创新呈爆发式增长。如手机行业，AI能力影响竞争；家电行业也掀起AI大模型竞赛。这表明AI在各个领域的渗透和影响力正在不断增强。

万卡集群是大模型竞赛的重要投入，众多企业积极参与建设。小米的大模型战略与万卡集群有着独特的联系。而端侧AI的发展趋势也在不断推动着整个行业的变革，未来大模型相关的竞争和发展值得期待。

相关问答

万卡集群为什么造价这么高？

万卡集群是由大量加速卡组成的高性能计算系统，其中仅GPU采购成本就高达几十亿元，加上其他配套设施和技术成本，所以造价极高。

小米在大模型方面有哪些成果？

小米2023年4月组建大模型团队，8月表示AI是底层赛道且自研大模型同参数量级排名第一，11月将大模型与澎湃OS深度融合。

哪些企业已经有万卡集群投产了？

国内运营商中国移动的呼和浩特、哈尔滨智算中心，中国电信的上海、北京万卡集群已投产。

端侧AI在手机行业有什么影响？

在手机行业，AI会给传统手机厂商提供更多自主研发空间，带来更多个性化机会，成为产品体验差异的分水岭。

小米搭建万卡集群的方向为什么会不同？

小米拥有众多终端产品，是活跃的互联网平台，自身有利用率，所以其搭建万卡集群的方向与其他企业不同。

海外科技巨头在万卡集群建设上有何举措？

OpenAI正在设计能连接1000万块GPU的计算模型，Meta到今年年底将拥有35万张H100。