华为CloudMatrix384超节点上线，高功耗散热难题如何解决？
华为CloudMatrix384超节点的基本情况
超节点的推出与规模上线
华为公布了AI基础设施架构新进展，推出CloudMatrix384超节点并已在芜湖数据中心规模上线，今年上半年还有数万规模的上线计划。这一超节点被内部称为核弹级产品，未来可构建大集群提供算力，有望解决算力焦虑问题。
超节点的构成与优势
传统AI服务器一个节点含8张算力卡，服务器间传输慢。华为CloudMatrix384以384张昇腾算力卡组成超节点，在已商用超节点中单体规模最大。其内部算力卡可高速互联通信，提升算力集群性能。
与英伟达产品的对比
性能对比
2024年3月英伟达发布NVL72超节点，华为CloudMatrix384对标它。基于CloudMatrix的昇腾AI云服务，大模型训练作业可稳定运行40天，互联带宽断点恢复快。在互联带宽上，采用大量光模块实现高卡间互联带宽。
算力规模对比
华为公布的数据显示，CloudMatrix384实现算力规模达300PFlops，相比英伟达NVL72的180PFlops提升67%。在单卡性能方面，国产芯片虽与英伟达有差距，但多卡集群后差距缩小。
高功耗带来的挑战
散热与成本问题
单位算力功耗方面，国产芯片比英伟达高得多。高功耗对服务器散热要求更高，需要更大机房，这会使整体成本上升。这是华为CloudMatrix384面临的一个挑战。
数据传输的时间开销
由于算力卡数量多，数据在多卡之间来回传输会有更大时间开销。这也是在高功耗下，CloudMatrix384超节点需要应对的问题。不过这也体现出华为在这种情况下能达到一定水平的研发能力。
尽管存在高功耗等挑战，但华为云推出的CloudMatrix384超节点在性能等方面表现出色。随着国内外硬件供应瓶颈缓解，国内AI进展有望加速，华为CloudMatrix384超节点也将在其中发挥重要作用。
相关问答
华为CloudMatrix384超节点有什么特点？
它以384张昇腾算力卡组成超节点，内部算力卡高速互联通信，实现高算力规模，大模型训练作业能稳定运行40天，互联带宽断点恢复快。
华为CloudMatrix384超节点与英伟达NVL72超节点相比，算力规模有多大提升？
华为CloudMatrix384超节点实现算力规模达300PFlops，英伟达NVL72为180PFlops，提升了67%。
高功耗对华为CloudMatrix384超节点有哪些影响？
高功耗对服务器散热要求更高，机房规模需更大，导致整体成本上升，且数据在多卡间传输会有更大时间开销。
华为CloudMatrix384超节点在国内AI发展中有何意义？
随着国内硬件供应瓶颈缓解，它有助于国内AI进展加速，其性能强大，在集群推理方面有优势，可缓解算力焦虑。
硅基流动与华为云的合作成果是什么？
硅基流动联合华为云基于CloudMatrix384超节点昇腾云服务上线DeepSeek-R1，单卡Decode吞吐突破1920Tokens/s且模型精度一致。
华为CloudMatrix384超节点如何提升算力集群性能？
它将更多算力卡融合成超节点，超节点内算力卡可高速互联通信，从而提升了算力集群的性能。
