全球AI竞赛为何变成“拼内存”？HBF成套产品何时推出？

AI竞赛“以内存为中心”的趋势

大型语言模型对内存的需求

随着大型语言模型不断发展，变得更大、更智能，其运行所需内存显著增加。这些模型的复杂运算需要海量数据存储和处理，内存成为关键因素。没有足够内存，模型运行效率将大幅降低，影响其性能表现。

键值缓存对内存容量的要求

像ChatGPT、Gemini和Claude等系统依赖键值缓存，它如同AI的短期记忆。随着AI对话上下文窗口增长，键值缓存所需内存容量不断扩大。这使得内存需求在AI应用中持续攀升。

“专家混合模型”带来的内存挑战

“专家混合模型”在节省算力的同时产生更多内存需求。该模型包含多个小型专家模型，针对特定请求调用部分，虽提高效率，但对内存的要求更为严格，进一步凸显内存对AI竞赛的重要性。

内存供应短缺与市场变化

客户锁定内存供应的现状

闪迪CTO表示首次看到客户如此坚定锁定内存供应。市场结构和客户行为发生结构性变化，过去采购协议条款、期限和承诺力度都与现在不同，如今客户主动承诺并签长期协议确保供应。

存储芯片制造商的转变

过去存储芯片制造商依赖自身需求预测，难以判断产能能否被市场消化。现在客户主动承诺，如闪迪近期达成5份长期供应协议，预计带来至少420亿美元收入，这为制造商提供了稳定市场预期。

HBF技术的开发与上市计划

HBF技术的优势

与HBM相比，基于NANDFlash的HBF有望提供更高容量和更低成本，且带宽表现接近HBM，被视为AI推理场景的潜在新型内存方案。闪迪与SK海力士合作制定技术标准。

HBF技术的开发进度

闪迪CTO称正在设计HBF存储晶片，今年年底将提供样品，随后配备控制器的完整产品预计明年推出。这一技术突破有望为AI领域带来新的内存解决方案。

全球AI竞赛因多种趋势正日益围绕内存展开，内存供应短缺状况受关注，同时HBF技术的开发进展也备受期待，其未来上市产品有望在AI领域发挥重要作用，改变内存市场格局。

相关问答

AI竞赛为何日益以内存为中心？

大型语言模型变大、智能，需更多内存；AI系统依赖键值缓存，且“专家混合模型”也增加内存需求，所以内存成为关键要素。

客户锁定内存供应有何变化？

过去采购协议条款、期限和承诺力度与现在不同，如今客户主动承诺并签长期协议，像闪迪就达成多份长期供应协议。

存储芯片制造商过去面临什么问题？

过去依赖自身需求预测，难以判断扩大的产能能否被市场消化，导致市场供需平衡较难把握。

HBF技术相比HBM有哪些优势？

HBF基于NANDFlash，有望提供更高容量和更低成本，且带宽表现接近HBM，被视为AI推理场景潜在方案。

闪迪HBF技术开发到什么阶段了？

闪迪正在设计HBF存储晶片，今年年底提供样品，配备控制器的完整产品预计明年推出。

HBF技术对AI领域有何意义？

HBF技术若成功推出，有望为AI领域提供新的内存解决方案，满足其对内存不断增长的需求，推动AI发展。