大模型应用中，如何通过数据与软硬件融合实现落地？

大模型发展中的数据关键作用

数据决定大模型基础能力

在大模型的产业链里，标注后的数据是决定其基础能力的核心要素。当下行业的重点在于从众多数据里找出高质量数据，并让其与应用高度结合。就像猎户星空在11月27日发布的Orion-MoE8×7B大模型，开源混合架构的它体现出数据在构建大模型时的重要性。

数据服务涵盖多环节

猎户星空推出的数据服务产品AI数据宝AirDS，涵盖数据收集、清洗、标注、提示词工程以及评估等环节。这些环节都是围绕数据展开的服务，是大模型与实际应用之间的差距所在。例如在实际应用中，AirDS已经服务了多个领域的中国出海品牌。

大模型的架构优势与应用需求

MoE架构的优势

2024年MoE大模型数量爆发增长，基于Transformer的MoE成为主流架构。它可以将神经网络拆分成多个专家子网络，面对输入有多种回答方式，还能依据权重综合结果。开发者可在巨型模型上增加参数量横向扩展，且能降低推理成本。

应用中的需求特点

在探索AI应用场景时，客户对大模型的需求是效果好且速度快。MoE相比稠密模型，能更高效专业地完成企业复杂任务，在不增加太多计算成本的情况下增加模型容量。这体现出不同架构在满足应用需求上的差异。

软硬件融合推动大模型落地

大模型厂商的商业逻辑

猎户星空将大模型与数据包打包发布，这是为了打通商业闭环。大模型厂商要把大模型变成“开箱即用”的应用才能说服客户买单。例如，猎豹移动认为企业要有足够应用实践才能提供正确数据集。

企业的软硬件合作案例

惠普与星环科技和央企的合作是软硬件结合的典型。惠普提供算力支撑的工作站，星环提供KnowledgeHub，二者通过一体机方式将数据转化为企业知识沉淀。这表明企业期望的大模型是全面解决方案，软硬件结合才能真正落地产生价值。

大模型的发展需要重视数据的作用，同时满足应用需求，并且通过软硬件融合来实现落地，这是当前行业发展的重要趋势。

相关问答

猎户星空推出的数据宝AirDS有什么作用？

它主要提供包括数据清洗与标注等服务，涵盖数据收集、提示词工程、评估等多环节，为大模型与实际应用间的差距提供服务。

MoE架构对大模型发展有什么好处？

MoE架构可拆分神经网络为多个子网络，回答输入方式多样，能横向扩展参数量，可在保持性能同时降低推理成本。

为什么客户对大模型要求效果好又速度快？

在实际应用场景中，无论是机器人的自主决策还是企业复杂任务，都需要大模型能快速且高效地给出好的结果。

猎户星空如何让大模型说服客户买单？

将大模型与数据包打包发布，变成“开箱即用”的应用，通过提供正确数据集等方式满足客户需求。

惠普和星环科技合作模式是什么样的？

惠普提供算力支撑工作站，星环提供KnowledgeHub，二者通过一体机方式转化数据为企业知识沉淀。

大模型在机器人场景中有什么应用？

可以提高机器人自主决策能力，如讲解交互、任务处理，长远看能让机器人参与劳动如端水等。