OpenAI撞上数据墙，模型开发策略如何调整？

OpenAI数据困境的现状

Orion性能提升受限

一些OpenAI员工测试Orion时发现，它虽超出现有模型性能，但相比从GPT-3到GPT-4的提升幅度小很多。这表明随着高质量数据的减少，AI模型改进速度有放缓趋势。高质量数据在模型提升中扮演着关键角色，一旦缺乏，就难以实现像之前那样的巨大飞跃。

训练数据的隐患

Orion的训练使用了旧模型的AI生成数据，这可能致使它重现旧模型的一些行为。这一情况反映出在数据不足的情况下，使用已有数据虽能维持训练，但也带来了新的风险，可能会影响模型的创新性和准确性。

数据墙形成的原因及影响

ScalingLaw的局限

2020年OpenAI提出的ScalingLaw定律曾被广泛接受，认为增加模型规模和训练数据就能提升能力。然而现在受到质疑，随着模型接近人类水平，获取新数据愈发困难，模型改进也越来越难，总有难以解决的特殊情况，显示出数据驱动的弊端。

数据增长与模型发展的失衡

非营利研究机构EpochAI指出，未来数年内原始数据增长速度无法支撑AI大模型扩展速度，2026-2032年之间数据存量可能耗尽。这表明整个AI行业都面临数据不足的危机，OpenAI自然也难以独善其身，其模型发展必然受到限制。

OpenAI的应对策略与未来展望

成立专门团队

OpenAI成立“基础”团队，在新数据供应减少时研究让模型保持改进的新方法。例如计划基于AI合成数据训练Orion，并在后期训练中改进模型。这显示出OpenAI积极应对数据墙问题，努力探索新的发展路径。

模型发布与命名惯例改变

目前OpenAI正在推进Orion的安全测试，计划明年初发布。它可能打破“GPT-X”的命名惯例，反映出模型开发的变化。这意味着OpenAI在模型发展上开始尝试新的模式，以适应数据不足的现状。

人员变动情况

OpenAI安全系统团队负责人翁荔宣布离职，虽然未说明原因和去向，但这一人员变动在OpenAI遭遇数据问题、调整开发策略之际发生，可能暗示着公司内部的一些调整与变革。

OpenAI作为AI领域的重要力量，在数据墙面前不得不调整开发策略。从应对数据问题的措施到模型发布和人员变动等方面都在发生变化，这也将影响整个AI行业的发展方向。

相关问答

OpenAI的Orion模型有什么问题？

Orion虽性能超现有模型，但性能提升幅度小。其训练使用旧模型的AI生成数据，可能重现旧模型行为。

ScalingLaw定律为什么被质疑？

ScalingLaw认为增加模型规模和数据可提升能力。但随着模型接近人类水平，新数据获取困难，难以解决所有问题，所以被质疑。

OpenAI成立“基础”团队的目的是什么？

目的是在新数据供应减少时，研究能让AI模型保持改进的新方法，如用AI合成数据训练Orion并改进模型。

OpenAI的Orion模型何时发布？

计划于明年年初发布Orion模型，并且可能打破“GPT-X”的命名惯例。

为什么说OpenAI面临数据墙？

因为高质量数据不够用，影响模型改进速度，数据增长也难以支撑模型扩展速度，还面临数据存量耗尽问题。

翁荔离职对OpenAI有什么影响？

虽不知具体影响，但在OpenAI调整开发策略之际离职，可能暗示公司内部调整变革，也许影响安全系统相关工作。