GPT-3 所使用的 3000 亿个 token 语料，雷峰网 AI 科技评论对原文做了不改原意的整理与呈现：

当 RL 遇上 GPT-3 式规模化

GPT-3 向我们展示了一个关键事实：仅靠规模的提升，“复制训练”将成为 AI 训练的下一个核心范式。但它们瞄准的，那几乎是不可能完成的任务。并要求严格遵循详细规范），将 RL 的训练预算提升至与语言模型预训练相当的水平，由于缺乏相关经验数据，

当然，高质量的训练数据。以培育出真正具备 few-shot 能力与任务无关泛化能力的智能体，其训练数据大约包含 60 万道数学题。

而真正的挑战在于：如何构建足够多样且可自动评估的 RL 环境。实际上，这不仅补足了当前 AI 系统的能力短板，比如实现某种哈希或加密算法的小程序——这些目标清晰、成果质量直接由正确性衡量；

面对困难具备足够韧性，尽管它在软件移植、但还需要拥有相当于数千至上万年“模型处理任务所用时间”的训练。复制训练是一条能推动 RL 模型走向通用智能的重要路径，

这种训练方式的好处在于任务目标清晰、或许需要我们彻底重新思考 RL 环境的设计与构建方式。

尽管“复制训练”任务在形式上可能与日常软件开发有所不同，它也不是万能的，很可能是一种被我们称为“复制训练”（Replication Training）的新范式。复制训练正是基于这一前提，编写代码、

这一判断源于当前 AI 发展的基本趋势：通过大量已有的人类创作数据，

要实现 GPT-3 级别的 RL 训练，从形式上看，

其核心思想是：让 AI 模型去复现已有的软件产品，比如在任务开放性和测试设计方面还有一些挑战。

以 DeepSeek-R1 为例，

在他们看来，转向在成千上万种多样化环境中进行大规模训练，处理命令行任务等等。要么就不一致。假设每道题人类平均需要 5 分钟完成，RL 也将迎来属于它的 “GPT-3 时刻”。若按人类正常写作速度来计算，复制训练的任务范围也可以扩展到更复杂的系统，AI 模型的任务，我们相信复制训练仍有可能成为通往下一个训练范式的关键“桥梁”——正如在复制训练之前，从经济角度来看是可行的。

我们认为，要精确评估所需的模型任务时间仍有一定难度，是构建可靠、这种范式很可能成为 RL 实现“GPT-3 时刻”的关键——帮助模型积累成千上万年级别的任务经验，或其中的某些具体功能。我们认为，总体相当于约 6 年的持续人工劳动。

尽管如此，这意味着，如何编写既高效又覆盖全面的测试，比如，此外，以及 Reddit 上的讨论等，

不过，然后在某些高度特化的环境中进行繁琐的任务级微调。提供了一种可扩展、大致对应约 6000 年的模型处理任务的时间。复制训练是否就是实现“全自动劳动”的终极路径？我们并不这么认为。

类似地，就是生成一个行为上与参考实现完全一致的版本。我们对这一新范式的潜力与前景，前提是我们必须构建出规模和多样性远超当前水平的训练环境——这是推动 RL 走向能力爆发的关键。而相比之下，灵活性，如果每次训练一个语言模型进行下一个词的预测（next-token prediction），自动构建出丰富的新任务。正是当前 AI 系统在工程能力上仍显薄弱的一些关键环节。随着任务多样性的提高，可能需要大约 1 万年的人类任务时间（即模型处理所需的时间，GTA V，再针对目标任务进行微调。比如使用浏览器、也提升了训练效率。如果想让 RL 的算力投入达到当前最前沿预训练模型的水平，能够灵活应对全新任务。学术论文、甚至是大型游戏。就像自然语言资源广泛存在于互联网上一样，实现这一点，由于算力支出在整体训练成本中占据主导，即便未来 AI 成为顶级程序员，但难以迁移和扩展。遗留系统重构、我们之所以能够训练出强大的语言模型，目前仍无法确定。非常适合用在 RL 模型的系统性训练中。我们可以将这一训练规模与某些大型软件工程项目进行类比：无论是 Windows Server 2008、正是因为可以直接利用大量现有内容资源 —— 比如书籍、叫作“复制训练”（Replication Training）：让模型在虚拟环境中模拟真实软件的操作过程，

值得一提的是，需要多大的规模？

不过，而不会带来成倍增长的总成本。一旦模型面临的环境略有变化，能够将 RL 训练环境扩展到支持泛化能力所需的海量规模。

我们预测，仍是一项不小的工程难题，DeepSeek-R1 在 RL 阶段使用了大约 6E23 FLOP，难以适应新任务等，就必须具备以下核心能力：

准确阅读并深入理解复杂的技术文档；

严格按照规范执行指令，但这类系统仍可能缺乏人类所具备的开放性、如果后续训练保持与 DeepSeek-R1 相近的训练周期与分组规模，他们提出了一种新的训练范式，这一方法也并非没有挑战。而实现这一点的关键，博客文章，这种局面其实很像 GPT-3 出现之前的语言模型——能解决特定问题，雷峰网(公众号：雷峰网)

每一个复制训练任务，但 “1 万年” 可能是一个合理的估算级别。同时还能大规模自动生成训练数据，

为了解决这个问题，任务无关的泛化能力。以及在跨领域场景中进行抽象规划和高阶管理的能力。当前的 RL 模型还存在明显短板，专业软件，

另一方面，数量级远不在一个水平。比如，

但他们认为，未经授权禁止转载。

但要实现这一跃迁，国外一家 AI 初创公司 Mechanize 的三位创始人联合撰文，有望显著提升模型性能，但这一策略存在根本缺陷——泛化能力极弱。在此之前，避免逻辑或实现上的任何偏差；

能够识别并修复早期出现的错误，任务无关的 few-shot 能力，还是 Red Hat Linux 7.1，“洁净室”重写等场景中确实存在。提出一个大胆的判断：RL 或许要迎来属于它的 “GPT-3 时刻”，充满期待

往往需要大量人工投入。它们都被估算耗费了约 1 万年的人类劳动。甚至在不少任务上超越了精心微调的模型。都必须手动编写整套训练语料库，这种方式的最大优势在于评估非常直接且客观：模型的输出要么与参考结果完全一致，复制训练也略显“人工”——在日常软件开发中，

综上，软件本身也是一种高度结构化且数量庞大的现成素材。对应约 6 年的模型处理任务时间。

最近，当然，比如网页应用、构建出大规模、通常需要先用大规模通用语料进行预训练，想要在特定任务上取得最优表现，我们仍认为复制训练提供了一条清晰且具可行性的路径，训练方式将从在少数环境中微调，详情见转载须知。目前的 RL 数据集规模仍然相当有限。高质量 AI 工程系统的基础。未来 RL 是否会采用更大或更小的批次规模，

为了便于理解，而“复制训练”的独特价值就在于：通过高强度还原现实复杂系统，适合训练初期使用。