Tulu 3: Allen AI的开源后训练数据全家桶

Posted on

核心观点：后训练是当前LLM的核心竞争力，但多数开源项目只开放模型权重，训练数据和方法论仍然是黑箱。Allen AI的Tulu 3把后训练的全部秘密——数据、代码、方法论——一次性全部公开。

后训练的开源困境

假设你拿到了一个不错的基座模型，想通过后训练让它变成一个好用的助手。你需要什么？

  1. SFT数据：教模型按指令做事
  2. 偏好数据：教模型什么是好的回答
  3. 强化学习数据：在数学和代码等可验证任务上进一步优化

问题是，市面上大多数”开源”的对齐模型只公开了权重。你知道它表现好，但不知道是因为什么数据、什么配比、什么训练策略。想复现？几乎不可能。

Tulu 3彻底改变了这个局面。它不只是发布了数据集，而是发布了完整的后训练配方：数据集 + 数据混合策略 + 训练代码 + 评估工具。

SFT混合数据集：27.3万条的精细配比

Tulu 3的SFT数据集不是简单地把公开数据集堆在一起。它是经过精心设计的能力混合：

  • 通用指令遵循：来自WildChat等真实用户对话
  • 数学推理：专门的数学问答数据
  • 代码生成：编程相关的指令数据
  • 安全性：拒绝有害请求的安全数据
  • 多语言能力：非英语语言的指令数据

27.3万条听起来不算多，但这是经过反复消融实验优化的结果。更多的数据不一定更好——关键是每个能力维度的比例。Tulu 3的论文详细记录了不同混合比例对各项基准测试的影响。

DPO偏好数据：On-Policy的胜利

传统做法是用一个固定的偏好数据集对所有模型做DPO。Tulu 3指出这样做有严重问题：如果偏好数据是用GPT-4生成的回答对，但你的训练目标是一个8B模型，这些偏好对可能完全不在你模型的能力分布范围内。

Tulu 3的解决方案是on-policy偏好数据：用你即将训练的SFT模型本身来生成回答，然后进行偏好判断。这样偏好数据和模型的分布是对齐的，DPO训练更有效。

具体实现上，他们使用多个模型（Gemma 2 27B/9B、InternLM2.5等）为同一个问题生成不同回答，然后进行偏好标注。8B模型版本有33.7万条偏好对，70B版本有36.1万条。

RLVR：可验证奖励的强化学习

这是Tulu 3最前沿的部分。在SFT和DPO之后，还有第三阶段：基于可验证奖励的强化学习（RLVR）。

原理很简单——对于数学和代码这类有确定答案的任务，不需要依赖LLM打分器来判断回答质量，直接执行代码或验证数学答案就行。正确给奖励，错误给惩罚。

这种方法避免了传统奖励模型的偏差问题，在数学和代码任务上效果显著。

如何使用

1
2
3
4
5
6
7
8
9
10
11
from datasets import load_dataset

# SFT数据
sft = load_dataset("allenai/tulu-3-sft-mixture", split="train")
print(f"SFT样本数: {len(sft)}")

# DPO偏好数据（8B模型版本）
# 从Tulu 3 Datasets collection中获取对应数据集

# 完整训练流程参考open-instruct
# git clone https://github.com/allenai/open-instruct

推荐使用方式：

  1. 完整复现：使用open-instruct代码库，按SFT -> DPO -> RLVR三阶段完整训练
  2. 数据借鉴：研究Tulu 3的数据混合比例，应用到你自己的数据管道
  3. 基线对比：将你的后训练方案与Tulu 3进行对比评估
  4. 组件替换：替换某个阶段的数据（如用你自己的SFT数据），看效果变化

开源的真正意义

Tulu 3的意义不仅在于数据本身。它展示了一个完整的、可复现的后训练研究框架。任何人都可以：

  • 验证论文中的实验结果
  • 在此基础上进行改进实验
  • 理解每个设计决策背后的原因

这对于推进开源LLM对齐研究至关重要。当你能理解”为什么这样做”，你才能做得更好。

Allen AI一直是开放AI研究的旗手，从OLMo到Tulu 3，他们在用行动证明：最好的AI研究应该是完全透明的。

注意事项

  • 数据集包含第三方模型（如Gemma 2）生成的输出，需遵守相应使用条款
  • SFT数据的能力分布针对英文优化，中文场景需要额外补充
  • RLVR阶段的数据和方法对计算资源要求较高，小团队建议先关注SFT和DPO

数据集链接: https://huggingface.co/datasets/allenai/tulu-3-sft-mixture

创建机构: Allen Institute for AI (Ai2)

适合场景: 开源模型后训练对齐、后训练方法研究、安全对齐训练

质量评分: 4.7/5.0 | ODC-BY-1.0 | SFT 27.3万条 + DPO 33.7万条偏好对

核心优势: 完整后训练管道（SFT+DPO+RLVR）、on-policy偏好数据、全部代码和评估工具开源

© 2026 Generative AI Discovery All Rights Reserved.
Theme by hiero