ScaffoldCoT 数据集更新：维护、面向小模型的新智能体数据集，以及一个围绕这些数据集训练的正在训练中的新模型
ScaffoldCoT Dataset Updates: Maintainance, a new agent-focused dataset for small models, and a new model in training built around the datasets!
这是一篇作者在 r/LocalLLaMA 发布的项目更新帖，介绍 ScaffoldCoT 数据集的最新变动：项目更名为 Scaffold Chat，移除了全部工具调用示例（约 27.6 万条），现有 3,450,159 条样本、16 个领域、75 个分片、约 13GB；同时发布约 10 亿 token 的真实执行编码智能体会话数据集 Scaffold Agent，并预告一个基于这些数据训练的 5–10B 模型。适合关注开源数据集构建、小模型智能体训练与数据清洗的人阅读。
- 分级
- 值得看
- 收录时间
- 2026-10-27
原帖
Scaffold CoT is now Scaffold Chat (tool calling removed, it was causing significant tool calling reliability issues), Scaffold Agent is out (~1B tokens of real, executed coding agent sessions with the same thinking scaffold), and a heavily modified 5-10B model trained on all of this is on the way.
中文大意
发帖人更新 ScaffoldCoT 数据集进展：数据集更名为 Scaffold Chat，仓库地址与加载路径不变，但删除全部工具调用示例（276,389 条），原因是合成生成管线的问题把失败模式带进了数据；剩余 3,450,159 条示例、16 个领域、75 个分片、约 13GB，并清理了原先的杂项领域标签，新增 SCAFFOLD_SYSTEM_PROMPT.md，约 67.5 万条校准块保持不变。同时发布新数据集 Scaffold Agent：来自 6,792 个真实编程会话的 19,652 条记录，约 1,005M token（可训练 899M），每次工具调用都真实执行、结果真实，会话需通过隐藏测试、代码质量评分、两轮 LLM 评审和最终 CI 才被收录，每条记录是一个不超过 64k token 的独立压缩片段，不宜拼接。发帖人建议将两个数据集与其他大数据集混合，并保证每批次至少有一…
讨论区核心观点
依据 5 条评论
- 评论关注“每次工具调用都真实执行”这一点，问是否在 Pi 之外的 harness 上评测过训练出的模型，以判断它是学会了 scaffold 还是只记住了 Pi 的工作流；发帖人回应选 Pi 是因为它最简单、最易迁移，模型发布后会跑其他 harness 测试。 出处（新标签页打开）
- 有评论问 5-10B 参数规模的上限以及 agentic 示例和 RL 的继续扩展，并追问是做 RL 还是只做 SFT；发帖人表示第一版只有 SFT 与合并，后续 1.1 版会做多 harness agentic 编程方向的 RL，先弄清社区使用中具体失败在哪。 出处（新标签页打开）
- 评论者对项目表示认可并祝好运，鼓励继续做下去。 出处（新标签页打开）