预训练与数据

学习预训练、数据配比、合成数据和训练效率,适合模型训练实践者。

16 条精选 · 入门 1 · 按推荐学习顺序:越基础、直观越靠前,越系统、深入越靠后

在 3D 图中查看
  1. 10深入
    项目发布 10-21
    GitHub

    xingjian-bai/opal

    这是一个 PyTorch 优化器包装器项目,名为 OPAL(OPtimizer with an Agent in the Loop)。它让编码智能体在模型训练过程中持续改写优化器:用户用一行代码包装现有优化器,智能体(Claude Code)定期读取运行报告,决定是否重写把梯度转为更新的优化器程序,以及用于衡量指标的析程序。标签包括深度学习、LLM 智能体、优化器、PyTorch。

模型原理与训练的其他细分主题