# 超越聊天机器人的直接偏好优化

- 原标题：Direct Preference Optimization Beyond Chatbots
- 类型：博客
- 来源：Hugging Face
- 发布时间：2026-06-03
- 首次精选：2026-10-28 16:25
- 分级：值得看
- 原文链接：[https://huggingface.co/blog/Dharma-AI/direct-preference-optimization-beyond-chatbots](<https://huggingface.co/blog/Dharma-AI/direct-preference-optimization-beyond-chatbots>)
- 本站页面：[https://oplearnx.com/resources/pk\_6845bade26db](<https://oplearnx.com/resources/pk_6845bade26db>)

## 摘要

这篇文章来自 DharmaOCR 团队，讨论在聊天机器人之外的场景中使用直接偏好优化（DPO）。文中回顾其结构化 OCR 模型 DharmaOCR 的基准结果：在巴西葡萄牙语结构化文档抽取任务中，开源模型家族出现文本退化（重复循环而非转录）的比例从不到 1% 到超过 33% 不等，监督微调虽能降低这一比例但难以达到生产可接受水平，因此提出利用模型自身失败案例构造拒绝对，在 SFT 之后增加第二阶段训练。

## 原文涉及

- [Paper page - Direct Preference Optimization: Your Language Model is Secretly a Reward Model](<https://huggingface.co/papers/2305.18290>)

---
来源：LearnMap · 学径（https://oplearnx.com）