超越聊天机器人的直接偏好优化

这篇文章来自 DharmaOCR 团队，讨论在聊天机器人之外的场景中使用直接偏好优化（DPO）。文中回顾其结构化 OCR 模型 DharmaOCR 的基准结果：在巴西葡萄牙语结构化文档抽取任务中，开源模型家族出现文本退化（重复循环而非转录）的比例从不到 1% 到超过 33% 不等，监督微调虽能降低这一比例但难以达到生产可接受水平，因此提出利用模型自身失败案例构造拒绝对，在 SFT 之后增加第二阶段训练。