模型裁判与质量评估

学习模型打分、评分细则和证据核验,适合设计自动审核与质量评估的读者。

28 条精选 · 入门 3 · 按推荐学习顺序:越基础、直观越靠前,越系统、深入越靠后

在 3D 图中查看
  1. 15进阶
    帖子发布 10-28
    Reddit

    发现 Claude Code 原生 eval 评分器因一个不可见空格出现的奇怪问题

    Found a weird issue with Claude Code's native eval grader over an invisible space

    r/ClaudeAI 社区帖子,作者在自己的开源评测项目中测试评分器时,发现 Claude Code 把正确的 Python 代码判为错误、错误代码判为正确,追查后定位到单个不可见字符;他称 Langchain OpenEvals、Promptfoo、Nvidia SkillEvaluator 也有同样问题,并在 Claude Code 原生 claude 插件评测器中复现。作者补充了一个小修改:自动生成一条列出具体 Unicode 字符及其位置的说明,不改动原答案,判断结果明显改善,并已向几个项目提交 PR,其中 Nvidia 已通过。适合在做 LLM 输出评测或使用 Claude Code 做代码评判的开发与运维人员阅读。

  2. 17进阶
    帖子发布 10-28
    X

    讲 OCR 双模型:小解析器出结果,Jev 打分后对低分再纠错

    elvis(@omarsar0)在 X 上的帖子,介绍 OpenBMB 与 ModelBest 的 MiniCPM-OCR:一个 1.3B 参数的小型开源文档解析器,支持中英文扫描件、照片、弯曲与倾斜页面及关键信息抽取;第二个模型 MiniCPM-OCR Jev 对提取出的文本、公式和表格给出可靠性评分,也可用于其他 OCR 模型的输出。帖子给出流程示例:解析文档、用 Jev 打分、将低分结果交给人工或纠错步骤,并提到权重开放、支持 llama.cpp、vLLM、SGLang、Ollama 推理及 Agent Skills 集成。适合构建文档处理智能体或 OCR 流水线的人关注或阅读。

评测、安全与治理的其他细分主题