Mistral OCR 4：面向文档智能的 SOTA OCR

中文精读

原文约 2,667 词 · 10 节

1. OCR 4 发布

   • 2026 年 6 月 23 日，Mistral AI 发布 Mistral OCR 4，除提取文本外还提供边界框（bounding boxes）、块分类（block classification）和行内置信度分数（inline confidence scores）。
   • 模型支持 170 种语言、覆盖 10 个语种群，可运行在单个容器内实现完全自托管。
   • 定位为小型专用模型，作为企业搜索、RAG 和领域检索流水线的摄取（ingestion）组件。
   • 文章说明发布内容涵盖新能力、公开与内部基准表现、基准的已知局限，以及何时用模型 API、何时用 Document AI。

2. 要点

   • 性能突破：独立标注者在盲评中对 OCR 4 的偏好平均胜率约 72%，超过所有被测 OCR 与文档 AI 系统；OlmOCRBench 总分为 85.20，为最高。
   • 不只输出文本：同时返回边界框、带类型的块分类（标题、表格、公式、签名等）与行内置信度分数。
   • 这些结构化信号可用于上下文高亮、可靠数据管道、来源引用、脱敏（redactions）和人工复核。
   • 已集成入 Mistral Search Toolkit（公开预览版），为 RAG 与企业搜索的摄取、检索和评估流程提供可直接引用的输入。
   • 多语言覆盖 170 种语言、10 个语种群，在专用语种和低资源语种上相对竞品有明显增益。
   • 可部署在单个容器中，数据留在客户环境中以满足驻留、主权与合规要求，并支持高吞吐批量处理；自管理部署面向企业客户开放。

3. 概览

   • 与以往只把页面转成干净文本和表格不同，OCR 4 返回文档的结构化表示：每个块有边界框、类型分类，以及按页和按词的置信度分数。
   • 下游系统因此不仅知道文档说了什么，还能知道每个元素的位置、承担的角色，以及模型对该区域的置信程度。
   • 支撑的负载包括：面向 RAG 的语义分块、给智能体的结构化基元（表单填写、发票处理、合规检查）、以及连接器所需的类型化内容。
   • 支持 PDF、DOC、PPT、OpenDocument 等常见企业格式，覆盖 170 种语言。
   • 开发者通过 API 集成，团队也可在 Mistral Studio 用 Document AI 走无代码路径；API 价格每 1,000 页 4 美元，Batch API 五折后为 2 美元，Document AI 为每 1,000 页 5 美元。

4. 基准评测与客户反馈

   • Rogo 的 AI 工程师 Aidan Donohue 称，在图表密集的金融问答数据集上与领先的智能体式文档解析器对比，OCR 4 达到同等准确率，成本约低 8 倍、延迟约低 17 倍。
   • 评测对象包括 AI 原生 OCR 模型、前沿通用模型、企业文档服务，以及 Mistral 自家的 OCR 3。

5. 人类偏好评估

   • 考虑到自动基准存在评分偏差，Mistral 补充了成对人工评测，所用文档贴近真实使用场景。
   • 共 600 多份文档、12 种以上语言，来自第三方供应商以代表真实行业用例；独立标注者对每个竞品输出与 OCR 4 输出逐份盲排。
   • 在所有被测系统中，标注者在多数文档上偏好 OCR 4；由于是基于真实文档的人工判断而非与固定参考答案做字符串比对，规避了许多影响自动分数的标注与格式噪声。

6. 整体表现

   • Anaqua 的 AI 工程师 Ivan Mihailov 称，OCR 4 每页速度约为其现有供应商的 4 倍，对速度关键的大批量卷宗处理流程意义明显。
   • 除人类偏好第一外，OCR 4 在公开 OlmOCRBench 上取得被测模型中最高的总分 85.20，在内部 Crawl Multilingual 评测上以 0.98 领先。
   • 在 OmniDocBench 上得分为 93.07；Mistral 同时提示 OlmOCRBench 与 OmniDocBench 在评分方式上都有已知局限，单一总分可能高估也可能低估真实表现。
   • 审计不匹配样本后发现，多数并非模型错误而是基准比对方式所致：参考答案本身有误（缺文、多文、誊写脱敏区、错别字）、等价但不相同的 LaTeX 写法被判错。
   • 其余问题包括公式切分方式（整体 vs 行内片段）影响匹配、多栏阅读顺序（如跨栏断字“certifi-cates”）误判，以及块类型归属问题：剥掉页眉页脚后，基准要检查的字符串恰好是页面标题而被误标。
   • 这些偏差集中在数学、科学和多栏文档，且更常惩罚正确输出；Mistral 因此把总分视为方向性参考，并说明所有竞品分数均为内部复现，建议用自家文档自行评测。

7. 性能细节

   • 在内部多语言评测中，OCR 4 在全部八个语种群上领先：英语、西欧、东欧、中东、中文、东亚、东南亚、专用语种。
   • 专用语种包括印地语、日语、格鲁吉亚语、孟加拉语、亚美尼亚语、希伯来语、希腊语、古吉拉特语、泰米尔语、马拉雅拉姆语、卡纳达语、泰卢固语。
   • 在专用语种和低资源语种上差距最大，许多竞品在这些语种上明显退化，而 OCR 4 保持较高准确率。

8. 推荐用例

   • 适用于大批量流水线与交互式文档工作流，包括复杂多语言文档的解析与抽取。
   • RAG 场景：提供结构化、已分类、可直接引用的内容用于语义分块与有来源依据的回答；配合 Search Toolkit 可直接送入检索流水线。
   • 智能体工作流：为表单填写、发票处理、合规检查等任务提供结构化基元，尤其面向法律、金融服务和医疗行业。
   • 利用置信度分数让人工复核更高效的场景：表单/发票抽取、脱敏、合规驱动流程；以及作为企业搜索与知识库的数据源组件。
   • 早期用户已用于把发票转成结构化字段、数字化公司档案、从技术和科学报告中提取干净文本，以及支撑企业搜索。
   • 明确的范围外用途：OCR 4 是文档理解模型而非决策者，不用于医学诊断、法律意见或判断、高风险金融决策、安全关键系统、实时低延迟处理，以及音频、视频等非文档输入。

9. OCR 4 API：如何选择

   • 所有请求都走同一个 API 端点、同一个底层模型，始终返回提取内容、边界框、块类型、置信度分数和 Markdown 结构化文本；差别只在于叠加了什么。
   • 纯抽取模式适合：把快速准确的抽取直接嵌入应用、智能体或数据管道；直接使用原始响应中的边界框、块类型和置信度驱动自定义逻辑。
   • 纯抽取模式也适合通过 Batch API 控制吞吐与成本的大批量摄取，以及因严格的数据隐私、主权或合规要求而自托管。
   • 在同一端点上加参数即可启用 Document AI：传入自定义 JSON schema，OCR 输出会交给 mistral-small-2603 生成符合规格的内容。
   • Document AI 还可通过图片标注 schema 为检测到的图像生成结构化 JSON（每张图额外触发一次视觉语言模型调用），或用自定义提示词引导整篇文档内容的解读与摘要。
   • 选择规则：需要原始抽取内容就直接用 OCR 4；需要重塑为结构化格式、加领域字段标注或按自定义指令处理，就在同一次调用中加 Document AI 参数。OCR 结果始终都有，Document AI 只是在其上叠加结构化层。

10. 现已可用与上手方式

    • 微软 AI 生态合作副总裁 Kimmi Grewal 表示，Mistral Document AI（含 OCR 4）在 Microsoft Foundry 上线是双方合作的重要里程碑，让客户把结构化文档理解直接引入 AI 工作流。
    • Mistral OCRv4 与由 OCRv4 驱动的 Document AI 可通过 API 使用，渠道包括 Mistral Studio、Amazon SageMaker、Microsoft Foundry，Snowflake Parse Document 即将支持。
    • 对有严格数据隐私要求的组织，OCR 4 提供自托管选项，使敏感信息留在自有基础设施内。
    • 上手资源包括《Getting Started with OCR 4》Cookbook，覆盖首次抽取、处理边界框和块分类。
    • 7 月 7 日 18:00 CET 举办 OCR4 in Production 线上研讨会，含演示与问答；也可联系销售获取更多信息。