# 视觉与多模态理解 学习图像、视频与多模态信息的理解和推理，适合视觉应用开发者。 - 所属：[多模态与领域探索]() - 网站：[https://oplearnx.com/topics/vision-multimodal-understanding]() ## 推荐学习顺序 1. [SoMarkAI/OXR：开源文档解析模型]()（项目 · 进阶）：这是一个 GitHub 开源项目，提供名为 OXR（Optical Everything Recognition）的文档解析模型，目标是将 PDF 和文档图像转换为便于智能体使用的数据。项目介绍称其在后训练中使用 RSI 循环，具备较高的准确率和速度，并给出在线演示、免费 API 以及 Hugging Face 和 ModelScope 上的模型入口；README 提供英文和简体中文版本。 2. [面向初学者的目标检测 第一部分：梯度向量、HOG 与选择性搜索]()（博客 · 入门）：Lilian Weng 的“Object Detection for Dummies”系列第一篇，介绍目标识别与检测之前的基础图像处理概念与图像分割方法，包括图像梯度向量、常见图像处理核、方向梯度直方图（HOG）、Felzenszwalb 图像分割算法，以及选择性搜索及其配置变化。文中说明本部分不涉及深度神经网络，深度学习检测模型留待第二、三部分。 3. [推出 Gemma 4 12B：统一的无编码器多模态模型]()（博客 · 进阶）：Google DeepMind 发布 Gemma 4 12B，定位为可直接在笔记本电脑上运行智能体式多模态能力的模型，介于轻量 E4B 与 26B MoE 之间，内存占用更小，是其中等规模模型中首个支持原生音频输入的。文章称其采用无多模态编码器的统一架构，视觉和音频输入直接进入 LLM 主干，并提到 Gemma 4 系列累计下载量已超过 1.5 亿次。 4. [GPT-6.1 Terra]()（博客 · 入门）：Simon Willison 的博客文章讨论 OpenAI 发布 GPT-6.1 Terra 时的宣传重点：视觉推理与计算机操作，兼有更清晰自然的写作。文中指出 Terra 在模型序列中的定位类似 Anthropic 的 Sonnet，介于最便宜与最贵之间；并引用 OpenAI 的 Ted Sanders 在 Hacker News 上的说法，称 Terra 在技术沟通上优于 Astra 与 Sol、在视觉与计算机操作上相当但更快、多数其他方面略弱，以及它对开发者和订阅用户分别意味着什么。 5. [推出 Gemini Omni]()（博客 · 入门）：Google DeepMind 介绍 Gemini Omni 模型，称其可从任意输入生成内容，首先支持视频。Omni 可组合图像、音频、视频和文本作为输入，生成基于 Gemini 世界知识的高质量视频，并支持通过对话式自然语言编辑视频、保持角色与场景一致性。首个模型 Gemini Omni Flash 已在 Gemini 应用、Google Flow 和 YouTube Shorts 上线，后续将支持图像和音频输出。 6. [将高温韧性数据扩展至 50 多个全球城市]()（博客 · 入门）：Google Research 发布覆盖 50 多个全球城市的建筑级屋顶反射率扩展数据集，帮助城市规划者推行冷屋顶方案以缓解极端高温，并通过新的高分辨率 Heat Resilience Earth Engine 应用提供访问。文中给出背景数据：每年约 50 万人死亡与极端高温有关，城市热岛效应使都市升温速度为全球平均的两倍，近期西欧热浪超过 40°C，深色路面屋顶等吸热材料与植被缺乏是局部升温主因，提高屋顶反照率可降低建筑吸收的太阳能。作者为 David Fork 与 Jules Kuperminc，日期标注 2026 年 6 月 30 日。 7. [不止于树冠覆盖：绘制全球森林类型地图]()（博客 · 进阶）：Google DeepMind 博客文章（2026 年 10 月 22 日，作者 Maxim Neumann 与 Charlotte Stanton），介绍 Google DeepMind、Google Research 联合 WRI 和 IIASA 发布的 Forest Typology（ForTy）2020 地图。该地图以 10×10 米分辨率把全球地表划分为六种森林与土地利用类型，区分天然林、人工林和农用林，并附有追踪这些森林逐年变化的早期时间序列，是欧盟森林砍伐法规的关键基线。文中指出不同森林类型在碳储量和生物多样性上差异很大。 8. [让地球 AI 投入实际工作：应对地球重大挑战的地理空间智能体]()（博客 · 进阶）：这是 Google Research 的一篇博客，介绍其“地球 AI”项目下的地理空间推理智能体。文章称，将领域专用基础模型、空间工具与预先规划相结合，可使该智能体完成独立大模型无法胜任的复杂空间分析和地球尺度预测。文中提到同步发布一份技术报告，并通过 Ask Google Earth 和 Agent-to-Agent（A2A）服务扩大实验性访问范围。 9. [用 AI 辅助超声赋能一线孕产护理]()（博客 · 进阶）：Google Research 2026 年 10 月 21 日的博文，介绍一项前瞻性多中心研究：基于 AI 的“盲扫”超声评估，使未受过超声技师培训的操作者用低成本便携探头即可完成专家级的孕龄评估。文中引用 WHO 估计每年有超过 25 万例可预防的妊娠相关死亡，并指出全球三分之二人口无法获得超声等诊断影像，现有方法高度依赖专业临床训练。附论文链接，面向医疗 AI 与全球健康领域读者。 10. [把基础模型带到结核病筛查第一线]()（博客 · 进阶）：Google Research 2026 年 10 月 23 日的博文，介绍其过去五年从早期研究基准走向可在诊疗现场微调部署的开放基础模型的工作，目标是缓解结核病筛查中的放射科瓶颈。文中指出结核病每年约夺去 123 万人的生命，在高负担地区放射科医生稀缺、影像设施往往相距数日路程，导致大量活动性病例未被发现。属于医疗 AI 与公共卫生方向的内容。 11. [Apertus 1.5 发布说明]()（博客 · 进阶）：这是 Swiss AI 团队发布在 Hugging Face 博客上的 Apertus 1.5 发布说明，日期标注为 2026 年 10 月 15 日。文中说明该版本在 Apertus 1.0 的 8B 与 70B 模型基础上继续预训练，新增图像与音频理解、可选思考模式、四倍上下文窗口，并改进了指令遵循与工具使用；模型权重于 2026 年 7 月 24 日以 Apache 2.0 许可发布。 12. [欢迎 Muse Spark Open：来自 Meta 的开放权重前沿多模态混合专家模型]()（博客 · 进阶）：这是 Hugging Face 博客上一篇文章（标注日期为 2026 年 10 月 15 日），介绍 Meta 发布的开放权重模型 Muse Spark Open。该混合专家模型约 8160 亿参数、每 token 约 420 亿激活，上下文窗口最长一百万 token，可接收文本、图像、音频和视频并生成文本。文中称其面向智能体式编程训练（阅读代码库、编写与调试代码、调用工具），并说明了如何运行、微调以及作者用它构建的成果。 13. [用 LFM3-VL-2B 在浏览器内通过 WebGPU 本地实现实时视频描述]()（帖子 · 进阶）：r/LocalLLaMA 社区帖子，分享了 LFM3-VL-2B 的 Hugging Face 模型集合与一个在浏览器里通过 WebGPU 本地运行的演示 Space，用于实时视频描述；评论区讨论把它用作 LLM 的近实时视觉输入（每 1–2 秒一次，或作为快速视觉调用后按需调用更强的视觉模型），也有评论提到同为 2B 规模的 LFM3 Omni 模型支持实时并可直接输入音频。适合在浏览器端本地部署小模型、做实时视觉/语音多模态应用的人阅读。 14. [漫画翻译工具——一起看懂日语吧！]()（项目 · 进阶）：这是 r/LocalLLaMA 的一篇社区帖子，作者介绍自己开发的开源桌面应用 Manga Translator Tool，用于在本地阅读和翻译日文漫画，灵感来自看字幕版动画时保留原文并附译文的做法。工具整合了漫画阅读器、OCR、译文覆盖层和可就当前页提问的本地 LLM：OCR 用 Qwen3.5 的日语 OCR 微调版本，翻译与对话用 Gemma 4 E2B 的某个变体，推理基于 llama.cpp 并支持 CPU 与 GPU。功能方面提到在不擦除原文字的前提下在文本框内显示译文、把译文存为图片元数据以在原文与译文视图间切换、搜索提取出的文本，以及能识别日文拟声词等；帖中还包含安装过程的演示视频。适合想在本地离线阅读并翻译日文漫画、或用小模型串联 OCR 与翻译流程的人阅读。 15. [Show HN：为 macOS 上每张照片和每帧视频提供 AI 搜索]()（项目 · 进阶）：这是一个 macOS 应用的 GitHub 仓库，项目名为 SCM（Screen Memories），定位为多模态视觉记忆智能体。它使用在 Mac 本地运行的视觉模型，支持用自然语言检索照片、截图、视频和音频，并可对视频按场景切分定位到具体镜头，同时提供 OCR 文字搜索和基于 Whisper 的语音台词搜索。项目还说明支持监视文件夹自动导入、内容哈希去重和后台重新嵌入，媒体文件不上传，保持本地离线运行。 16. [我用 Claude Code 做了一个激光干射击游戏：摄像头看着你的显示器并给激光命中计分（开源、免费）]()（项目 · 进阶）：Reddit r/ClaudeAI 上的社区帖子。作者称用约两周时间以 Claude Code 做出 ScreenPlink：以显示器为靶，用激光训练手枪或激光弹壳射击，显示器旁的摄像头拍摄屏幕并计算命中像素、打出弹孔并让靶倒下。功能包括九种训练、十五个带计分环的人形靶、17 发弹匣和同屏双人；摄像头可斜置，应用通过拍摄屏幕上的标记自行标定。作者说明代码基本全部由 Claude Code 编写，自己负责设计与验收，难点在于让无法看到屏幕、无法扣扳机的智能体调试一个测量物理世界的程序，为此使用了进程内 MCP 服务器等做法。适合用 Claude Code 做图像/硬件相关项目开发的人阅读。 17. [patch-gg/anymove（单段 AI 视频驱动生物动作捕捉）]()（项目 · 进阶）：一个开源项目，可将一段 AI 生成的视频转换为任意带骨骼生物的动画，包含翅膀、尾巴和多足。做法是在同一画面中放置正面与侧面两个相机视角，使用 DINOv2 读取关节，在两视角中拟合骨架并输出 GLB 文件。项目页称每条动作视频成本约 0.26 美元，读取与拟合在一分钟内完成。 18. [Stanford CS231n：计算机视觉中的深度学习（2026 春）]()（课程 · 进阶）：斯坦福大学 2026 年春季 CS231n《Deep Learning for Computer Vision》课程网站。页面用一个在浏览器中实时运行的卷积神经网络示例（CIFAR-10 分类，架构为 \[conv-relu-conv-relu-pool\]x3-fc-softmax，共 17 层、7000 参数，用 ConvNetJS 训练）说明输入图像如何经一系列函数变换为类别概率。课程简介指出视觉识别（图像分类、定位、检测）是搜索、图像理解、地图、医疗、无人机、自动驾驶等应用的核心，深度学习显著提升了这些系统的性能，并说明这是一门深度学习课程。 19. [Robostral Navigate：单摄像头 AI 导航]()（博客 · 深入）：Mistral 推出的首个面向具身导航的模型 Robostral Navigate，规模 8B，仅用单个普通 RGB 摄像头和自然语言指令即可让机器人在环境中移动，无需深度传感器、LiDAR 或多摄像头。文中称其在未见过的 R2R-CE 基准上达到 76.6% 成功率，基于自建模拟数据与 token 高效技术构建，结合指向式导航与强化学习。 20. [QwenLM/BlenderWorld]()（项目 · 深入）：Qwen 团队发布的一个用于评估 3D 创作视觉智能体的基准，全称为“Benchmarking Visual Agents for 3D Creation from Real-World References”。基准包含 9 个类别、22 个子类共 223 个任务，智能体根据任务简报和参考素材在 Blender 中交付可编辑工程文件及指定导出物，可用 bw evaluate 进行评估；仓库提供论文、Hugging Face 与 ModelScope 数据集链接。 --- 中文标题与摘要由模型根据原文生成，以原文为准。 来源：LearnMap · 学径（https://oplearnx.com）