学习图像、视频与多模态信息的理解和推理，适合视觉应用开发者。
20 条精选 · 入门 4 · 按推荐学习顺序：越基础、直观越靠前，越系统、深入越靠后
Object Detection for Dummies Part 1: Gradient Vector, HOG, and SS
Lilian Weng 的“Object Detection for Dummies”系列第一篇，介绍目标识别与检测之前的基础图像处理概念与图像分割方法，包括图像梯度向量、常见图像处理核、方向梯度直方图（HOG）、Felzenszwalb 图像分割算法，以及选择性搜索及其配置变化。文中说明本部分不涉及深度神经网络，深度学习检测模型留待第二、三部分。
Introducing Gemma 4 12B: a unified, encoder-free multimodal model
Google DeepMind 发布 Gemma 4 12B，定位为可直接在笔记本电脑上运行智能体式多模态能力的模型，介于轻量 E4B 与 26B MoE 之间，内存占用更小，是其中等规模模型中首个支持原生音频输入的。文章称其采用无多模态编码器的统一架构，视觉和音频输入直接进入 LLM 主干，并提到 Gemma 4 系列累计下载量已超过 1.5 亿次。
Simon Willison 的博客文章讨论 OpenAI 发布 GPT-6.1 Terra 时的宣传重点：视觉推理与计算机操作，兼有更清晰自然的写作。文中指出 Terra 在模型序列中的定位类似 Anthropic 的 Sonnet，介于最便宜与最贵之间；并引用 OpenAI 的 Ted Sanders 在 Hacker News 上的说法，称 Terra 在技术沟通上优于 Astra 与 Sol、在视觉与计算机操作上相当但更快、多数其他方面略弱，以及它对开发者和订阅用户分别意味着什么。
Introducing Gemini Omni
Google DeepMind 介绍 Gemini Omni 模型，称其可从任意输入生成内容，首先支持视频。Omni 可组合图像、音频、视频和文本作为输入，生成基于 Gemini 世界知识的高质量视频，并支持通过对话式自然语言编辑视频、保持角色与场景一致性。首个模型 Gemini Omni Flash 已在 Gemini 应用、Google Flow 和 YouTube Shorts 上线，后续将支持图像和音频输出。
Expanding our Heat Resilience data to 50+ global cities
Google Research 发布覆盖 50 多个全球城市的建筑级屋顶反射率扩展数据集，帮助城市规划者推行冷屋顶方案以缓解极端高温，并通过新的高分辨率 Heat Resilience Earth Engine 应用提供访问。文中给出背景数据：每年约 50 万人死亡与极端高温有关，城市热岛效应使都市升温速度为全球平均的两倍，近期西欧热浪超过 40°C，深色路面屋顶等吸热材料与植被缺乏是局部升温主因，提高屋顶反照率可降低建筑吸收的太阳能。作者为 David Fork 与 Jules Kuperminc，日期标注 2026 年 6 月 30 日。
Beyond tree cover: mapping the world’s forest types
Google DeepMind 博客文章（2026 年 10 月 22 日，作者 Maxim Neumann 与 Charlotte Stanton），介绍 Google DeepMind、Google Research 联合 WRI 和 IIASA 发布的 Forest Typology（ForTy）2020 地图。该地图以 10×10 米分辨率把全球地表划分为六种森林与土地利用类型，区分天然林、人工林和农用林，并附有追踪这些森林逐年变化的早期时间序列，是欧盟森林砍伐法规的关键基线。文中指出不同森林类型在碳储量和生物多样性上差异很大。
Putting Earth AI to work: Geospatial agents for our planet's biggest challenges
这是 Google Research 的一篇博客，介绍其“地球 AI”项目下的地理空间推理智能体。文章称，将领域专用基础模型、空间工具与预先规划相结合，可使该智能体完成独立大模型无法胜任的复杂空间分析和地球尺度预测。文中提到同步发布一份技术报告，并通过 Ask Google Earth 和 Agent-to-Agent（A2A）服务扩大实验性访问范围。
Empowering frontline maternal care with AI-assisted ultrasound
Google Research 2026 年 10 月 21 日的博文，介绍一项前瞻性多中心研究：基于 AI 的“盲扫”超声评估，使未受过超声技师培训的操作者用低成本便携探头即可完成专家级的孕龄评估。文中引用 WHO 估计每年有超过 25 万例可预防的妊娠相关死亡，并指出全球三分之二人口无法获得超声等诊断影像，现有方法高度依赖专业临床训练。附论文链接，面向医疗 AI 与全球健康领域读者。
Bringing foundational models to the front lines of TB screening
Google Research 2026 年 10 月 23 日的博文，介绍其过去五年从早期研究基准走向可在诊疗现场微调部署的开放基础模型的工作，目标是缓解结核病筛查中的放射科瓶颈。文中指出结核病每年约夺去 123 万人的生命，在高负担地区放射科医生稀缺、影像设施往往相距数日路程，导致大量活动性病例未被发现。属于医疗 AI 与公共卫生方向的内容。
Apertus 1.5 Release Notes
这是 Swiss AI 团队发布在 Hugging Face 博客上的 Apertus 1.5 发布说明，日期标注为 2026 年 10 月 15 日。文中说明该版本在 Apertus 1.0 的 8B 与 70B 模型基础上继续预训练，新增图像与音频理解、可选思考模式、四倍上下文窗口，并改进了指令遵循与工具使用；模型权重于 2026 年 7 月 24 日以 Apache 2.0 许可发布。
Welcome Muse Spark Open: open-weight frontier multimodal mixture-of-experts model from Meta
这是 Hugging Face 博客上一篇文章（标注日期为 2026 年 10 月 15 日），介绍 Meta 发布的开放权重模型 Muse Spark Open。该混合专家模型约 8160 亿参数、每 token 约 420 亿激活，上下文窗口最长一百万 token，可接收文本、图像、音频和视频并生成文本。文中称其面向智能体式编程训练（阅读代码库、编写与调试代码、调用工具），并说明了如何运行、微调以及作者用它构建的成果。
Robostral Navigate: single-camera AI navigation | Mistral AI
Mistral 推出的首个面向具身导航的模型 Robostral Navigate，规模 8B，仅用单个普通 RGB 摄像头和自然语言指令即可让机器人在环境中移动，无需深度传感器、LiDAR 或多摄像头。文中称其在未见过的 R2R-CE 基准上达到 76.6% 成功率，基于自建模拟数据与 token 高效技术构建，结合指向式导航与强化学习。