# 多模态与领域探索 探索视觉、语音、生成媒体、机器人和科学应用，适合领域学习者与研究者。 - 细分主题：[视觉与多模态理解]()（20）、[扩散与图像生成]()（11）、[视频与三维生成]()（16）、[语音与音频]()（22）、[机器人与世界模型]()（12）、[科学研究与医疗]()（34）、[数学与形式化证明]()（15） - 网站：[https://oplearnx.com/topics/multimodal-science]() ## 推荐学习顺序 1. [SoMarkAI/OXR：开源文档解析模型]()（项目 · 进阶）：这是一个 GitHub 开源项目，提供名为 OXR（Optical Everything Recognition）的文档解析模型，目标是将 PDF 和文档图像转换为便于智能体使用的数据。项目介绍称其在后训练中使用 RSI 循环，具备较高的准确率和速度，并给出在线演示、免费 API 以及 Hugging Face 和 ModelScope 上的模型入口；README 提供英文和简体中文版本。 2. [面向初学者的目标检测 第一部分：梯度向量、HOG 与选择性搜索]()（博客 · 入门）：Lilian Weng 的“Object Detection for Dummies”系列第一篇，介绍目标识别与检测之前的基础图像处理概念与图像分割方法，包括图像梯度向量、常见图像处理核、方向梯度直方图（HOG）、Felzenszwalb 图像分割算法，以及选择性搜索及其配置变化。文中说明本部分不涉及深度神经网络，深度学习检测模型留待第二、三部分。 3. [推出 Gemma 4 12B：统一的无编码器多模态模型]()（博客 · 进阶）：Google DeepMind 发布 Gemma 4 12B，定位为可直接在笔记本电脑上运行智能体式多模态能力的模型，介于轻量 E4B 与 26B MoE 之间，内存占用更小，是其中等规模模型中首个支持原生音频输入的。文章称其采用无多模态编码器的统一架构，视觉和音频输入直接进入 LLM 主干，并提到 Gemma 4 系列累计下载量已超过 1.5 亿次。 4. [GPT-6.1 Terra]()（博客 · 入门）：Simon Willison 的博客文章讨论 OpenAI 发布 GPT-6.1 Terra 时的宣传重点：视觉推理与计算机操作，兼有更清晰自然的写作。文中指出 Terra 在模型序列中的定位类似 Anthropic 的 Sonnet，介于最便宜与最贵之间；并引用 OpenAI 的 Ted Sanders 在 Hacker News 上的说法，称 Terra 在技术沟通上优于 Astra 与 Sol、在视觉与计算机操作上相当但更快、多数其他方面略弱，以及它对开发者和订阅用户分别意味着什么。 5. [推出 Gemini Omni]()（博客 · 入门）：Google DeepMind 介绍 Gemini Omni 模型，称其可从任意输入生成内容，首先支持视频。Omni 可组合图像、音频、视频和文本作为输入，生成基于 Gemini 世界知识的高质量视频，并支持通过对话式自然语言编辑视频、保持角色与场景一致性。首个模型 Gemini Omni Flash 已在 Gemini 应用、Google Flow 和 YouTube Shorts 上线，后续将支持图像和音频输出。 6. [将高温韧性数据扩展至 50 多个全球城市]()（博客 · 入门）：Google Research 发布覆盖 50 多个全球城市的建筑级屋顶反射率扩展数据集，帮助城市规划者推行冷屋顶方案以缓解极端高温，并通过新的高分辨率 Heat Resilience Earth Engine 应用提供访问。文中给出背景数据：每年约 50 万人死亡与极端高温有关，城市热岛效应使都市升温速度为全球平均的两倍，近期西欧热浪超过 40°C，深色路面屋顶等吸热材料与植被缺乏是局部升温主因，提高屋顶反照率可降低建筑吸收的太阳能。作者为 David Fork 与 Jules Kuperminc，日期标注 2026 年 6 月 30 日。 7. [不止于树冠覆盖：绘制全球森林类型地图]()（博客 · 进阶）：Google DeepMind 博客文章（2026 年 10 月 22 日，作者 Maxim Neumann 与 Charlotte Stanton），介绍 Google DeepMind、Google Research 联合 WRI 和 IIASA 发布的 Forest Typology（ForTy）2020 地图。该地图以 10×10 米分辨率把全球地表划分为六种森林与土地利用类型，区分天然林、人工林和农用林，并附有追踪这些森林逐年变化的早期时间序列，是欧盟森林砍伐法规的关键基线。文中指出不同森林类型在碳储量和生物多样性上差异很大。 8. [让地球 AI 投入实际工作：应对地球重大挑战的地理空间智能体]()（博客 · 进阶）：这是 Google Research 的一篇博客，介绍其“地球 AI”项目下的地理空间推理智能体。文章称，将领域专用基础模型、空间工具与预先规划相结合，可使该智能体完成独立大模型无法胜任的复杂空间分析和地球尺度预测。文中提到同步发布一份技术报告，并通过 Ask Google Earth 和 Agent-to-Agent（A2A）服务扩大实验性访问范围。 9. [用 AI 辅助超声赋能一线孕产护理]()（博客 · 进阶）：Google Research 2026 年 10 月 21 日的博文，介绍一项前瞻性多中心研究：基于 AI 的“盲扫”超声评估，使未受过超声技师培训的操作者用低成本便携探头即可完成专家级的孕龄评估。文中引用 WHO 估计每年有超过 25 万例可预防的妊娠相关死亡，并指出全球三分之二人口无法获得超声等诊断影像，现有方法高度依赖专业临床训练。附论文链接，面向医疗 AI 与全球健康领域读者。 10. [把基础模型带到结核病筛查第一线]()（博客 · 进阶）：Google Research 2026 年 10 月 23 日的博文，介绍其过去五年从早期研究基准走向可在诊疗现场微调部署的开放基础模型的工作，目标是缓解结核病筛查中的放射科瓶颈。文中指出结核病每年约夺去 123 万人的生命，在高负担地区放射科医生稀缺、影像设施往往相距数日路程，导致大量活动性病例未被发现。属于医疗 AI 与公共卫生方向的内容。 11. [Apertus 1.5 发布说明]()（博客 · 进阶）：这是 Swiss AI 团队发布在 Hugging Face 博客上的 Apertus 1.5 发布说明，日期标注为 2026 年 10 月 15 日。文中说明该版本在 Apertus 1.0 的 8B 与 70B 模型基础上继续预训练，新增图像与音频理解、可选思考模式、四倍上下文窗口，并改进了指令遵循与工具使用；模型权重于 2026 年 7 月 24 日以 Apache 2.0 许可发布。 12. [欢迎 Muse Spark Open：来自 Meta 的开放权重前沿多模态混合专家模型]()（博客 · 进阶）：这是 Hugging Face 博客上一篇文章（标注日期为 2026 年 10 月 15 日），介绍 Meta 发布的开放权重模型 Muse Spark Open。该混合专家模型约 8160 亿参数、每 token 约 420 亿激活，上下文窗口最长一百万 token，可接收文本、图像、音频和视频并生成文本。文中称其面向智能体式编程训练（阅读代码库、编写与调试代码、调用工具），并说明了如何运行、微调以及作者用它构建的成果。 13. [用 LFM3-VL-2B 在浏览器内通过 WebGPU 本地实现实时视频描述]()（帖子 · 进阶）：r/LocalLLaMA 社区帖子，分享了 LFM3-VL-2B 的 Hugging Face 模型集合与一个在浏览器里通过 WebGPU 本地运行的演示 Space，用于实时视频描述；评论区讨论把它用作 LLM 的近实时视觉输入（每 1–2 秒一次，或作为快速视觉调用后按需调用更强的视觉模型），也有评论提到同为 2B 规模的 LFM3 Omni 模型支持实时并可直接输入音频。适合在浏览器端本地部署小模型、做实时视觉/语音多模态应用的人阅读。 14. [漫画翻译工具——一起看懂日语吧！]()（项目 · 进阶）：这是 r/LocalLLaMA 的一篇社区帖子，作者介绍自己开发的开源桌面应用 Manga Translator Tool，用于在本地阅读和翻译日文漫画，灵感来自看字幕版动画时保留原文并附译文的做法。工具整合了漫画阅读器、OCR、译文覆盖层和可就当前页提问的本地 LLM：OCR 用 Qwen3.5 的日语 OCR 微调版本，翻译与对话用 Gemma 4 E2B 的某个变体，推理基于 llama.cpp 并支持 CPU 与 GPU。功能方面提到在不擦除原文字的前提下在文本框内显示译文、把译文存为图片元数据以在原文与译文视图间切换、搜索提取出的文本，以及能识别日文拟声词等；帖中还包含安装过程的演示视频。适合想在本地离线阅读并翻译日文漫画、或用小模型串联 OCR 与翻译流程的人阅读。 15. [Show HN：为 macOS 上每张照片和每帧视频提供 AI 搜索]()（项目 · 进阶）：这是一个 macOS 应用的 GitHub 仓库，项目名为 SCM（Screen Memories），定位为多模态视觉记忆智能体。它使用在 Mac 本地运行的视觉模型，支持用自然语言检索照片、截图、视频和音频，并可对视频按场景切分定位到具体镜头，同时提供 OCR 文字搜索和基于 Whisper 的语音台词搜索。项目还说明支持监视文件夹自动导入、内容哈希去重和后台重新嵌入，媒体文件不上传，保持本地离线运行。 16. [我用 Claude Code 做了一个激光干射击游戏：摄像头看着你的显示器并给激光命中计分（开源、免费）]()（项目 · 进阶）：Reddit r/ClaudeAI 上的社区帖子。作者称用约两周时间以 Claude Code 做出 ScreenPlink：以显示器为靶，用激光训练手枪或激光弹壳射击，显示器旁的摄像头拍摄屏幕并计算命中像素、打出弹孔并让靶倒下。功能包括九种训练、十五个带计分环的人形靶、17 发弹匣和同屏双人；摄像头可斜置，应用通过拍摄屏幕上的标记自行标定。作者说明代码基本全部由 Claude Code 编写，自己负责设计与验收，难点在于让无法看到屏幕、无法扣扳机的智能体调试一个测量物理世界的程序，为此使用了进程内 MCP 服务器等做法。适合用 Claude Code 做图像/硬件相关项目开发的人阅读。 17. [patch-gg/anymove（单段 AI 视频驱动生物动作捕捉）]()（项目 · 进阶）：一个开源项目，可将一段 AI 生成的视频转换为任意带骨骼生物的动画，包含翅膀、尾巴和多足。做法是在同一画面中放置正面与侧面两个相机视角，使用 DINOv2 读取关节，在两视角中拟合骨架并输出 GLB 文件。项目页称每条动作视频成本约 0.26 美元，读取与拟合在一分钟内完成。 18. [Stanford CS231n：计算机视觉中的深度学习（2026 春）]()（课程 · 进阶）：斯坦福大学 2026 年春季 CS231n《Deep Learning for Computer Vision》课程网站。页面用一个在浏览器中实时运行的卷积神经网络示例（CIFAR-10 分类，架构为 \[conv-relu-conv-relu-pool\]x3-fc-softmax，共 17 层、7000 参数，用 ConvNetJS 训练）说明输入图像如何经一系列函数变换为类别概率。课程简介指出视觉识别（图像分类、定位、检测）是搜索、图像理解、地图、医疗、无人机、自动驾驶等应用的核心，深度学习显著提升了这些系统的性能，并说明这是一门深度学习课程。 19. [Robostral Navigate：单摄像头 AI 导航]()（博客 · 深入）：Mistral 推出的首个面向具身导航的模型 Robostral Navigate，规模 8B，仅用单个普通 RGB 摄像头和自然语言指令即可让机器人在环境中移动，无需深度传感器、LiDAR 或多摄像头。文中称其在未见过的 R2R-CE 基准上达到 76.6% 成功率，基于自建模拟数据与 token 高效技术构建，结合指向式导航与强化学习。 20. [QwenLM/BlenderWorld]()（项目 · 深入）：Qwen 团队发布的一个用于评估 3D 创作视觉智能体的基准，全称为“Benchmarking Visual Agents for 3D Creation from Real-World References”。基准包含 9 个类别、22 个子类共 223 个任务，智能体根据任务简报和参考素材在 Blender 中交付可编辑工程文件及指定导出物，可用 bw evaluate 进行评估；仓库提供论文、Hugging Face 与 ModelScope 数据集链接。 21. [从 GAN 到 WGAN]()（博客 · 进阶）：这篇博客从博弈论视角讲解生成对抗网络（GAN），先用 KL 与 JS 散度铺垫，推导判别器的最优值和全局最优，解释损失函数的含义，再讨论 GAN 训练中的问题（难以达到纳什均衡、低维支撑、梯度消失、模式崩塌、缺乏合适评价指标）和改进训练方法。最后介绍 Wasserstein GAN，包括 Wasserstein 距离的定义、相比 JS/KL 散度的优势，以及将其用作 GAN 损失函数，并附有生成宝可梦图像的示例。文中注明该文有韩文译本并发布在 arXiv 上。 22. [从自编码器到 Beta-VAE]()（博客 · 进阶）：Lil'Log 博客梳理自编码器及其变体的文章。依次介绍普通自编码器、去噪、稀疏和收缩自编码器，然后重点讲变分自编码器 VAE（ELBO 损失与重参数化技巧）、Beta-VAE，以及后续加入的 VQ-VAE、VQ-VAE-2 和 TD-VAE 章节，附符号表。 23. [基于流的深度生成模型]()（博客 · 深入）：Lil'Log 博客关于流模型（flow-based generative models）的文章。先对比 GAN、VAE 与流模型的区别，回顾雅可比矩阵、行列式与变量变换定理，再介绍归一化流（Normalizing Flows）及 RealNVP、NICE、Glow，以及基于自回归流的 MADE、PixelRNN、WaveNet、掩码/逆自回归流，最后提到 VAE \+ Flows 的组合。 24. [多伦多大学 CSC412/2506：概率机器学习（2025 冬）]()（课程 · 深入）：多伦多大学 2025 年冬季 CSC412/2506 概率机器学习课程主页，授课教师为 Denys Linkov，并列出助教名单。课程介绍指数族、有向图模型、马尔可夫随机场、精确推断、消息传递、采样与 MCMC、隐马尔可夫模型、变分推断、神经网络、嵌入、注意力、稀疏自编码器、专家混合（MoE）、约束解码、投机解码、变分自编码器和扩散模型等主题，并给出基于概率构建模块的建模与优化方法概览。页面还列出作业 A1–A4 与练习期末的发布时间和截止时间，以及助教答疑时间与开课日期。 25. [什么是扩散模型？（Lil'Log 扩散模型详解）]()（博客 · 深入）：Lil'Log 博客上的一篇长文，系统讲解扩散模型：前向扩散过程、与随机梯度 Langevin 动力学的联系、反向扩散过程、训练损失的参数化与化简、与噪声条件得分网络（NCSN）的关联、β\_t 与反向过程方差的参数化，以及分类器引导和无分类器引导的条件生成、采样加速（蒸馏、一致性模型）、潜变量空间，并设有模型架构与要点小结章节。文章自 2021 年发布后多次更新，陆续补充了 GLIDE、unCLIP、Imagen、潜在扩散模型和渐进蒸馏等内容，开头还对比了 GAN、VAE、流模型等生成模型的局限。适合有深度学习基础、想了解扩散模型原理与推导的读者阅读。 26. [Stanford STATS315A：现代统计学习（2026 冬）]()（课程 · 进阶）：斯坦福大学 Statistics 315a“Modern Statistical Learning”2026 年冬季课程主页，授课教师为 Brian Trippe。课程介绍称其讲授现代机器学习背后的统计技术，学习目标包括熟悉常见机器学习方法及其统计基础、根据数据集与分析目标选择合适的工具、用 Python 和 PyTorch 实践与评估机器学习方法，以及通过构建核心组件和简化实现理解用于文本与图像生成的大规模机器学习系统；材料显示课程约三分之二内容涉及若干主题。页面另列上课时间（周二、周四 13:30–14:50，McCullough Building 115 室）、教师与两位助教的答疑时间，以及使用 Ed、Gradescope 和 Canvas 的安排。 27. [走向揭开扩散模型创造力之谜]()（博客 · 深入）：这是 Google 研究科学家 Zhengdao Chen 于 2026 年 7 月 15 日发布的博客，讨论扩散模型的"创造力"（生成新数据而非仅记忆训练集）如何成为数学结果。文中称这与神经网络学到"平滑化"的分数函数有关，并介绍在 ICLR 2026 发表的论文《On the Interpolation Effect of Score Smoothing in Diffusion Models》。文中提供论文与代码链接。 28. [在 Diffusers 中欢迎 FLUX.3 Image Klein]()（博客 · 进阶）：这是 Hugging Face 博客的一篇文章（2026 年 10 月 15 日），介绍 Black Forest Labs 的新开放图像生成模型 FLUX.3 Image Klein 以及它在 Diffusers 中的首日支持。该模型同时支持文生图、多参考图生图和新增的布局控制（在提示词中写边界框指定图像各部分位置），发布了时间步蒸馏版和基础版两个开放检查点，并附带 NVFP4/FP8 权重加载、LoRA 训练脚本和 Modular Diffusers 流水线支持。 29. [首批无需上采样步骤的 6 步 LoRA 适配器，速度约提升 5 倍 \[N\]]()（项目 · 进阶）：r/MachineLearning 社区帖子，作者发布了托管在 Hugging Face 上的一组 6 步 LoRA（PrunaAI/P-Q-Image-2.1），称可将图像生成或编辑从 40 步缩减到 6 步；其中 6 步版用于编辑时保留输入，6 步上采样版去掉了单独的提示词上采样步骤，据称可节省 41 至 80 秒，适配器直接加载在 Qwen-Image-2.1 之上、流程无需改动。适合关注扩散模型少步蒸馏、图像生成/编辑加速的人阅读。 30. [斯坦福 EE364B：凸优化 II（2026 春）]()（课程 · 深入）：这是斯坦福 EE364B（与 CME364b 等同，最初由 Stephen Boyd 开设）2026 年春季课程主页，主讲为 Mert Pilanci。公告称首次课在周一 30 日 1:30–2:50 于 CODA B90 进行，讲座录像提供给已注册学生。课程描述说明它是 364A 的延续，内容涵盖次梯度、割平面与椭球法，基于原始-对偶分解的分布式凸优化，单调算子与近端方法、ADMM，利用问题结构的实现，困难问题的凸松弛，分支定界全局优化，鲁棒与随机优化，非凸启发式，以及神经网络、扩散模型和蒙特卡洛采样的凸表述，并应用于控制、电路设计、信号处理、机器学习和通信等领域，以最终项目收尾；先修课为 EE364a。适合已学过凸优化基础、想了解进阶凸优化内容的人阅读。 31. [patch-gg/trompe（用图像模型为关卡贴图）]()（项目 · 进阶）：一个开源项目，用于从灰色灰模关卡生成完整贴图：规划玩家视角相机、由图像模型绘制各视角画面、将画面投影回关卡并烘焙成一张贴图。贴图在阴天光照下生成，作为反照率贴图，再由游戏引擎投射真实阴影。相机规划、投影与烘焙在浏览器 GPU 上运行，图像模型运行于 fal，输出 glTF 格式。 32. [人们是怎么用 Claude 做出我在 Instagram 上不断看到的那种炫酷动效视频的？]()（帖子 · 入门）：Reddit r/ClaudeAI 上的社区帖子。发帖者称在 Instagram 上看到许多高水准动效视频都声称用 Claude 制作，但自己让 Claude 生成同类视频时效果不如这些作品，于是询问具体做法，并提到看到一条标注“Claude \+ Katana”（Katana 来自 higgsfields）的视频，询问这是否是可行路径。帖子下附带自动生成的讨论摘要。适合对用 Claude 制作动效/视频内容、并关注他人工作流的人关注。 33. [openfilm/openfilm]()（项目 · 入门）：开源 AI 视频 Agent，把编码 Agent（如 Codex、Claude Code）变成视频 Agent。影片以 HTML 网页形式写成，由名为 Studio 的浏览器本地编辑器呈现并可手工或通过提问修改；每幕是一个用 frame\(t\) 函数绘制画面的网页，可组合动画网页、素材、图片和声音。 34. [Claude Opus 5.5 在制作 3D 影片方面表现惊人]()（帖子 · 入门）：这是一篇 Reddit r/ClaudeAI 社区帖子，作者贴出自己使用的完整提示词，要求模型根据附带的 Dodaios 吉祥物图片自行调研其故事、从零重建并动画化该角色、不使用 skills、Remotion 或模板、渲染终端和自然等 3D 物体、只做纯动画不加文字、并仅使用网络上的免费专业音效素材，制作一分钟视频。帖子正文主要是这段提示词本身，未在材料中给出成品描述或评测数据。适合用 Claude 做 3D 动画与视频生成实验、想参考长提示词写法的人阅读。 35. [blendi-remade/dioramas（三维网站框架）]()（项目 · 入门）：一个免费开源框架，用于制作电影感、可交互的 3D 网页，其中 3D 场景本身即页面内容。资产由 AI 生成：先用 Nano Banana 2 生成产品图，再用 Meshy 7.1 转为 3D 模型，并由脚本进行优化。仓库附带 20 个完整示例网站，无需付费、账号或安装 CLI。 36. [Genie 4：新一代世界模拟]()（博客 · 入门）：谷歌 DeepMind 发布世界模型 Genie 4 的博客，作者为 Raia Hadsell、Diego Rivas 和 Hang Qi。文中称该模型原生多模态，可在生成世界的同时生成音乐、环境声和交互对话，并借助 Gemini 系列模型（如 Gemini Omni）维持模拟的真实外观与连贯性，可用于机器人和智能体的训练环境以及交互式体验，页面提供候补名单申请。 37. [那些画面精致、全凭 vibe coding 做出的游戏，人们到底是怎么做的？]()（帖子 · 入门）：r/ClaudeAI 的社区帖子，作者称自己用 Opus 5.5，做低多边形或仿 N64 风格还行，但再进一步就不理想；让它在 Blender 里做东西效果不好，用 Tripo 订阅服务时给参考图后总有小错误（如脚趾变形、蜥蜴战士尾巴被截断），自己没能力修改，而 Tripo 只能重新生成，交给 Claude 修也不够好。作者想了解他人如何仅靠向 Claude 打字就做出画面精良的类魂游戏、罗马步行模拟和恐龙开放世界战斗游戏，并问是否应改用 Claude Code，以及相比 Cowork 提升多大。适合用 AI 做游戏美术与建模、关心 vibe coding 工作流程的人阅读。 38. [gatewai-dev/framefields]()（项目 · 进阶）：一个以代码优先方式制作视频与图像的开源项目，基于 WebGPU 原生渲染。README 说明其把合成、动态图形与 3D 能力打包为一个 npm 包，面向由 AI 智能体用代码驱动的视频工作流，提供文档、示例与模型页面，许可证为 Apache-2.0，状态标注为 beta。 39. [sitor-ai/frametell]()（项目 · 进阶）：一个借助 AI 导演智能体把想法和素材转化为生动讲解视频的开源项目，主打本地优先、可搭配任意模型。README 说明用户可用一句话或笔记、文档、PDF、幻灯片、图片作为输入，由导演智能体先产出草稿；项目以 Electron 应用形式提供 macOS（Apple Silicon）下载，标签涵盖故事板、文本转视频、TTS 等。 40. [shinshin86/mesh-avatar-studio]()（项目 · 进阶）：一个把单张插画转成可动画 2D 网格化身（VTuber 风格）的工具：编码智能体从图片准备化身，用户在本地编辑器中带实时预览微调，化身可眨眼、说话、转头、呼吸和摆发。需要 Node.js 22.17\+ 与 Git，可用 npx create-mesh-avatar-studio 试用，另有网页版 Player 用摄像头和麦克风驱动。仓库提供日文和简体中文 README。 41. [我如何用 Claude 制作可交互的网页 3D 资产（内含 Artifact）]()（帖子 · 进阶）：这是一条 Reddit r/ClaudeAI 社区帖子。作者讲述用 Claude Code 在终端中调用 Unreal Engine、Blender 和本地 image-to-3D 流程，制作一个可拖动、支持方向键的交互式网页 3D 资产：包括搭建 MetaHuman 场景与灯光、制作服装与扇子绑定、处理手臂与手部动画及碰撞、生成面具与头骨、编写视频编码与 WebGL 合成页面，并在无头 Chrome 中测试桌面和手机尺寸。作者自述负责美术方向与反馈迭代，还提到用平实语言描述问题（如“手看起来像塑料”“手动作僵硬”）来让 Claude 定位并修复。适合对 Claude Code 驱动 3D 与前端资产工作流感兴趣的人阅读。 42. [斯坦福 EE292R 科学与人工智能及数据｜2026 年秋季｜从世界模型到世界智能体]()（课程 · 深入）：这是斯坦福课程 EE292R 的一场讲座，讲者 Gordon Wetzstein 为电子工程系（兼计算机科学系）副教授。讲座介绍视频世界模型的最新进展，重点包括增强长时间上下文中的时间一致性与推理、缓解自回归漂移，以及多智能体动态的整合和有效的人类中心条件控制策略。材料附有课程时间表链接。 43. [推荐开源 Hi3D V1.0 三维生成模型]()（项目 · 深入）：这是 Hi3D v1.0 的官方 GitHub 仓库，提供推理代码、模型权重和文档，发布日期标注为 2026 年 10 月 23 日。据 README，该模型基于 Sparc3D 表示与细化架构，以同一物体的参考图像为条件把粗略网格细化为高分辨率几何，报告称训练使用约两百万个精选 3D 资产、细化分辨率达 1536³；仓库不含训练代码与论文评测工具。 44. [NTU Hung-yi Lee \(李宏毅\)（2026 春）]()（课程 · 入门）：台湾大学李宏毅教授的个人主页，当前页面标注的学期为 2026 春。页面包含他的简介（台大硕士与博士，2012–2013 年在中央研究院资讯科技创新研究中心做博士后，2013–2014 年访问 MIT CSAIL 口语系统组）、研究方向（交互式检索强化学习、风格可控聊天机器人、无监督语音识别、口语内容检索与理解、口语问答）以及办公室、实验室和邮箱等信息。 45. [音乐人自己编写 AI]()（书籍 · 入门）：这是一本由 Taylor & Francis 出版的开放获取图书，作者为 Basica, Constantin 与 Zhu, Julie，出版信息只给到 2026 年。书中结合学术研究与音乐人实际经验，讨论音乐与 AI 的交汇，由新兴的“编程音乐人”作者撰写各自的艺术实践与研究，内容涉及算法作曲、共创系统、神经网络与 AI 伦理，并收录对已将 AI 用于创作的音乐人的访谈。 46. [介绍 OpenAI Presence]()（博客 · 入门）：OpenAI 于 2026 年 7 月 22 日发布的产品公告，介绍 OpenAI Presence：一个面向企业的 AI 智能体平台，帮助组织在客户与内部工作流程中部署可信的语音和聊天智能体。页面说明该产品当日即可用于语音和聊天智能体。 47. [Voxtral 3]()（博客 · 入门）：Mistral 介绍 Voxtral 3 的产品公告，包括语音智能体 SDK 与支持 50 多种语言的语音模型，用于实时多步对话。文中称其结合了准确的语音转写、带情绪适配的自然语音合成以及工具调用集成，可通过 Mistral 的欧盟托管 API 或自部署使用，面向呼叫中心、虚拟助手和免手操作助手等场景，并附有一段预约就医对话的示例演示。 48. [assafkip/claudemy]()（项目 · 入门）：这是一个面向 Claude Code 的开源免费技能，定位为 Udemy、Coursera 的替代方案。用户给出一个主题，它会检索网络资料并生成约 12 节、每节 2 分钟的音频课程，并附上引用来源。技术标签显示其涉及文本转语音（ElevenLabs）、微学习与课程生成等方向。 49. [Leonxlnx/earshot]()（项目 · 进阶）：为编码 Agent 提供“耳朵”的开源工具，让它能听见、评审并生成声音，仅用 CPU 本地运行。以 CLI、Python API 和 MCP 服务器形式提供，功能包括用文字描述文件听感、评估与描述的契合度、定位长录音中的最佳片段、判断声音是否为代码合成、生成逐秒听感转录和评分卡，以及用 earshot forge 以代码造声、用 earshot fit 把录音转成代码。 50. [kanaworksai-hue/audio-studio-mcp]()（项目 · 进阶）：为 Claude Code 及任意 MCP 客户端提供本地 AI 背景音乐与音效生成的 MCP 服务器，基于 Stable Audio 3，在 Apple Silicon 上使用 MLX、在 Windows NVIDIA GPU 上使用 PyTorch，无需云端服务和 API Key。适合需要本地音频生成（如游戏音频）的开发者使用。 51. [分步指南：用 ADK 构建一个从不沉默的语音智能体]()（教程 · 进阶）：Google 开发者博客 2026 年 10 月 19 日的文章，作者为 Stephen Allen 与 Kaz Sato。内容介绍如何用开源 Agent Development Kit（ADK）和 gemini-3.8-live，在 Python 中实现非阻塞工具来构建响应及时的语音智能体，包括用流式工具输出进度更新、用后台执行模式在长时间后端查询期间保持对话流畅，以及配置 WHEN\_IDLE、INTERRUPT、SILENT 等响应调度行为来控制工具结果何时以何种方式进入对话。适合用 ADK 和 Gemini 实时接口开发语音智能体的开发者阅读。 52. [如何构建被用户打断也不会崩掉的语音 agent——Jesse Hall，LiveKit]()（教程 · 进阶）：LiveKit 的 Jesse Hall 讲解如何为金融服务构建听起来自然而非机械的语音 agent。内容包括为何模型排行榜会误导选择（排行榜评分的是组件，而交付的是对话）、应以首段音频和首句话的延迟而非首字节/首 token 衡量、用异步工具调用在慢速后端运行时保持对话流畅，以及音频感知的轮次检测、约 1.5 秒延迟预算（500–600 毫秒才接近真人）和用模拟呼叫者对自己的技术栈做基准测试。视频含酒店预订 agent 演示和分章节时间轴。 53. [C4rohan/Lampline]()（项目 · 进阶）：这是一个开源、可自托管的语音电话智能体（voice agent）项目，可在本机或自有服务器上用一条命令构建、测试和运行，并用 AI 来电者测试每次改动。无 API 密钥时可免费运行，自带密钥时每通电话成本约 0.02–0.17 美元；支持从 Dialogflow CX 和 CX Agent Studio 导入智能体。话题标签涉及 agents-as-code、呼叫中心、IVR、SIP、语音识别与合成、pipecat 等。 54. [在 Mac 上用本地 AI 模型构建应用]()（书籍 · 进阶）：这是 Manning Publications 出版的书，作者 Keiji Kamigusa，出版日期 2026-09-28，296 页，ISBN 9781633433700，主题词为 AI。简介称其以在任意近期 Mac（从基础款 Mac mini 到 Mac Studio）上构建语音聊天机器人为逐步实践项目，串联音频采集、语音转写与语言模型推理三项本地技术，涵盖 Homebrew 配置、下载本地大模型等内容，主题是本地运行 AI 带来的隐私与免订阅优势。适合想在 Mac 上做本地 AI 应用开发的读者阅读。 55. [liyupi/ai-promo-video-maker（AI 产品宣传片制作器）]()（项目 · 进阶）：一个开源仓库，提供由 AI 编程工具（如 Cursor、Claude Code、Codex）驱动的产品宣传片制作流程。用户给出产品名或网址后，工具会调研产品、生成多风格样图、截取 4K 页面、按音乐节拍剪辑、生成并校验 AI 旁白、自动审图，最终输出 4K 视频和网页版。项目基于 Remotion 与 ElevenLabs，采用 MIT 许可。 56. [Granite Speech 5.0：更准确、更快速地转写、翻译与说话人归属]()（博客 · 进阶）：IBM 的企业类博客文章，介绍 Granite Speech 系列的三个更新：新模型 granite-speech-5.0-2b，以及 granite-speech-5.0-470m-turboctc 和 granite-speech-4.1-2b-plus 的修订版。文中称三者分别面向高准确率的转写与翻译、边缘端极快转写、以及需要区分说话人与时间信息的录音等企业语音场景；新材料显示新模型在 ASR 准确性和抗噪抗混响方面更强，并支持语言 ID 提示。面向企业语音相关应用者。 57. [NVIDIA Nemotron 3.5 Transcribe 与 Granary v2：可提示、可适配的智能多语言转写]()（博客 · 进阶）：这是 NVIDIA 发布在 Hugging Face 上的博客，介绍开放的 Nemotron 3.5 Transcribe 模型与 Granary v2 数据流程。该模型把多语言转写、说话人区分（diarization）、翻译和音频问答整合在同一个检查点中，可转写 40 种语言，并支持提示词控制；文章同时提供 Granary v2 数据处理流程与微调方案以便适配。适合关注语音模型与开源权重的开发者阅读。 58. [为开放 ASR 排行榜加上防刷分机制]()（博客 · 进阶）：Hugging Face 博客文章，由 Eric Bezzam、Steven、Eustache Le Bihan 及 Appen、DataoceanAI 等作者撰写。文章说明 Appen 与 DataoceanAI 提供了覆盖多种口音、包含脚本与非脚本语音的高质量英语 ASR 数据集，为防止刷榜（benchmaxxing）或测试集污染，这些数据集将保持私有；排行榜默认平均 WER 仍只基于公开数据集计算，用户可通过开关选择是否纳入私有数据集查看其影响。 59. [我为语音转文字应用微调了一个 LLM，用来清理转写文本]()（帖子 · 进阶）：一篇 r/LocalLLaMA 社区帖子，作者为自己开发的语音转文字应用 WhisperNow 微调本地 LLM 做文本清理，去除口头填充词、误起头、自我纠正并格式化列表。帖子介绍了 66,557 行的数据集（合并公开数据与合成听写内容），说明训练中发现的薄弱点及补充样本的做法，并给出 LFM2.5 1.2B/2.6B、Qwen3.5 4B 三个全量微调模型在 GPU 与 CPU 上的耗时对比，以及与若干云端 API 的延迟对照。适合在做本地语音输入或文本后处理模型微调的人阅读。 60. [制作 TTS“全阵容有声剧”]()（帖子 · 进阶）：这是一条 Reddit r/LocalLLaMA 社区帖子。作者展示其应用 tts-audiobook-tool 的 demo 输出：旁白加三个说话角色各用不同声音。帖子提到一个可选的预备步骤，用 LLM 识别角色及其对白，再映射到项目中已配置的克隆声音；用 Deepseek Flash 4.1 API 对小说《太阳照常升起》的对白识别准确率超过 99%（作者也承认 LLM 对该小说的既有知识可能有帮助），并认为本地运行的同类模型应当表现不错。所用 TTS 模型为 Breeze 2 TTS，应用还支持一二十种其他模型，作者目前最偏好 Breeze 2 与 MOSS TTS 9B。适合用本地 TTS 与 LLM 做有声书、多角色配音的人阅读。 61. [把鸡尾酒会音频当作反向图灵测试：人类胜过语音模型，但差距不够大 \[P\]]()（帖子 · 进阶）：一篇 r/MachineLearning 社区帖子，作者用 40 段合成音频（一条目标语句混在多人声背景中）搭建了一个类似音频验证码的小实验，收集 18 场会话共 146 份人工转写，并与 Whisper base/small、Vosk、Wav2Vec2、Qwen3-ASR、Parakeet CTC、Gemini 等 8 种模型配置对比词准确率。结论是人类的平均词准确率为 0.71、通过率 77%，明显高于模型，但差距不足以做成可靠的 CAPTCHA；作者还说明指令提示可将 Gemini 从 0.34 提升到 0.54，并列出小样本、单一合成音色等局限。适合关注语音识别评测与音频人机区分方法的人阅读。 62. [Lure-TTS 与 Lure-Turbo：600M 语音模型，运行速度比实时快 4 倍，支持内联标签、指令控制和声音克隆，训练成本低于 200 美元]()（项目 · 深入）：Hugging Face 上的模型页面（Lure-TTS-0.6B），作者介绍其基于 Qwen3-TTS 微调训练，使用了 RLVR、OPD 和多教师 OPD 等方法。流程包括先用分类器标注强度、笑声哭泣等事件、情感和指令等数据来清洗语料，再做 SFT 训练标签能力，随后通过多教师在线蒸馏整合声音克隆、指令理解、文本标签等能力。作者还将 15 次 pass 的 code predictor 缩减为 3 次 pass，使模型可达到比实时语音快 4 倍的速度，Turbo 版本 RTF 为 0.14（对比 0.195）。适合做语音合成、语音助手方向的读者。 63. [我把 EmbeddingGemma-2（577M）从 MTEB 音频榜（MAEB）第 26 名带到第 1 名，零训练加一个 2.4MB 的 PCA 头，击败 9B 模型]()（帖子 · 深入）：这是一篇 Reddit r/LocalLLaMA 社区帖子，作者在 Google 的 577M 参数、768 维向量模型 embeddinggemma-2 上加入一个 2.37MB 的冻结 PCA 矩阵文件，未训练任何权重，就把 MAEB 音频榜得分从 49.3% 提升到 54.4%，音频榜从第 26 名升至第 1 名（完整 MAEB 从第 16 名升至第 1 名）。帖子解释了原理：从冻结音频编码器较早层提取特征以保留音色、情绪等声学信息，并列出无监督语音/性别聚类、歌曲音频检索、人声情绪分类等任务上的提升数字，权重发布在 Hugging Face。适合在笔记本或边缘设备上做音频/文本嵌入检索、关注小模型与嵌入模型改进的人阅读。 64. [\[R\] 用 PCA 降维的 Conformer 中间层填充 256 维零空间，把 EmbeddingGemma-2（577M）在 MAEB 音频榜单上从第 26 名提到第 1（零训练） \[R\]]()（帖子 · 深入）：r/MachineLearning 社区帖子，讲述在 google/embeddinggemma-2（577M）上的实验：仅用 PCA 把中间 Conformer 层投影到最终投影矩阵未被使用的零空间，在 MTEB 榜单的 30 任务音频基准 MAEB 上宏平均分从 49.3% 升到 54.4%（\+5.1 点），MAEB 纯音频排名从第 26 升至第 1，完整 MAEB 从第 16 升至第 1；帖中并分析了文本对齐音频编码器末层过滤掉副语言与声学特征的现象，以及对 12 层 Conformer 逐层探测的结果。适合研究音频/多模态嵌入表示与零训练后处理的人阅读。 65. [欧洲工业领军企业借助英伟达重塑工程与制造]()（博客 · 入门）：这是 NVIDIA 博客文章，介绍欧洲工业企业将 NVIDIA CUDA-X、Omniverse 库以及 Cosmos、Nemotron 开放模型用于工程与制造全流程。文中提到 NVIDIA Factory Operations Blueprint（FOX）已在 GitHub 开放早期访问，供开发者构建协调机器作业的工厂管理智能体和视觉检测、根因分析、报告生成、车队管理等专用智能体；西门子正将基于 FOX 构建的智能体集成进其 Intelligence Center X，并称预计可节省约 20% 成本。适合关注工业智能体与制造业数字化的读者。 66. [英伟达开放模型推动欧洲各行业的自主智能]()（博客 · 入门）：英伟达博客文章介绍其扩展中的开放模型系列，覆盖语言、机器人、生物和量子计算等方向。文中列举了 Nemotron 3.5 Super VL、Nemotron 3.5 Bolt、Nemotron Retriever、Kumo 系列、Cosmos 3.5、Alpamayo 2 Edge、BioNeMo 和 Ising 等模型，并称这些模型可让机构用本地数据定制、部署在自有基础设施上。文中还提到 Nemotron 模型由包含 Black Forest Labs、H-Company、Mistral 等欧洲伙伴的 Nemotron 联盟提供数据与研究支持。 67. [Gemini Robotics 2 为机器人带来全身智能]()（博客 · 进阶）：Google DeepMind 发布 Gemini Robotics 2，称其为驱动下一代可适应机器人的智能层，支持智能全身控制、精细灵巧操作和多机器人协作。文章指出多数机器人仍依赖预编程或遥操作，难以自主学习、适应不可预测环境，并提到该模型让机器人对每个动作进行推理以完成多种任务。 68. [英伟达 Cosmos 开放训练、评测与部署世界模型的新工具]()（博客 · 进阶）：这是 NVIDIA 博客文章，介绍 Cosmos 平台的扩展，包括新的训练工具、仿真检查点和 Cosmos Data Factory 蓝图，用于帮助开发者构建理解并模拟现实世界的世界模型，服务于物理 AI 系统。文中提到 Cosmos Curator 新增多模态多感官输入支持，并列出五个云原生蓝图，如自动驾驶数据集生成、图像属性增强、事件视频生成、缺陷图像生成等，可通过 GitHub、Microsoft Azure、Nebius 和 CoreWeave 获取。适合从事世界模型与物理 AI 数据工作的开发者读者。 69. [让 AI 智能体扎根于生物现实：自主湿实验室的基础构件]()（博客 · 进阶）：Google Research 的一篇博客，介绍将 AI 智能体与实体实验室机器人结合、开展闭环分子设计循环的研究工作，报告了针对癌症靶点发现单位数纳摩尔级蛋白结合物。文章指出前沿模型在三维几何与物理状态推理上仍不可靠等挑战，并附有 VERID、智能体适配体沙箱和表位切除等相关论文链接。 70. [用于 Sim2Real 迁移的域随机化]()（博客 · 深入）：Lil'Log 博客介绍机器人领域域随机化（Domain Randomization）的文章。先说明仿真到真实迁移的困难与系统辨识等思路，然后讲均匀域随机化的做法，从优化和元学习两个角度解释其原理，并介绍面向任务性能的引导式域随机化，包括匹配真实数据分布和借助仿真器数据引导两类方法。 71. [斯坦福 AA274A 机器人自主性原理｜2019 年秋季｜参数化滤波]()（课程 · 深入）：这是斯坦福课程 AA274A 第 15 讲录像，主题为参数化滤波（KF、EKF、UKF），由 Marco Pavone 教授讲授。材料说明该讲录制于 2019 年版课程，课程内容、结构和作业此后可能已变化，所附链接指向最新版本；视频简介还提供配套教材 Principles of Robot Autonomy 的免费在线地址。 72. [自主边缘——嵌入工业应用中的智能]()（书籍 · 深入）：这是一本由 Taylor & Francis 出版的开放获取图书，作者为 Vermesan, Ovidiu 与 Pijlman, Fetze，出版信息只给到 2026 年。书中汇集多学科研究者与实践者的文章，讨论人工智能、边缘计算、自主系统与工业应用交汇处的技术变化，包括智能从云端向车辆、机器人、制造系统、智慧城市与嵌入式设备迁移，以及在延迟、能耗、隐私、安全与实时性约束下的边缘 AI 设计，主题词涉及软件定义汽车与联邦学习。 73. [CMU 10-703：深度强化学习（2026 秋）]()（课程 · 深入）：这是卡内基梅隆大学 10-703 深度强化学习课程的课程网站，课程综合计算机视觉、机器人控制、强化学习和语言理解等方向，讨论如何构建能感知世界并通过模仿、最大化稀疏奖励或满足好奇心来学习行动的智能体。课程目标包括实现和实验现有方法、评估其样本复杂度与泛化性、理解机器人学习领域论文等。页面列出先修要求：算法、概率、计算机视觉、深度学习（TensorFlow 与 PyTorch）、矩阵微积分和编程基础。 74. [Claude Science：面向科学家的 AI 工作台]()（博客 · 入门）：文章介绍 Claude Science，一个面向科学家的 AI 工作台应用。它整合研究人员常用工具和软件包，产出可审计的工件，并提供灵活的计算资源访问；文中提到科研常需跨多个数据库和 PubMed、Jupyter、R、集群终端等工具切换，该应用旨在把这些分散的工具集中起来。适合科研人员和对 AI 科研工具感兴趣的读者。 75. [用 AI 帮助医生诊断影响儿童的罕见遗传病]()（博客 · 入门）：OpenAI 2026 年 6 月 18 日发布的应用 AI 类文章，介绍一项发表于 NEJM AI 的研究：专家使用 OpenAI 的推理模型重新分析 376 个此前未解决的病例，为 18 个诊断提供线索。页面附有该研究摘要的链接。 76. [发掘可再利用的药物以对抗肝纤维化]()（博客 · 入门）：Google DeepMind 博客文章（2026 年 5 月 19 日），介绍斯坦福大学医学院遗传学家 Gary Peltz 使用 Co-Scientist 寻找肝纤维化治疗药物的研究。研究发表于 Advanced Science：Peltz 让 Co-Scientist 提出三个候选药物并说明理由，同时自己选出两个，再用活体人类肝细胞测试；他自己选的两个无效，Co-Scientist 所选药物中有两个阻断了纤维化并促进肝细胞再生。 77. [WeatherNext 如何帮助美国国家飓风中心更好地预测飓风 Melissa 在牙买加的历史性登陆]()（博客 · 入门）：Google DeepMind 博客文章（2026 年 5 月 19 日），讲述 2025 年 10 月飓风 Melissa 登陆牙买加一事的预测过程。文中说明 WeatherNext AI 模型帮助美国国家飓风中心提前五天高置信度预测出风暴的快速增强和在牙买加的登陆，该中心据此首次从一级风速起预测风暴达到五级强度，并为当地社区发布预警、争取准备和疏散时间。 78. [Claude 揭示 ECDSA 曲线参数的来源]()（博客 · 入门）：Anthropic 研究页面，称已解开最常用密码学标准之一的起源之谜，摘要给出“其实就是时间戳”的说法。正文说明 ECDSA 于 2000 年被 NIST 采纳为 FIPS 186-2 数字签名标准的一部分，其中曲线参数 b 由 NSA 提供的 seed 参数哈希生成，而这些 seed 的出处长期没有解释；文中以 NIST P-256 的 SEED 值为例。页面注明读者可将其视为一个有趣的收尾章节，无需采取任何行动。 79. [Co-Scientist：加速研究的多智能体 AI 伙伴]()（博客 · 进阶）：Google DeepMind 介绍 Co-Scientist，这是一个基于 Gemini 构建的多智能体 AI 系统，用于针对复杂科学问题迭代生成、辩论和演化新假设，面向生命科学等领域的研究者。文章提到相关研究已在 Nature 发表，并通过名为 Hypothesis Generation 的实验性工具向个体研究者开放。 80. [AlphaEvolve：我们的 Gemini 驱动编程智能体如何扩大跨领域影响]()（博客 · 进阶）：这篇文章由 AlphaEvolve 团队在 Google DeepMind 博客发布，日期为 2026 年 5 月 7 日。文章回顾了一年前推出的、基于 Gemini 的算法设计编程智能体 AlphaEvolve，并汇总其在数学、计算机科学、Google 基础设施、自然世界物理解释、电网和计算基础设施等领域已产生的影响，其中提到它在基因组学中用于改进 DeepConsensus 模型。文章面向关注 AI for Science 与算法应用的读者。 81. [智能体时代下的科学计算]()（博客 · 进阶）：OpenAI 于 2026 年 7 月 28 日发布的一篇研究出版物，是一份探索性实地报告。报告介绍科学家如何使用编码智能体来更新科学计算软件，以加快基因组学及其他数据密集型领域的软件开发与研究进程；页面附有论文 PDF 链接。适合对科研工作流与 AI 智能体应用感兴趣的读者。 82. [一个接近自主的 AI 化学家改进了药物化学中一项颇具挑战的反应]()（博客 · 进阶）：这是 OpenAI 与 Molecule.one 合作的研究发布，介绍一个使用 GPT-5.4、接近自主运行的 AI 化学家（Molecule.one 的 Maria）改进了关键药物合成反应。文中称其找到一种出人意料的添加剂，使测试的 80% 以上底物的 Chan-Lam 偶联产率提升，并附有论文和思维链摘要链接。 83. [Claude 设计了针对蝎神经毒素的蛋白结合体]()（博客 · 进阶）：Anthropic 介绍其内部研究用 Claude 模型按提示词和四次后续追问设计出针对蝎神经毒素的小型蛋白结合体（minibinders），这些提示由 Anthropic 与投资研究公司 Citrini Research 合作拟定。Adaptyv Bio 和 Twist Bioscience 的团队对 211 个设计做了结合实验测试，其中 17 个符合标准，Anthropic 将全部 211 个设计及数据作为资源公开。 84. [用 Claude 设计更高效的量子电路]()（博客 · 进阶）：这是 Anthropic 的一篇研究介绍文章，讲团队给 Claude 提供了化学、优化、物理模拟和数论领域八个电路的纯文字规格说明，以及一个自动检查并评分的评估器，Claude 基本独立地设计出了优于已发表最佳版本的电路，部分案例提升一个数量级或更多。文章称这类改进能显著减少实用应用所需的量子资源；工作由 Andi Gu 在 Anthropic STEM Fellows 项目中主导，并与哈佛的 Susanne Yelin、Mikhail Lukin 等合作，完整论文见 arXiv。 85. [实证研究助手（ERA）：从《自然》论文发表到推动计算发现]()（博客 · 进阶）：Google Research 介绍 Empirical Research Assistance（ERA），一个使用 Gemini 编写和优化科研代码的 AI 工具，针对科研中反复测试与改进计算实验这一耗时环节。相关成果以论文形式发表于《自然》，该技术还被用于构建 Computational Discovery 原型，并通过 Google Labs 的可信测试者计划开放。 86. [SymptomAI：面向日常症状评估的对话式 AI 智能体]()（博客 · 进阶）：这是 Google Research 发布的一篇研究介绍，作者为研究实习生 Joseph Breda 与研究科学家 Jake Sunshine，日期为 2026 年 7 月 22 日。文章介绍了一项全国规模的研究，内容是用 AI 进行鉴别诊断和症状自查。文中指出，大量临床诊断可仅凭语言访谈得出，而现有语言模型评估多依赖精心编写、有时是合成的病例描述，不能反映日常患者描述症状时医疗知识水平不一、信息不完整等真实情况。 87. [用数千个 AI 智能体在生物数据中发现新线索]()（博客 · 进阶）：OpenAI 的一篇研究发布（标注日期 2026 年 10 月 21 日），介绍 OpenAI 与 PerturbAI、Scripps Research 合作，用分布式并行部署的数千个 AI 智能体，帮助科学家在来自数百万个脑细胞的数据中识别有前景的研究线索，并提供指向 bioRxiv 上论文的链接。 88. [用 Google Antigravity 加速抗菌肽的搜寻]()（博客 · 进阶）：这是 Google DeepMind 的一篇技术文章，介绍利用其智能体开发平台 Google Antigravity 作为“智能体科学工作台”，帮助生物学家快速发现、结构评估并优先排序候选靶点，缩短原本分散于多个数据库的检索流程。文章称研究者借助可从氨基酸序列预测生物学功能的模型 ProtNLM 扫描 UniProt 中数以百万计的未表征蛋白，并给出一个技术演示：发现有候选抗菌肽对呼吸道感染相关病原体具有预测活性。 89. [推出 LifeSciBench]()（博客 · 进阶）：这是 OpenAI 的研究发布，介绍 LifeSciBench——一个由专家撰写并评审的基准，用于评估 AI 系统处理真实生命科学研究任务与决策的表现。文中附有论文预印本链接，并讨论智能体式 AI 系统执行科研任务的能力。 90. [推出 GeneBench-Pro]()（博客 · 进阶）：OpenAI 2026 年 6 月 30 日发布的文章，介绍 GeneBench-Pro 这一研究级基准，用于测试 AI 智能体在计算生物学中面对模糊信息、做出重要判断的能力，覆盖基因组学、定量生物学和转化医学等更复杂、更贴近现实的任务。该基准是对 GeneBench 的扩展。内容面向关注 AI 科学评测的研究人员。 91. [GPT-Rosalind 新增能力介绍]()（博客 · 进阶）：OpenAI 的产品公告，介绍专为大规模生命科学研究打造的 GPT-Rosalind 系列模型更新，结合了 GPT-5.5 的智能体编程和工具使用能力，并加强了药物化学、基因组学等药物发现领域的表现，在生物学专家研究任务、复杂药物化学查询等评测中显示性能提升。该模型以研究预览形式向符合条件的机构提供。 92. [LitPivot：在文献图景中通过动态语境化发展研究想法]()（博客 · 进阶）：文章介绍 AllenAI 与宾夕法尼亚大学合作开发的 LitPivot 系统，帮助研究者应对因读到已有工作而改变研究方向的“文献引发的转向”。系统使用通过 Asta Paper Finder 检索到的论文，围绕提案中正在编辑的部分组织文献，给出有选中研究摘录支持的批评，并提出研究者可接受、修改或拒绝的修订建议。文中说明该系统面向早期研究构思，在一项 17 名研究者的研究中领域专家对研究进行了评分。 93. [我们能否信任大语言模型判断一个研究想法是否新颖？]()（博客 · 深入）：这是 Ai2 在 Hugging Face 上发布的一篇文章，介绍其研究《Old Ideas, Novel Problems》，考察大语言模型评估科研想法新颖性的可靠性。文中同时发布了用于测试“新颖性评判器”的基准、数据和代码，以及可供研究者构建新评测集的自动化流程，并交代了该机构在科学发现辅助系统方面的相关项目背景。 94. [OlmoEarth v1.1：一个更高效的地球观测模型家族]()（博客 · 进阶）：这是 Ai2 发布 OlmoEarth v1.1 版本的文章。文中说明该系列模型用于卫星影像处理与大面积区域预测，相比前代可将计算成本最多降低约 3 倍，并给出模型合集、技术报告和预训练代码的链接。文中提到 v1 版本于 2025 年 11 月发布，合作伙伴已将其用于红树林变化追踪、森林丧失驱动因素分类、国家级作物类型制图等任务。 95. [洪水韧性的新篇章：开源 Google 水文学框架]()（博客 · 进阶）：这是 Google 研究科学家 Grey Nearing 和 Deborah Cohen 于 2026 年 6 月 3 日发布的博客，介绍 Google 将水文学建模框架在 GitHub 上开源。该框架允许研究者和预报人员用与 Google Flood Hub 河流洪水预报相同的架构和类似训练数据训练 AI 洪水预报模型，也便于水文学家添加和测试新模型、数据与方法。适合水文、气象预报及相关领域研究人员阅读。 96. [临床数据的学习、可视化与部署（HST.953）]()（课程 · 进阶）：MIT OpenCourseWare 上的一门研究生课程页面，2024 年秋季开设，由 Marzyeh Ghassemi、Leo A. Celi、Adam Rodman、Ned McCague 授课，隶属电子工程与计算机科学系及健康科学与技术系。课程简介说明它讨论在医疗场景中落地机器学习所需的实践考量，先关注利用真实回顾性医疗数据的稳健、隐私与公平的机器学习，随后涉及以实用性为目标的可视化等内容。页面列出的资源类型包括讲师见解、问题集、编程作业和阅读材料。 97. [SensorFM：面向可穿戴健康数据的通用智能与接口]()（博客 · 深入）：这是 Google 高级研究科学家 Xin Liu 和 Daniel McDuff 于 2026 年 7 月 9 日发布的博客，介绍可穿戴健康基础模型 SensorFM。该模型用来自 500 万人的超过一万亿分钟传感器数据预训练，可迁移到 35 项健康预测任务，支持标签高效适配与数据补全，并可作为个人健康智能体的基础工具。文中还提到个体生理差异大、标注数据获取昂贵等难点。 98. [详解 OpenAI 流体 PDE 构造与凸积分创新]()（帖子 · 深入）：这是一条 X 帖子，Scott Armstrong 用引用推文回应一条他无法回复的讨论串，评论 OpenAI 一篇流体 PDE 论文的构造，认为其与凸积分关系更大：凸积分中振荡通常靠手工构造、迭代产生病态弱解，而该论文巧妙设计了一种流体不稳定性，让流动自身从背景剪切中吸取能量产生振荡，雷诺应力则成为造出坍缩光滑涡的力。他指出用物理不稳定性制造应力没有先例，使之得到光滑而非粗糙的力，并提到相关想法部分见于 Leibovich–Stewartson 1983 等文献，但组合方式前所未见，也无人提出凸积分会参与此类爆破解。适合研究流体 PDE、凸积分与数学分析的人关注。 99. [迈向能从错误中学习的量子计算机]()（博客 · 深入）：这是 Google Quantum AI 研究科学家 Volodymyr Sivak 和 Paul Klimov 于 2026 年 7 月 22 日发布的博客，介绍将强化学习与量子纠错结合的工作。文中指出量子计算机对漂移敏感，目前需中断计算重新校准控制参数，而该工作在《Nature》发表的论文《Reinforcement learning control of quantum error correction》中展示了量子计算机可在长时间计算中持续适应漂移。 100. [用 Claude 发现密码学弱点]()（博客 · 深入）：Anthropic 研究人员的文章，介绍借助 Claude Mythos Preview 发现的两种改进后的密码算法攻击方法：一是显著削弱为后量子时代设计的数字签名方案 HAWK，二是给出攻击轮数缩减版 AES 的新途径。文章称这些属于研究层面的进展，目前不影响任何生产系统，并讨论了强大 AI 模型时代的密码学含义。 101. [斯坦福 EE292R 面向科学的 AI 与数据 \| 2026 年秋季 \| 视网膜中的计算模型]()（课程 · 深入）：这是斯坦福课程 EE292R“面向科学的 AI 与数据”2026 年秋季学期的一讲录像，讲者是斯坦福神经生物学教授 Stephen Baccus。该讲围绕早期视觉系统中可机制解释的计算模型展开，带有计算神经科学与机制可解释性方向的标签。 102. [研究评价中的定量方法]()（书籍 · 进阶）：这是一本由 White Rose University Press 出版的开放获取图书，作者为 Thelwall, Mike，出版信息只给到 2026 年。书中考察引文指标、替代计量（altmetrics）与人工智能方法在研究质量评价中的使用，结合理论讨论与实证证据，涉及这些指标的价值、局限及对招聘等评价决策的影响。主题词包括科学计量学、文献计量学和大语言模型。 103. [AI 正在变擅长数学。原因如下。]()（博客 · 入门）：文章列举了 2026 年一系列 AI 数学成果：OpenAI 内部模型找到 Erdős 单位距离猜想的反例、发表 Cycle Double Cover 证明、解决另外十个开放问题、给出 Navier-Stokes 证明；Anthropic 发布费马大定理形式化及黎曼猜想的新界。作者提出能否预测模型会解决哪类问题的议题，用“若干提示/洞见加上其间的努力”这一心智模型衡量问题复杂度，并引述 WT Gowers 对单位距离证明的评论。关注 AI 数学推理能力与问题难度分析的读者可读。 104. [一个 OpenAI 模型推翻了离散几何中的一个核心猜想]()（博客 · 入门）：这是 OpenAI 于 2026 年 5 月 20 日发布的文章，介绍一个内部 OpenAI 模型在平面单位距离问题上取得突破。该问题由 Paul Erdős 于 1946 年提出，问的是在平面放置 n 个点时最多有多少对点恰好相距 1。文中称，长期以来人们认为“方格”构造基本最优，而该模型推翻了这一猜想，给出了一族无穷多的构造，文章将其称为 AI 驱动数学的一个里程碑。 105. [数学从此永远改变——Kevin Hartnett]()（博客 · 入门）：这是一个围绕 Kevin Hartnett 著作《The Proof in the Code》制作的纪录片式访谈视频。内容从 1998 年 Thomas Hales 计算机辅助证明开普勒猜想、Annals of Mathematics 无法判定其正确性讲起，讲述 Lean 从微软研究院的副项目发展为数学界用于校验证明的系统，并采访了 Lean 创建者 Leonardo de Moura、Jeremy Avigad、Kevin Buzzard 等人。后半部分转向 AI，涉及 AlphaProof、自然语言奥赛证明、自动形式化，以及“形式化鸿沟”这一概念。 106. [与学术界合作建立科学理解]()（博客 · 深入）：OpenAI 发布的一篇研究类文章，介绍其在 Kakeya 猜想、指数时间假设（ETH）和量子色动力学等数学与物理问题上给出的模型结果，以及研究者如何验证并在此基础上继续工作。页面以“局部光滑化与 Kakeya 猜想”等小节组织内容。 107. [Leanstral 1.5：让所有人都能拥有充足的证明]()（博客 · 深入）：Mistral 发布的 Lean 4 形式化证明模型 Leanstral 1.5，采用 Apache-2.0 许可，总参数 119B、激活参数 6B。文中称其在形式验证任务上有大幅提升：miniF2F 达到饱和，PutnamBench 解决 587/672 题，FATE-H 达 87%、FATE-X 达 34%；训练经过中期训练、监督微调与基于 CISPO 的强化学习，并在测试的 57 个代码仓库中发现 5 个此前未知的缺陷。模型已开源，可通过 Hugging Face 和免费 API 使用。 108. [加州大学伯克利分校 EECS127/227A：优化模型（2026 春）]()（课程 · 进阶）：这是 UC Berkeley EECS 127/227A 2026 年春季课程主页。页面提供本学期、2024 年春季和 2022 年秋季的讲座录像链接（不同学期内容并非互相覆盖），以及由往届教学团队编写、本学期将持续更新的课程讲义。阅读材料标注使用两本教材的缩写：CEG 指 Calafiore 与 El Ghaoui 的《Optimization Models》，BV 指 Boyd 与 Vandenberghe 的《Convex Optimization》。页面还链接了线性代数复习课幻灯片，并给出课程日历，第 1–2 周内容涉及最小二乘、向量范数、Gram-Schmidt/QR 与最小范数解等，另附讨论课题目与解答 PDF。适合想了解优化模型课程进度与配套资料的人阅读。 109. [斯坦福 EE364A：凸优化 I（2026 夏）]()（课程 · 进阶）：这是斯坦福 EE364A（与 CME364a 等同）的课程主页，页面注明基本课程信息在此，详细更新内容在 Ed 平台。课程在 2025–2026 夏季学期由 Logan Bell 和 Nikhil Devanathan 讲授，每周二、周四 12:00–14:00 在 Skilling Auditorium 上课，首次课为 6 月 23 日，第一周答疑需邮件预约，课程通过 CGOE 平台向注册学生提供录像；因讲座有录像，允许与同期其他课程同时选修，期末考试另设时间。页面还提供完整幻灯片 PDF、CVXPY 教程及若干凸优化应用示例链接，并列出课程助教。适合想了解凸优化入门课程安排和学习资源的人阅读。 110. [MIT 6.231：动态规划与随机控制（2015 年秋）]()（课程 · 深入）：MIT OpenCourseWare 上 6.231《Dynamic Programming and Stochastic Control》的讲义幻灯片页面，课程由 Dimitri Bertsekas 教授讲授，属电子工程与计算机科学系研究生课程，2015 年秋季开设。页面提供完整讲义 PDF 及分讲次幻灯片，例如有限时域问题讲座涵盖动态规划导论与示例、反馈的意义、最优性原理与通用动态规划算法、状态增广、确定性有限状态问题与逆向最短路径等。课程材料还包括考试及解答、习题集和视频。适合学习动态规划与随机控制理论的人使用。 111. [MIT 6.438：推断算法（2014 秋）]()（课程 · 深入）：这是 MIT OpenCourseWare 上 2014 年秋季开设的研究生课程 6.438 的课程页面，由电子工程与计算机科学系的 Devavrat Shah 教授讲授。课程介绍称其是研究生层次的统计推断原理入门，所涉概率模型以图表示方式定义，内容构成机器学习、信号处理、人工智能、计算机视觉与控制等方向工作的共同基础。页面列出课程所属主题（算法与数据结构、概率与统计、可视化等）以及可用资源类型，包括讲义笔记、习题集和考试。适合具备概率统计基础、希望系统学习图模型统计推断的研究生或相关方向学习者查看。 112. [金融中的签名方法]()（书籍 · 深入）：DOAB 收录的开放获取图书，作者为 Christian Bayer、Goncalo dos Reis、Blanka Horvath、Harald Oberhauser，Springer Nature 出版，出版年份 2026，DOI 为 10.1007/978-3-031-97239-3，可免费合法阅读。简介称本书为路径签名方法这一快速发展领域提供入门指引，面向早期职业研究者和量化分析师、应用研究者等具备量化背景的从业者，涵盖近期进展并含编码示例；主题包括路径签名方法、机器学习、数学金融建模，以及交易、模型校准和统计金融中的示例。信源不提供版次。 113. [大语言模型正让形式化软件验证在大得多的规模上变得可行]()（博客 · 深入）：Anthropic 的一篇研究文章，介绍其与 Theorem 合作，用 Claude 在 100 多个真实开源软件库的汇编代码（RISC-V）层面证明安全属性，并称过程中发现了多年未被察觉的缺陷。文章称这据其所知是首次在汇编层面把形式化验证大规模应用于生产软件。作者署名包括 Keane Lucas、Nicholas Carlini 等人。 114. [Show HN：IRS 联邦税表的原型形式化项目]()（项目 · 深入）：这是一个 GitHub 仓库，作者称其全部由 AI 生成（vibe coded），目标是为美国联邦税表建立可追溯的形式化模型，让用户和维护者能把各项断言与解释回溯到权威原始文档，以解决此类软件可信度依赖维护方的问题。作者明确表示项目目前处于搁置状态，不应作实际用途。适合对税务软件形式化、可验证软件与 AI 生成代码可信度话题感兴趣的人阅读。 115. [11 个正方形最优装箱问题的 AI 辅助证明]()（项目 · 深入）：一个 GitHub 仓库，包含 11 个正方形装箱最优性证明的 Lean 形式化版本。据 README，完整证明已在 EvolvingPrograms 的验证运行中通过，涉及 7,920 个本地 Lean 模块，最终审计报告零处 admitted；部分精确数值证书检查使用 native\_decide，几何、检查器可靠性与证明组装仍用普通 Lean 证明。最优边长由含八次方程根 u 的公式给出，数值约为 3.8770835900228141773，并附有验证报告与证书哈希记录文件。 --- 中文标题与摘要由模型根据原文生成，以原文为准。 来源：LearnMap · 学径（https://oplearnx.com）