推出 Gemini Omni
Introducing Gemini Omni
Google DeepMind 介绍 Gemini Omni 模型,称其可从任意输入生成内容,首先支持视频。Omni 可组合图像、音频、视频和文本作为输入,生成基于 Gemini 世界知识的高质量视频,并支持通过对话式自然语言编辑视频、保持角色与场景一致性。首个模型 Gemini Omni Flash 已在 Gemini 应用、Google Flow 和 YouTube Shorts 上线,后续将支持图像和音频输出。
学习视频、三维资产和角色动作生成,适合媒体创作者与图形开发者。
16 条精选 · 入门 7 · 按推荐学习顺序:越基础、直观越靠前,越系统、深入越靠后
Introducing Gemini Omni
Google DeepMind 介绍 Gemini Omni 模型,称其可从任意输入生成内容,首先支持视频。Omni 可组合图像、音频、视频和文本作为输入,生成基于 Gemini 世界知识的高质量视频,并支持通过对话式自然语言编辑视频、保持角色与场景一致性。首个模型 Gemini Omni Flash 已在 Gemini 应用、Google Flow 和 YouTube Shorts 上线,后续将支持图像和音频输出。
How are people making those insane graphic motions video that I keep seeing on instagram using claude ?
Reddit r/ClaudeAI 上的社区帖子。发帖者称在 Instagram 上看到许多高水准动效视频都声称用 Claude 制作,但自己让 Claude 生成同类视频时效果不如这些作品,于是询问具体做法,并提到看到一条标注“Claude + Katana”(Katana 来自 higgsfields)的视频,询问这是否是可行路径。帖子下附带自动生成的讨论摘要。适合对用 Claude 制作动效/视频内容、并关注他人工作流的人关注。
开源 AI 视频 Agent,把编码 Agent(如 Codex、Claude Code)变成视频 Agent。影片以 HTML 网页形式写成,由名为 Studio 的浏览器本地编辑器呈现并可手工或通过提问修改;每幕是一个用 frame(t) 函数绘制画面的网页,可组合动画网页、素材、图片和声音。
Claude Opus 5.5 is insane in creating creating 3D movies.
这是一篇 Reddit r/ClaudeAI 社区帖子,作者贴出自己使用的完整提示词,要求模型根据附带的 Dodaios 吉祥物图片自行调研其故事、从零重建并动画化该角色、不使用 skills、Remotion 或模板、渲染终端和自然等 3D 物体、只做纯动画不加文字、并仅使用网络上的免费专业音效素材,制作一分钟视频。帖子正文主要是这段提示词本身,未在材料中给出成品描述或评测数据。适合用 Claude 做 3D 动画与视频生成实验、想参考长提示词写法的人阅读。
blendi-remade/dioramas
一个免费开源框架,用于制作电影感、可交互的 3D 网页,其中 3D 场景本身即页面内容。资产由 AI 生成:先用 Nano Banana 2 生成产品图,再用 Meshy 7.1 转为 3D 模型,并由脚本进行优化。仓库附带 20 个完整示例网站,无需付费、账号或安装 CLI。
Genie 4: A new generation of world simulation
谷歌 DeepMind 发布世界模型 Genie 4 的博客,作者为 Raia Hadsell、Diego Rivas 和 Hang Qi。文中称该模型原生多模态,可在生成世界的同时生成音乐、环境声和交互对话,并借助 Gemini 系列模型(如 Gemini Omni)维持模拟的真实外观与连贯性,可用于机器人和智能体的训练环境以及交互式体验,页面提供候补名单申请。
What exactly are people doing to get those super polished, great graphics, vibe coded games?
r/ClaudeAI 的社区帖子,作者称自己用 Opus 5.5,做低多边形或仿 N64 风格还行,但再进一步就不理想;让它在 Blender 里做东西效果不好,用 Tripo 订阅服务时给参考图后总有小错误(如脚趾变形、蜥蜴战士尾巴被截断),自己没能力修改,而 Tripo 只能重新生成,交给 Claude 修也不够好。作者想了解他人如何仅靠向 Claude 打字就做出画面精良的类魂游戏、罗马步行模拟和恐龙开放世界战斗游戏,并问是否应改用 Claude Code,以及相比 Cowork 提升多大。适合用 AI 做游戏美术与建模、关心 vibe coding 工作流程的人阅读。
一个以代码优先方式制作视频与图像的开源项目,基于 WebGPU 原生渲染。README 说明其把合成、动态图形与 3D 能力打包为一个 npm 包,面向由 AI 智能体用代码驱动的视频工作流,提供文档、示例与模型页面,许可证为 Apache-2.0,状态标注为 beta。
一个借助 AI 导演智能体把想法和素材转化为生动讲解视频的开源项目,主打本地优先、可搭配任意模型。README 说明用户可用一句话或笔记、文档、PDF、幻灯片、图片作为输入,由导演智能体先产出草稿;项目以 Electron 应用形式提供 macOS(Apple Silicon)下载,标签涵盖故事板、文本转视频、TTS 等。
一个把单张插画转成可动画 2D 网格化身(VTuber 风格)的工具:编码智能体从图片准备化身,用户在本地编辑器中带实时预览微调,化身可眨眼、说话、转头、呼吸和摆发。需要 Node.js 22.17+ 与 Git,可用 npx create-mesh-avatar-studio 试用,另有网页版 Player 用摄像头和麦克风驱动。仓库提供日文和简体中文 README。
How I made an interactive web-ready 3D asset with Claude (Artifact inside)
这是一条 Reddit r/ClaudeAI 社区帖子。作者讲述用 Claude Code 在终端中调用 Unreal Engine、Blender 和本地 image-to-3D 流程,制作一个可拖动、支持方向键的交互式网页 3D 资产:包括搭建 MetaHuman 场景与灯光、制作服装与扇子绑定、处理手臂与手部动画及碰撞、生成面具与头骨、编写视频编码与 WebGL 合成页面,并在无头 Chrome 中测试桌面和手机尺寸。作者自述负责美术方向与反馈迭代,还提到用平实语言描述问题(如“手看起来像塑料”“手动作僵硬”)来让 Claude 定位并修复。适合对 Claude Code 驱动 3D 与前端资产工作流感兴趣的人阅读。
patch-gg/anymove
一个开源项目,可将一段 AI 生成的视频转换为任意带骨骼生物的动画,包含翅膀、尾巴和多足。做法是在同一画面中放置正面与侧面两个相机视角,使用 DINOv2 读取关节,在两视角中拟合骨架并输出 GLB 文件。项目页称每条动作视频成本约 0.26 美元,读取与拟合在一分钟内完成。
patch-gg/trompe
一个开源项目,用于从灰色灰模关卡生成完整贴图:规划玩家视角相机、由图像模型绘制各视角画面、将画面投影回关卡并烘焙成一张贴图。贴图在阴天光照下生成,作为反照率贴图,再由游戏引擎投射真实阴影。相机规划、投影与烘焙在浏览器 GPU 上运行,图像模型运行于 fal,输出 glTF 格式。
Qwen 团队发布的一个用于评估 3D 创作视觉智能体的基准,全称为“Benchmarking Visual Agents for 3D Creation from Real-World References”。基准包含 9 个类别、22 个子类共 223 个任务,智能体根据任务简报和参考素材在 Blender 中交付可编辑工程文件及指定导出物,可用 bw evaluate 进行评估;仓库提供论文、Hugging Face 与 ModelScope 数据集链接。
Stanford EE292R AI and Data for Science | Autumn 2026 | From World Models to World Agents
这是斯坦福课程 EE292R 的一场讲座,讲者 Gordon Wetzstein 为电子工程系(兼计算机科学系)副教授。讲座介绍视频世界模型的最新进展,重点包括增强长时间上下文中的时间一致性与推理、缓解自回归漂移,以及多智能体动态的整合和有效的人类中心条件控制策略。材料附有课程时间表链接。
这是 Hi3D v1.0 的官方 GitHub 仓库,提供推理代码、模型权重和文档,发布日期标注为 2026 年 10 月 23 日。据 README,该模型基于 Sparc3D 表示与细化架构,以同一物体的参考图像为条件把粗略网格细化为高分辨率几何,报告称训练使用约两百万个精选 3D 资产、细化分辨率达 1536³;仓库不含训练代码与论文评测工具。