# 视频与三维生成 学习视频、三维资产和角色动作生成，适合媒体创作者与图形开发者。 - 所属：[多模态与领域探索]() - 网站：[https://oplearnx.com/topics/video-3d-generation]() ## 推荐学习顺序 1. [推出 Gemini Omni]()（博客 · 入门）：Google DeepMind 介绍 Gemini Omni 模型，称其可从任意输入生成内容，首先支持视频。Omni 可组合图像、音频、视频和文本作为输入，生成基于 Gemini 世界知识的高质量视频，并支持通过对话式自然语言编辑视频、保持角色与场景一致性。首个模型 Gemini Omni Flash 已在 Gemini 应用、Google Flow 和 YouTube Shorts 上线，后续将支持图像和音频输出。 2. [人们是怎么用 Claude 做出我在 Instagram 上不断看到的那种炫酷动效视频的？]()（帖子 · 入门）：Reddit r/ClaudeAI 上的社区帖子。发帖者称在 Instagram 上看到许多高水准动效视频都声称用 Claude 制作，但自己让 Claude 生成同类视频时效果不如这些作品，于是询问具体做法，并提到看到一条标注“Claude \+ Katana”（Katana 来自 higgsfields）的视频，询问这是否是可行路径。帖子下附带自动生成的讨论摘要。适合对用 Claude 制作动效/视频内容、并关注他人工作流的人关注。 3. [openfilm/openfilm]()（项目 · 入门）：开源 AI 视频 Agent，把编码 Agent（如 Codex、Claude Code）变成视频 Agent。影片以 HTML 网页形式写成，由名为 Studio 的浏览器本地编辑器呈现并可手工或通过提问修改；每幕是一个用 frame\(t\) 函数绘制画面的网页，可组合动画网页、素材、图片和声音。 4. [Claude Opus 5.5 在制作 3D 影片方面表现惊人]()（帖子 · 入门）：这是一篇 Reddit r/ClaudeAI 社区帖子，作者贴出自己使用的完整提示词，要求模型根据附带的 Dodaios 吉祥物图片自行调研其故事、从零重建并动画化该角色、不使用 skills、Remotion 或模板、渲染终端和自然等 3D 物体、只做纯动画不加文字、并仅使用网络上的免费专业音效素材，制作一分钟视频。帖子正文主要是这段提示词本身，未在材料中给出成品描述或评测数据。适合用 Claude 做 3D 动画与视频生成实验、想参考长提示词写法的人阅读。 5. [blendi-remade/dioramas（三维网站框架）]()（项目 · 入门）：一个免费开源框架，用于制作电影感、可交互的 3D 网页，其中 3D 场景本身即页面内容。资产由 AI 生成：先用 Nano Banana 2 生成产品图，再用 Meshy 7.1 转为 3D 模型，并由脚本进行优化。仓库附带 20 个完整示例网站，无需付费、账号或安装 CLI。 6. [Genie 4：新一代世界模拟]()（博客 · 入门）：谷歌 DeepMind 发布世界模型 Genie 4 的博客，作者为 Raia Hadsell、Diego Rivas 和 Hang Qi。文中称该模型原生多模态，可在生成世界的同时生成音乐、环境声和交互对话，并借助 Gemini 系列模型（如 Gemini Omni）维持模拟的真实外观与连贯性，可用于机器人和智能体的训练环境以及交互式体验，页面提供候补名单申请。 7. [那些画面精致、全凭 vibe coding 做出的游戏，人们到底是怎么做的？]()（帖子 · 入门）：r/ClaudeAI 的社区帖子，作者称自己用 Opus 5.5，做低多边形或仿 N64 风格还行，但再进一步就不理想；让它在 Blender 里做东西效果不好，用 Tripo 订阅服务时给参考图后总有小错误（如脚趾变形、蜥蜴战士尾巴被截断），自己没能力修改，而 Tripo 只能重新生成，交给 Claude 修也不够好。作者想了解他人如何仅靠向 Claude 打字就做出画面精良的类魂游戏、罗马步行模拟和恐龙开放世界战斗游戏，并问是否应改用 Claude Code，以及相比 Cowork 提升多大。适合用 AI 做游戏美术与建模、关心 vibe coding 工作流程的人阅读。 8. [gatewai-dev/framefields]()（项目 · 进阶）：一个以代码优先方式制作视频与图像的开源项目，基于 WebGPU 原生渲染。README 说明其把合成、动态图形与 3D 能力打包为一个 npm 包，面向由 AI 智能体用代码驱动的视频工作流，提供文档、示例与模型页面，许可证为 Apache-2.0，状态标注为 beta。 9. [sitor-ai/frametell]()（项目 · 进阶）：一个借助 AI 导演智能体把想法和素材转化为生动讲解视频的开源项目，主打本地优先、可搭配任意模型。README 说明用户可用一句话或笔记、文档、PDF、幻灯片、图片作为输入，由导演智能体先产出草稿；项目以 Electron 应用形式提供 macOS（Apple Silicon）下载，标签涵盖故事板、文本转视频、TTS 等。 10. [shinshin86/mesh-avatar-studio]()（项目 · 进阶）：一个把单张插画转成可动画 2D 网格化身（VTuber 风格）的工具：编码智能体从图片准备化身，用户在本地编辑器中带实时预览微调，化身可眨眼、说话、转头、呼吸和摆发。需要 Node.js 22.17\+ 与 Git，可用 npx create-mesh-avatar-studio 试用，另有网页版 Player 用摄像头和麦克风驱动。仓库提供日文和简体中文 README。 11. [我如何用 Claude 制作可交互的网页 3D 资产（内含 Artifact）]()（帖子 · 进阶）：这是一条 Reddit r/ClaudeAI 社区帖子。作者讲述用 Claude Code 在终端中调用 Unreal Engine、Blender 和本地 image-to-3D 流程，制作一个可拖动、支持方向键的交互式网页 3D 资产：包括搭建 MetaHuman 场景与灯光、制作服装与扇子绑定、处理手臂与手部动画及碰撞、生成面具与头骨、编写视频编码与 WebGL 合成页面，并在无头 Chrome 中测试桌面和手机尺寸。作者自述负责美术方向与反馈迭代，还提到用平实语言描述问题（如“手看起来像塑料”“手动作僵硬”）来让 Claude 定位并修复。适合对 Claude Code 驱动 3D 与前端资产工作流感兴趣的人阅读。 12. [patch-gg/anymove（单段 AI 视频驱动生物动作捕捉）]()（项目 · 进阶）：一个开源项目，可将一段 AI 生成的视频转换为任意带骨骼生物的动画，包含翅膀、尾巴和多足。做法是在同一画面中放置正面与侧面两个相机视角，使用 DINOv2 读取关节，在两视角中拟合骨架并输出 GLB 文件。项目页称每条动作视频成本约 0.26 美元，读取与拟合在一分钟内完成。 13. [patch-gg/trompe（用图像模型为关卡贴图）]()（项目 · 进阶）：一个开源项目，用于从灰色灰模关卡生成完整贴图：规划玩家视角相机、由图像模型绘制各视角画面、将画面投影回关卡并烘焙成一张贴图。贴图在阴天光照下生成，作为反照率贴图，再由游戏引擎投射真实阴影。相机规划、投影与烘焙在浏览器 GPU 上运行，图像模型运行于 fal，输出 glTF 格式。 14. [QwenLM/BlenderWorld]()（项目 · 深入）：Qwen 团队发布的一个用于评估 3D 创作视觉智能体的基准，全称为“Benchmarking Visual Agents for 3D Creation from Real-World References”。基准包含 9 个类别、22 个子类共 223 个任务，智能体根据任务简报和参考素材在 Blender 中交付可编辑工程文件及指定导出物，可用 bw evaluate 进行评估；仓库提供论文、Hugging Face 与 ModelScope 数据集链接。 15. [斯坦福 EE292R 科学与人工智能及数据｜2026 年秋季｜从世界模型到世界智能体]()（课程 · 深入）：这是斯坦福课程 EE292R 的一场讲座，讲者 Gordon Wetzstein 为电子工程系（兼计算机科学系）副教授。讲座介绍视频世界模型的最新进展，重点包括增强长时间上下文中的时间一致性与推理、缓解自回归漂移，以及多智能体动态的整合和有效的人类中心条件控制策略。材料附有课程时间表链接。 16. [推荐开源 Hi3D V1.0 三维生成模型]()（项目 · 深入）：这是 Hi3D v1.0 的官方 GitHub 仓库，提供推理代码、模型权重和文档，发布日期标注为 2026 年 10 月 23 日。据 README，该模型基于 Sparc3D 表示与细化架构，以同一物体的参考图像为条件把粗略网格细化为高分辨率几何，报告称训练使用约两百万个精选 3D 资产、细化分辨率达 1536³；仓库不含训练代码与论文评测工具。 --- 中文标题与摘要由模型根据原文生成，以原文为准。 来源：LearnMap · 学径（https://oplearnx.com）