视频与三维生成

学习视频、三维资产和角色动作生成,适合媒体创作者与图形开发者。

16 条精选 · 入门 7 · 按推荐学习顺序:越基础、直观越靠前,越系统、深入越靠后

在 3D 图中查看
  1. 1入门
    博客发布 05-18
    Google DeepMind

    推出 Gemini Omni

    Introducing Gemini Omni

    Google DeepMind 介绍 Gemini Omni 模型,称其可从任意输入生成内容,首先支持视频。Omni 可组合图像、音频、视频和文本作为输入,生成基于 Gemini 世界知识的高质量视频,并支持通过对话式自然语言编辑视频、保持角色与场景一致性。首个模型 Gemini Omni Flash 已在 Gemini 应用、Google Flow 和 YouTube Shorts 上线,后续将支持图像和音频输出。

  2. 2入门
    帖子发布 10-24
    Reddit

    人们是怎么用 Claude 做出我在 Instagram 上不断看到的那种炫酷动效视频的?

    How are people making those insane graphic motions video that I keep seeing on instagram using claude ?

    Reddit r/ClaudeAI 上的社区帖子。发帖者称在 Instagram 上看到许多高水准动效视频都声称用 Claude 制作,但自己让 Claude 生成同类视频时效果不如这些作品,于是询问具体做法,并提到看到一条标注“Claude + Katana”(Katana 来自 higgsfields)的视频,询问这是否是可行路径。帖子下附带自动生成的讨论摘要。适合对用 Claude 制作动效/视频内容、并关注他人工作流的人关注。

  3. 3入门
    项目发布 10-04
    GitHub

    openfilm/openfilm

    开源 AI 视频 Agent,把编码 Agent(如 Codex、Claude Code)变成视频 Agent。影片以 HTML 网页形式写成,由名为 Studio 的浏览器本地编辑器呈现并可手工或通过提问修改;每幕是一个用 frame(t) 函数绘制画面的网页,可组合动画网页、素材、图片和声音。

  4. 4入门
    帖子发布 10-27
    Reddit

    Claude Opus 5.5 在制作 3D 影片方面表现惊人

    Claude Opus 5.5 is insane in creating creating 3D movies.

    这是一篇 Reddit r/ClaudeAI 社区帖子,作者贴出自己使用的完整提示词,要求模型根据附带的 Dodaios 吉祥物图片自行调研其故事、从零重建并动画化该角色、不使用 skills、Remotion 或模板、渲染终端和自然等 3D 物体、只做纯动画不加文字、并仅使用网络上的免费专业音效素材,制作一分钟视频。帖子正文主要是这段提示词本身,未在材料中给出成品描述或评测数据。适合用 Claude 做 3D 动画与视频生成实验、想参考长提示词写法的人阅读。

  5. 5入门
  6. 6入门
    博客发布 10-28
    Google DeepMind

    Genie 4:新一代世界模拟

    Genie 4: A new generation of world simulation

    谷歌 DeepMind 发布世界模型 Genie 4 的博客,作者为 Raia Hadsell、Diego Rivas 和 Hang Qi。文中称该模型原生多模态,可在生成世界的同时生成音乐、环境声和交互对话,并借助 Gemini 系列模型(如 Gemini Omni)维持模拟的真实外观与连贯性,可用于机器人和智能体的训练环境以及交互式体验,页面提供候补名单申请。

  7. 7入门
    帖子发布 10-27
    Reddit

    那些画面精致、全凭 vibe coding 做出的游戏,人们到底是怎么做的?

    What exactly are people doing to get those super polished, great graphics, vibe coded games?

    r/ClaudeAI 的社区帖子,作者称自己用 Opus 5.5,做低多边形或仿 N64 风格还行,但再进一步就不理想;让它在 Blender 里做东西效果不好,用 Tripo 订阅服务时给参考图后总有小错误(如脚趾变形、蜥蜴战士尾巴被截断),自己没能力修改,而 Tripo 只能重新生成,交给 Claude 修也不够好。作者想了解他人如何仅靠向 Claude 打字就做出画面精良的类魂游戏、罗马步行模拟和恐龙开放世界战斗游戏,并问是否应改用 Claude Code,以及相比 Cowork 提升多大。适合用 AI 做游戏美术与建模、关心 vibe coding 工作流程的人阅读。

  8. 8进阶
    项目发布 10-03
    GitHub

    gatewai-dev/framefields

    一个以代码优先方式制作视频与图像的开源项目,基于 WebGPU 原生渲染。README 说明其把合成、动态图形与 3D 能力打包为一个 npm 包,面向由 AI 智能体用代码驱动的视频工作流,提供文档、示例与模型页面,许可证为 Apache-2.0,状态标注为 beta。

  9. 9进阶
    项目发布 10-10
    GitHub

    sitor-ai/frametell

    一个借助 AI 导演智能体把想法和素材转化为生动讲解视频的开源项目,主打本地优先、可搭配任意模型。README 说明用户可用一句话或笔记、文档、PDF、幻灯片、图片作为输入,由导演智能体先产出草稿;项目以 Electron 应用形式提供 macOS(Apple Silicon)下载,标签涵盖故事板、文本转视频、TTS 等。

  10. 10进阶
    项目发布 10-04
    GitHub

    shinshin86/mesh-avatar-studio

    一个把单张插画转成可动画 2D 网格化身(VTuber 风格)的工具:编码智能体从图片准备化身,用户在本地编辑器中带实时预览微调,化身可眨眼、说话、转头、呼吸和摆发。需要 Node.js 22.17+ 与 Git,可用 npx create-mesh-avatar-studio 试用,另有网页版 Player 用摄像头和麦克风驱动。仓库提供日文和简体中文 README。

  11. 11进阶
    帖子发布 10-29
    Reddit

    我如何用 Claude 制作可交互的网页 3D 资产(内含 Artifact)

    How I made an interactive web-ready 3D asset with Claude (Artifact inside)

    这是一条 Reddit r/ClaudeAI 社区帖子。作者讲述用 Claude Code 在终端中调用 Unreal Engine、Blender 和本地 image-to-3D 流程,制作一个可拖动、支持方向键的交互式网页 3D 资产:包括搭建 MetaHuman 场景与灯光、制作服装与扇子绑定、处理手臂与手部动画及碰撞、生成面具与头骨、编写视频编码与 WebGL 合成页面,并在无头 Chrome 中测试桌面和手机尺寸。作者自述负责美术方向与反馈迭代,还提到用平实语言描述问题(如“手看起来像塑料”“手动作僵硬”)来让 Claude 定位并修复。适合对 Claude Code 驱动 3D 与前端资产工作流感兴趣的人阅读。

  12. 12进阶
    项目发布 10-27
    GitHub

    patch-gg/anymove(单段 AI 视频驱动生物动作捕捉)

    patch-gg/anymove

    一个开源项目,可将一段 AI 生成的视频转换为任意带骨骼生物的动画,包含翅膀、尾巴和多足。做法是在同一画面中放置正面与侧面两个相机视角,使用 DINOv2 读取关节,在两视角中拟合骨架并输出 GLB 文件。项目页称每条动作视频成本约 0.26 美元,读取与拟合在一分钟内完成。

  13. 13进阶
    项目发布 10-25
    GitHub

    patch-gg/trompe(用图像模型为关卡贴图)

    patch-gg/trompe

    一个开源项目,用于从灰色灰模关卡生成完整贴图:规划玩家视角相机、由图像模型绘制各视角画面、将画面投影回关卡并烘焙成一张贴图。贴图在阴天光照下生成,作为反照率贴图,再由游戏引擎投射真实阴影。相机规划、投影与烘焙在浏览器 GPU 上运行,图像模型运行于 fal,输出 glTF 格式。

  14. 14深入
    项目发布 10-14
    GitHub

    QwenLM/BlenderWorld

    Qwen 团队发布的一个用于评估 3D 创作视觉智能体的基准,全称为“Benchmarking Visual Agents for 3D Creation from Real-World References”。基准包含 9 个类别、22 个子类共 223 个任务,智能体根据任务简报和参考素材在 Blender 中交付可编辑工程文件及指定导出物,可用 bw evaluate 进行评估;仓库提供论文、Hugging Face 与 ModelScope 数据集链接。

  15. 15深入
    课程发布 10-23
    YouTube

    斯坦福 EE292R 科学与人工智能及数据|2026 年秋季|从世界模型到世界智能体

    Stanford EE292R AI and Data for Science | Autumn 2026 | From World Models to World Agents

    这是斯坦福课程 EE292R 的一场讲座,讲者 Gordon Wetzstein 为电子工程系(兼计算机科学系)副教授。讲座介绍视频世界模型的最新进展,重点包括增强长时间上下文中的时间一致性与推理、缓解自回归漂移,以及多智能体动态的整合和有效的人类中心条件控制策略。材料附有课程时间表链接。

  16. 16深入
    项目发布 10-16
    GitHub

    推荐开源 Hi3D V1.0 三维生成模型

    这是 Hi3D v1.0 的官方 GitHub 仓库,提供推理代码、模型权重和文档,发布日期标注为 2026 年 10 月 23 日。据 README,该模型基于 Sparc3D 表示与细化架构,以同一物体的参考图像为条件把粗略网格细化为高分辨率几何,报告称训练使用约两百万个精选 3D 资产、细化分辨率达 1536³;仓库不含训练代码与论文评测工具。

多模态与领域探索的其他细分主题