Google DeepMind··1 个月前
Gemini 3.8 文本转语音登场
Gemini 3.8 text-to-speech says hello
文章介绍 Gemini 3.8 Flash TTS 和 Gemini 3.8 Flash-Lite TTS 两个音频生成模型,可在 Google AI Studio、Gemini API、Gemini Enterprise、Gemini Notebook 和 Google Vids 中生成定制角色语音、逐句指导场景对话。文中提到可用自然语言提示创建或复刻声音,控制节奏与情绪,并包含水印等安全工具。
- 分级
- 值得看
- 所属主题
- 整理中
- 收录时间
- 2026-10-28
推荐阅读
assafkip/claudemy
这是一个面向 Claude Code 的开源免费技能,定位为 Udemy、Coursera 的替代方案。用户给出一个主题,它会检索网络资料并生成约 12 节、每节 2 分钟的音频课程,并附上引用来源。技术标签显示其涉及文本转语音(ElevenLabs)、微学习与课程生成等方向。
liyupi/ai-promo-video-maker(AI 产品宣传片制作器)
liyupi/ai-promo-video-maker
一个开源仓库,提供由 AI 编程工具(如 Cursor、Claude Code、Codex)驱动的产品宣传片制作流程。用户给出产品名或网址后,工具会调研产品、生成多风格样图、截取 4K 页面、按音乐节拍剪辑、生成并校验 AI 旁白、自动审图,最终输出 4K 视频和网页版。项目基于 Remotion 与 ElevenLabs,采用 MIT 许可。
sitor-ai/frametell
一个借助 AI 导演智能体把想法和素材转化为生动讲解视频的开源项目,主打本地优先、可搭配任意模型。README 说明用户可用一句话或笔记、文档、PDF、幻灯片、图片作为输入,由导演智能体先产出草稿;项目以 Electron 应用形式提供 macOS(Apple Silicon)下载,标签涵盖故事板、文本转视频、TTS 等。
Lure-TTS 与 Lure-Turbo:600M 语音模型,运行速度比实时快 4 倍,支持内联标签、指令控制和声音克隆,训练成本低于 200 美元
Lure-TTS and Lure-Turbo: 600M voice models to run 4x faster than real time, with inline (tags), direction, and voice cloning. Trained for under $200.
Hugging Face 上的模型页面(Lure-TTS-0.6B),作者介绍其基于 Qwen3-TTS 微调训练,使用了 RLVR、OPD 和多教师 OPD 等方法。流程包括先用分类器标注强度、笑声哭泣等事件、情感和指令等数据来清洗语料,再做 SFT 训练标签能力,随后通过多教师在线蒸馏整合声音克隆、指令理解、文本标签等能力。作者还将 15 次 pass 的 code predictor 缩减为 3 次 pass,使模型可达到比实时语音快 4 倍的速度,Turbo 版本 RTF 为 0.14(对比 0.195)。适合做语音合成、语音助手方向的读者。
构建低延迟多语言语音智能体:NVIDIA Magpie TTS 的开放权重与完整部署控制
Build Low-Latency Multilingual Voice Agents: Open Weights & Full Deployment Control with NVIDIA Magpie TTS
NVIDIA 团队(Maryam Motamedi、Mikyas Desta、Jason Li、Jason Roche)2026 年 8 月 10 日发布的文章,讨论语音交互的延迟预算,指出采集音频、转写语音、运行大模型、检索上下文和生成回复都占用毫秒级时间,而 TTS 是用户最易感知的最后一环。文章对比了一体化语音模型与级联架构(专用 ASR、TTS 与大模型组合),说明后者可独立调优各层并部署在自有基础设施上,并介绍采用开放权重的 NVIDIA Magpie 多语言 TTS 即为这种场景设计。
支持声音克隆的 Pocket TTS 现在只有 190 万参数
Pocket TTS which supports voice cloning is now just 1.9 million parameters
Kyutai 的博客文章介绍其在 Pocket TTS(约 1 亿参数、支持声音克隆、可在 CPU 上实时运行的 TTS)基础上发布的一组更小模型,最大者为 1820 万参数并能匹配此前 Pocket TTS 的质量。文中列出了骨干、文本表、采样头与编解码解码器等各部分的参数缩减过程,并提到更小的模型用于探索。