B站开源自研 IndexTTS-2.0:情感可控、时长可控的零样本语音合成 AI 模型

→ 源码教程下载地址见 →右侧下载链接 →点“登录购买”→注册登录购买后可见→
→ 这里没有广告,只有干货! 给力项目更多教程,点此加入VIP会员,即可免费下载!
→ 每日分享你意想不到的网络思维!加入红帽VIP会员,感受一下网络赚钱的快感,点击进入了解。

9 月 9 日消息,B站(Bilibili)昨日(9 月 8 日)发布公告,宣布正式开源其自研语音生成大模型 IndexTTS-2.0,是首个支持精确时长控制(Duration Control)的自回归(Autoregressive)零样本文本转语音(TTS)系统。

援引 GitHub 页面介绍,相比较传统逐 token 生成的 TTS 系统,IndexTTS-2.0 首次在自回归架构中实现了精准时长控制,特别适合视频配音等需严格音画同步的应用场景。

据介绍,IndexTTS2 支持两种生成模式:

  • 一种可通过明确指定生成的 token 数实现精确时长控制;

  • 另一种则自由生成,保持输入提示的韵律特征。

在声音表达上,IndexTTS2 实现了情感特征与说话人音色的解耦(Emotion-Speaker Disentanglement):分离说话人音色与情绪特征,分别控制。

这意味着用户可以独立指定音色来源和情绪来源,例如用一段音频保留音色,再用另一段不同情感的音频或文本描述赋予情绪,在零样本条件下,模型能精准还原目标音色并完全重现指定情绪。

为提升高情感表达下的语音清晰度,团队引入了 GPT 潜在表示,并设计三阶段训练策略增强生成稳定性。此外,他们基于 Qwen3 微调实现了“软指令”机制,允许用户通过自然语言描述来直观控制情绪方向,降低使用门槛。

在技术性能上,多数据集实验表明,IndexTTS2 在词错率、说话人相似度和情绪保真度上均超越当前最先进零样本 TTS 模型。其方法具备良好扩展性,可应用于其他大型自回归 TTS 系统。团队表示,将公开代码和预训练权重,推动学术研究与产业落地。

  • 技术报告地址:https://arxiv.org/abs/2506.21619

  • 仓库地址:https://github.com/index-tts/index-tts

  • Demo 展示地址:https://index-tts.github.io/index-tts2.github.io


温馨提示:
1、如非特别声明,本内容转载于网络,版权归原作者所有!
2、本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
3、本内容若侵犯到你的版权利益,请联系我们,会尽快给予删除处理!
我要投诉
红帽SEO工作室 » B站开源自研 IndexTTS-2.0:情感可控、时长可控的零样本语音合成 AI 模型
在线客服 购买特价主机

服务热线

139-3511-2134

关注红帽网络

微信客服

微信客服