录音/制作/创作 吉他 扩声技术 视频技术 作品展示 生活 信息 更多...
AI 制作

Fishaudio可以把你的语音样本生成带有音高的伪旋律样本

 
[收藏]

2101
#1 26-10-19 17:55 …

Fishaudio可以把你的语音样本生成带有音高的伪旋律样本

Suno支持上传你的音色样本,其中如果包含叙述语句和有音高的旋律能同时适用于演唱和演讲,并通过内录Cosy voice(目前最快的本地克隆)念suno提供的语句通过核验即可作为歌手使用。

Fishaudio可以将任意叙述样本音频转为带音高的样本,提示词可以让agent基于模型的提示词要求来写。

我是用Hermes内接免费语言模型(Agnes),有skill足以完成comfyUI工作流调用,提示词不需要手动写。

Fishaudio Drama3工作流部署过程中遇到很多坑,但我是用DeepSeek harness一次解决的。

以下是提供给想玩的人的一些信息,动手能力强的人用不着这些信息。
---

**开源 35B 情感语音 TTS:Fish Audio Drama 3,ComfyUI 本地可跑**

Fish Audio 开源了个 35B 的 TTS 大模型 Drama 3,主打"表演式语音"——不是干念稿,是带情绪演的。几秒参考音频克隆音色,支持情绪标签(`[tight, controlled]`、`[laughs bitterly]`、`<whisper>`这种写法),双人对话能一次生成。

我是跟着 Benji(Innovate Futures)的视频在 ComfyUI 里部署的。实话实说:部署过程报了不少错,我是丢给 DeepSeek harness 逐个修好的,现在跑得很稳。

**来源信息(认准这几个地址):**

模型本体:
- GitHub:https://github.com/fishaudio/fish-speech
- HuggingFace:https://huggingface.co/fishaudio/drama-3

ComfyUI 相关:
- ComfyUI:https://github.com/comfyanonymous/ComfyUI
- Drama3 节点包:https://github.com/PedroMarinhoDev/ComfyUI-Drama3
- ComfyUI 用模型文件:https://huggingface.co/PedroMarinhoDev/Drama-3-ComfyUI
- 视频教程:https://youtu.be/4kN2ACxJ8AY(工作流文件在视频附件里)

**部署建议:**

有 agent 的:把上面几个链接丢给它,说"帮我在 ComfyUI 里跑 Drama 3",报错截图贴回去让它修,一路点下一步就行。

没 agent 的:按视频教程手动装。报错别硬扛,推荐两个免费帮手——DeepSeek Harness或者豆包工作,直接让他们自己替你联网下载安装部署修复报错直到冒烟测试通过。

不过低显存可能玩不了,我这边16G显存+64G内存跑得起来。

祝一次点亮。

---


我把之前做的《小兰花》填词用Suno唱了一遍:

https://music.163.com/#/song?id=3450682925


越过天山草原


干枯于黄土沟壑


碾碎于铜锅


燃成微涩的烟末


见证几代人的


绽放与凋落


如今街市上,已无人


再提它的下落


你我可曾磊落,来墙根就坐


终身未熏黑的肺腑


坍塌于爆裂的脉搏


戴着黑纱的白车,是唯一的看客


唢呐裹着笙簧


惊天动地的沉默


隐忍多年的校铃


被龙葵结成浆果


艾草游遍了村落


也未被编成绳索,


隔着羊圈窥伺那盏


未及隐退的烛火


遗失了炊烟的夜空


比以往


更清澈


本帖最后由 fi8vni13 于 26-10-19 17:58 编辑
观众反应
您需要登录后才可以回帖 登录 | 注册

本版积分规则

搜索