简单说就是智能体(codex,claude code,trae)等直接控制daw软件,直接通过自然语言可在daw中生成midi等其他数据。也就是大语言模型直接控制daw作曲。同时不仅是midi音符,理论上可以控制daw中的一切功能。
实测下来,作曲能力取决于模型。deepseek v4能跑起来,但是作曲能力一般。Glm5.2作曲能力很强了,但是偏科,也许还有待发掘。其他模型没有测试。
下面简单说一下操作方法:
1.智能体软件,推荐codex和trae,但是其实这类软件都差不多,其他的也可以。其实就是经过了加入各种提示词、提前设计好功能,并且实际能操作电脑的大语言模型。这里需要自己去配置相应的大模型的api,api需要付费。但是也可以买套餐。推荐trae是因为它有免费的接好的模型。
2.mcp协议。你可以理解成,大语言模型通过mcp协议,和软件的编程接口连接。这样就可以通过程序语言,控制daw了。
我用的是这个:
https://github.com/bschoepke/ableton-live-mcp
选择ableton live的原因是这个daw的mcp据说用的比较多,其他老牌daw很多还没有mcp接口。
mcp协议的配置,其实本来并不麻烦,但是因为这里还处于初级阶段,这个ableton-live-mcp的配置有点复杂。但是,请直接让你的智能体,做个计划,帮你或者引导你去配置、安装。不要自己去装。现在这个阶段小白自己装恐怕还是很难。但是智能体能帮你搞定。我就是告诉codex让它自己先做个计划,我看过同意让它自己装。装的过程中大部分问题他都能解决,小部分需要手动,你再问他一下,也能解决。
3.mcp协议配置完成之后,在ableton live中
启动这个协议,安装就完成了
4.就可以在智能体客户端中通过自然语言,来控制daw了。实际怎么用取决于你。
我感觉,可能这条路才是ai生成音乐的方向。一方面比音频生成可控多了;另一方面,音频生成更多是模仿。但是这个模式可以创新。比如,可以用数学来作曲。
其实这个mcp协议去年就有了,我一开始也只是想试试功能。而我想和大家分享的原因其实是glm5.2模型,已经有比较强的作曲能力了,但是,偏科。基本生成特定风格的古典乐,可听。但是流行乐就不太行。整体上还是处于已经有能力,但是还需加强的阶段。deepseek的话,基本需要你告诉他怎么写,比如,告诉他和弦进行,织体用分解这样...但是也很神奇了。这个也取决于使用者,看你怎么用它了。
下面放几个生成的glm5.2模型demo(钢琴音源为Garritan CFX Concert Grand,第一首叠加了ableton自带的childhood piano,最后一首弦乐用的是swam的小提琴。除了 CFX Concert Grand音源加了点混响,都是直接导出,没有做任何midi和音频编辑)
1.李斯特风格钢琴曲
下载
2.莫扎特风格钢琴曲
下载
3.莫扎特风格炫技钢琴曲(在前面那首的基础上,让它增加难度)
下载
4.拉赫玛尼诺夫风格钢琴曲
下载
5.钢琴+小提琴独奏试验(这首相对弱一些,且本来让它写弦乐四重奏,但是不行,只保留了小提琴)
下载
总体上,还是看模型能力。我没有测试其他模型,有能力的同学可以试试,比如claude家的fable模型。
我觉得可能自然语言模型+ai音源是未来的方向。自然语言模型生成,然后ai音源自己演奏好,免去画表情和编辑。当然,如果音频生成能一次就生成完全满意的作品,那也未尝不可。
但是我觉得这个模式更加自由,有很多的可能性。只是现在还不太成熟,包括软件也容易崩溃。
本帖子中包含更多资源
您需要 登录 才可以下载或查看,没有帐号?注册
x