录音/制作/创作 吉他 扩声技术 视频技术 作品展示 生活 信息 更多...
AI 制作

DAW结合Agent方向现状

( 6 )
 
[收藏]

218
#1 26-9-17 12:50

DAW结合Agent方向现状

生成式Ai只是快餐,DAW结合agent会是未来专业高端方向吗?


最近Sonar引入了新版Cakescript,我认为绝对是个里程碑式的功能。这几天跑通了用WorkBuddy控制Sonar,基本实现动动嘴就能操作Sonar。


刚才问了Ai这个方向的现状:

下表汇总各 DAW 的官方脚本接口、语言支持,以及当前的 AI 接入状况。
  
DAW
  
官方脚本  /  扩展接口
语言
能力与  AI  现状
  
REAPER
  
ReaScript ( 600+ API ,可跨进程)
Lua 5.4 / Python / EEL2
最开放。社区  MCP  最丰富( total-reaper-mcp 600+  工具);有   NeurIPS 2025  论文级项目  DAWZY (自然语言 → 可逆脚本, GPT-5  下任务成功率   100% )
  
Cakewalk Sonar
  
CAL (旧) + CakeScript
CAL / Lua
无官方  MCP 。当前采用「 MIDI  触发  +  RunScript 」自建通道
  
FL Studio
  
Python API ( 20.8.4+ , 14  模块  427+   函数)
Python
唯一把  agentic AI  内置进工程操作的大厂: Gopher ( 2026 )能直接调轨电平、改插件参数、整理路由、生成卷帘
  
Ableton Live
  
Python Remote Scripts + Max for Live + Extensions SDK
Python / Max / Node.js
Extensions ( 12.4.5 beta )可在   Live  内部托管自建  MCP server ;社区  ableton-mcp   约  2.5k  星
  
Pro Tools
  
PTSL ( Pro Tools Scripting Library )
gRPC (多语言)
官方  SDK ,社区  MCP  已有
  
Logic Pro
  
Scripter ( MIDI FX  插件)
JavaScript
只能处理流经该通道条的  MIDI ,读不了工程、建不了轨;  AppleScript  字典近乎空
  
Cubase / Nuendo
  
MIDI Remote API (沙箱)
ES5 JavaScript
结构性受限:约  50–100   函数,不能建轨、删轨、插插件;第三方  MCP  只能走  MIDI  桥
  
Bitwig Studio
  
Controller API + Extensions
Java (控制器) /  多语言
有  MCP (需装扩展)
  
Ardour / Mixbus
  
内置脚本引擎
Lua
无  AI  生态
  
Renoise / Reason
  
Lua API / Remote codec
Lua
无  AI  生态
  
Studio One
  
无脚本  API (仅  Macro )


[color=rgba(0, 0, 0, 0.9)]也就是说:[color=rgba(0, 0, 0, 0.9)]真·脚本派[color=rgba(0, 0, 0, 0.9)]是 REAPER、Sonar、FL、Ableton 这一档(能建轨、改音符、读工程结构);Logic/Cubase 属于"半开放"(只能在 MIDI 流或控制器映射层面动手);Studio One 是完全封闭。
[color=rgba(0, 0, 0, 0.9)]

AI 智能体直连的四层现状

目前没有任何 DAW 官方定义过「AI 智能体直连」协议。现有形态可以分成四层,越往上越接近原生。

(一)第 1 层:原生内置 AI Agent(厂商自带)

只有 FL Studio 一家Gopher FL Studio 2025 时只能查手册与知识库,2026 版升级为 agenticassistant——可以直接修改工程:调整轨道电平、改插件参数、整理混音通道、按约束生成钢琴卷帘内容。Image-Line 强调 Gopher 不拿用户数据训练模型。
局限在于:它是厂商自家的 AI,使用者无法接入自己的 agent

(二)第 2 层:官方脚本 / 扩展 SDK(可自托管 Agent)

这一层是把外部 Agent 请进 DAW 的官方口子:
·        Ableton Extensions SDK——最前沿。它是由 Live 进程托管的扩展机制,社区已有实现把 MCP server 直接跑在 Live 内部,通过localhost 的 Streamable HTTP 对外服务,AI 编码助手(Claude Code、Codex、ClaudeDesktop 等)连上即可检查工程、编写 MIDI、管理轨道与场景、插入并调整设备、驱动混音。服务器随 Live 启停,用每次安装生成的 Bearertoken 保护。
·        ReaScript / FL Python API / Pro Tools PTSL——都提供完整的脚本与调用面,外部程序或Agent 可以据此构建自己的桥接层。
补充:2026 4 28 Anthropic 发布官方 Claude Connector for Ableton Live,但它只提供 Ableton 文档库的知识,不直接控制 Live 工程

(三)第 3 层:第三方社区 MCP 桥

这是当下真正可用的路径,已覆盖七个平台AbletonLogicREAPERPro ToolsFLStudioBitwigCubase
·        REAPER 最丰富:shiehn/total-reaper-mcp 达 600+ 工具、40+ 分类,并设计了部署档位(生产档、精简档、混音档、全量档);另有 itsuzef/reaper-mcp 等至少六个项目。
·        Ableton 生态最热:ahujasid/ableton-mcp 约 2,500 星,通过 socket 连接 Live 内的 MIDI Remote Script 实现双向控制。
·        Logic、Pro Tools、FL、Bitwig、Cubase均有对应实现;Cubase 的两个方案是 macOS 独占且基于 MIDI。

(四)第 4 层:无脚本 API(只能 MIDI / 键鼠模拟或自建)

  Cubase 因 API 封闭,AI 只能冒充 MIDI 控制器远程操作,慢且脆弱;建轨、插插件这类结构操作根本无法通过受支持的 API 完成。这正是「API 开放度决定 AI 能不能干活」的典型案例。

·        Studio One——无脚本接口(仅 Macro)。
·        Cakewalk Sonar——脚本能力够格,但缺官方进程间通道,目前以 MIDI 触发加 RunScript 落盘执行作为变通方案。

关键结论

综合上述对比,可以得出四条判断。
1.      「有脚本」和「能被 Agent 驱动」是两件事。Logic 的 Scripter、Cubase 的MIDI Remote API 都算官方脚本面,但它们触达不到工程结构,因此AI 只能在很窄的范围内动手。
2.      API 开放度是 AI 能否落地的决定性变量。REAPER 约 600+ 函数、可跨进程直连,社区 MCP 因此繁荣;Cubase 只有约 50–100 个沙箱函数且无跨进程通道,至今没有可用的结构性 AI 方案。
3.      原生 agent 化才刚起步。FLStudio 的 Gopher 是目前唯一把 agentic AI 做进 DAW 工作流的产品,但它封闭于厂商自家 AI。
4.      官方向外部 Agent 开放,Ableton 走在最前。Extensions SDK 让MCP server 进驻 DAW 进程,这是从「社区变通」迈向「官方支持」的第一步。
[color=rgba(0, 0, 0, 0.9)]
本帖最后由 karf 于 26-9-17 12:55 编辑

4466
#2 26-9-17 15:30
REAPER确实很开放。不仅仅是脚本。

这几天给REAPER开发了个鼠标滚轮丝滑插件,摸清了它的对外API,才知道开发组思维有多前卫。

随着AI开发的进化,未来REAPER的全面进化性会很大。 本帖最后由 bobo198504 于 26-9-17 15:31 编辑
观众反应

2248
#3 26-9-17 23:46
如果能单轨实现渲染就很好了,这样solo类的乐器,不用调得很累,就是自己出一个粗得midi乐器渲染接近实录

516
#4 26-9-18 07:42
778283722 发表于 26-9-17 23:46
如果能单轨实现渲染就很好了,这样solo类的乐器,不用调得很累,就是自己出一个粗得midi乐器渲染接近实录

udio 早在前年,已在一定程度上实现。而 suno 从 v5.5 开始,已经实现的非常好了,最多生成后需要再进行一次分离

516
#5 26-9-18 08:15
目前我暂时不太看好 Agent 操作 DAW 的路线。虽然看 AI 自动建轨、调参很神奇,但核心痛点在于难以形成工作流闭环。

人操作 DAW,本质上是【艺术判断 ➔ 操作 DAW ➔ 实时反馈 ➔ 再判断】的递归循环。目前的 AI 模型(除了极少数在探索音频理解的模型外)普遍缺乏对声音的“审美判断力”。如果 Agent 听不懂自己调出来的声音好不好听,缺乏了“艺术判断”这一环,就很难真正帮人干活。

另外,单纯的“操作软件”在未来大概率不会是壁垒。随着像 Astra 这种具备原生 Computer Use 能力的模型发展,以后即便 DAW 完全封闭没有 MCP 接口,AI 也能通过视觉直接接管键鼠来操作。所以,把极大精力放在研究 DAW 接口和 Agent 的连接上,长远看价值可能有限。

对于 99% 的听众来说,大家只关心最终的音乐好不好听,并不在意过程是端到端生成还是传统制作。
所以我感觉,目前真正能落地且可持续迭代的工作流,其实是:【给 Prompt ➔ AI 生成音乐 ➔ 人耳判断 ➔ 调整 Prompt ➔ 再次生成】。

相比于让 Agent 在 DAW 里替我们拧旋钮,让人回归纯粹的“艺术总监”角色去做审美把关,是目前能实现的

218
#6 26-9-18 14:43
778283722 发表于 26-9-17 23:46
如果能单轨实现渲染就很好了,这样solo类的乐器,不用调得很累,就是自己出一个粗得midi乐器渲染接近实录

你可以给你的DAW挂一个agent去试,把音源键位映射技法映射、说明书都给它,反复训练,应该问题不大。

218
#7 26-9-18 14:53
s99yj 发表于 26-9-18 08:15
目前我暂时不太看好 Agent 操作 DAW 的路线。虽然看 AI 自动建轨、调参很神奇,但核心痛点在于难以形成工作 ...

我不清楚suno的底层机制是什么,也许是基于音频数据的直接生成,也许是基于海量模板库的自动伴奏式生成。
DAW的底层机制是基于多声部创作及分轨录音,要满足Hi-end级的高音质需求,恐怕还是要靠多轨制作模式。
您需要登录后才可以回帖 登录 | 注册

本版积分规则

搜索