AI 制作

音乐界的sd?ACE-Step音乐生成模型发布，20秒打造4分钟完整歌曲


新闻链接【内有视频演示】项目地址：https://ace-step.github.io/
2025-05-06 16:18· 来源： AIbase基地



ACE-Step，一款由ACE Studio与StepFun联合开发的音乐生成“基础模型”，于近日正式亮相，被誉为“音乐界的Stable Diffusion”。该模型以其惊人的生成速度和多样化功能引发行业热议，支持19种语言，可在短短20秒内生成一首长达4分钟的完整音乐作品，效率比主流模型快15倍以上。







核心功能亮点:从歌词到完整歌曲一气呵成


ACE-Step以其强大的生成能力重新定义了AI音乐创作。其核心功能包括:


歌词驱动创作:输入歌词，模型自动生成旋律并演唱完整歌曲;


风格化编曲:根据指定的风格标签（如说唱、电子乐、流行等），自动生成伴奏和配器;


精准修改:支持对歌曲某段歌词进行修改，而不影响原有旋律的连贯性;


多样化生成:能够生成带风格的说唱、电子乐、人声或复杂配器，满足不同音乐场景需求。


社交媒体上，开发者与音乐创作者对ACE-Step的“一句歌词快速写歌”功能赞不绝口，认为其为音乐创作提供了前所未有的便捷性与灵活性。






技术突破:高效生成与多语言支持


ACE-Step基于DiT（Diffusion Transformer）架构，采用轻量化设计，支持在消费级GPU上运行，显著降低了硬件门槛。在A100GPU上，模型仅需20秒即可生成4分钟的高质量音乐，生成速度比传统模型快15倍以上。此外，ACE-Step支持19种语言，覆盖英语、中文、日语、西班牙语等多种语系，为全球音乐创作者提供了广泛的适用性。AIbase编辑团队了解到，该模型通过与StepFun的Step-1(130亿参数语言模型)结合，经过音频上下文预训练和任务特定后训练，实现了跨模态音乐理解与生成的高效融合。






开源赋能，社区驱动创新


作为一款开源模型，ACE-Step通过GitHub（stepfun-ai/Step-Audio）向开发者开放，允许社区对其进行微调以适配多样化的音乐任务。ACE Studio与StepFun表示，ACE-Step的简单架构和低硬件要求使其易于扩展，未来有望支持更多音乐风格和创作场景。AIbase观察到，社区开发者已开始基于ACE-Step开发定制化的音乐生成工具，进一步推动了AI音乐生态的繁荣。


AI音乐创作的未来标杆


ACE-Step的发布不仅展示了ACE Studio与StepFun在AI音乐生成领域的深厚技术积累，也为全球音乐创作者提供了一个高效、灵活的创作平台。AIbase编辑团队认为，ACE-Step的快速生成能力和多语言支持将大幅降低音乐创作的门槛，助力音乐家、独立创作者乃至影视制作团队实现创意落地。未来，随着模型的迭代和社区的持续贡献，ACE-Step有望成为AI音乐创作领域的标杆，引领“人机共创”的新潮流。
一、为什么我们需要新一代音乐生成模型？
当前音乐生成领域存在一个关键矛盾：创作效率与音乐品质难以兼得。传统LLM模型（如Yue、SongGen）虽然擅长歌词对齐，但生成速度缓慢；扩散模型（如DiffRhythm）虽能快速合成，却常出现结构断裂问题。这种困境就像音乐人同时面对”龟速渲染”和”碎片化编曲”的双重挑战。


ACE-Step的诞生，标志着这一僵局的突破。通过扩散生成+深度压缩自编码器（DCAE）+轻量级线性Transformer的三元架构，它实现了15倍于LLM模型的生成速度，同时在旋律、和声、节奏三大维度上达到SOTA水平。更重要的是，其保留的细粒度声学特征，让声音克隆、歌词编辑等高级控制成为可能。


二、ACE-Step的核心技术突破
2.1 革命性的架构设计




该模型通过三大创新组件构建音乐生成新范式：


深度压缩自编码器：将音频信号压缩至潜在空间，保留关键声学特征
扩散主干网络：在低维空间快速生成音乐骨架
线性Transformer：确保长程结构连贯性，避免段落断裂
这种设计好比音乐创作的”三原色”——既保证创作速度（20秒生成4分钟音乐），又维持专业级的结构完整性，还能通过MERT和m-hubert实现语义对齐训练。


2.2 超越基准的生成质量
多语言支持：涵盖中英日韩等19种语言，中文生成效果媲美专业填词人
风格多样性：从流行摇滚到实验电子，准确捕捉不同流派的乐器配置特点
人声表现力：支持气声、怒音等12种演唱技巧，情感传达细腻自然
特别值得关注的是其歌词编辑技术，用户可以在不改变旋律的前提下，像修改文本般调整任意歌词段落。这种”音乐PS”功能，彻底改变了传统的作曲流程。


三、从安装到实战：快速入门指南
3.1 环境配置（Windows/Mac/Linux全平台支持）
# Conda环境创建（推荐）
conda create -n ace_step python=3.10 -y
conda activate ace_step

# 依赖安装（注意CUDA版本匹配）
pip install -r requirements.txt
3.2 三种典型应用场景
歌词转人声（Lyric2Vocal）


python app.py --lora_type vocal --lyrics "夜空中最亮的星..."
适用场景：快速制作Demo带、探索不同演唱风格


文本转伴奏（Text2Samples）


python app.py --lora_type instrumental --tags "jazz, piano, rainy night"
专业技巧：通过”expanded”参数添加场景描述，可获得更细腻的意境表达


音乐修复（Repainting）


pythonapp.py--moderepaint--inputaudio.wav--time_range1:30-2:15
典型案例：修改副歌段落的人声效果，保留其他声部完整性


四、性能实测：不同硬件的表现对比
我们在主流设备上进行了严格的RTF（实时因子）测试，结果令人振奋：


设备        27 Steps        60 Steps        性价比指数
NVIDIA A100        27.27x        12.27x        ★★★★★
RTX 4090        34.48x        15.63x        ★★★★☆
MacBook M2 Max        2.27x        1.03x        ★★☆☆☆
注：27.27x表示生成1分钟音乐仅需2.2秒，测试条件为单GPU+批量1


对于个人创作者，RTX 3090是性价比之选；而专业工作室推荐A100集群方案。有趣的是，即便在M2芯片的MacBook上，完整生成3分钟音乐也只需约3分钟——这已经比传统DAW软件的渲染速度快出数倍。


五、进阶功能：释放创作潜能
5.1 智能变奏系统
通过训练自由的推理时优化技术，用户可：


调节噪声混合比（0.1-0.9）控制风格变异强度
使用三角流公式生成动态噪声剖面
结合区域掩码实现局部风格迁移
实战案例：将民谣主歌与电子副歌无缝融合，创作出独特的Folkstep风格


5.2 多轨控制网络（即将上线）
StemGen：根据主旋律生成适配的伴奏声部
RapMachine：专为说唱设计的节奏引擎
Singing2Accompaniment：人声转完整编曲
这些功能将音乐创作转化为”模块化组装”过程，就像用乐高积木构建声音宇宙。


六、伦理规范与法律责任
虽然ACE-Step开源协议允许商业应用，但创作者需特别注意：


生成内容需进行版权相似性检测
融合文化元素时避免刻板印象
在作品信息中明确标注AI参与度
我们特别开发了文化敏感性检测模块，当生成内容涉及传统音乐元素时，系统会自动提示建议注解方案。这种设计既保护创作自由，又维护文化多样性。


七、未来展望：音乐AI的”Stable Diffusion时刻”
ACE-Step团队正在推进三大方向：


实时协作系统：支持多用户云端协同创作
神经音频压缩：将模型体积缩减至1/10
情感映射引擎：通过EEG信号直接生成对应情绪的音乐
可以预见，未来创作者只需哼唱旋律，系统就能自动生成完整编曲——这不仅是技术革新，更是音乐民主化的里程碑。






本帖最后由 yvfn 于 25-5-7 01:44 编辑

期待！

它在抱抱脸有一个Demo网页，试了一下，生成效果也就是初代Suno的水平，音质不是一般的渣，听不下去的那种渣……也有可能是参数设置的问题，参数太多，有点不知所措，这一点倒确实是Stable Diffusion的风格；感觉还得再等三五个迭代才能成熟吧，以ACE的尿性，等他们开始收费的时候，就能有点满意了，哈哈…… 本帖最后由 MusMonkey 于 25-5-7 08:34 编辑

试一下上传音频局部修改啥水平  我都没法试

对于开源的音乐生成模型来说，ace 被低估了

这项功能没有包含在Demo网页内，只有text2music。 本帖最后由 MusMonkey 于 25-5-8 10:01 编辑