AI音乐要变天了吗？字节跳动这个操作会不会颠覆很多人的音乐制作方式？

( 9 )

yvfn

284

#1 24-9-18 21:38 …

AI音乐要变天了吗？字节跳动这个操作会不会颠覆很多人的音乐制作方式？

复制代码

B站视频介绍：豆包AI音乐比Suno更全面？字节跳动Seed-Music AI音乐技术一文盘完功能亮点

https://team.doubao.com/seed-music
Seed-Music：字节新论文提出高质量和可控音乐生成统一框架，音乐生成模型支持多种数据输入生成和编辑音乐

Seed-Music 是字节跳动公司开发的一套先进的音乐生成系统，旨在实现高质量和可控的音乐创作。它基于深度学习技术，特别是自回归语言模型和扩散模型，构建了一个统一的框架，支持多种音乐创作和编辑功能。

Seed-Music 的核心特点:
高质量音乐生成：支持生成声乐和器乐作品，用户可以通过文本、音频等多种方式输入，实现多样化的音乐创作。
支持多种数据输入生成和编辑音乐
多模态输入： Seed-Music 可以接受多种形式的输入，包括文本描述（例如歌词、风格描述）、音频（例如音频参考、音频提示）和乐谱、声音提示等。
细粒度控制：用户可以通过多种方式控制音乐的生成过程，例如指定音乐风格、调整旋律、编辑歌词等。
歌声合成与转换：支持多种音乐创作和编辑功能，包括人声音乐生成、器乐音乐生成、歌声合成、歌声转换、音乐编辑等
歌声合成：生成自然且富有表现力的歌声，支持多语言。
零样本歌声转换：只需10秒的语音或歌声录音，即可将其转换为不同风格的音乐。
歌词转歌曲 (Lyrics2Song)：将输入的歌词转化为带有伴奏的声乐音乐，支持短篇和长篇音乐生成。
音频提示和风格转换：支持音频延续和风格转换，基于已有音频生成相似风格的新音乐。
器乐生成：生成高质量的纯器乐音乐，适用于无歌词的场景。
音乐后期编辑：支持歌词、旋律的修改，允许用户在生成的音频上直接进行编辑和调整。
歌词与旋律编辑：Seed-Music 提供了交互式的工具，允许用户在生成的音频中直接编辑歌词和旋律，方便进行后期调整。
音乐混音与编曲：系统不仅能生成完整的歌曲，还支持对生成的歌曲进行修改，如调整乐器部分、混音效果等。
多风格与多语言支持：Seed-Music 能够生成涵盖多种音乐风格（如流行、古典、爵士、电子等）的作品，并支持多语言歌声生成，使其适用于全球用户。
统一框架： Seed-Music 采用统一的框架，将不同的音乐生成和编辑任务整合在一起，提高了系统的效率和灵活性。

Seed-Music 的核心是一个统一的框架，它包含三个主要模块：
表示学习模块：该模块将原始音频转换为高度压缩的表示，例如音频 Token、符号 Token 和声码器潜在向量。
生成模块：该模块根据用户输入和选择的音乐生成任务，预测相应的表示。例如，如果用户想要生成一首流行歌曲，生成模块就会预测相应的音频 Token 序列。
渲染模块：该模块将生成的表示转换为波形音频，例如将音频 Token 序列转换为可以听到的音乐。

Seed-Music 的生成模块采用了两种主要的深度学习模型：
自回归语言模型：用于生成具有长期结构的音乐，例如歌曲的旋律和和弦进行。
扩散模型：用于进行细粒度的音乐编辑，例如调整单个音符的音高和时长。

Blog：https://team.doubao.com/seed-music
Arxiv论文：2409.09214 【不开源】
Seed-Music：高质量和可控音乐生成统一框架，2024年9月13日，Seed 团队，字节跳动

本帖最后由 yvfn 于 24-9-18 23:42 编辑

回复此帖报告

Skin哥

157

#2 24-9-18 22:05 …

时间该到了

回复此帖报告

筱沐

11125

#3 24-9-18 22:15 …

早就变天了

回复此帖报告

yvfn

284

#4 24-9-18 22:55 …

筱沐发表于 24-9-18 22:15
早就变天了

看介绍好像可控性非常强，像编辑MIDI一样编辑生成内容，这可要比suno和udio还强。不过目前还是PPT，出的那个海绵音乐也没啥新鲜功能。

回复此帖报告

zsjs

2166

#5 24-9-18 23:16 …

啥时候公测

回复此帖报告

yvfn

284

#6 24-9-18 23:44 …

zsjs 发表于 24-9-18 23:16
啥时候公测

敬请期待

回复此帖报告

海潮

4277

#7 24-9-19 08:39 …

灰常期待.............

回复此帖报告

yaerduo

#8 24-9-19 09:59 …

相当值得期待

回复此帖报告

小猪猪来了

4007

#9 24-9-19 16:10 …

还没用过ai音乐

回复此帖报告

初见即别离

8909

#10 24-9-19 21:26 …

回复此帖报告

返回列表

AI 制作

AI音乐要变天了吗？字节跳动这个操作会不会颠覆很多人的音乐制作方式？

AI音乐要变天了吗？字节跳动这个操作会不会颠覆很多人的音乐制作方式？