录音/制作/创作 吉他 扩声技术 视频技术 作品展示 生活 信息 更多... | 音频应用专卖店

[新闻] AI音频转MIDI DamRsn NeuralNote

( 25 )
12
 
[收藏]
-  第 1 页  -
#1 23-5-13 07:55

AI音频转MIDI DamRsn NeuralNote


5608


使用深度学习将音频转为MIDI的音频插件。

NeuralNote是一个音频插件,它将最先进的音频到MIDI的转换带入你最喜欢的数字音频工作站。

适用于任何音调乐器(包括声音)
支持多声道转写
支持音高弯曲
重量轻,转录速度非常快
可以在插件中直接对转录的MIDI进行刻度和时间量化

支持macos,windows独立程序和vst3

NeuralNote内部使用了Spotify的basic-pitch模型。更多信息请参见他们的博文和论文。在NeuralNote中,basic-pitch在CNN部分使用RTNeural,在特征部分使用ONNXRuntime(Constant-Q变换计算+谐波堆叠)。作为这个项目的一部分,我们对RTNeural做出了贡献,增加了对2D卷积的支持。

个人测试:
下载mp3
转录midi后
下载mp3


官网免费:https://github.com/DamRsn/NeuralNote
视频演示:https://www.bilibili.com/video/BV1ds4y1Q7zw/



本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?注册

x

1334
#2 23-5-13 08:56
以后扒带岂不是完全可以交给它了

200
#3 23-5-13 09:06
试了 对音头就不是很敏感 很容易把一个音拆分成很多段

我用过一个音频转midi的程序 虽然只能分析钢琴独奏 但是效果要好很多 如果音频的清晰度够 转换效果可以接近完美

这种AI的,通常是推理计算越慢分析效果越好,实时的效果都不太行
本帖最后由 没品贝斯 于 23-5-13 09:42 编辑

3502
#4 23-5-13 09:55
刚试了,  长度限制 3分钟.

这类 Audio to MIDI 工具, 作参考性质还可以,

要一次成形,开发者还须继续努力. 本帖最后由 ccb 于 23-5-13 10:05 编辑

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?注册

x

5608
#5 23-5-13 10:14
ccb 发表于 23-5-12 17:55
刚试了,  长度限制 3分钟.

这类 Audio to MIDI 工具, 作参考性质还可以,

最好不用现场带杂音的,如果是多个乐器就最好分开

5608
#6 23-5-13 11:13
出现断断续续的问题可能是因为它无法分辨相位,以为是音符发生了改变,把音频弄成mono也许好点,然后调节插件各项参数,这个需要自己摸索,也许后续版本会好些吧。
我用pianotrans遇到差不多的问题,也好不到哪里去。


不要指望直接转midi一步到位,必要调节和修改midi。

下载mp3
下载mp3


本帖最后由 martjay 于 23-5-12 19:15 编辑

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?注册

x

11115
#7 23-5-13 11:14
Ableton 自带





本帖最后由 筱沐 于 23-5-13 11:15 编辑

767
#8 23-5-13 11:22

ableton 哪里有?请教

5608
#9 23-5-13 11:27
lhls 发表于 23-5-12 19:22
ableton 哪里有?请教

ableton本来就可以把音频直接转成midi 啊

11115
#10 23-5-13 11:40
lhls 发表于 23-5-13 11:22
ableton 哪里有?请教


本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?注册

x
观众反应
:感谢

200
#11 23-5-13 11:55
martjay 发表于 23-5-13 11:13
出现断断续续的问题可能是因为它无法分辨相位,以为是音符发生了改变,把音频弄成mono也许好点,然后调节插 ...

你确定好不到哪里去??根本不是一个等级的啊

我直接上对比吧

原音频 下载mp3
Neural Note下载mp3
Piano Transcription下载mp3




Piano Transcription力度识别准确,连踏板参数都帮你写好了,音频清晰度再差一点都不怎么会出错,可以说是真正实用的工具 本帖最后由 没品贝斯 于 23-5-13 12:08 编辑

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?注册

x

5608
#12 23-5-13 12:12
没品贝斯 发表于 23-5-12 19:55
你确定好不到哪里去??根本不是一个等级的啊

我直接上对比吧

你用我上面的音频试试?它叫Piano Transcription不是乱叫的

4161
#13 23-5-13 12:34
嗨嗨嗨争个啥,小孩子才做选择,成年人选择都要。233333

5608
#14 23-5-13 12:51
qwetvj 发表于 23-5-12 20:34
嗨嗨嗨争个啥,小孩子才做选择,成年人选择都要。233333

这不是争,只是互相交流

200
#15 23-5-13 12:54
martjay 发表于 23-5-13 12:12
你用我上面的音频试试?它叫Piano Transcription不是乱叫的

这个是用钢琴训练的,别的乐器应该不行

我现在工作中最常用的两个AI工具,一个是demucs分轨,一个是Piano Transcription钢琴转谱
有人找我帮忙给钢琴独奏扒谱,我就直接用AI转了,再对一下速度,很省事。这么玩的前提是不能有其他乐器或人声出现。

其他乐器的独奏音乐本来就很少。多乐器合奏的话,用demucs、spleeter这类工具分割出的轨道损失特别严重,基本没办法再转midi了,到最后还是人的耳朵最好使。
您需要登录后才可以回帖 登录 | 注册

本版积分规则

搜索