本帖最后由 尾巴 于 17-12-6 10:12 编辑
上次说了人头录音和VR音频的关系、binaural audio的概念,顺便介绍了HRTF,这样输出端的关键技术就齐全了,简单的说,你已经有了“观察VR世界的潜望镜”,这一篇我就说说这个世界的创造者们。
既然是虚拟现实,最常见的立体声音频那种两点一线的音频显然是不够用了,我们需要更全方位的声音信息,这就是Spatial Audio(注意不是环绕声)。这样的需求难不倒两大影视音频大佬,Auro和Dolby都早就有了类似的Spatial Audio技术,Auro 3D和Dolby Atmos,似乎只要推出相应的decorder,利用原有的技术输出成binaural audio就可以使用了 ——而事实他们也确实是这么做的,Auro 3D直接推出了基于游戏音频中间件的decorder插件Auro headphone并长期免费^_^。
但是现在一提到SpatialAudio,你听到最多的是另一家公司——Ambisonic,这是一家70年代成立于英国的音频技术公司,有着非常超越时代的技术积累。创业圈有一句话“早人一步,你会成为马云,早人两步,你会死的很惨,最终成为行业的垫脚石”。Ambisonic就是这样一家早人两步的公司,由于当年的技术太过超前,在当时毫无用武之地,虽然没有成为垫脚石,但也只是靠着极其小众的一群爱好者苟延残喘存活到今天。
作为影视影视音频的大鳄,Auro3D和Dolby Atmos都是用现有的技术二次编码解码变成binauralaudio,在变成binaural audio之前,你要先把音轨变成Dolby的5.1.2、7.1.4,或者Auro的9.1、13.1、然后再变成binaural audio。也就是说,你先要在虚拟的世界里按套路摆一堆音箱,然后再用相应的decorder转换成binaural audio来模拟听这堆音箱播放声音的情况。
Ambisonic表示“你们这些学渣,我只需要4轨,也不需要在虚拟世界里摆箱子”,Ambisonic的一阶B-format格式,和其他Spatial Audio套路完全不同,四条音轨其实并不是直接记录四个方向的声音,而是X、Y、Z、W——三个方向的坐标音轨加一条单声道。不管你要的声音来自哪个方向方,最终都可以分解成X、Y、Z三条坐标轴的信息,分别记录在相应的音轨上,播放的时候再用同样的方式反向还原(官方有计算公式,入门级的三角函数),W是一条记录全局信息的单声道音轨,通过调整W的强弱可以控制整体声音的“浓度”。
这样的方式在VR里使用非常方便,真正完美解决了全方向声音信息的包围(Auro 3D和Dolby Atmos都没有下方的声音信息),让虚拟世界的声音更完整,也更好控制。所以现有的VR音频,就算最终会使用其他公司的decorder,在中间管线也离不开Ambisonic的技术。
除了上述说的几家公司,开发Spatial Audio技术的团队还有很多,暂时能看到的技术上都大差不差,就不过多赘述了。