如果大家和小探年纪相仿的话，一定记得几年前红遍全网的这条神奇的3D音频
当时小探的好友们转发的配文都是“太逼真太可怕了”，“听完感觉头发都被剪光了！好凉啊！”
这条音频之所以可以如此逼真动人，是因为它采用了“人头录音”技术，还原了真实的声场。
换句话说，就是用复杂的录音方式，模拟还原了人耳在现实环境中的听音效果，比如剪刀在靠近右耳的地方“咔嚓咔嚓”，此时在音频中双耳听到的声音大小、时间都有会有一定的区别。虽然同样是用耳机来听，但由于3D音频对声场空间的还原，骗过了我们的耳朵和大脑，所以会让人感觉“震撼”、“真实”，有极强的沉浸感。
这么多年过去了，随着虚拟现实（Virtual Reality）技术的发展，我们已经可以轻松拥有沉浸式的视频观看体验了，但 VR 的音频内容却没有跟上视频的脚步。业内领先的 VR 内容创作公司 Jaunt 首席工程师 Adam Somers 曾说：“在沉浸感这件事上面，听觉占了五成，视觉占剩下五成。然而，无论是游戏还是电影，很多人过分关注了视觉元素，很多时候音频都被当作最后添加的内容，被忽略了其重要性。”
为什么会这样呢？原因只有两个字——难啊！
最近，硅谷密探独家专访了一家叫 Mint Muse 的公司，CEO 向奕裴告诉小探，他们所开发的产品，将彻底打破 VR 视听发展不平衡的尴尬格局，解决这个难题。
也许你要问，既然3D音频这么“带感”，为什么我们没有在生活中看到它的应用呢？其实最简单的应用，就是在电影院。
为什么人们喜欢在电影院看电影呢？当然是因为视听体验好，有“现场感”。比起大银幕和放映厅的光线环境给人在视觉上带来的影响以外，影院对音响位置的精心设计是更重要的因素：从环绕声到全景声，影院在放映厅的各个方位摆放音响设备，尽可能地扩充声音维度的准确性。VR 作为给人带来沉浸感的视听体验方式，仅仅有充分模仿现实的视觉设施，缺少声音的刺激，不仅会让体验者觉得“少了点什么”，还有可能因为声画的不一致，给人带来晕眩感。
3D音频发展的困境
其实早在十几年前，人们就已经开始着手发展3D音频了。自 VR 开始强势发展以来，很多公司也已开始投入大量物资为VR提供与之匹配的音频编辑系统。Facebook 收购了著名的空间音频技术公司 Two Big Ears， 并发布了 Facebook 360 空间音频工作站。
Google、Valve 等也都为VR内容制作者提供了 VR 音频编辑的 SDK，方便制作者将3D音频嵌入视频当中，但是目前最严重的问题是：3D音频源文件的制作还存在很多限制。
向奕裴在采访中告诉小探，传统的3D音频制作，可以通过“人头录音”设备来实现，就像我们熟知的3D虚拟理发店这类内容一样。这样产生的3D音频直接可用，但是价格昂贵，并且音频的各类要素都完全依赖现场的录制状况，后期完全不可编辑。然而视频的制作是需要视、音频文件严丝合缝的对应的，一旦音频无法二次编辑，这将给视频制作带来很大的阻碍。
（人头录音设备）
况且，就传统的影片拍摄方式来说，直接实现3D录音是不现实的。“人头录音设备价格非常昂贵。影片的摄制团队较为庞大，对于预算和工作周期有严格的要求，在有限的条件下，如果要全程录制3D音频，工程量将非常大，”向奕裴说，“目前一般都还是采取后期制作的方式来进行声画一致性的调节。”
然而，目前后期制作3D音频的插件编辑器又太不人性化了！
比如下图 Panorama 5 3D 音频编辑器的这种画风，制作者不仅得业务熟练，万一脑补力不足，想象不出与画面对应的3D场景，工作起来也是寸步难行。由于这需要音频制作者在想象声场空间设置的基础上，手动调节每个节点的坐标数值，依赖这类软件，3D音频制作周期也会变得非常长。
（Panorama 5 的操作界面）
“想象一下，音频编辑一会儿在2D屏幕上拖动各种按钮，脑补3D声音的场景，一会儿又得带上VR头显监听监看，这种操作方式简直是反人类！”向奕裴说。
为了彻底解决这个问题，向奕裴想到：为何不直接让制作人员戴着头显，直接在 VR 的环境下进行视频、音频的编辑呢？这样一来，小编们再也不用冥思苦想，脑补实况，监听监看也变成了顺便的事情。
Mint Muse 近期在 Steam 发布的 VR 3D 音频编辑器 Sound Flare，就突破性地 让制作人员全程在 VR 环境中，直接根据全景视频文件进行 3D 音频制作，打破了以往3D 音频制作的各种限制，。
（在Sound Flare上拖动音频位置，与视频进行对应）
这款发布在 Steam 上的编辑器，允许人们带上 VR 头显，用所见即所得的方式进行音频编辑和制作。
（Sound Flare 让VR音频编辑变得生动可见）
内容制作者可以戴着 VR 头显，在所看到的软件界面上直接拖动音频文件，除了调整市场、剪接、调音量等基本功能，通过打点、拖动关键帧等方式，也可以根据发声路径改变声音的远近，让发声的人物和声音效果相符。
（在Sound Flare 上可以直接进行拖动操作）
Sound Flare 到底能实现怎样的效果呢？举个简单的栗子，你就懂了。
在一段 VR 视频里，探长 Peter 和 Paul 都在硅谷密探的办公室里，Peter 在呼噜呼噜地吃牛肉面，Paul 在打电话。使用 Sound Flare 将音频进行 3D 处理编辑后，小探用 VR 头显观看视频——从门口走进办公室，如果将画面拉近 Peter，Peter 吃牛肉面的声音就大一些；如果把画面拉近 Paul，小探就能听清 Paul 在说什么；把画面对向墙壁时，甚至可以听到回声。如果把画面拉到门口之外，就什么也听不清啦。
这样一来，人物的位置信息在声音和画面上都保持了一致，VR视频将真正做到给人有“能忘却所佩戴设备的真实空间感”。
（用户可以直接在Sound Flare上实现音频文件的混缩输出）
目前在 Sound Flare 上已经可以轻松实现两耳3D音频的制作，在未来的版本中，Sound Flare 将增加对环境立体声（ambisonics）的支持，让VR音频实现全沉浸式的空间音效效果。
除了带来行业变革的 VR 3D 音频编辑器，Mint Muse 还为包括优酷在内的多个VR 视频播放平台提供全景声解决方案，让3D音频的播出不受平台技术限制，让人们更全面地体验到全景声带来的奇妙感受。
他给声音变魔法
虽然创业者的传奇故事大家都已听得太多，但像向奕裴这样“专业的”、文艺学霸也是凤毛麟角。
（Mint Muse 的 CEO 向奕裴）
出生于音乐世家，从小学习钢琴和双簧管的他，没有按照人们能想到的惯例，就此走入音乐演艺行业，而是去清华大学电子工程系当了一名理工男。担任清华大学交响乐团首席双簧管的他，不仅在校园里小有名气，更是与知名音乐人合作，为一系列专业唱片担任编曲和制作人。
（向奕裴的豆瓣音乐小站）
在美国加州大学圣地亚哥分校电脑音乐和现代数字音频技术博士毕业后，向奕裴顺利进入 Qualcomm 高通工作，在高通的音频组参与开发音频音效算法设计以及标准制定。虽然工作繁忙，但是向奕裴一边坚持进行音乐创作，一边还在捣鼓着创业！
（向奕裴在iTunes上的音乐专辑）
除了“偶尔”和爱乐乐团开几场演奏会，“偶尔”写写歌、编编曲，“顺便”在2011年出了一张个人专辑《To The Moments》以外，向奕裴与志同道合的小伙伴一起，先后做了白噪声生成器 Loopless Relax Sound，运用过音频算法随机组合内容，为用户生成例如流水、雨声、蛙鸣等不间断的自然环境声，还有通过控制声波频度改变用户听歌体验的 Binaural Beats Mint 和“可记录当时环境”的水印相机 Oiday 等在 App store 被用户热评的应用。
（Sound Flare 的编辑界面）
说到创办 Mint Muse 的经历，向奕裴说，创业和做音乐一样，都是先有了想法，再仔细打磨、研究实现的方法。Mint Muse 团队在很早以前就开始做与声音有关的各种应用，在投入时间专心研究市场与产品后，最终确定方向，专攻空间声效的编辑与制作。
VR 内容爆发仍需时日
向奕裴告诉小探，目前VR行业的一大短板，还是在内容。VR给人的体验感是其他方式无法比拟的，但是即使平台和设备开发得再好，优质的内容始终是决定行业格局的关键。不管VR在设备和科技上有了怎样的突破，如果音频制作一直处于滞后状态，VR在发展上仍会受到制约。可以很直接地说，VR内容的行业格局将会在很大程度上依赖于VR音频的发展。
每一个看好VR 发展的人都热情高涨，民用的360度摄像机、支持手势的VR头显都已不再新鲜，然而，用于VR的内容质量仍然参差不齐。虽然有很多专业的VR内容制作公司和游戏公司，但是最终给VR内容产业带来繁荣的强心剂，很可能还是UGC（用户产生内容）的参与。
Sound Flare编辑器可以说是行业首创的直接可在VR界面工作的后期处理工具，对于这个痛点实现了针对性地解决。向奕裴说，他希望 Sound Flare 不仅是为VR内容制作者提供便利，更希望通过 Sound Flare 的普及，可以让VR在内容上有新的爆发。
来源/硅谷密探
