虚拟现实和增强现实是今年的热门话题SXSW音乐节但他们的对话不仅限于此耳机．要想真正沉浸其中，体验需要融合所有五种感官。视觉，声音，触觉，嗅觉，甚至味觉。
没有哪家公司比他更了解技术和人类感官杜比(在一个新窗口中打开)它开创了从环绕立体声到HDR成像。我有幸与杜比实验室的首席科学家，罂粟花床(在一个新窗口中打开)，在展览上。
克拉姆也是斯坦福大学的兼职教授音乐与声学计算机研究中心(在一个新窗口中打开)和符号系统中的程序(在一个新窗口中打开)．Crum作为IEEE的一部分参加了SXSW科技造福人类系列(在一个新窗口中打开)．她懂得声音，还懂得更多。
科斯塔:波比，非常感谢你今天加入我们。
克拉姆:谢谢你邀请我。很高兴来到这里。
我们将讨论可听技术，我们将讨论增强现实技术，我们可能会讨论一点虚拟现实技术，我们可能会讨论我们两个人时常经历的无痛偏头痛。首先，你在杜比的角色。你的工作日是什么样的?你到办公室后都做些什么?
我们有一个庞大的计算神经科学家团队以及感官感知方面的专家。如果你回顾杜比的历史，甚至回到50年前，在公司的核心，它一直是对人类经验的理解。我认为它有助于区分我们对建筑技术的看法。
所以在日常生活中，我的团队成员和同事，我们会跨越技术。我们不再只是声音，而是一种整体的感觉。我们有实验室，每天都有很多实验在进行。
我们的新大楼有多达100个实验室，但我们有一些很棒的生物物理实验室。我的背景是神经生理学家——我们团队中的许多人也是如此。人类的生理机能每天都在思考新技术，也有一些非常开创性的工作在思考我们如何体验多感官的信息，并真正展望未来我们将如何消费如此丰富的内容，以及这对它如何影响我们的身体，如何影响我们与他人和我们的感官的互动意味着什么。
你在展会上讨论过的一件事我们在PCMag上也讨论过很多，那就是听力部分。我想很多观众对“可听”这个词并不熟悉。当你听到“可听”这个词时，它对你意味着什么?这是什么意思?
现在，我认为这个术语还在定义中。我喜欢把它看作是产品和可能性的一个很大的子集。它是一种无线设备，有时甚至是有线设备。因为亚马逊的回声我称之为可听设备，它是插入式的，但它是一个有麦克风或传感器的设备，但它从环境中获取数据，以某种方式使用这些数据来增强你的体验。现在也有很多公司在考虑可穿戴设备，一种无线设备，可以戴在身上，但如果我们看看静态可听设备谷歌的家(塔吉特99.00美元)(在一个新窗口中打开)以及亚马逊Echo，这些都是革命性的。
可听性并不一定意味着它只是强化你周围的声音。它可能是获取你周围声音的信息，并利用这些信息以某种方式增强你对世界的体验。你可以把它看作是捕获。事实证明，耳朵是一个收集生物物理信息的好地方，你可以在那里捕获很多信息。你可以想象，很明显，分析可以捕捉到你周围的声音，你的对话，用它作为一种方式来改善你的生活或优化你。
这方面也有很多问题。我们看到的一件事我认为是值得指出的，我认为它将改变并帮助定义这个领域的是法规的变化。
现在，助听器是可听的。助听器是一种增强现实设备，但这类消费设备有能力帮助减轻听力损失，有能力成为听觉正常的人的增强现实设备，甚至有能力成为游戏设备。你会得到这些领域的交叉，医疗设备属于这个更大的类别，你会有一个消费设备类别，它显然跨越了这些边界，为我们做很多类似的处理。
说到助听器，人们认为助听器是一旦你开始失去听力，你就可以用助听器来恢复听力，但如果人们开始用助听器来增强听力，会发生很多有趣的事情。他们有正常的听力，但他们想拥有比正常听力更多的东西。
绝对的。我一直坚信不要随意划定界限，说“现在我有听力损失了”。我们的听力，因为世界上有很多元素和声音，甚至阿司匹林也是耳毒素，你必须是
是这样吗?
绝对的。在我们20岁出头的时候，我们的听力就开始退化了，甚至可能更早，当人们听到一些响亮的声音时。
尤其是西南偏南。
是的。可听设备有很多不同的功能。无论是控制你的内容直接流到你的设备-无线-控制元素，信息的空间化。我们谈论的事情——。在获取信息方面有很大的推动作用，通过谷歌眼镜或其他公司的一些设备增强我们的视觉感，而我们真正想要的是，这些(信息)的声波成分可以非常关键地让我们突破我们所谓的容量限制。从我们的世界中获取信息，并将其真实地表现为声音。
在我看来，让人们对声音、语音控制和语音交互，以及隐私有不同看法的，是像谷歌Home和Amazon Echo这样的设备，它们是我们在这个数字世界中真正的第一个主流语音界面，它带来了所有这些不同的后果，我认为我们才刚刚开始梳理。你认为市场的走向如何?
这是个好问题。我不得不说，我认为这些设备在很多方面都是变革的，我是它们的忠实用户和忠实分享者，部分原因是为了理解和观察它们的发展方向以及我在日常生活中如何使用它们。人们愿意让麦克风一直开着，这是一个很大的飞跃。我们能做些什么呢?
现在，声音是一个美妙的东西。它赋予人们控制权;它正在让他们接受这个设备作为他们生活中的助手。十年之后，我不想在生活中控制更多的事情。我希望我的设备……我更相信我的数据而不是相信我自己在某些情况下知道我需要什么我希望设备是。
先行。
绝对的。我希望它们能主动地捕捉到我周围声音的大量信息，比如我是否在咳嗽，是否在调节体温。或者在我需要的时候帮我预约或者让我们的生活向前发展而不必控制所有的设备。
你可以想象，Echo可以检测出你是否吸过鼻涕。它可以检测出你的声音是否像喉咙痛，或者你是否一直在咳嗽，然后让你知道你的声音像是感冒了。
在你(知道你需要它)之前就为你安排好与医生的预约。这听起来有点遥不可及，但与此同时，我认为我们会实现这个目标。我认为有了语音控制，将这些整合到我们的生活中会让我们感到舒服。
在未来，我们唯一会感到不舒服的时候是当东西不能工作，当它消失或消失的时候。
我有一次使用Echo的经历，让我意识到它是多么超越了我所拥有的互动，它可以帮助不同人口结构的人。但是，我认为人们已经考虑了很多关于这些设备的易用性，这很好。比如它可以为非常年幼的孩子或不同年龄段的人提供访问。
有残疾、缺点或缺陷的人可以用技术来填补。
绝对的。就我而言，我有个亲戚住院了，几周前去世了。艾可刚出来的时候，我就把他买下来了;我给他买了一台Echo作为辅助设备。这是变换。我把它带到医院，像这样的设备在医院里是非常了不起的。隐私问题确实变得需要考虑，但我们主要是在那种环境下播放音乐时使用它。
但在那个时候，我的亲戚不怎么说话，也不说话，我们一直在用Echo播放我们认为他想听的音乐，巴赫和非常平静的音乐，说实话，他说的最后几句话，我没开玩笑，我记得是，“Alexa，放Al Green吧。”他想要她的艾尔格林，希尔和石头家族和这个设备给了他这样的机会。它赋予了我们力量，在那个时候它非常强大。
有很多技术在发挥作用。你会发现，Al Green是可用的，而且有一个巨大的音乐库，这是一个语音命令，然后你有了语音命令本身，这使他有可能亲自请求。所以有很多事情要做。
我认为当你打开隐私问题,这是另一个问题是,Alexa前让我们医生的预约,我怀疑,一些制药公司将提供给我们一个感冒药表或我们的过敏作用提供一个仙特明,我认为这几乎是一个中间步骤,我们必须通过谁来控制所有的数据捕获和我们赠送的音频格式。
我们必须拥抱它。如果我们不考虑监管方面的问题，我们不考虑如何让人们愿意向你提供比我们目前提供的更多的数据。我认为亚马逊现在说，“我们只听你说Alexa，”但这些设备要想做它们真正能做的事，你必须一直听。
现在有一个大趋势，公司，保险公司，无论是汽车保险还是健康保险公司，为消费者提供一种交易或一种降低费率的方式，如果他们允许追踪他们的数据——如果他们泄露自己的数据。我认为它非常强大。我认为这将是我们未来的一部分，这是毫无疑问的，但共享这些数据的未来，还没有被定义，也很难预测。所以，我们必须思考未来会是什么样子。
此外，我认为这是一个持久性的问题，当人们说，“我不介意如果我把我每周走的步数告诉我的医疗保健公司或保险公司，”但这些信息不会去任何地方，你这周走的步数将在30年后被搜索和索引，我们今天生活的数字持久性的想法，真的，在人类历史上，从未真正发生过。当你再加上你可以在厨房里一直开着麦克风的事实，所有的数据都不会去任何地方。亚马逊将永远拥有它。
这样的未来是不成文的，我们也不知道后果。我们还没有定义这些规则，但这些规则在未来甚至可以改变，因为很多事情都可以改变。
还有一件事。我认为，从文化上讲，欧盟现在试图颁布更多保护消费者的监管立法，但不清楚这意味着什么，因为数据是存在的。我们需要确保旅行时的互操作性。我们需要确保小型物联网设备的安全性。这是非常关键的一点。我认为像NIST这样的组织在解决这个问题上非常积极。
当你看到杜比所做的事情和他们正在研究的所有技术时，你开始看到共同的主题，其中之一就是该公司真的试图给人类超感官的感知能力，超人类的能力。听起来太夸张了。这听起来有点夸张，但确实有很多人通过科技获得超人能力的例子。我们能谈谈其中的几个吗?
绝对的。我有神经生理学家的背景，我一直在思考如何将这些东西与科技结合有几件事很重要。当我们想到增强现实是什么，或者科技今天能为我们做什么……当我第一次加入杜比时，也许我们正在研究杜比视觉，杜比视觉是一种高动态范围和更宽色域的成像技术。我来简单介绍一下，大约三年前，你买的典型显示器是每平方米300到400个烛台。月亮，自然的月亮大概有一千到两千度，阳光照在黑色的路面上，每平方米有一万五千个坎德拉。
所以显示技术离我们实际的感官系统所能处理的距离很远。在开发过程中，我们使用了一些内容和设备让我们每平方米的亮度达到20000坎德拉
这不一定是对比度，这不是分辨率，这是亮度。
是的，从知觉和感官的角度来看，对于很多观看距离，我们的感觉系统，你的知觉系统能处理的分辨率已经达到极限了。但在亮度和色域方面，我们还差得很远。所以这是非常令人兴奋的，“好吧，我们可以在这个领域提高体验，我们可以在这个领域领先。”这很令人兴奋。
所以在做这些研究的过程中，我认为让我意识到这有多么强大的东西，也重新定义了我认为沉浸式技术应该是什么样子的，就是这个。我们在看一些火的内容和烛台。我想我们当时的价格是每平方米四六千坎德拉，我当时在看，我感觉我的脸只对火焰有反应。有个人朝我甩出一团火焰，所以我看到了这团巨大的、非常明亮的火焰，我当时想，“哦。”一定是显示屏本身产生了热量。所以我找了一个关键的开发者问他。他说，“应该是常数。”所以我买了一个热成像相机，用热成像技术来追踪屏幕。它是完全恒定的。但我们能够在人们的脸上显示出与内容相关的一致变化。
所以根据到达视网膜的亮度，我的大脑会说，“好吧，我从未经历过这么明亮的火焰，这不是真的，所以我的大脑很可能会把这火焰当成是真的。”
所以现在当我们想到沉浸式技术创造超能力和创造体验时，我们可以想到它们以一种自然的、真实的方式参与我们的生理系统，然后我们可以增强它们。我们有能力超越你在自然世界中可能经历的东西，这变得非常强大。
是的，这是一个很好的例子。我们也谈了一点关于我们如何在PCMag中测试了一堆ER系统。那里有非常有前途的技术正在开发中。我们总是专注于它在屏幕上的外观和分辨率，但对于虚拟现实和增强现实来说，音频组件与视觉组件同样重要，有助于销售体验。你能谈谈你在这方面的发现吗?这对游戏体验有什么帮助?
我们的编辑推荐
一个跨界的大趋势，不仅仅是在我们公司，还有其他公司，就是人们认识到，研究一种感觉离不开另一种感觉。如果我们展望未来的设备和AR和VR的整体设备。目前，所有主要的VR设备都是视觉设备，但据我所知，助听器是增强现实设备，尽管它们可能不想被称为这个。它试图从基本的生理系统中增强它的状态。人工耳蜗是最早的植入式生物物理设备之一。
如果你想知道我们想在增强现实中得到什么?我们想要增强我们对世界的体验。我们不希望它成为干扰我们的东西，给我们太多的数据，我们不能做我们过去做的事情。现在，我们正处于非常酷的体验的趋势中，但我们还没有像我所期待的那样，让我们生活中的平凡活动变得更好。让我们能和人们更多地接触因为这些东西得到了加强。我马上会给出一个例子，但实际上，我们想要连接。我们想要投入到生活中去。我们希望能够获得更多的信息。我们想要有高度的体验，我们想要能够控制这些体验的丰富程度。
所以，如果我们把我们能捕捉到的所有数据。更多的数据并不总是更好，但如果我们试图增强我们的视觉效果……我在军队中见过这种情况，我也见过这种情况发生在我想要创建一个AR的技术中，我把我想要增强的信息，都放在我的视觉系统中。我把它们都放在眼镜里，或者放在我必须看到的地方。我们的大脑无法处理这么多信息。我们不能同时接受。
这就是声音……从某种意义上说，我们有能力限制，但你猜怎么着?我们有其他的感官。突然间，我们打开了整个商店，我们可以真正使用它来增强我们的体验，你猜怎么着?这是cliché，但是关于创造生理体验，当我在看恐怖电影时，我该怎么做?我把声音关了。所以这不仅是一个发自内心的部分，它也是一个提升和丰富我们生活方式的机会就我们能吸收多少信息，我们能处理多少信息而言。简单地将声音或声音元素分离，我们可以同时处理它们，而不是让我们的大脑和信息完全无用。它防止我们的大脑和认知能力被一件事占用。这真的让我们对情况有了清醒的认识，我们可以做些什么。
音频组件和所有这些虚拟现实的东西，当我们开始测试它们时，这是我们在每次评估中都会考虑的内容，即它看起来是这样的，听起来是这样的，然后这两部分的总和通常应该比各部分的总和更大。
在AR或VR中，我们可以用声音做很多不同的事情。显然，创造一个空间化的体验很重要，但这是其中的关键部分。杜比大气是一个基于对象的声音传递和渲染的例子。所以当东西在Atmos中编写时，声音元素与一个数据包共存，一个附加到它的数据流。所以，你可以想象，这是非常强大的。它可以告诉你声音应该出现在哪里。不管你是如何创造那个声音的，它都有那个位置。它有宽度，有响度，但它也可以用GPS坐标。它也可以有各种各样的信息。如果我们对正在发生的互动有所了解，我们可以在未来有关于它应该如何影响你的情感内容。
这些都是未来可能发生的事情。如果你想想AR设备，它可以提供很多信息。我们现在用地图低头看手机或开车。这些事情可以在实验室里很容易地完成，创造一个声波版本，给你追踪信息，告诉你，不是口头的，而是给你ping信号，告诉你声音在哪里，你应该去哪里。问题是，我们必须确保它在用户之间是健壮的和一致的，这是一个更复杂的问题。
映射是一个很好的例子，它仍然是基于屏幕的，当谷歌Glass问世时，你可以看到所有这些信息，在你的视觉显示中有一个很小的窗口。我真正想要的是它在我耳边告诉我应该向右转还是向左转。
是的。
你就在那里，就在我耳朵旁边，你可以直接给我语音指令。就可穿戴解决方案而言，我认为它是一个比视觉系统更好的音频系统和声音系统。
绝对的。再一次，嗯，不是再一次，我认为你已经提到了主要的一点，那就是这些都是工具，而现在，今天，我们有了可以以惊人的方式使用的工具，包括神经控制和其他东西，但问题不是让我们……它是为数据、技术和用户体验选择正确的工具。你需要根据具体情况对你的个人和他们想要达到的目标进行优化和个性化，这是我们目前正在构建的一个很大的差距。令人惊叹的技术，它将变得更加丰富。但它会移动，我认为我们必须接受我们试图达到的，并思考，作为一个人类系统，我们如何才能最好地体验它。
我最喜欢做的事情之一就是观察其他物种。你可以观察青蛙、苍蝇或蝙蝠，这些物种拥有惊人的超能力，可以做一些远远超出它们的身体和粗略观察它们的大脑所能告诉你的事情。了解它们是如何解决这个问题的，以及为什么它们的进化为它们解决了这个问题，给了我们深刻的见解。我们必须这么想。我们必须更多地思考环境对我们系统的压力是什么，以及技术如何能最好地帮助我们解决这个问题?
而且，交付越来越多的数据可能并不总是正确的解决方案。
很少,很少。我的意思是，让我们成功的是我们大脑丢弃的东西。我总是在谈论幻想，我喜欢幻想。它们很有趣，但它们也是我们大脑什么时候出错的美丽洞察。如果我们体验到的数据和现实世界完全一样，你就会以一种病态的状态结束，你在现实世界中就失去了功能。我们的大脑一直在做的是帮助我们衡量某些信息，甚至不去注意不同的信息。如果我们注意光所产生的亮度变化，我们将永远看不到整体的物体。我们需要发挥作用，我们需要知道对什么采取行动，这就是强大之处。
我来问你几个我问过所有客人的问题。第一，什么事让你夜不能寐?你最关心未来的技术趋势是什么?
两件事。我认为我们已经触及到的一点是，创造这种超能力有太多的力量，我们可以用AR和VR做什么。我的希望是，我们把我们正在构建的所有技术都看作工具，我们考虑使用正确的工具，用最简单和最，我说的健壮，但它对所有用户都是一致的，以获得预期的体验，而不是最性感和最闪亮的体验。
另一件事是——这是关于数据的。让麦克风一直监听有很大的力量可以推动我们的技术进步，推动我们的生活进步。但我们必须对数据所发生的变化感到满意。我们必须适应监管，无论是自动驾驶汽车还是可听设备，或者只是物联网设备的安全。如果我们没有强有力的法规、标准和理解，在很多情况下，对驱动这些概率决策的算法和这些设备背后的人工智能缺乏透明度，我认为这将推迟和阻碍创新。它可能会推迟这项技术对这么多人产生积极影响的能力。我想看到这一切发生。因此，我认为这将是有关标准和法规的问题，以帮助实现这一点。
从积极的方面来说，你最兴奋的是什么?你认为什么会改变世界，让你每天兴奋地去上班?
有一种趋势和转变，我们不去考虑一种意义。我们从整体上考虑技术。我们考虑的是它对视觉和听觉的共同影响。我们考虑的是我们的整个生理系统，以及我们的感觉和情绪。现在人们关心的事情和我们描述技术影响的方式更加丰富，涉及到它对人际关系的意义，以及它对我们体验的影响。我绝对认为这是一个新的方向。
所以，对于一个你喜欢的，改变了你生活的产品，服务，科技小玩意。有没有一件事让你觉得，“这件事让我的生活每天都变得更好?”
静态可听设备。我每天都在使用Echo，我看到它跨越了如此广泛的代沟和用例。我对这样的技术的发展感到非常兴奋，现在，它真正的影响还处于早期阶段。
所以如果人们在听这个演讲并且他们对你的工作感兴趣，他们怎么在网上找到你，和你互动呢?
你可以在LinkedIn上找到我，罂粟花床(在一个新窗口中打开)．你也可以在Twitter @上找到我poppycrum(在一个新窗口中打开)．
想了解更多丹·科斯塔的“快进”节目，请订阅播客。在iOS上，下载苹果的播客应用(在一个新窗口中打开)，搜索“快进”并订阅。在Android上，下载播客应用程序的缝合电台(在一个新窗口中打开)通过谷歌播放。
