5G和面部跟踪：Oculus Quest和HoloLens等VR耳机的古怪未来

VR头戴式耳机会带您到位，而AR头戴式耳机会向您显示现实世界中不存在的事物。下一步可能是一波充满摄像机的VR头戴式耳机，它将现实世界与虚拟现实融合在一起。他们还可以同时跟踪您的房间和脸孔。称其为混合现实，XR或任何您想要的东西。无论您怎么说，VR都会变得怪异。高通公司的新AR / VR技术将是其中的重要部分。它即将在明年由许多不同的公司推出。

到2019年底，我们仍然没有生活在一个到处都戴着魔术虚拟眼镜的世界里。但是我们越来越近了。包括Hololens 2在内的VR耳机(例如Oculus Quest和AR耳机)无需电话，完全无线，并且均使用高通公司生产的芯片。过去，出于这个原因，我对高通早期硬件的窥探很好地表明了VR和AR的发展方向。

高通公司今天宣布的新的兼容5G的Snapdragon XR2芯片可能是在未来一年或更长时间内驱动所有未来头戴设备(如Oculus Quest，Hololens等)的处理器。高通公司将在明年年初使用XR2准备基于VR的参考设计，并与Niantic Labs分别开展了一个项目，以开发智能眼镜的参考设计。

一波不带电话的下一代5G VR / AR耳机

高通公司的新型XR2芯片听起来功能强大：这是该公司最新的Snapdragon 865芯片的VR / AR专用变体。图形应该是当前(已经非常出色)的Oculus Quest的两倍，并且更高的显示分辨率应该意味着更清晰的视觉效果。不要指望视网膜级别的显示器，但是每只眼睛3K分辨率(即2880x2880像素，每度69像素，90Hz时)将是当前VR技术的一大飞跃。高通公司表示，将在这些处理器上以60fps播放8K视频，或者以120fps播放4K视频。

使用此芯片的VR和AR耳机也可以使用5G，既可以使用6 GHz以下频段，也可以使用频谱的毫米波(mmWave)部分，但它不是必需的，而是更多的可选件。高通公司XR负责人Hugo Swart表示，目前5G将用于基于企业的(更昂贵的)耳机。5G最终对于VR和AR来说应该是一件大事，尤其是承诺可以在云中远程渲染图形并减少头戴式耳机本身的负载，从而使独立头戴式耳机的功能超出当前水平。微软一直承诺使用Hololens 2进行远程渲染，但尚未在主流设备中使用它。Swart说：“运营商对5G版本抱有浓厚的兴趣和动力，因此我们可能还会看到加速的发展道路。”

相机追踪您的内在世界和外在世界

不过，新芯片组中最疯狂，最奇怪的部分是它一次支持七个摄像头。相机在VR和AR中至关重要：VR相机可以追踪世界上的运动，例如手势和眼睛跟踪。高通公司的Swart看到了更多同步相机，可以进行更多面部追踪，并且相机可以追踪面部运动，嘴唇和微表情。企业耳机可以使用可感知其他事物的摄像头。(这是否意味着热像仪?改进的深度传感器?)

Swart表示，使用XR2的头戴式受话器最多可以同时运行7个摄像头，但是Swart表示，最多可以添加12台摄像头，并且头戴式受话器可以随时在其间循环使用。高通公司的早期原型耳机还具有由Ultra Haptics制造的手动跟踪传感器，但在我尝试的演示中尚无法使用。但是这个想法是，下一代耳机可以配备传感器，以更好地进行运动跟踪，手部跟踪，眼睛跟踪，避免室内障碍物的实时碰撞等等。

所有这些相机也提出了隐私问题。所有这些信息都去哪儿了?斯瓦特说，高通公司有一个“强大的安全系统”，但没有详细说明。像Facebook和其他公司这样的公司将如何使用更多像摄像机这样的，始终跟踪的耳机?这是一个很大的未知数。

亲身实践一下硬件的承诺

高通公司的Swart表示，公司已经在使用芯片硬件，使用Snapdragon XR2的头戴式设备将在2020年底问世。但是，甚至还没有基于XR2的VR头戴式设备的最终参考设计。我要演示的是一个早期的原型，它在纽约总部运行基于化身的工作场所协作应用程序Spatial的应用程序。(您在此处看到的硬件与将来的硬件完全不一样。)

Spatial的首席执行官兼联合创始人Anand Agarawala指导我完成了一个多设备协作演示，在其中我使用了高通公司的XR2硬件，而其他人则在Oculus Quest，Hololens 2和Android手机上工作。我们都一起出现在悬停的化身上。XR2的面部跟踪和手动跟踪尚未到位-该演示显然处于早期状态。但是我发现显示分辨率比我在Oculus Quest上使用的分辨率要高得多。漂浮在我面前的虚拟海龟看起来很生动。虚拟会议室中的文档具有更易读的文本，即使字体较小。

我没有看到Snapdragon XR2的最大杀手级应用程序：它能够将外界的东西引入VR中，从而在VR中创建直通增强现实。我见过VR可以做到这一点，甚至Oculus Quest也涉足其中，可以在戴着耳机的情况下绘制实际房间的房间边界。但是未来基于XR2的VR头戴设备将更加无缝地融合现实，高通公司的Swart承诺，VR头戴设备将以较低的价格提供AR功能，同时仍在开发更小巧时尚的智能眼镜。这让我想起了马克·扎克伯格(Mark Zuckerberg)今年初在Oculus Connect上告诉我的事情。

Spatial的Agarawala说：“起初我很怀疑，但是当您尝试时……'哦，我可以在白板上写东西，可以四处走动，我可以完全使用它，但这并不会增加一个数量级。” 。“这将是下一波设备Quest 2等的感觉，”

阿加拉瓦拉(Agarawala)也对看涨面部追踪技术将Spatial的化身带入下一个位置感到乐观。“能够将相机面对您的嘴唇……我们最真实的化身可以变得更加真实。他们还可以获得面部表情，这些内容非语言。”

它使我想起了Facebook对下一代化身的研究，这些化身可以反映我们，阅读我们的表情并允许可能的微妙手势开始变得不可能。

　　免责声明：本文由用户上传，与本网站立场无关。财经信息仅供读者参考，并不构成投资建议。投资者据此操作，风险自担。 如有侵权请联系删除！