菲利浦·福斯 / 教授，机器人和VR院长，标致雪铁龙/巴黎高等矿业学校－PSL / 2018-05-22
沉浸式技术已经进入了许多行业。那么除了在娱乐领域的某些应用外，它是否会重塑我们的日常生活呢？在未来20年里，科技的发展会加速沉浸式技术的普及。但是不要认为虚拟现实已经是飞速发展了，因为其应用在很大程度上反映出人类的感官运动行为。
Read this article in English | Français
随着虚拟现实、增强现实和混合现实技术的日益普及，它们已经不仅限于某些专业人士使用了，而是在娱乐、艺术领域都有应用。个人、日常的应用也有可能，只是不那么明显。前景，尤其是增强现实眼镜或头盔的前景，似乎非常乐观。另一方面，就娱乐活动而言，可以探索虚拟现实＋主题乐园或虚拟现实、增强现实和混合现实＋游乐场。但是哪怕头盔已经变得非常便宜，VR游戏依然需要和传统的电子游戏竞争。同样，沉浸式社交网络也需要和当前的社交网络竞争。
VR技术在某些专业领域（如工业、健康、培训、教育、城市规划、建筑等）的应用已经至少有10年之久了。媒体的狂热会鼓励上述领域以及一些新的领域（如零售、市场、娱乐、媒体等）的公司考虑利用这些新的技术，而且它们的投资成本相对于十年前也有所减少。
那么未来10年或20年间，技术的发展会带来怎样的可能性，从而扩大上述技术的应用范围呢？
以下列出了未来20年间一些主要的技术进步，它们要么可以扩大上述技术的应用范围，要么可以提出一些新的可能性。
视觉交互界面
未来的头盔需要在以下五方面改进：
但是要想头盔在上述五方面都实现提升，至少还需要25年的时间。我们已经等待了同样长的时间，才等到头盔价格下降！就增强现实头盔而言，可以期待Magic Leap和Hololens推出更好的产品，但是它们产品最重要的进步不在于聚焦显像时的主动适应性，而在于能对环境进行实时3D重构和分析的3D扫描仪。实时扫描的目的是允许对虚拟实体和现实世界进行准确地视觉整合（也就是我们所称的“全息图”）。
当前这种技术依然存在限制，3D重构也仅限于一些简单的、符合几何构造的环境，里面只有一些简单的、符合几何构造的物体：飞机、圆柱等。距离以增强现实技术模拟海胆和现实世界中的刺猬接触的场景依然很遥远…根据最新消息，Magic Leap眼镜会在三个平面提供不同深度的主动适应性。它的水平视野会比Hololens略大，用以更好地展示虚拟实体，然而对于某些应用场景而言，这依然是远远不够的。和Hololens这种面罩式头盔相比，Magic Leap眼镜的一大劣势在于，其镜框会完全遮挡现实世界的外围视觉（也即眼睛余光能看到的范围）。
目前有一些研发高分辨率头盔的项目。比如谷歌有一个项目，希望实现单眼20兆像素。芬兰的初创企业Varjo Technologies正在研发一种70兆像素的显像技术，可以操作OLED Full HD的微屏幕。这个头盔将会有两种类型的显示屏：传统背景1080×1200像素，90Hz的频率；和1920×1080像素微显示屏，它可以在眼睛移动时，光轴正对的点做到高分辨率显像。目前尚不清楚它在光学方法上使用了怎样的解决方案，或许是基于微镜片（micro mirrors）。这种视觉重构技术的难点在于如何做到低延迟，因为眼睛的运动是非常快的。智能手机做的视频头盔就中期而言没有前景。
元件方面，目前正在研究效果更好、更薄的光学镜片。众所周知，头盔设计的主要难点在于其光学系统，而非屏幕质量。表面平滑的纳米结构镜片可以聚光。一支来自哈佛约翰保尔森工程和应用科学学院的团队已经开发出了原型。未来的头盔有必要改善显卡效果以实现高分辨率的显像。
英伟达等显卡厂商正朝着这个方向努力。要提供正确的显像效果应当不是难事，当然这也取决于屏幕分辨率的提升。厂商们正在开发独立的，或至少有足够无线通讯能力的头盔。其它的厂商，如柔宇科技则致力于开发可以看经典电影的头盔，它们采用的是分辨率非常高（每英尺3000像素）的屏幕。这种头盔在移动时很有用，如Skylight给乘客提供的头盔，使得乘客在飞行时可以单独观看电影。
就智能手机的发展而言，摄像头制造商Red company在纳米元件的帮助下， 研发出了带全息显像功能的智能手机：和传统的智能手机相比，由于双眼视觉和屏幕旋转时观察者视角的变化(单视场指数：视差变化)，3D显像的图效果更好。
就增加现实的视觉界面而言，像《少数派报告》这种科幻小说中描述的那种，可以动态地、从正确视角显示合成画面的隐形眼镜依然不可能实现，哪怕已经有一家公司为此注册了专利，因为要实现这一点，无法克服的技术难度太多，此外也受人眼的限制，人的眼部运动速度非常快，且当它专注某一区域时，会有持续的微运动。
就CAVE(3D沉浸式立方体)以及其他大屏幕设备的演化而言，它们的价格应该不会迅速降低，即使有些公司在宣传中表示CAVE只需要数万欧元，中小企业也能投资。需要等到视频投影技术为大型平面屏幕（不管是硬屏还是柔性屏幕）所取代，才可能看到价格大幅降低。
捕捉真实环境
目前有人正在研究允许部分3D重构的360度摄像头，通过上下左右移动，允许用户更好地观看场景。如果你希望像在电脑生成的虚拟环境中一样移动和操纵物体，你必须要对360度摄像头拍摄的虚拟环境进行3D重构。存在多种解决方案，其中一个就是将3D激光扫描仪和360度摄像头结合。但是这只能允许3D环境中的移动，而且环境里没有拍摄好的演员或3D建模的虚拟人物，虚拟人物又是另一大难点（见下段）。
虚拟人物的建模和动画
在虚拟现实中，有一个专门的术语, 虚拟人物（Avatar）指的就是沉浸在虚拟环境中的用户。Avator可以让用户：
在环境中交互更加容易，因为用户看到自己的虚拟形象，对于自己的感官运动行为有一个视觉的反馈。因此，当你和你的虚拟形象不在同一个地方时，这种虚拟形象的视觉化可以帮助你更好地执行行动；
与其它有虚拟形象的用户更好地沟通；
为你提供自己身体、身体形状的虚拟呈现，以达到心理效果，尤其是在做虚拟治疗的时候，身体形状会对恢复健康产生重要的心理影响；
建立一个虚拟形象并非易事，依然还有很多研发工作要做，才能让开发者拥有一个“立刻可以使用”的虚拟形象库。
建立并动画虚拟形象的难点主要体现在四个层面：1. 生物机械建模（感官运动）；2.用AI去了解某种情形的认知建模；3. 允许生成的虚拟形象自主作出某些行为（行动、操纵物体以及通过对话进行沟通）的行为建模；4. 情绪建模，通过脸和手势来识别情绪。鉴于上述种种，就不难理解为什么困难如此巨大，以及为什么要完成能满足VR应用需求特征的实时人物建模和动态化还需要数年的时间了。此外，得益于AI算法的发展，这些虚拟人物的行为也会有自主性。
就生物机械建模而言，是存在有效解决方案的，但是要同时生成1个或2个人物的虚拟形象，还需要手段和时间，这一点微软已经意识到了。就脸部建模和动态化而言，法国公司Eisko研发的一款由许多摄像头组成的设备就像我们展示了目前技术能达到的程度：可以做到对脸部表情的实时真实再现。此后可以在VR软件中，将人物实时动画。在技术手段有限的情况下，是可以仅用智能手机对脸部或简单的物体进行建模的。但是毫无疑问，由于缺乏灯光控制及其它原因，视觉效果会比较糟糕。有些智能手机给了增强现实的解决方案，其中就包括索尼。
行为交互界面
除了视频头盔外，其它感官、运动和感官运动交互界面的发展将会是缓慢的，和过去25年一样。技术的演进并没有加快…科技锁（技术瓶颈）已经是众所周知的了。某些类型交互界面的价格会逐渐下降，但是力反馈界面和运动模拟界面的价格依然会超出个人或家庭使用的范围。
但是不应当将可以给用户身体（主要是手）施加力，从而制止动作的力反馈界面和用户发出的、通过电刺激让肌肉产生感觉的“触觉结合”混为一谈。“触觉结合”不会给身体带来额外的压力，也因此不会制止动作，其中的一个例子就是正在研发中的“特斯拉结合”。
用控制器去操纵任何的虚拟物体都非常容易。但另一方面，如果想要用手指去操纵，并形成真实的触觉（内部和外部力的触觉和反馈），那么要发明出这样一幅有触觉反馈，并对所有手指都产生力的手套，技术难度是非常大的。可能永远也生产不出这样一幅完美的手套，不管技术如何演进，始终要在技术上做妥协。
另一方面，只提供机械触觉反馈，或是热变化反馈的触觉手套很容易实现，哪怕这种触觉刺激是不真实、不精确的。但是它们必须要找到一个可以向大众销售的市场，毕竟由于其用途有限，市场前景并不是非常明显。有些人幻想利用脑机交互（BMI），通过思想来实现操纵并移动虚拟物体。但除此之外，MBI在VR上的用途有限，因为它们会给用户造成不适当的认知过载。
目前还开发出了嗅觉界面，但是它们近乎无用，因此在消费应用方面，商业化前景有限。此外，由于需要贮藏气味化学品，要管理此类界面也很困难。
人类－技术－经济条件和限制
在过去100年的时间里，技术创新的普及时间大大缩短，飞机和电话用了50年的时间才为大众所接受，收音机花了40年，电视20年；笔记本电脑15年，上网不到10年,iPod约3年。然而虚拟现实的情况却不同，因为它的应用在很大程度上反映出人类的感官运动行为，这与上述技术创新截然不同。
但是这并不意味着VR技术为大众使用还需要半个世纪的时间。有一些VR技术会进入日常生活，但是有一些技术暂时只会用于某些特殊的场景。技术经济的变革会比某些人预测得要慢，但是也会逐渐发生。VR技术在一定程度上是基于计算机技术的，因此计算机的演进不会成为VR应用发展的阻碍。正如我此前所言，这不仅仅是一个数据处理的问题，还是一个在有种种人类－技术－经济限制和局限的环境里行为、生活的问题。
从模拟到电子的过渡对于需要用到模拟设备如：电视、广播、电影、摄影等的行业而言是一场真正的变革。这场变革不仅仅体现在设备的升级换代和工作方法的变化，也体现在产生了新的应用。其中最具代表性的就是从经典的摄像机到360度全景摄像机（模拟信号时代是不可能实现的）的转型，这种转型带来了一项新的艺术：VR电影！当前VR技术的潜力尚未完全发掘，主要是建模和模拟人工环境以及有一定自主行动能力的虚拟人物方面技术的难度。另一大难点就在于实时模拟用户的行为和行动并给他们提供协助，或者向他们建议他们可能感兴趣的艺术品。要实现这些，AI算法必须要发展。
就用户的行为而言，不舒服，甚至是运动病的风险对于任何知道如何控制不仅仅一种感官运动不协调（如上网病），而是全部感官运动不协调的设计师而言，并非一种挑战。
三种主要的不协调包括因Visiocouple导致的延迟，眼球运动不协调以及visuovestibular不协调。消除因第一类不协调而产生的健康影响是头盔厂商的责任，第二类则是开发者的责任，只要厂商没有提供主动适应性的显示屏，那么消除因第三类不协调而产生的健康影响也是开发者的责任。但是如果第二类不协调又产生了第三类不协调，尤其是对不切实际的LCAs而言，开发者必须要对它们进行控制。所有用户都或多或少会受到这些不协调的影响。
开发者应当首先对应用和产品进行测试，至少要让一组用户测试（而不是仅仅自己去测试！）。出于健康和经济原因的考量，最好VR应用可以根据个人的敏感度进行设置。然而，不管是中期还是长期，都不可能做到所有人都适应所有类型的感官运动不协调性。不要忘记，人类已经在海上扬帆了13万年，依然有人会晕船！
媒体、艺术、文化和通讯的所有领域都受到数字化转型的影响。此前，因为技术和经济原因，不同领域是彼此孤立的。然而当前的情况已有不同，所有的领域都彼此交叉。由于所有的媒体都是数字媒体，已经不存在无法跨越的边界了，至少在技术层面，电视、电子游戏、社交网络、电影院和未来面向大众的VR应用已经相互交叉了：互联网提供电影和视频，社交网络和搜索引擎已经占领了大部分的广告，可以在智能手机或电脑上看电视，也可以在这些设备上看新闻、发布电子游戏，其中有一些设备还提供服务或互动式艺术体验。
总而言之，所有的感官运动活动，而不仅仅是“听和看”，已经可以在许多电子设备上进行。在这样一个新的技术－经济背景之下，鉴于大的跨国企业（如GAFAM和其它公司）已经有强大的经济实力去回答所有关于应用的问题（媒体、艺术、文化、娱乐、教育和通讯），甚至在全球范围内推广，那么VR应用将如何发展？不同的经济系统是会结合，还是会吞并吸收？至少可以确定的是，VR的应用场景将会和互联网一样多元化，哪怕现在还不是这样。
本文为Philippe Fuchs新书《虚拟现实理论：真实应用》节选，该书于2018年4月由Presses des Mines出版社出版。
（文中图片来自网络，版权归原作者所有。）
京公网安备 11010502032941号