freeBuf
主站

分类

漏洞 工具 极客 Web安全 系统安全 网络安全 无线安全 设备/客户端安全 数据安全 安全管理 企业安全 工控安全

特色

头条 人物志 活动 视频 观点 招聘 报告 资讯 区块链安全 标准与合规 容器安全 公开课

官方公众号企业安全新浪微博

FreeBuf.COM网络安全行业门户,每日发布专业的安全资讯、技术剖析。

FreeBuf+小程序

FreeBuf+小程序

一文看懂XR科技(扩展现实)——人类交互方式的终极形态
2020-02-19 11:24:40

 大家好,我是 零日情报局

本文首发于公众号 零日情报局,微信ID:lingriqingbaoju

 

对于未来科技的安全研究,零日可能会迟到,但从不会缺席。今天我们就来谈谈最近大家热烈讨论的XR科技。

 

不过,此XR并非彼XR,我们要谈的不是苹果iPhone XR的安全问题,而是扩展现实(XR - Extended Reality),一种被称为属于未来的新鲜技术。

 

VR/AR/MR/XR四者之间什么区别?

 

作为科技安全圈的老司机们,想必大家已经有过VR或AR接触史,甚至不少发烧友花大价钱自购了VR/AR设备,但MR和XR又是什么新品种?别着急,零日先来大致说一下VR/AR/MR/XR四者之间的区别。

 

image001.png

 先上一张图。一目了然,扩展现实(XR)就是VR/AR/MR三者的**,所以也有人根据扩展现实(XR)是“由计算机图形和可穿戴设备生成的所有真实和虚拟环境”的定义,将XR中的“ X”理解成一个变量。

 

也就是说,现在有AR/VR/MR,未来还可能有BR(迷惑现实-Baffle Reality)、CR(影像现实-Cinematic Reality)、DR(蒙蔽现实-Deceive Reality)等等“R”字辈科技。(当然这都是零日随口一说,能不能实现还得技术大佬们说了算的)

 

image003.jpg


言归正传,扩展现实XR是一个囊括三种技术的总称,而VR/AR/MR就各有不同了:

 

首先,VR又叫虚拟现实(Virtual Reality),说白了就是假现实。具体指的是利用电脑模拟三维空间,通过感官模拟一种沉浸感和临场感,就像把人带到一个虚拟的仿真世界。

 

image005.jpg

不过,要是单纯的影像内容,就和看普通3D电影没什么差别;所以虚拟现实VR内容和传统3D影像的区别在于人与影像内容的互动感。

 

(这就跟《盗梦空间》差不多,游走在90°折叠的城市,能骗过眼睛五感和大脑,全程高能又科幻,但一切都是假的!)

 

image006.jpg

至于AR增强现实(Augmented Reality),则是现实世界的Pro版。说简单点,就是在真实空间里植入虚假内容,把虚拟信息(物体、图片、视频、声音等)映射在现实环境中。

 

很明显,VR是带你精神穿越,AR则是高楼林立的现实中,再现海市蜃楼。


image008.png 

最后,MR,混合现实(MediatedReality),倒可以直接看作是VR/AR结合体,因为它指的是合并现实和虚拟世界后产生的新可视化环境。

 

举个简单的例子,下班回家的你,戴上MR设备看暴力美剧,施瓦辛格会跳出传统屏幕,在你眼前吹胡子瞪眼,甭管你移动到哪,他都只对着你演。

 

眼下,“R”科技能干嘛?

 

在XR的几种技术中,可以说AR民众基础最大,至于能干嘛?光AR应用就能让你大开眼界。

 

 (1)AR游戏

 

虚实融合娱乐至死,催生了AR游戏畅快淋漓的极致体验,也促成了AR游戏火爆全球。从技术上来说,脱胎于增强现实技术的AR游戏,在多动态Marker、HDR反射、遮挡碰撞及GPS技术的加码下,最终突破了虚实界限。


image010.gifAR游戏《哈利波特:巫师联盟》

 

2016年,任天堂与Niantic联合开发的《Pokémon Go》风靡各国,进一步加速了AR在游戏领域的发展,哈利波特等经典IP纷纷开始AR游戏化。

 

image011.gifAR游戏《The Machines》

 

(2)AR相机

 

游戏之外,镜头之下,同样有AR的天地。2019年,字节跳动下属实验室AI Lab研发了一项名为Landmark的技术,透过3D视觉技术并针对室外场景进行检测、运算,在最快的时间内来呈现出这种AR特效。

 

image012.png(上海东方明珠“天空之城”、重庆“朋克洪崖洞” LandmarkAR 效果)

 

现如今,这款技术已应用在抖音App中,在拍摄城市地标建筑时,就能体验到这种AR特效,除了一些自拍方向的AR相机研究,不得不说字节跳动将AR相机技术带进了新一代的短视频创作领域。

 

(3)AR导航

 

传统导航已不新鲜,AR导航正预谋取而代之。2019年,Google推出了GoogleMaps AR导航,视野正前方的AR景象,带来了“平视”导航新体验,开启了逆转“低头族”新趋势。

 

image014.jpg

ARCity导航应用

 

Google Maps AR之外,AR City、Moovit等“AR导航”破土而出,甚至汽车也开始研发AR导航应用。公交应用程序开发商Moovit也将AR引入其移动应用程序,帮助使用者通过视觉寻找车站。从而使用户可以更轻松地在视觉上找到站点和车站。


 (3)AR军用


在游戏、相机等娱乐休闲类民用开发之外,AR技术逐渐渗透至军事领域。早在2018年,美国陆军曾一次性采购10万台HoloLensAR眼镜,用于战斗任务和士兵训练。

 

image016.jpg 

自此,AR技术逐渐发展出了一个军用向市场,并迅速出现了北美、欧洲、亚太、中东、非洲和南美等六个AR军用市场。其中,仅北美AR军用市场就齐聚了Google LLC、Applied Research Association Inc.等一大批公司。

 

从游戏到工具,从民用到军用,“R”科技能干的事儿远比看到的多。仔细研究还会发现,技术应用都跟扩展现实XR带来的复兴感官体验密不可分。

 

未来,XR能模拟哪些感官体验?

 

说到技术带来的感官体检,扩展现实XR及VR/AR/MR三种技术,最突出的就是视觉,其次则是听觉、触觉、嗅觉、味觉和“ 第六感 ”,共计六种体验。

 

(1)视觉体验


眼睛最直观也最难骗,而扩展现实XR带来的视觉体验,也根据VR/AR/MR的区别,呈现上有所差别。

 

image017.gif

 

首先,VR看见的影像,是全虚拟且无法看到现实环境的,所以就有了体验者与旁观者两种视角。

 

在亲身体验者视角,戴上设备自己就是这个世界的勇者,就像这样。


image018.gif 

而到了围观吃瓜群众眼中,你却是这样的。

 

image019.gif 

至于AR技术的视觉体验,是看到现实环境中出现虚拟内容,有点类似在现实世界环境打网络CS,比如这样。

 

到了MR这,视觉体验上就既有AR又有VR。虚拟的内容可以映射在现实环境里,还能用过设备处理虚拟影像。

 

image021.png

 

(2)听觉体验


音乐发烧友都知道杜比音效、无损音质,XR技术下的听觉体验,带来的则是3D版沉浸式音频体验。说简单点就是声音来自四面八方,分分钟站在舞台中心听音乐。

 

image023.gif

 看见这过山车没,伴随着视觉上的刺激,听到的声音都是经过处理,最大限度模拟实景音频。

 

(3)触感体验


所谓触感,指的是因为接触而引起的反应,XR技术的触感体验,就是模拟人接触时的感觉。比如,你戴上装备,手中明明空无一物,却感觉在捏鸭子、拆桌子。

 


(4)嗅觉体验


在XR技术领域,模拟气味虽然比较新颖,但研发机构也不在少数。原理解释起来也不复杂,就是通过变换气味的装备,根据你看到的摸到的东西,反馈最贴近的味道。


image026.pngimage028.png

 

听起来嗅觉体验好像没什么,但要是放在实际体验上就不一样了。你“看见”有人递过来一束花,伸手接了过来并真实地触摸到了花的重量,接着你就闻到了花的香味。

 

(5)味觉体验

先别惊讶,XR技术模拟味觉的确真实存在, 至于怎么实现?

 

就要先从味觉感知上来说,都知道味觉来自舌头,其实视觉、听觉、嗅觉甚至记忆的作用下,也能模拟味觉体验。

 

吃东西的味觉来说了,最直观呈现味道的是舌头,但想复制味觉体验,却可以从眼睛、耳朵甚至记忆上下手。

 

image030.pngAerobanquets RMX用餐体验

 

聪明的研究人员们,就在气味、颜色、形状等因素上下功夫,从而实现增强味觉的体验。詹姆斯·比尔德基金会(James Beard Foundation)近期推出的Aerobanquets RMX中就通过XR体验,仿造了味觉的感知。

 

(6)第六感


别慌,零日要说的真的正常感知意外,意识上的“第六感”。不过“第六感”体验的实现,就要通过机器学习、人工智能在XR技术实现。

 

image044.jpg

 

解释有点复杂,不过可以举例说明。比如,医生做手术前,先用XR技术模拟操作,这时机器学习和人工智能则会提供咨询服务,以此提高手术的成功性。

 

XR会遇到什么安全问题呢?

 

其实不用零日说,大家也都懂技术利弊双存的道理。XR的内核既然是模拟人的感官,其安全隐患,或者说威胁最终的受害者就是人本身了。

 

接下来,零日就从安全角度,说说XR在数据安全和漏洞攻击两个方面对人的威胁:

 

(1)数据威胁


相比于已经让我们深陷信息泄露旋涡的常规电子设备和应用程序,XR设备不仅收集常规数据,还会大量收集使用者的声音、习惯、交互、样貌、注意力等详尽的隐私数据。这些更为个人的数据一旦被有心人窃取,稍加分析就能生成人物图像,进行精准打击。

 

(2)漏洞隐患


老粉都知道,零日一直说漏洞无处不在并非危言耸听,这个老问题放在XR技术上同样存在。而随着XR技术被广泛应用在游戏、购物、建筑、医疗、教育等专业领域,黑客顺“洞”而来,最先破坏就是视觉画面,可能是显示错误的数据,也可能是篡改的画面,威胁层级恐怕跟当前的网络攻击持平。

 

零日反思

 

零日一直强调,技术发展安全先行,XR技术普及纵然还有很长的路要走,但并不妨碍现在就开始夯实安全基础,不然等大楼建成了,再去研究怎么抵御攻击,成本和难度可就是现在的倍数了。


零日情报局作品

微信公众号:lingriqingbaoju

如需转载,请后台留言

欢迎分享朋友圈


参考资料:

UX Collective《通过5 + 1感官解释扩展现实(XR)》

后缀动图.gif

# VR
本文为 独立观点,未经允许不得转载,授权请联系FreeBuf客服小蜜蜂,微信:freebee2022
被以下专辑收录,发现更多精彩内容
+ 收入我的专辑
+ 加入我的收藏
相关推荐
  • 0 文章数
  • 0 关注者