AI 算法成熟化将逐步令 AR走向台前。AR 的落地慢于 VR,本质原因在于 AR 对场景三维 重构、物体追踪等技术均存在较高的算法要求。AI 算法成熟化将有望解决 AR的技术难题, 助力产品加速落地。随着近年来 AI 算法持续革新,以 AI 为主导的计算机视觉算法已日趋成 熟,国外的谷歌、苹果等公司以及国内的商汤、旷视等公司均展开了针对 AR 应用场景的 AI 算法解决方案的研究。
AR 技术迭代加速,相关产品已然落地。与此同时,在 VR 大潮的驱动下,AR 技术迭代的速 度得到加快,目前已逐步推出探索性产品。微软在 2015 推出 AR 眼镜 HoloLens,并再次在 2018 年推出迭代产品 HoloLens 2。谷歌与阿里巴巴投资的 AR 公司 Magic Leap 在 2018 年推 出了自己的产品 Magic Leap One。苹果公司也在持续对 AR 软硬件进行投入,并推出了 AR 开发工具ARKit。在应用方面, 2016年推出的手机端 AR游戏精灵宝可梦GO获得巨大成功。 这一切均说明 AR 技术具备巨大的潜力。
交互模式的变革贯穿了整个 IT产业的发展史,AR 有望成为新一代交互平台。交互模式的转 变直接体现在输入输出的形式上。从最初的键盘交互时代,以 DOS 命令形式输入为主;随 着苹果和微软 PC 图形界面的诞生,进入了“鼠标+键盘”时代,开始通过图形界面(GUI) 进行输入输出。2007 年苹果推出 iPhone 手机,也将计算机带入了移动互联网触屏交互时代。 人机交互的趋势是越来越人性化。上世纪 80 年代人们要经过良好的培训才能使用命令行或 编写代码,但如今即使是未受任何培训的孩童也可以使用智能手机或平板电脑。下一代计算 平台必然会在人性化上有显著提升,AR“所见即所得”的交互方式符合这一趋势。
AR(Augmented Reality)又称为增强现实,其本质是在用户现有的视觉空间下叠加虚拟物 体,以实现用户在真实空间下对于附加场景的增强性需求。AR 最早的产品可以追溯到 1966 年萨瑟兰研制的机械式增强现实系统 Sword of Damocles。AR 的概念在1990 年提出,在之 后的岁月里长期停留在实验室层面与军方的相关项目研究。2000 年后,一些在 Android 手机 上的 AR 应用逐步推出。在2012 年谷歌推出新的 AR 眼镜产品后,AR 技术的发展进入了新 纪元。
AR 从其技术手段和表现形式上,可以明确分为两类:一是 Vision-based AR,即基于计算机视觉的 AR,二是 LBS-based AR,即基于地理位臵信息的 AR。
1、Vision-based AR 基于计算机视觉的 AR 是利用计算机视觉方法建立现实世界与屏幕之间的映射关系,使我们 想要绘制的图形或是 3D 模型可以如同依附在现实物体上一般展现在屏幕上,如何做到这一 点呢?本质上来讲就是要找到现实场景中的一个依附平面(Marker),然后再将这个 3 维场 景下的平面映射到我们 2 维屏幕上,然后再在这个平面上绘制你想要展现的图形。
2、 LBS-Based AR
LBS+AR 就是融合了基于地理位臵的增强现实,此前其应用主要都在各类游戏之中,例如去 年火遍全球的《Pokemon Go》,正是这一应用的最佳代表。游戏在定位玩家的地理位臵后, 系统设定分布在该地域的妖怪品种以及出现几率,玩家跟着导航就能找到各种口袋妖怪,并 且游戏中还运用 AR 技术,让玩家捕获妖怪的扔球动作原汁原味再现于现实。其基本原理是 通过 GPS 获取用户的地理位臵,然后从某些数据源(比如 wiki,google)等处获取该位臵 附近物体(如周围的餐馆,银行,学校等)的 POI信息,再通过移动设备的电子指南针和加速 度传感器获取用户手持设备的方向和倾斜角度,通过这些信息建立目标物体在现实场景中的 平面基准(相当于 marker),之后坐标变换显示等的原理与 Marker-Based AR 类似。
这种 AR 技术利用设备的 GPS 功能及传感器来实现,摆脱了应用对 Marker 的依赖,用户体 验方面要比 Vision-Based AR 更好,而且由于不用实时识别 Marker 姿态和计算特征点,性 能方面也好于 Vision-Based AR,因此对比 Vision-Based AR,LBS-Based AR 可以更好的应 用到移动设备上。
面板类产品。面板类 AR 产品主要通过在移动端面板摄像头拍摄内容上叠加附加视觉效果, 实现用户在面板的真实视野内的视觉增强,本质上提供的是二维增强现实空间。面板类 AR 产品相对来讲技术门槛更为平滑,本质上仅仅针对算法层面的考验。目前,ToC 类手机端 AR 产品往往采用免费战术,而 ToB 类产品则根据附加指定价。手机端 AR 产品最为知名的 就是苹果手机 AR,国内的百度、中科创达、四维图新、虹软科技等公司也在 ToB 类产品广 泛涉猎。手机端 AR 产品主要应用包括精灵宝可梦 Go 等手机游戏,面板AR 产品包括各类 AR 辅助驾驶产品。
2.3. 巨头在 VR/AR 产品上的布局
2.3.1. 苹果
苹果布局 AR 业务多年,一方面通过外部收购获取技术与人才,2013 年至今,苹果陆续收购 了 PrimeSense 、Metaio、Faceshift 等十几家公司,以获得面部识别和开发工具等相关技术;
另一方面而苹果在自主研发方面同样强悍,早在 2011 年就申请了 AR 方面的专利,苹果至今 先后申请了 6 项 AR 相关的专利,并在 2017 年8 月将游戏和健身类设备等囊括进商标覆盖范 围。
在深厚技术积累的基础上,苹果在 2017 年迅速打造出一个包括硬件、开发工具、应用在内 的完整 AR 生态链,实现 AR 领域全方位的布局。据了解,苹果的 AR 路线不仅只局限于手 机端,还包含一个代号为“Project Mirrorshades”的 AR 眼镜计划,当苹果在完成手机端的推 广之后,即推出与 iPhone 相匹配的 AR 眼镜,并最终推出可以完全替代 iPhone 的全功能 AR 眼镜。据彭博社消息,苹果计划 2019 年完成该产品的研发并在 2020 年发货。
国内互联网企业在 AR 应用方面也做出诸多探索。导航方面有百度 AR 导航;游戏娱乐方面 有迪士尼和联想合作星球大战 AR 设备和游戏等。
阿里 AR 应用则着重于购物。2017 年双十一期间的 AR 捉猫猫将零售与 AR 结合起来。十二 月阿里人工智能实验室与星巴克合作,通过手机 AR 技术便可便可观看到星巴克咖啡烘焙、 生产及煮制的全过程。基于 AR 扫描的视觉互动带来的别样的感官刺激,消费者可以更加深 入地体验咖啡文化。这也是阿里最新的大型场景内的 AR 识别技术,在全球第一次大规模的 商业应用。
AR 的基础是图像识别技术,是近年来人工智能实质性取得突破的方向。识别技术一直以来 是限制 AR 技术进一步发展的瓶颈。环境识别是对摄像头或传感器获得的真实世界的信息进行分析,得到对于环境的精准理解,告知系统哪里需要“增强”以及需要“增强”的内容。 对周围环境理解越透彻,定位越准确,虚实结合的效果越好。近年来人工智能在识别技术方 面实质性取得突破。算法的发展和多种传感器之间的融合使识别不再是难以逾越的技术壁垒。
AR 识别技术依托于 SLAM算法,SLAM算法今年取得重大进步。SLAM 算法即时定位与地 图构建,对每一帧画面同时(Simultaneously)进行定位(Localization)和建图(Mapping) 两种运算。十年以来视觉 SLAM 算法取得巨大进步。2003 年 A. J. Davison的 MonoSLAM 实 现了视觉 SLAM 系统实时运算的突破,在此之前视觉 SLAM 系统只能在相机采集数据后离 线进行定位与建图。2007 年 Klein 等人提出了 PTAM 算法(Parallel Tracking and Mapping), 并进一步发展至现代 SLAM 算法中广泛使用的 ORB-SLAM。ORB-SLAM 采取三线程运算, 分别为:
终端芯片方面,华为、苹果全球两大手机终端公司均已经发布了用于其最新款手机的 AI 芯 片。传感器方面,iPhonex 包含前臵 3D 传感系统 TrueDepth。三星和华为等主流智能手机制 造商,也打算在 2018 年的新机型上采用 3D 传感器。据彭博社消息,2019 年苹果将为 iPhone 手机配备前后两个 3D 传感器,以便让 iPhone 变成领先的增强现实设备。
AR 软件已经过各大互联网公司打包整合,功能更加完善,技术支持更加充分。苹果、谷歌 都在开发者大会上推出了面向 AR 开发者的便捷化软件开发工具。
苹果的 AR Kit。2017 年6 月的 WWDC 大会上,苹果正式公布了自己的增强现实开发者平台 AR Kit,它支持 Unity、Unreal 和 SceneKit,具备动作追踪以及平面、光线、范围估算等特 性便于 AR 游戏开发者、电影制作人或是品牌开发自己的作品。库克直接把它叫做“全球最大的 AR 平台”。
谷歌的 AR Core 。2017 年8 月,谷歌宣布推出了和 AR Kit 对标的增强现实 SDK,名为“AR Core”。 2017年10月19日,三星和谷歌宣布了一项合作,将谷歌的增强现实开发平台AR Core 引入三星 Galaxy 智能手机系列。
其他 AR SDK 软件工具产品。在 AR SDK生态系统中,除了 AR Kit 和 AR Core 这两棵大树 外,还存在一些辅助的 SDK。国外有老牌 AR SDK Vuforia,2015 年被苹果收购的 Metio, Facebook 的 AR Studio 等;国内 AR SDK有百度 AR,腾讯 QAR,支付宝 AR 等。
AR 开发成本降低,应用内容大幅增加。Pokemon Go 的火爆让大众第一次直观感受到 AR 的 魅力。得益于 AR Kit、AR Core 等高效开发软件,制作 AR 应用的门槛和成本大幅降低。同 时,AR 应用数量激增。AR 应用程序在 2017 年 9 月 20 日 AR Kit 正式上线之初只有五十多 款,而在 3 个月的时间就已经有超过 1000 款应用。AR 应用在内容上也呈现多样化的趋势, 既有类似 Pokemon Go 这样的 AR 游戏,也有传统制造企业与 AR 的联合,比如宝马推出的 BMW i Visualizer,乐高也发布了使用 AR Kit 的来整合数字和实物的应用 AR Studio。
在 AR 教育方面,谷歌在 2015 年推出虚拟现实教学工具 Google Expeditions Pioneer Program,并在 2017 年在其中加入 AR 功能“Expeditions AR”。 2018 年,谷歌逐步丰富 Expeditions,计划讲题打造为 VR/AR 一体化教育平台,从而将 AR 技术普及到全球的课堂。 微软的 AR 头盔 HoloLens 已经和多家教育机构合作,正将 AR 应用于大学、医学教育培训 等教育场景。苹果推出 ARkit 开发平台,一跃成为最大的 AR 平台,预测未来 AR 内容企业 会利用 ARkit 开发各种 AR 教育内容。
在具体应用软件方面,爱尔兰 3D4Medical 公司推出的医学教学的 AR 应用 Project Esper, 它可以将人体的构造以 3D 的形式呈现在现实环境中,主要应用于医学解剖教学。它用 6500个人体模型的大数据来为医学生和教师提供高度详细和准确的解剖模型,医学生可以更加直 观地看到人体模型立体结构。
5.2.3. 工业+AR
AR 可以应用于以下工业领域:辅助工业制造、辅助工业维修、辅助工业设计。
AR 一词最早就诞生于辅助工业制造。1990 年波音工程师为了解决线束难以安装的问题使用 了一种抬头透视装臵,它依据头部摄像头采集的场景生成数字 CAD 图,自动从完整的安装 指导书提取匹配当前场景的部分,生成当前操作的安装指导虚拟图像,叠加到真实视野场景 里。“Augmented Reality”这个英文词组由此诞生。20 多年后波音还基于谷歌眼镜开发了满 足线束装配的 AR 应用软件。
AR 技术通过术前三维影像重建,能够克服术者腔镜视野下手术操作的诸多不便,为术者提 供更准确的解剖信息,故近年来在医疗领域发展迅速。湖南省肿瘤医院曾借助增强现实技术, 为患者完成了胸壁肿瘤切除加胸壁重建手术。另外在整容方面应用前景广阔。ILLUSIO 公司 使用 AR 技术捕捉病人躯体曲线的影像,之后将不同的整容方案模拟影像投射、叠加在整容 者身上,以 3D 影像呈现术后可能的物理变化,让整容者可以直接观看手术前后的改变。
AR 也可以用在儿童辅助治疗上。密歇根大学 C.S. Mott 儿童医院就一直在用 AR 技术帮助 孩子们在术前冷静下来,并在术后辅助康复。创业公司 ALTality 致力于增强现实疗法应用的 开发,其开发的 SpellBound 可以将儿童的书籍或卡片转换为3D 互动体验。使用 SpellBound 时,将移动设备放在其中一个图书或卡片上,然后用动画、音乐和声音看到以 3D 形式出现 的人物,动物和场景。互动是在认证的儿童生活专家和康复工程师的帮助下设计的,注意力 分散治疗和运动技能康复方面效果明显。