从讨论5G需求的第一天开始,VR/AR就被看作是5G重要的应用。2016年,VR/AR迎来了第一轮发展高峰,当年相关融资高达300亿美元。但VR戴带后的体验,尤其是明显的眩晕感让人不适。2016年,5G刚开始进入技术测试,整体技术构架还很稚嫩,有专家已经言之凿凿,5G的低时延能够解决眩晕。到了2018年年底,5G即将展开试商用,而VR则像过山车一样行至谷底,曾经的“杀手级”应用是否需要5G来拯救?
韩国首次尝试5G+VR
奥运会是向全世界展示新技术的绝佳舞台。2018年在韩国举办的平昌冬奥会上,一部分观众已经现场体验了5G+VR带来的全新观感。韩国电信(KT)VR项目总经理Lee Youngho说,平昌奥运会上,KT提供了360度的VR服务、同步视角服务、全场景观看服务。
在360度的VR服务中,KT围绕滑冰场地设置了数个360度的VR摄像头,并在场馆二层开辟了VR观众体验区,观众带上VR头显设备,可以以360度的视角观看运动员的滑冰比赛,从VR摄像头到观众的VR头显设备的视频信息传输,是以设置在比赛场馆四周的5G基站实现的。同步视角,则是将摄像头装在运动员随身装备中,观众可以同步运动员视角,体验运动员的参赛体验,如滑雪项目等。
KT还可以提供观众想看的比赛中任何瞬间的画面,在花样滑冰场馆,KT沿冰场密集部署了100个高清摄像头,观众可以从任意角度重看这场比赛。
借用奥林匹克运动会向世界展示5G技术与应用能力已经是运营商5G商用落地总体计划中的一部分,在韩国2018年平昌冬奥会之后,日本的2020年东京奥运会、中国的2022年北京冬奥会也可期待。
VR新产品指向XR
中国工程院院士赵沁平认为,VR前一阶段的跌落符合Gartner新兴技术曲线第一阶段特点,VR正在复苏,各项技术也将更加成熟。而从娱乐游戏中诞生的VR,如今更被一些人视为下一代的计算平台。但这个平台不会像现在VR头显(HDM)那样笨重,不会遮挡人的正常视线,而且应该时尚、便携。
高通展示了一款时尚轻便的XR概念眼镜。眼镜看上去和普通眼镜一样,但在镜架、镜框和镜片上,集成了多种传感器和芯片,例如骨传感器、定向扬声器、追踪与记录摄像头、健康传感器、惯性传感器、高敏感话筒、4G5G的多模连接芯片、许多被动和主动的使用鱼眼镜头和长焦镜头的相机、光电夜视和热成像传感器、眼球追踪相机以及耐用并且半透明显示的光学投影组件。这些组件的重量、集成度和性能,绝定了XR眼镜的佩带体验。
这种移动XR眼镜的好处是可靠,随时随地可以使用,无需设置,电池供电时长,超轻设计,而且可以利用移动生态系统的规模,实现低成本。而现在用得较多的是基于PC的HDM设备,虽然不受功率和热量限制,但高端体验昂贵,HDM与PC之间的电线限制了直观的操作和沉浸感,而且PC的HDM使用限于固定位置。
但目前移动XR的情况还远没有如此乐观。据赛迪集团发布的VR产业地图,其中对VR技术产业做了成熟度矩阵分析,有大量的基础技术需要长期等待。目前全息显示技术还处于成长期,如透明显示器的成熟预计要用5到10年,这是XR眼镜的重要组件;还有一些技术刚刚处于萌芽期,如体三维显示、外骨骼、步态识别技术等。
现在VR头显依然是使用频率最高的,而从用户体验角度出发,移动XR方式日受重视,而且基于移动XR,利用5G低时延、大宽带和高可靠等特点可以为移动XR更好的使用体验和性能体现,这将驱动移动XR技术加速成熟。特别是在芯片级方案上取得突破。
5G支撑边缘云渲染
为了保证移动XR眼镜的轻便、时尚性,XR眼镜上只放必须功能,如前端摄像头、传感器等。图像的渲染需要大量的计算能力,XR眼镜只能做必须的处理,因此渲染的分割完成是一个关键技术。
分割渲染是将必须在XR眼镜上做的渲染处理和可以放在云上做的渲染处理分开,最终呈现时两个渲染要同步,这样才能看到完整的虚拟现实或者增强现实的画面,因此分割渲染的那部分尽管不在XR眼镜上,但要靠近用户,以边缘云做计算、5G做传输实现低时延的渲染协同。
清华大学与美国普渡大学展开的Furion项目是想解决手机VR的边缘计算问题,这虽然和移动XR需要的边缘云渲染不完全相同,但对研究分割渲染的特点有重要的借鉴作用。
一开始,Furion项目在实现无线VR时用了两种方法,一种是云端渲染高质量VR画面发至手机,遇到的问题是移动网络带宽不足、帧率受带宽波动影响画面不稳;另一种是手机本地渲染VR应用,出现的问题是手机发烫、画面容易卡顿。
针对移动VR,业界也提出不同的解决方案。例如微软提出FlashBack,核心思想是预渲染+缓存预测。但VR需要预存50GB,以现在智能手机的存储无法支持实时交互的虚拟现实应用。
清华大学教授崔勇说,手机VR的渲染有前景交互和背景环境,其中一部分的前景交互和背景环境的渲染工作是可预测。VR手机上根据实时交互渲染前景,远端做预渲染背景并进行编码,并将临近使用的编码数据预先传到手机上。这类似于动画片制作,场景变化不多,场景部分的渲染就是可预测的,人物表情、动作会变化,这部分渲染就要实时完成。
Furion项目还提高了渲染效率。就目前VR节目源信息,手机解码一个全景帧大约需要40ms的延时,Furion项目采用了并行解码的方式,延时降低到约13ms。多个CPU核一起工作,使原来本地每秒做5~7帧的渲染,提高到每秒58帧左右。对CPU的占用多,是有代价的,需要手机电池“抗”得住。
无论是VR\AR\MR以及移动XR,还是正在发展中的越来越逼真的3D全息显示,每帧图像的数据量在成倍地增长;同时每秒帧数也在增加,24帧仅满足视觉的连贯,每秒30帧到60帧才能够提供高清的视觉体验。VR所需要的高带宽、低延时、大计算量,对通信网络提出了新的挑战。5G网络具有更高速率、更低时延、软件定义网络和移动边缘计算等5G网络新技术,可以根据业务需求匹配网络和计算资源,能够更好地满足VR业务需求,为用户带来更丰富的体验。
5G不是挽救VR“眩晕”症的妙药,5G要拯救的是VR的体验,炫酷的同时轻便、时尚、互动,5G马上来了,VR请加油。