《英雄联盟》S10赛事上牛逼的XR直播效果是如何实现的？
英雄联盟》S10赛事上牛逼的XR直播效果是如何实现的？
VR陀螺2020-11-11 10:44:47
2020年10月31日，S10《英雄联盟》全球总决赛在上海举办。长达14分钟的总决赛开幕式，率先将所有观众的情绪和现场气氛推向高潮。
《英雄联盟》S10总决赛开幕歌曲《More》
引入XR技术
S10《英雄联盟》全球总决赛赛程分为入围赛、小组赛以及最终的淘汰赛，总共持续5周时间。除了总决赛在浦东足球场举行外，前期比赛都将在SMT云创空间采取无观众虚拟演播厅的方式进行直播。本届全球总决赛主要依赖于XR技术对场内场外的电竞爱好者们进行直播，通过实时虚拟渲染增加沉浸体验，这在体育赛事中当属首次。
本次开幕式，《英雄联盟》全球总决赛继续联手Riot Games，不仅在开幕式现场运用32K分辨率渲染画面打造炫目特效和全息影像，更是结合了XR特效配合，为“云观赛”的电竞爱好者们带来了一场视觉听觉双丰收的高级舞台呈现，决赛开幕式即刻燃炸全场。
每年《英雄联盟》电竞赛事，Riot Games公司总能利用最新的直播技术带给观众们最大的惊喜。
三年前，S7总决赛在北京鸟巢举行，以龙元素惊艳全场，S7通过 AR 和实时渲染技术的结合，一条栩栩如生的AR 远古巨龙从天而降于鸟巢中央，令人叹为观止。这个设计也成功击败 NBA全明星赛，荣获第 39 届体育艾美奖最佳直播设计奖。
然而，时隔三年后， S10赛季在上海采用了更高端的XR技术，来打造更加炫酷的直播效果。不仅继承了龙元素，也体现出更多的动画和动态的效果，其特效中还结合了举办地上海的地方文化元素。
今年由于疫情的缘故，《英雄联盟》总决赛的绝大部分赛程都少了观众的现场参与，缺少了现场的激情氛围。如何把疫情下的劣势转化为优势，其决赛制作团队从一年前就开始尝试采用XR技术，实现现实和虚拟空间的自由交互，最终打造出如今特效满满的决赛开幕式舞台场景。
如此一场虚拟世界大秀，面对的是直播技术上的层层难关。今天VR陀螺在此分析 S10赛季XR直播技术的重重难关突破。
XR技术加成，这届S10赛事很不一样
S10采用XR技术消弭了现实与虚拟界线，场外观众们在直播中看到的水淹整个舞台、高空中的云雾缭绕、外面的上海东方明珠塔，其实都是虚拟场景。实现这些的技术突破，主要在于三点，灵活的摄像机视角转换、变幻的现场灯光调节和超强容量的快速算力。
东方明珠塔下的可用AR观看的巨龙雕塑
首先，在XR直播中，为实现实时渲染的自由视角转换，整场总决赛现场有十几个摄像机，每个摄像机不仅都要实现扩展现实技术，并且因为直播没有重来的机会所以不能有差错。
S10的直播技术制作团队，首先需要解决从一个摄像机到另一个的多机位视角切换问题，其开创了在XR直播中同时引入两台摄像机的类人眼视角拍摄，并结合算法实现对虚拟景深空间的预判。
决赛现场，红外摄像机布满赛场各处。其作用在于识别来自s10决赛现场墙壁上大量用于反射红外线的标记点。为了改善过去精度较低的定位技术，s10决赛现场大面积铺设这种特制墙壁，经过计算机合成后，对应位置则会被虚拟景象1:1替换掉，进而展现出荧幕中看到的虚实结合的场馆效果。
陀螺君了解到，在直播过程中，红外摄像机通过接受遍布整个舞台的反射点，透过标记点反射的红外线，即可计算出虚拟摄影机的即时位置，并使之与现实中的摄影机分工合作，保证在直播过程中摄像机机位切换不出差错。最后再透过Unreal Engine 的渲染运算，在直播中构建出整个游戏场景。整个XR直播技术下来，制作团队保证了现实与虚拟渲染的误差小于1毫米。
其次，虚拟灯光与现实灯光的协调也是非常重要的实时渲染突破点，S10决赛现场的天花板上挂满了skypanel 灯组，而一个skypanel灯就售价5095美元，为此Riot Games公司专门砸了数十万美金采购灯组。
同时，制作团队利用Led灯在现场空间内的基本照明，通过自己开发的插件，把unreal游戏引擎中的灯光，还有现实天花板的这些skypanel 进行了匹配，换言之，只要虚拟场景中的光线发生变化，那么现场的灯光也会随之调整，避免了灯光上的不真实和穿帮，打造了一个实时渲染下真实世界光效于虚拟光效互补的自由交互灯光决赛舞台。
显然，面临海量的灯光和视频的数据传输，技术团队不得不面临系统算力过载的问题。S10总决赛直播专门使用20个渲染引擎构成渲染阵列，并且配有非常高端的显卡驱动和采集卡，通过硬件、软件的双重高配置，实现了高速和高程度的控制。
通过这三大技术上的突破，S10《英雄联盟》总决赛最终在直播中呈现出了栩栩如生的舞台场景。
线上赛事直播或成XR终端落地“加速器”
XR（Extended Reality，扩展现实）是指通过计算机技术和可穿戴设备，进而产生的一个真实与虚拟组合、可人机交互的环境，是AR、VR、MR等多种形式的统称。三者视觉交互技术融合，实现虚拟世界与现实世界之间无缝转换的“沉浸感”体验。
2020年是5G商用元年，XR作为下一代移动智能平台以及5G赋能下重要的应用场景，深入智能制造、教育、游戏、体育竞技、军事等领域，尤其是体育竞技和游戏赛事直播，能够吸引多人参与，加速XR技术的商业落地。XR的内涵不断向外延伸，刷新着大众对视觉影像的理解。
对于传统的赛事与电竞直播方式，注重的是选手个人的镜头表现力、比赛状况和比赛结果，观众在屏幕前面并没有“存在感”，后期特效也难以让观众获得临场感。因此，XR技术能够在有限空间及人力的情况下在最终效果上，让节目达到更好的效益。
从本次的S10赛季可以直观地感受到，不同于电影CG特效、抠绿幕等后期制作效果，XR技术应用于特效展示上，需要借助现场的海量光源、XR摄像机、处理视频数据的插件和引擎，以及强大的电脑算力，让云观众获得无与伦比的体验。制作组所在的场景更像是一个简约的录影棚，通过现场调度，将所有舞台效果交由后台Unreal引擎和电脑算力中枢协同处理和输出。
MR技术下，男枪的形象栩栩如生
这样基于XR技术的特效具有震撼的视觉冲击力，目前也被广泛应用在舞台效果上。其中，除了《英雄联盟》也有其他大型赛事采用XR直播的方式，让粉丝跨次元体验热闹的赛事氛围。比如，2019年CBS报道超级碗（Superbowl）时，宣称使用了4台摄像机进行XR直播，以提升观看体验。
过去几年，NBA、MLB和NASCAR都在使用扩展现实技术给他们的粉丝带来更精彩的比赛体验，HoloLens也曾推出用AR直播体育赛事的概念视频。AR效果渲染为体育直播铺上了一个虚拟的表层，在这个层面上，展示者能更好的诠释数据所呈现的视觉效果，增强故事的表现力度。
NBA赛事直播
在电子竞技上，今年4月在乌克兰举办的Dota2比赛，也进行AR直播，采用了AR解决方案Pixotope，包括用AR引擎建造3D沙盘来显示英雄位置，以及将现场舞台放在虚拟城市之中。
Dota虚拟角色舞蹈
虚拟城市
除了舞台效果展示之外，该技术还应用在虚拟偶像上。这次S10赛季全球总决赛开幕式还出场了之前在S8亮相的KDA女团。KDA女团与现场的明星共舞，实际上是由AR技术呈现出来的。据主办方拳头游戏（Riot Games）介绍，KDA女团与其他虚拟偶像一样，是基于动作捕捉技术完成的包括肢体动作、口型、面部表情的设计。
在S8和S10开幕式上，AR技术到XR技术的升级包装效果更进一步凸显，其与现实世界结合下的炫酷特效也更加绚丽夺目。
2018 KDA女团出场
KDA女团的动作捕捉
在过去几年，XR终端技术得到快速发展。XR头显层面，包括光学、传感器等核心器件研发技术，同时也包括用户与内容的感知互动技术正逐步创立全新的人机交互体验。
随着第一批XR终端下放到市场，越来越多厂商逐渐重视XR的感知交互支持系统的开发和落地，从空间定位到人的行为捕捉，包括面部、眼动追踪等，这些之前只能在影视拍摄中瞥见的高科技正不断向着低成本、轻量化发展，这也进一步拉近了虚拟和现实的距离。也许在不久后的将来，XR直播能与头显设备、配件相结合，此时观众不仅是作为观看者，更是作为一名参与者，与直播现场进行互动。
XR+赛事直播，不是谁都办得起
根据Unity发布的《2020年商用AR/VR热门趋势报告》指出，2020年将是商用AR和VR技术的转型之年。2020年XR工业领域发展主要有以下三个特点：
第一，概念的转变。目前，市场对XR行业的态度，已从怀疑是否XR有价值、是否值得投资，到“如何将最初尝试中取得的积极成果最大化利用到技术中，以实现‘更快地迭代，更低的风险和更高的产出’”。与五年前相比，XR企业的思考方向趋向于肯定XR的前景，并开始对开发技术进行反思。
第二，2020年，XR已经准备好进入“增长阶段”。随着技术的效益不断提高，XR将成为从研发到市场，再到维护整个产品周期中，“不可或缺的生产力工具”。
第三，XR的使用规模将越来越大，吸引更多企业加入，形成一股新浪潮。经过近几年硬件上HMD（头显）、移动端AR、单独的VR设备不断更新迭代；内容上不断扩展应用场景，外加5G网络逐渐商用化以及XR设备的造价降低，XR行业逐渐形成低成本、高产量、上市周期短的良性循环。
尽管《英雄联盟》S10赛季直播扩大了XR的影响力，为各领域呈现出XR应用的巨大潜力且业内也一致看好XR的发展前景，但是否真的“准备好进入增长阶段”，VR陀螺认为，目前打造成熟的XR应用仍存在一些技术难点，影响XR行业的发展。
首先，虽然XR技术可以在有限的空间内做一个无限的空间出来，体育竞技和游戏赛事能够加速XR产品的商业落地，但XR直播门槛高，大型赛事直播中需要多机位切换，背景也需要跟着摄像机的变化而变化，并且需要实时对应和直播同步，现场的灯光和摄像机布置也必须兼顾到选手的比赛体验，成功的直播案例一时半会难以模仿。
其次，尽管属于B端应用的《英雄联盟》XR直播十分酷炫，但真正能带来收益的是在C端的普及。在普及XR的道路上，仍有不少障碍，如轻薄化、超高清效果与手势追踪、面部识别、语音AI等技术融合平衡的难点。此前，0Glasses创始人苏波在一次采访中认为，由于光学和供应链存在技术瓶颈，阻碍目前移动端AR设备的体积和画面质量改善，而一款真正有影响力的消费级产品，还需要3-5年时间重点研发。
不仅是开发端，中兴通讯虚拟化产品线首席科学家屠嘉顺也表示目前XR行业的盈利模式尚不成熟，产品和商业模式还需要打磨。没有一个通用的资金链行业标准，预计XR在消费端的普及还有很长的路要走。
当然，在这场《英雄联盟》s10直播中，我们看到的更多是惊喜而不是担忧。像《英雄联盟》这样超量级的赛事中运用XR技术，背后是XR直播上千人的制作努力。2020年末，这场燃炸全球的电竞赛事，不仅推进着新一代的信息传递方式，更改变了人们对于传统现场赛事“观看”的习惯。
结语
从S7到S10，从 AR效果渲染到 XR直播技术，传统赛事行业一直试图用虚拟科技引领新一波的线上赛事直播新风尚。
一直以来，以电竞为首的各类赛事或者会展的运营模式，几乎都是在线下进行。无论是主办方，还是参赛参展人，都更青睐这种模式，因为现场气氛和观众热情带来的冲击力是无法替代的。
然而受到疫情影响，许多现场赛事都被迫取消、延期或完全转移到线上。可以预见的是，在后疫情时代，传统的赛事和会展将更多地以 “云观赛” 的形式参与比赛。新的用户需求也由此诞生：如何利用飞速发展的高科技弥补线上缺少的气氛，优化赛事会展直播的观看体验，是相关从业者必须思考的重要问题。
而作为弥补现场赛事会展气氛的重要突破点，XR技术将在今后相关会展赛事行业的直播中成为一大主流。