中央广播电视总台跨年盛典《启航2021》圆满结束,央视数码AR团队历时两个月为晚会倾力打造整体XR+AR包装。
XR技术首次应用于总台晚会现场
本次跨年晚会的重点节目《孔雀》是AR团队在技术测试、创意设计、内容制作、系统搭建、场景调试、录制播控六个层面上独立自主进行XR技术应用的全流程探索,成功完成了总台大型综艺晚会上首个XR节目包装。
《孔雀》XR+AR包装(建议在有wifi条件下观看)
XR分镜创作
《孔雀》是一首为视障人士而创作的具有故事叙述与想象空间的歌曲节目。创作团队根据歌词内容以及音乐节奏对贯穿歌曲的XR内容进行了分镜创作,利用五个核心XR场景及空间转场变化,描绘出盲人内心世界的情感表达,即便真实的世界黑白一片,看不见绚丽的色彩,但他们内心也有一切对美好世界的憧憬和希望。

△《孔雀》XR手绘分镜图
XR制作与实施
本次XR的全部内容均基于UE4引擎进行制作、调试和播出。XR是一项高度集成化的工作,在此过程中需要多个工种共同保障节目效果:导演需要知道虚拟场景的范围和边界,以便更好地设计景别和拍摄角度;大屏团队需要将视频信号和屏幕像素点精确对位,确保XR场景不发生变形扭曲,影响透视效果;摄像师需要清楚XR场景的主体位置、纵深大小,更好地设计镜头运动轨迹;XR场景制作人员需要确保AR场景与大屏边缘的无缝衔接,根据机位景别对场景进行调节,输出最好的视觉效果。



△ UE4场景制作界面
XR技术应用
基于总台现有虚拟系统设备资源,在本次跨年晚会的实施过程中我们依次面临了以下技术难点:
如何打通FreeD协议和nDisplay?
如何解决XR和AR色彩差异的问题?
如何处理LED屏幕呈现摩尔纹的问题?
如何实现不同节点的画面和事件同步?
如何将虚拟场景和真实LED屏幕进行精确匹配?

△ 现场XR系统搭建

△《启航2021》XR系统示意
XR出现的意义不是简单地替代绿幕,也不止于和LED大屏的结合,它是实时渲染技术发展推动的一场虚拟和现实融合的技术革命。创作团队总结与收获了宝贵的经验,在如何更大化的利用XR扩展现实技术呈现沉浸式视觉效果上,我们将继续探索。
《XR全流程工作纪录》(建议在有wifi条件下观看)
更多精心创作的AR节目
在创作团队与节目组主创团队商定磨合两个月后,虚拟偶像“集原美”被搬上总台跨年晚会的舞台。虚拟偶像角色动画的演绎相对于一般的AR场景在创作上更为复杂,需要反复推敲角色的动作和质感细节,使它们准确的对应节目内容节点以及灯光舞美大屏幕变化,自然的融入到舞台实景当中,创作团队针对此次节目对角色的服装、动作、特效以及互动元素进行了设计制作。
AR虚拟偶像《集原美》场景展示(建议在有wifi条件下观看)

△ AR虚拟偶像《集原美》播出画面
此外,创作团队还在部分AR节目中首次使用了CameraFly技术,让晚会现场的一部分实景在电视画面中无限制的移动至远方,利用AR加以填补修饰,扩展了现场空间效果。在AR内容的整体设计上,我们更加注重节目立意的创意点的深度发掘与打造。





△ 跨年晚会部分AR效果
【 XR+AR团队 】
项目负责:赵晔
视觉总监:封毅、郭威
技术总监:冯高洁
创意设计:赵津、耿之然、耿婧雯、王欢
技术美术:谭栋、段峥
场景美术:陈博览、聂永康、杨忆、左宏达、王雅男、李楠
系统技术:柏嘉铭、宋兴旺
