客户：
中央广播电视总台
项目：
《飞向月球》(第二季)
目标：
依托原创混合显示（IMR）超高清电视制作平台，搭建了全球首个4K混合现实实时数字特效制作摄影棚，创新性地采用大量原创三维动画。以还原科学探测历程、沉浸体验月球环境、解析采样技术亮点、透视航天探月精神的创作理念，制作出了以“AI数字航天员”特效为代表的一系列“爆款”视觉效果。
前不久，《飞向月球》（第二季）成为热播“爆款”，引发大量关注、评论和转发。
作为一个科学纪录片，能有这样的热度，实属不易。这其中除了人们自身对于航天内容的极大关注外，极具写真的画面、全球首位AI数字航天员的出现、月球空间环境的真实还原，由此带给观众身临其境的视觉体验，也是重要因素。
为了呈现这样高品质的视觉体验，中央广播电视总台创作团队历时两年精心打造。依托原创混 合显示（IMR）超高清电视制作平台，搭建了全球首个4K混合现实实时数字特效制作摄影棚，创新性地采用大量原创三维动画。以还原科学探测历程、沉浸体验月球环境、解析采样技术亮点、透视航天探月精神的创作理念，制作出了以“AI数字航天员”特效为代表的一系列“爆款”视觉效果。
为了让读者更好的了解这些幕后故事，《传播与制作》专访了中央广播电视总台高级工程师、《飞向月球》节目包装技术总监——王子建老师，他将向我们呈现《飞向月球》（第二季）的真实制作历程。
请您介绍一下《飞向月球（第二季）》这个项目？
《飞向月球》是一个系列性节目，是一个科学纪录片。中国科技部有三大工程，分别是探月工程、载人航天和深空探测，《飞向月球》主要记录的是中国的探月工程，围绕人类对月球的探索历程、中国探月工程取得的成就、蕴含的科学原理、科技创新等内容展开。
2017年我们开始《飞向月球》(第一季)的制作。当时长征火箭载着嫦娥四号进行了月球背面的探测，这次探测是人类首次在月球背面着陆，是一次人类壮举。
围绕着这个壮举，我们开始进行《飞向月球》(第一季)节目的整体设计。当时4K技术刚刚开始兴起，利用这次机会第一次完成了央视4K超高清特效纪录片的精密化制作。搭建了全球首个4K混合现实实时数字特效制作摄影棚，在科普表达上创新性地采用大量原创三维动画，直观解读科学原理，真实还原月球空间环境，带给观众身临其境的视觉体验，呈现出一部多维度、立体化、有温度、具情怀的科学纪录片。
|
中央广播电视总台高级工程师，研究方向为AI深度学习神经网络技术在计算机视觉领域的应用，在国际期刊、国际会议发表多篇SCI（2区）和EI引用的学术论文，目前正在进行实时特效制作模式、计算机图形制作呈现标准的研究。在《飞向月球》(第一季)、《飞向月球》(第二季)等大型科学纪录片中，担任总台原创混合现实（IMR)超高清电视制作平台视效技术总监。 |
Ross Video视音频方案的全面性使我们在现场构建、搭建时间、技术研发方面的消耗降得很低，为我们进行AI数字人物核心底层算法的探索争取了时间。
——中央广播电视总台高级工程师、《飞向月球》节目包装技术总监 王子建
《飞向月球》(第一季)主要完成了两个层次的内容：
一、是围绕嫦娥四号飞向月球之前所做的事情进行了记录和叙事；
二、是解读航天人的情怀。为什么要航天？为什么这些专家和科学家花费这么多心血做这个事情。拍完《飞向月球》(第一季)之后，效果不错。不管是从我们技术上还是艺术上，都获得了认可度，在此基础上我们开始筹备《飞向月球》(第二季)。这时中国航天进行了下一个特别重要的任务就是嫦娥五号 “绕落回”，这是个很有情怀的故事。
“嫦娥之父”欧阳自远院士在接受采访时曾说过：在尼克松访华的时候，带给中国两样东西，其中之一是1克的月壤。这1克月壤多珍贵呢？只能分出一半0.5克进行研究，另外0.5克用于展览。
嫦娥五号的“绕落回“是一个非常艰巨的任务，我们成功了，从月球上取回来一公斤左右的月壤，可以进行更加深入的研究了。
围绕着绕落回这三件事，我们开始进行《飞向月球》(第二季)的创作。
在技术方面，也是围绕绕落回这个故事开始现场搭建，与第一季真人抠像自拍模式不同，在第二季中，为了更深入体现一些特征，我们尝试进行了4方面的研究：
a．AI数字人物的创作；b.AI数字资产孪生应用；c.4K沉浸式拍摄系统开发；d.CG 4K HDR工艺流程建立。
《飞向月球》（第二季）制作中应用了AI数字人物技术，这个技术是怎么实现的？
往常的节目，一般都是根据项目先进行技术梳理，然后搭建，之后才开始制作。第二季是与之前不同，是科研先行，先进行了预演。
这个片子在2020年11月正式开始制作拍摄，但是研发早在2019年底就开始进行了，其中最具代表性的就是AI数字人物。这是一个高仿真的精品数字人物，而非是普通用于娱乐、直播带货的数字人物。
AI数字人物创作的意义是为了践行央视“5G+4K/8K+AI”总体技术战略。我们认为AI落地，视效先行，基于此打造了一个全球首创AI超写实数字人物，应用在这个4K科学纪录片当中。
我们从2019年底开始进行技术储备，先做了一个POC，也就是概念性验证，认为具有可行性，接着进行了相关算法的研究和储备。成形之后，从2020年的9月开始实施，到2021年完成。
我们从研发到最后实施的主要分成几个阶段：第一阶段是测量摄影。
就是通过相机阵列，对AI数字人物扫描。拍摄扫描的人物不是单纯的采样，而是有皮肤质感的、包含各种多维度信息的一个采集。
第二阶段是对整个神经网络的学习。
这部分是AI处理的主体。先进行的是数据集的构建，也就是对人物的一个数据采样。我们通过几次采了10多个小时的数据，之后对这些原始数据进行特征抽取和交预处理，预处理之后形成一个数据集。
之后进行建模，这是一个数学建模，并非三维模型建模。数学建模就是对特征进行构建，即我们要如何采集什么样的特征，能够支持我们之后的现场拍摄应用。
数学建模之后利用算法进行代码的实现，最终把这些都完成以后开始训练，利用数据集和算法，体现这个数学建模，进行推定。训练好以后进行调优。调优后形成了一套参数集，放进Ross Video Voyager虚拟演播室系统系统运行，在这个系统之上进行研发。这属于高定制化的研发，最后完成整个数字人物的逻辑，最终呈现给大家。
神经网络阶段进行了1年多才完成，直到2021年2~3月份左右才开始进行现场拍摄，将这个数字人物进行了实时的驱动。驱动下来以后，进行现场数据的收集、后期分析和制作。
如果细分创作流程，可以分为测量摄影、资产处理、逻辑、神经网络、技术美术或现场拍摄这么几部分。
AI数字人物与以往的主要区别在于：突破了创作物理空间的限制。在《飞向月球》(第二季)里能看到很多的镜头好似在一个大场景中拍摄的。其实是在一个150平米、实际可用范围只有100平米的空间内进行的拍摄。100平米可以衍生出几千平米级别调度的模式，赋予了深化创作的更多维度。以前这种实体拍摄受限于很多东西，比如演员、道具、场地等。如今可以有各种各样不同维度的拍摄，大幅提升了整个节目的效果质量。
与其他纪录片相比，《飞向月球（第二季）》有哪些独特的技术点？
第一，首次尝试了AI数字人物。
第二，体现了AI数字资产孪生应用。科学纪录片的宗旨是进行真实还原，但这也是特效制作的一个难点，我们需要数据支撑。为此我们从国家天文台获得了月球数据的DEM信息集，但这个DEM我们无法直接用。我们根据这个DEM通过计算进行了转换，形成了能用格式。这就是AI数字资产孪生应用。
第三，虚拟拍摄。我们自主研发了一套4K沉浸式虚拟拍摄系统，当然这个研发的并不是说我们完全从零开始去做，还是基于一个大的体系架构。这个架构里面包含了Ross Video、NVIDIA、EPIC这些已有的平台，我们在上边进行应用级研发 。
我们首先进行的是现场控制逻辑和现场运动算法的研发，之后是控制设备接口、控制协议接口，最后完成整个嵌入式系统的一个集成，实现4K沉浸级拍摄这个模式。
第四，CG 4K HDR工艺流程建立。之前HDR大家都有各自的方案，但并没有太好的应验。这次我们直接将CG HDR直接呈现给观众，在制作端全程保留全部色彩信息和动态范围，在输出端完全适配总台现行色彩标准。
这是具体流程上的四个技术点。从大的流程上，我们是基于原创混合现实（IMR）超高清电视制作平台。“5G+4K/8K+AI”是总台的战略布局，IMR是其中一个重要组成部分。通过这个平台我们实现了数字虚拟制片流程的贯穿，制作平台的流程化。
《飞向月球（第二季）》制作有哪些复杂之处？
目前节目技术制作早已不是一个简单的技术和设备堆砌了，开始向深度和广度两个维度进行探索。深度是什么？
对于我们来讲，就是科研先行或称为研发先行。
在制作这种精品纪录片之前，要做大量深化的数学模型研发，在研发基础上圈定技术路线。根据现有的技术条件，再去选用合适的软件和硬件。
将算法、数学模型、以及一些标准的落实，最后完成整个制作，对于我们具有非常大的挑战性和复杂性。对于制作来说，现在高定制化需要比普适化要大很多。原来的制作是普适化，我们叫行活，每个片子安装流程排活就可以了。但现在每个片子都有它的特点，而基于这个特点要去做大量研发。下一个片子可能会用到上一个片子的一些技术手段，但又不完全一样，仍然需要研发。所以《飞向月球》(第二季)技术先行的模式，让我们觉得相对复杂一些。
什么是广度呢？
现在电视制作已经不再是面向一个屏幕的制作，如今是一个高维度全媒体时代，如何将宣传内容进行立体化传播，对于我们是一个挑战。
具体来说，就是如何将简单的一个纪录片制作、特效制作，扩展到全领域，如新媒体、展览、文创、游戏、现场讲解、电影等场景。如何将电视传统的被动模式变成主动模式，技术上是完全不同的架构，这是一个难点。
这个节目中应用了Ross Video的哪些产品方案？最终确认采用Ross Video系统的主要原因有哪些？
《飞向月球》第一季和第二季大部分都是基于Ro s s Vi d e o解决方案来做的。选择Ro s s Video，是因为它们在产品线上，相比其他厂商，比较全面，从开始的拍摄到最后的收录都有产品方案。如SDR 12G方面，它的整个流水线相对成熟；在IP流媒体方面，也给了我们很大帮助。
可以这么说，Ross Video视音频方案的全面性使我们在现场构建、搭建时间、技术研发方面的消耗降得很低，为我们进行AI数字人物核心底层算法的探索争取了时间。
AI数字人物、数字孪生应用也都是基于Ross Video voyage这个产品进行二次研发的。此外它还有基于图文的IT级产品，能够让我们保质保量的完成任务。
请您对Ross Video做一个总体评价？
产品很稳定性，我们《飞向月球》第一季和第二季，以及其他很多片子，一直用Ross Video产品来制作。不只是在纪录片特效领域，在舞台综艺很多需要高质量展现的地方，如春晚、中秋晚会和建党100周年晚会，用的也是Ross Video 的产品。
Ross Video是一个比较综合性的解决方案，为我们很多前瞻性尝试提供了可能。Ross Video方案本身自带AI智能识别，如果要用自己的AI技术，Ross Video也提供了AI小微服务接口michael service，这给我们特效数字化转型提供了坚实的基础。在此基础上，我们可以创作出各种各样新的技术和应用。
谈谈你在这个节目制作上的一些观点？如何让节目制作上升一个档次？
现在对于我们来讲，先要练好内功，那么内功的基础是什么？标准！
要制定相应的标准，包括行业标准和工业标准，来供给整个制作单元，快速而稳健的形成可复用的标准化数据资产。这是我们对未来构建的一个基础。
我们还要进行大量的协作，以前都是线制作模式。这个模式对于4K和8K超高清制作，尤其是8K几乎是不可能完成的任务。因为现在制作迭代的速度越来越快，维度也越来越高，使用传统线性制作和传统渲染流程，是无法想象的。
基于此，我们要构建我们下一代实时特效制作流程，不单单是面向电视，而是面向全媒体。