向劳动者致敬

微博

QQ

虚拟演播室技术在江苏广播融媒体中的应用

2022-06-24 缪龙 江苏省广播电视总台技术运维部演播部 依马狮视听工场


为适应总台媒体融合建设发展思路,电视总控与广播总控之间信号的互通、与荔枝云的融合、以及统一的调度指挥等功能;广播电台也迫切需要新建视频系统来更好的支撑未来广播事业产业发展需求,广播系统需要建立一个新的演播系统也是新媒体在广播形势发展所必须的要求。

针对广播的第一个融媒体演播室的建设,我们事先从各方面做了大量的调研。首先去了解广播的节目部门对该系统预期需求,同时对该系统潜在使用对象进行了需求调研和可行性分析,其后对国内最新的虚拟演播室进行调研和学习。通过研判,我们发现随着实时真三维虚拟图文包装技术的快速发展和和设计出的场景越来越细致,节目包装的效果也非常出色,众多的电视台、行业用户等媒体机构更乐于采用实时虚拟演播室技术进行节目创新制作并成为低成本节目创作的主流趋势,精心设计的视觉冲击力的画面效果也广泛得到受众的认可。因此我们顺应趋势,通过对需求的分析、归纳和总结,经过反复多次的论证分析,最终形成了《江苏广播融媒体虚拟演播室系统技术方案》。

演播室位于广播大厦辅楼2楼,80㎡虚拟和实景结合设计,受演播室面积和地形限制,采用了“L”型蓝箱箱。通过对节目需求、地点限制和成本节约,系统设计为四机位、四通道架构、全网格跟踪并且后期便于升级为全机械的跟踪方式,渲染通道采用傲威/艾薇德(ORAD/AVID)专业高清图形渲染引擎(HDVG)。系统的通道数量在国内广播系统中首屈一指,采用的传感器类型和品牌也是业界领先,系统对各项技术进行了完善的整合。

虚拟演播室技术在江苏广播融媒体中的应用

图1 演播室实景

一.系统架构

融媒体演播室建设主要包括导播系统、虚拟高清录制系统、监看系统、灯光舞美系统。主要分为实体和虚拟两个区域,实体区域满足访谈和互动类节目的需求,虚拟区采用真三维立体显示技术。

虚拟演播室技术在江苏广播融媒体中的应用

图2 系统架构图

虚拟演播室技术在江苏广播融媒体中的应用

图3 视频系统方案设计

(1)视频信号输入主要包括摄像机、录像机、虚拟系统、以及外来信号等。

(2)切换台两路PGM信号进入加嵌器,最终经过网络播出服务器传输,视频信号输出可以和总控系统互联互传,可由总控统一调度。

(3)演播室视频切换台配置的AV-HS60U2MC切换台主机、2M/E控制面板、GUI控制面板,可实现提供32路SDI输入、2路DVI输入,其中16路输入自带帧同步功能。实现了演播室和融媒体播控中心,视频信号稳定灵活高效传输。

虚拟演播室技术在江苏广播融媒体中的应用

图4 虚拟系统图

真三维高清虚拟演播室系统带有字幕功能,并能够同时完成虚拟背景、虚拟植入和在线包装功能,可提供录(直)播节目、可实现实景与虚拟场景共用。

Avid虚拟演播室系统ProSet产品是一套全球范围内应用最为广泛、最成熟的虚拟演播室系统解决方案,拥有最专业的硬件、软件和跟踪技术,为观众呈现出完美逼真的视觉效果。不仅在国外得到广泛应用,国内也有多个成功应用案例,均获得用户一致认可。

ProSet系统基于Windows+Linux平台架构。系统操作端(设计端和播控端)基于Windows系统平台,便于操作人员快速学习掌握以及安全操作;系统核心渲染平台作为后台渲染服务器基于最稳定的Linux系统平台。系统由设计端、控制端、渲染引擎以及摄像机跟踪系统和色键抠像构成,并与演播室传统视音频设备配合完成虚拟演播室节目制作。

场景设计方面包括图形创作工作站、三维场景设计软件、编辑软件及基于微软XP系统的渲染引擎,主要负责虚拟演播室虚拟场景及图文模板的设计制作。其中三维场景设计软件完成场景的制作,编辑软件对制作的场景负责内容包装以及播出顺序效果的编辑,渲染引擎为设计者提供了本地预览的功能。

为了方便技术人员操作,控制端工作站采用了稳定性和兼容性高的微软XP系统,虚拟系统提供的3DControl播控软件能适应国内广播电视节目的制作需求,读取并调用其它媒资厂商设备的串联单数据,生成播放列表。播控软件同样支持用户在播出前通过本地预览播出效果。

渲染引擎采用Avid新一代板卡得图形工作站GBOX,是目前业界最为强大的图形实时渲染硬件平台。其在软件设计、硬件配置乃至底层驱动开发时均是针对虚拟图文的特点进行了深度优化,保证了在图形渲染过程中软硬件资源的最高效利用,做到了对复杂的三维虚拟场景高质量地流畅渲染。

摄像机跟踪系统的精确度是决定虚拟演播室节目逼真性的重要因素。本虚拟演播室系统支持网格跟踪,包含数字视频处理器HDVP、网格(蓝色5米)、视频数字插入器(摄像机身份标识器)VDI-40;该系统对摄像机的型号及镜头种类没有限制,可以容纳对4个摄像机虚拟跟踪拍摄。纯网格单通道系统,只有一路独立的输出通道,可以单独输出一路合成信号到切换台。

系统采用多机位、多通道输入的配置,采用纯网格跟踪方式。系统配置包含虚拟场景创作兼播控系统、虚拟图形渲染引擎、摄像机跟踪系统(网格跟踪)及色键器等多个子系统模块。各子模块构建成一套完整的高清虚拟演播系统,用于在蓝箱中完成虚拟演播室节目录制。

二.虚拟系统组成

1.创作兼播控系统

系统核心采用了惠普HPZ6G4工作站作为虚拟场景创作兼播放控制系统的硬件平台,配套了三维场景设计软件,三维模板编辑软件,以及三维图文广播控制软件和虚拟控制软件。

2.三维场景设计软件3Designer

这是由AVID/ORAD自主研发的创新性真三维虚拟演播室场景设计包装软件,用于制作针对不同应用场景的专业实时二维/三维图形。它适用于新闻、体育、气象、财经、综艺等所有节目类型的各种三维场景和模板的制作,支持标清、高清、16K分辨率乃至三维立体等格式的图形创作。

3.模板编辑软件3DEdit

模板编辑软件通过对场景设计软件创建的三维场景进行内容打包,播放人员可以利用3DControl对播放前的各种属性进行修改,实现方便灵活的播放控制。3DEdit便于让美工操作人员与播出控制人员之间的工作高效完美融合。

虚拟演播室技术在江苏广播融媒体中的应用

图5 3Dedit操作界面

4.播控软件3DControl

播控软件支持编辑和控制两种模式,分别用于串联单的导入、播出列表的编辑以及播出控制等工作。同时,作为系统数据接口,可导入外部数据源或链接动态数据库。

5.虚拟控制软件ProSet

虚拟控制软件包含了跟踪数据界面、虚拟摄像机界面、跟踪启动和停止界面、跟踪方式切换界面等功能子模块,主要用于完成虚拟跟踪机位的定位操作和镜头校正工作。

6.图形渲染引擎

虚拟演播室技术在江苏广播融媒体中的应用

图6 3DControl操作界面

系统的核心渲染设备采用专业的高性能数字视频实时图形渲染平台,其具有服务器级别的硬件体系结构,包含Linux 渲染引擎、跟踪软件、专业高清图形渲染引擎、内置线性键和视频延时控制等配置或功能。它采用64位Linux操作系统,拥有强大的计算和渲染能力,支持多种视频输入输出配置方式,对复杂的2D/3D虚拟场景进行实时流畅渲染。

7.摄像机跟踪系统(网格跟踪)

包含数字视频处理器HDVP、网格(蓝色5米)、视频数字插入器(摄像机身份标识器)VDI-40;该系统对摄像机的型号及镜头种类没有限制,可以容纳对4个摄像机虚拟跟踪拍摄。

8.色键系统

系统采用的Ultimatte 12是一款先进的实时合成处理器,可对现场视频进行抠像获得新一代广播图文和虚拟布景等精彩效果。它采用全新的算法和色彩科学,具备精细的边缘处理和分色处理、无与伦比的颜色保真度,以及更高品质的溢出抑制。其高性能12G-SDI设计,能以子像素级别进行处理,轻松应对Ultra HD和HD制作,带来惊人画质。色键器可分别对前景和背景的溶入效果和色彩进行单独控制调整。对于像阴影、发丝、透明体和烟雾这些抠像中的难点,也能够同时进行细节的色键处理,并显示出良好的效果。

虚拟演播室技术在江苏广播融媒体中的应用

图7 广播总控

三.音视频节目融合制作

广播融媒体演播室系统设计的最大亮点是广播总控、电视总控,广播融媒体转播车,荔枝云互联互通,总台所有频道、频率都可以通过矩阵调度接入融媒体演播室,同样演播室的制作内容也可以通过音频总控和网络技术传输到指定播出平台,真正实现了总台媒体融合传播要求。

虚拟演播室技术的采用,大大提高了演播室场景的利用,各频率相关节目可以快速切换,同步在频率和大蓝鲸APP中进行音视频直播,并能够同时在微博、抖音等客户端发布。

1.新闻类资讯播报

主持人借助虚拟大屏显示的新闻题图进行互动式的资讯播报或视频连线。在新闻节目中,也会涉及到大量相关数据。传统数据播报形式是通过二维图文的形式,枯燥,乏味;而通过三维虚拟形式将富有质感的柱状图、饼形图等搬进演播室,枯燥的数字立刻变得有趣、直观起来。

2.专题类事件解析

在虚拟空间中植入虚拟物体及动画来配合主持人或嘉宾对热点事件的实时解读。 通过三维虚拟前景方式,将诸如交通事故、自然灾害、事物原理解析等新闻事件进行模拟重现,直观地传播事件真相,增强画面的表现力。

3.谈话类嘉宾访谈

符合节目主题的演播室背景设计,营造谈话节目氛围,增强视觉感受。上述的三种应用形态几乎可以涵盖民生、财经、体育、综艺、军事、教育等所有常见的节目 类型。

虚拟演播室技术在江苏广播融媒体中的应用

四.结语

此次江苏广播融媒体工作室的建设,从立项阶段就进行了充分的调研和设计,将低成本高效有机结合。在实际应用中也发挥了良好的成本优势,为广播受众多维度的收听收看各频率优质节目开辟了全新的模式,广受各栏目的欢迎,不断地创新节目的表现形式,充分发挥了媒体融合的优势,更好的实现广播增强、整合营销、短视频生产,有效促进了江苏广播的发展,收到业界的广泛好评。B&P

虚拟演播室 融媒体

视听科技视频号 广告
发表评论