基于NCAM的图像识别跟踪系统在演播室的应用

　　【摘要】NCAM图像识别跟踪系统作为主流的演播室追踪系统，在演播室得到了越来越多的应用，提升了节目的视觉效果。首先，本文介绍了NCAM图像识别跟踪系统的使用；其次，介绍了NCAM在演播室的系统结构；最后，介绍了NCAM在演播室的应用。

　　【关键词】 NCAM 图像识别跟踪 虚拟跟踪

一．引言

　　传统的电视节目比较单一，由主持人在实景前讲述口播，承前启后。随着科技的发展，电视图像跟踪系统将图像识别、处理、跟踪技术结合，把虚拟的物体形象、实时地在演播室表现出来，使节目内容更加直观、丰富。电视图像跟踪系统的实现，预处理数据量大，为了保证系统的实时性，一般采用DSP芯片+FPGA结构协作处理。

　　苏州广播电视总台作为全国首个实现高清整体转换的城市台，采用了主流的演播室追踪系统——NCAM图像识别跟踪系统，NCAM的鱼眼模拟人眼具有的图像识别能力，再通过计算机识别、处理获得的信息，实现了图像目标的跟踪。目前，NCAM图像识别跟踪系统在全媒体新闻中心的《社会传真》、《姑苏警方》、《天网》等栏目使用，关注政治、民生，例如C919大型客机在上海圆满首飞、重现警方破案现场、枇杷上市价格分析等等，直观形象的虚拟场景提高了收视率，使新闻类节目丰富有趣，让观众了解到政治、经济、生活等各个方面的情况。

二．NCAM图像识别跟踪系统介绍

　　NCAM主机默认系统为Linux图形界面，该系统具有可靠的安全性和良好的稳定性。如图1所见，打开NcamReality软件，软件界面上的左右画面为两个Fisheyes虚拟镜头的跟踪点位，紫色点越多说明有效跟踪数据越大。默认情况下系统开始跟踪时，鱼眼镜头的第一对图像将自动显示在此处，当相机在环境中移动通过时，会自动在底部栏中生成其他图像。右侧是系统状态选项，用于调整跟踪有关的各种设置，可以看到系统跟踪情况以及一些参数，调整鱼眼环境的增益、曝光量和Gamma。跟踪数据正常传输后，右侧系统状态选项中所有数据应均为绿色状态。在对应VisualTracking目录下有一个可变值“PixelError”，在不同镜头场景环境下，该值会不断变化。该值位于0-0.25之间说明虚拟跟踪数据的质量最好，可正常使用。

图1　NCAM的主机界面

　　视图是由两个不同的屏幕，2D和3D视图组成，如图2所示。当正在跟踪以及系统正在被使用时，应该把2D视图作为当前活动屏。2D跟踪视图是从鱼眼虚拟镜头得到的实时视图，在系统启动跟踪时，当前使用的点会出现，彩色的点代表规模和精度，紫色是最大点黄色是最小点，紫色点越多说明有效跟踪数据越大。在跟踪开始前就应当用2D视图来确保鱼眼镜头能在当前的环境下合适地曝光并匹配。3D跟踪视图是用3D方式展现的当前环境、测试立方体和对应的摄像机位置和方向，2D视图中看到的彩点在3D视图中以蓝色和紫色的光线形式表示每个点是如何由摄像机捕捉到的。

图2　NCAM的2D和3D跟踪视图

　　点击开关按钮，显示为StartingTracking，开始传送虚拟跟踪数据。根据固定虚拟点位设定虚拟物件位置及演播室栏目灯光全部开启后，点击“√”按钮初始化跟踪数据。选择基准面，前两个关键位置图像会自动显示，如果需要不同的视图，可以从下方时间轴中选取，拖动图像到主窗口。选取基准点后，可以通过旋转轴来重新定位轴，如图3所示，左图用于定位和操作NCAM世界坐标系（原点）的方向。当系统跟踪增强现实时，NCAM立方体也将在这里合成，用作故障排除和测试。

　　　确认跟踪好后，点击“ONAIR”按钮，确保在直播环境中没有人为干涉虚拟数据的变化，关闭不必要的过程并提高性能。

图3　NCAM选择基准面和定位轴

三．NCAM在演播室的系统结构

　　NCAM在演播室的系统结构如图4所示。演播室的摇臂摄像机，将鱼眼虚拟镜头得到的实时视图、Zoom、Focus等数据，通过RJ45接口传送到NCAM主机。CCU输出一路SDI数据到NCAM主机，再加上同步信号REF后，NCAM主机经过处理，输出串行虚拟数据（Free-D协议）到互为主备的两台虚拟Engine的MOXA卡。XNEngine的Matrox卡，In1是FG前景信号，In2是Input开窗信号，Out1是XN1/2V。

图4　NCAM系统结构图

　　系统中的两台同步机互为主备，经过导换器输出同步信号，再由周边机箱的DA分配放大，得到分配的同步信号REF，其中一路输出到NCAM主机，与系统的其它设备同步。

　　镜头的Zoom、Focus等数据由鱼眼获得后，在长时间的不同场景环境、灯光数据变化下，有时候会需要使用Homing功能，将虚拟镜头的Zoom、Focus的量程校准。这种情况下，点击菜单栏Devices-CameraBar-StartHoming，开始做Homing的校准，软件界面上的右侧系统状态选项中Inputs-LensEncoder会显示橙色的HomingNotDone，此时将摇臂进行推拉和聚焦的往复操作，获得Zoom、Focus的量程，操作完后，点击菜单栏Devices-CameraBar-StopHoming，结束Homing，校准完成，虚拟恢复到稳定的跟踪状态。

　　系统采用虚拟演播室设置VizStudio_setup和VizContentPilot模板制作与播出系统(VCP)，利用设置系统的Viz_IO软件中的FreeD跟踪协议快速地实现对虚拟演播室进行虚拟跟踪定位和校正，在Viz_IO的状态选项中设置从XN1和XN2虚拟渲染引擎以及具体的物理端口来获取跟踪数据值，进行实时数据交换状态。播出前在VCP编制串联单，在播出中可以按照节目串联单的内容进行实时更新和替换文字、图片和三维物体等。

四．NCAM在演播室的应用

　　NCAM结合了摇臂，使画面增添了纵深感，营造的立体空间使人有身临其境的感觉，使虚拟场景更加形象，增加了信息量。

　　使用NCAM跟踪系统，成功在演播室完成了一些虚拟场景的制作和播出。如图5所示，我国自主研制的C919大型客机在上海圆满首飞，社会传真栏目制作虚拟背景，运动着的虚拟飞机和变化的数据展示，将这一个航空工业的历史时刻更好得表现出来。由这些虚拟数据，再联系首飞现场的实况画面，使观众能全方位的了解C919的首飞情况。

图5　NCAM在C919首飞时的虚拟场景图

　　NCAM跟踪系统不仅在时事新闻中成功得拉近了和观众的距离，在讲述警方破案过程、表现法律公平正义的时候，NCAM的虚拟场景也为事实本身增加了直观的描绘，模拟犯罪现场、揭露犯罪活动真相，使观众有更真实的现场体验感。如图6所示，NCAM在姑苏警方时的虚拟场景图，科学手段的运用，给观众直观的、可信度高的结论。

图6　NCAM在姑苏警方时的虚拟场景图

五．总结与展望

　　NCAM图像识别跟踪系统，结合了摇臂特有的画面特点，使节目制作团队发挥了更多的创造力，为传统媒体增添了新的更富有表现力的虚拟场景，使演播室的视觉效果得到了提升。在类似的重大事件、时事新闻、民生新闻等节目中，根据真实情景不断改换虚拟背景，丰富立体的场景更好地服务于不断提高的观众审美，增添了艺术性。 

参考文献

　　[1]第晓菊.基于FPGA的电视图像识别跟踪系统的设计和实现[J].硅谷,2011(11):87-87.

　　[2]刘广华.电视跟踪系统的技术研究[D].南京理工大学,2013.

　　[3]孙威.浅谈虚拟跟踪技术及其应用[J].影视制作,2014,20(6):60-63.

　　[4]刘亚男.摇臂拍摄技术在电视领域中的作用及运用[J].西部广播电视,2017(11):197,201.