微博

QQ

浅谈气象节目中数字图像合成处理技术的应用

2009-03-17 华风气象影视技术中心 晋美多吉 赵 磊 依马狮广电资讯网


    【摘  要】 电视气象节目具有独特的专业性与科学性。数字图像合成处理技术对提高电视气象节目表现手法和增强画面的可观赏性有着至关重要的决定权。通过对数字图像合成处理技术的浅谈分析,使这种技术在电视气象节目中得到更加广泛的实际应用。

    数字图像合成处理技术,属图像处理技术的范畴,主要指把两个或两个以上的视频或图像信号通过加工处理,叠加或组合在一起,创作出新的图像效果;对原始素材的深度加工处理,使之产生新的艺术效果。若将传统的影视制作比作以时间为轴的叙述,图像合成则是于同一时刻在空间的领域进行创作,在二维的电视画面中表现出空间的层次感,增强电视画面的表现力,使电视画面所传递的信息越来越丰富,形成了一套独特的创作手法。合成技术逐渐成为影视节目后期制作环节中一种越来越重要的一环。
    随着数字技术、计算机技术的迅猛发展,近几年内气象节目中的图像合成处理技术在不断优化的同时也发生了质的飞跃。从能够完成混与、键控等合成功能的模拟切换台,到如今特色各异的合成软件以及功能强大的数字气象影视后期合成系统,合成的概念正在被逐步完善。数字图像合成处理技术得以集成在各种不同类型的系统之中,成为了气象影视节目制作技术数字化发展进程中,继非线性编辑、虚拟演播室技术之后的又一个亮点与焦点。
一. 合成处理技术的实现方式
  图像合成处理技术是在传统键控技术,即抠像处理技术的基础上发展而来的。抠像处理技术用键源图像形成的键信号抠去背景图像的一部分,并填入前景图像的相应部分。根据键信号产生的方式不同,键可分为亮度键与色度键。传统的键控主要是通过切换台的门控信号形成电路与混合效果放大器,以通道混合的方式实现的。而当今数字图像合成技术是以层混合的方式实现的,即通过对计算机中存储参与合成的各层图像信息的帧存储器中的对应像素数据进行各种方式的合成运算实现。随着实现手段的进步,数字图像合成处理的方式、种类已不再局限于抠像(当然,抠像仍是目前最常用的图像合成处理手段),有了很大程度的拓展。主要包括以下几种方式:
    1.Alpha混合图像合成处理技术
    Alpha通道首先在单帧静止图像的合成(平面设计、制作)中广泛使用,后随着计算机图形图像处理技术开始应用于影视节目制作,并在气象影视节目制作中得到极大的发挥。Alpha混合键是指线性键,在帧存(又名显存)中,每个像素以R、G、B-Alpha 32比特结构(或Y、Cr、Cb-Alpha 24比特结构,但前者做混合时较简单)存储,其中Alpha通道为8比特的透明度控制信息,它实质是一层256级的灰度图,对应可产生256阶渐进透明叠现效果,可用作键信号。合成时,灰度图的各点值与前景图像的各像素值一一对应,对应黑色部分(Alpha值为0)的前景图像是完全透明的,露出背景,对应白色部分(Alpha值为255)的前景图像是完全不透明的,只显示前景,对应灰度部分时,前景与背景按比例融合:合成图像=前景图像×Alpha/255+背景图像×(1-Alpha/255)。Alpha通道信息可来源于色键,或由图像处理软件制作出的黑白图像,或由图像处理软件与二维、三维动画制作软件在计算机图形生成过程中自动产生。因此Alpha混合图像合成处理技术多用于包含静止图像、字幕、二维与三维动画的图像合成。帧存的容量对Alpha混合图像合成处理技术的精细度有决定的作用。帧存越大,可以储存的图像数据就越多,支持的分辨率与颜色数就越高,合成渲染的速度也就越快。以下计算帧存容量与分辨率关系的公式:所需帧存=图形分辨率×色彩精度/8。例如要上16bit真彩的1024×768,则需要1024×768×16/8=1.6M,即2M帧存。对于气象影视节目所常用的三维图形合成处理技术,由于需要同时对Front buffer、Back buffer与Z buffer进行处理,因此公式为:所需帧存(帧存)=图形分辨率×3×色彩精度/8。例如一帧16bit、1024×768的三维场景,所需的帧缓存为1024×768×3×16bit/8=4.71M,即需要8M帧存。
    2.遮罩图像合成处理技术
    它是数字图像合成处理中必备的法宝之一,其合成原理与Alpha混合处理技术很相似,但遮罩是以独立的层的形式参与合成,控制前景、背景的合成比例,而不是附属于前景图像的一个通道信息,因此应用更灵活。遮罩图像合成处理技术来源于Alpha通道混合图像合成处理技术,或任何经过处理得到的黑白图像、视频,如彩色变黑白处理。同时作为独立的一层,遮罩图像合成处理技术可以使用任何能应用于图像层的效果、特技,如:柔化、运动等。遮罩主要使用3×3,5×5,16×16的乘法矩阵。遮罩的使用方法如下。
[ a1 a2 a3 ]
[ a4 a5 a6 ]遮罩矩阵
[ a7 a8 a9 ]

[ p1 p2 p3 ]
[ p4 p5 p6 ] 输入矩阵
[ p7 p8 p9 ]

[ X X X ]
[ X M X ] 输出矩阵
[ X X X ]
(M=a1*p1+a2*p2+a3*p3+...+a9*p9)
    即遮罩矩阵的各矩阵元素与输入像素值相乘,然后将这些值相加创建出最终的输出像素值。为了求出最终的像素值M,输入像素p5周围的像素p1到p9都包括在运算中。 当然这是3 X 3的MAX矩阵。要想知道MAX的正确的数学原理就需要微积分知识,在这里就不再做深入的介绍了。
    3.三维空间图像合成处理技术
    在现实中人的眼睛看到的物体均处于三维的空间中,但受显示屏幕的约束,制作人员只能针对二维的显示画面进行创作。早期的图像合成一般是在X、Y两个坐标轴构成的二维空间中以叠显的方式合成。而如何在二维的画面中体现出三维的空间层次感始终是创作人员与开发人员的一个追求。三维空间就是在二维的基础上加入深度Z轴的概念而形成的,因此,三维空间合成处理技术又称为深度键合成处理技术,作为合成控制信息的Z轴数据即为深度键。三维空间合成处理技术将近似于三维动画软件的建模环境引入了合成空间,同样拥有XYZ三维空间、灯光与产生观察视角的摄像机,但建立的对象不再是由数以万计的多边形构成的三维物体,而是若干个厚度很薄的二维图像画面。处于三维空间中的各图像画面会因观察视角的不同,因各自所处位置、角度即深度信息的不同而产生不同的遮挡关系、透视关系、聚焦关系与阴影,与二维合成处理技术相比较,能够产生空间感、透视感更强的合成画面,提供给制作人员更广阔的创作空间,但同时会带给系统更巨大的运算量与合成时间。[Page]
  除此之外,还有无需通道、遮罩等其他控制信息而对前景图像与背景图像数据直接运用某种算法而进行叠加合成的方式。目前很多的图像处理工具中都包含了多种方式的叠加处理方法,如何理解这些不同的叠加方式呢?其实每一种不同的叠加方式所对应的都是一种算法。比如说screen(屏幕)合成技术处理模式,它代表前景与背景图像进行逐像素的比较,保留的是二者当中亮度的值比较高的一个。这样,你将会获得一幅较亮的画面。而multiply(相乘)合成技术处理模式则相反会得到一幅较暗的图像。通过不同的算法组合,还可以实现似柔光、强光、负片等效果的合成。这种方法非常广泛的被用在粒子合成,高级校色(比如用视频模拟胶片效果,亮度键控局部调色等)等应用之中,是目前后期合成技术的热点问题之一。
二. 图像合成处理技术的应用前沿
  在合成处理技术不断丰富的同时,数字图像合成处理技术领域还发展了许多优化合成性能的关键技术:
    1.数字图像差别键控处理技术
    传统色键处理技术是依靠前景图像的色度分量产生键信号,因此要求前景是在高饱与度的单色幕布前拍摄出来的人或物。而差别键控处理技术则突破了这一约束,它可以将待抠像的主持人置身于复杂的场景。为从复杂的场景中抠出演员的键信号,还需要一与前景画面完全相同但仅不包含演员的参照画面,然后对前景帧存与参照帧存数据逐帧进行逐像素的差值比较,差值为零(或差值足够小)的部分被抠除,反之保留,从而产生键信号控制前景与背景的合成(因对参照画面要求较高,前景画面与参照画面多采用同一时间段、同一固定摄像机位)。因受目前拍摄、制作习惯的限制,差别键控技术并未得到广泛的应用。
    2.数字图像运动跟踪技术
    图像合成处理技术的对象往往是活动视频或动画序列,合成处理时常需要将各层图像中的运动元素的运动关联起来,能够达到同步运动的效果。运动跟踪处理技术建立在图像分析技术与图像块运动最佳匹配搜索技术的基础上,首先跟踪与捕获源图像中某运动元素的运动轨迹、运动特征,包括平移、旋转与缩放,然后将其应用到待与之同步运动的元素上。该运动跟踪可以是一点跟踪,或两个关键点连成线段的两点跟踪,甚至是多个关键点及其连线构成的多点跟踪,运动数据可应用于遮罩、色彩与选区的跟踪。
    3.色彩匹配合成处理技术
    参与合成处理的图像常因来源不同而带有色调差异,为达到真正融合的合成效果,传统影视制作中,多根据基准画面采用手动调节各层图像的各个通道值(YUV或RGB),大大增加了制作人员的工作量与难度。色彩匹配处理技术在一定程度上解决了这一问题,它首先对各层图像数据进行分析,获得每层图像的亮度与色度(或RGB值)分布的统计特性,然后以制作人员指定层的分布情况为基准,自动调整其它各层的分布特性,与基准图像相匹配,以达到合成处理图像总体色调的统一。
    4.遮罩合成处理技术
   为达到前景图像与背景图像的无缝合成,对遮罩合成的优化处理始终是数字图像合成技术的发展重点之一。对遮罩合成的处理技术包含的方式很多,如使用垃圾键(track matte)对遮罩合成进行补充,进一步抠除前景中未被遮罩合成抠除的部分;通过调整合成遮罩的灰度直方图(描述遮罩像素的灰度的统计分布情况)消除键信号中的灰度即半透明的区域;对合成遮罩边缘使用适量像素的均值模糊运算,使合成边缘相对柔与;对通过不同方式得到的遮罩合成数据进行适当的与、或等逻辑运算,而产生更佳的合成遮罩边缘等等。
    5.数字图像合成处理技术中摄像机运动的反求
   用于在合成处理中正确得到实景拍摄的素材中的摄像机信息,并将这些数据导入到像合成处理系统或是各种三维软件中,以获得与实拍素材一样的摄像机运动路径。再由这些摄像机空间运动路径处理出的信息控制虚拟场景信息,就可以获得逼真的三维与实景结合的奇妙效果,与在虚拟演播室中的摄像机运动跟踪技术很相似,但在虚拟演播室中是依靠前期拍摄的机械跟踪信息、红外跟踪信息或背景专用网格的分析数据,而在此是指在后期制作中只根据前期拍摄到的视觉图像,通过精密的图像分析处理而实现,这是目前的合成技术中的一个热点也是难点问题。用于获取摄像机的反求结果的软件系统目前还不多,主要包括2D3公司(网址:
Www.2d3.com)生产的boujou,以及美国汉诺威大学研发的Voodoo Camera Tracker等等,相信在很短的一段时间内,这种技术将会更多的被应用于现代的影视制作之中。
三. 主流合成处理系统的简介

    目前主要有两个因素制约着合成处理系统的性能指标:硬件平台与软件。
  从硬件平台上来看比较昂贵的系统大多是构筑在SGI图形工作站上。而价格比较实惠的系统大多建立在MAC与PC上。为什么SGI图形工作站如此昂贵?主要原因在于它在图像处理方面所做的优化与超高的运算能力,在PC工作站上处理图像的精度一般为8比特,而SGI图形工作站均使用16比特处理,这样处理的精度当然要高得多,对图像的损失也被减小到最小。而在图像采样方面,一般的合成系统的图像采样精度只能达到8比特,而SGI的采样精度为10比特,加上SGI图形工作站超高的稳定性,当然会在很大程度上提高制作工作的效率。一般处理胶片级别的画面时采用SGI图形工作站较多。PC的优势当然是价格方面,而且硬件与软件升级比较快,目前PC工作站在处理画面的能力上已经有了很大的提高,但是在系统稳定性方面还是有待加强。
  软件平台方面,美国Discreet公司在合成方面的霸主地位很难被撼动,从高端的构架在SGI Onyx工作站上的Inferno,到构架在SGI Octane2上的flame与flint,再到PC工作站上的Combustion系列,已经形成了比较完善的全产品系列。但是美国的APPLE公司去年合并了Nothing real 公司的强大的shake,并且宣布只对OSX系统的用户,使得Shake成为了一款倍受瞩目的软件。Shake有着清楚的节点型构架与16比特的处理能力,支持非线性色域处理,是合成软件领域一颗冉冉上升的明星。而在中国目前的应用领域使用的最多的还是美国ADOBE公司的After effects,它的好处在于基于层的合成概念,支持众多的厂商开发的外挂第三方插件,能够满足大多数常规电视节目制作,甚至包括网络设计,平面设计的需求。而且它的价格比较便宜,学习资料非常多,因而,一直是中国的用户最为推崇的一款合成工具。[Page]
  除了上述的主流工具的介绍以外,Maya fusion,Digital fusion与5D cyborg也是非常好用的合成处理工具,也拥有广泛的使用群。

四. 结语 
  数字图像合成处理技术的发展,对气象节目制作产生了非常大的影响,它开拓了节目制作者的眼界,启迪了策划创作者的思维,使得气象节目制作的工艺流程变得丰富与复杂起来。目前非常典型的趋势是,更多的合成技术会被渗透与集成到主流的后期剪辑工具中。比如说AVID公司在自己的剪辑工具中大多都集成了颜色校对与匹配功能,而ADOBE公司的Premiere的最新版本,APPLE公司的剪辑工具Final Fut Pro也都相应地集成了类似的功能在之中。
    总之,数字图像合成处理技术已经成为了当今气象节目制作流程中必不可少的重要手段之一,随着制作人员对这方面认识的提高,它一定会被更广泛的应用到各种气象节目当中。

参考文献
1.章霄,董艳雪,赵文娟,张彦嘉.数字图像处理技术.冶金工业出版社.2005,282pp
2.李弼程.智能图像处理技术.电子工业出版社.2004,392pp
3.(美)凯特琳•文斯曼.高级蒙版与图像合成技法.中国青年出版社.2005,519pp
4.(英)理查德•豪厄尔斯(Richard Howells).视觉文化.广西师范大学出版社.2007,253pp
4.(美)夏皮罗(美)斯托克曼.计算机视觉/计算机科学丛书.机械工业出版社.2005,429pp

视听科技视频号 广告
发表评论