微博

QQ

立体电视编码与传输

2012-03-06 陈汀 刘怀林 传播与制作


  对于广播领域立体电视的拍摄与制作,都是在保持左眼信号与右眼信号分离与独立的情况下进行的,一般不进行混合与码流压缩,保持两个信号的高质量,一旦完成制作,就要根据应用考虑下一步的处理。

  立体信号的传输离不开目前的电视传输手段,那就是有线传输、卫星传输和地面数字电视广播(这里internet暂不考虑)。这些方式的标清与高清传输标准已定,特别是频道带宽及所承受的比特率,应是我们首先要考虑的。

  从目前技术来看,一套HDTV节目传输要占用一个频道的带宽,而作为立体电视双信号也就是说双码流来说,如不采取措施就用一个电视频道来传送在目前来看是不太现实的。如果占用两个频道带宽,还要两个机顶盒,最后还要考虑与电视机如何相连,电视机还要处理双码流并进行处理,以不同的立体显示方式供人们欣赏,目前在高清播出刚开始时好像也不现实。当然这种高质量的3D传输只有在家庭影院的闭路系统中和立体电视监视中可以看到。

  本文就目前世界上已采用的立体电视广播作简单介绍,然后对目前世界上已制定的可能会应用到电视领域的立体电视广播有关建议作一简述。最后对我国立体电视广播的发展作一下展望。

  一.目前已采用的立体电视广播系统

  用一个高清频道类似的方法,不进行太多的改动,让目前的用户能收看立体电视,是目前实现立体电视传输和广播的主要方法。

  目前已有两种传输或编码方式并用于播出,一个是“sidebyside”,一个是“up/down”(或top/bottom)。

  1.“Sidebyside”方式

  我们知道,世界上高清播出通常采用两种高清方式,一种是720P/60,一种是1080i/60,当然对于我国其相应格式为720P/50和1080i/50)。对于720P/60来说,是一个逐行扫描高清格式,每秒60帧,每帧分解力为1280x720。对于1080i/60来说,它是一个隔行扫描格式,每秒30帧,每帧分解力为1920x1080。如果采用“sidebyside”方式,它的每帧图像一分为二,从水平像素上减半:720P/60格式从每帧1280X720变成640X720,1080I/60格式从1920x1080变成960x1080,然后各减半的L(左眼图像)与R(右眼图像)合二为一,形成一个新帧,这时立体电视整个码率减半,可把它看成一个高清信号进行传输。看一下图图1(a)(b)就清楚了,显然这种方式以牺牲水平分解力为代价(图1(c))。

立体电视编码与传输

图1 “side by side”方式示意图

  由于隔行扫描时“sidebyside”会引起一些干扰,所以这种方式常用于逐行扫描系统。如美国ESPN在世界足球杯立体电视转播中采用了60fps,720p的“side-by-side”方式

  2.“up/down”方式

  该方式与上述side-by-side方式类似,但它不是减半水平分解力,而是减半垂直分解力。即每帧图像在垂直方向上像素减半,减半的L与R图像合并成新的一帧,其码流与“side-by-side”方式相当,图2是两种方式的对比。这两种方式也得到蓝光光盘协会(BDA)的支持,图3是相应示意图。

立体电视编码与传输

图 2 两种方式对于分解力不同影响的对比图

立体电视编码与传输

图3蓝光3D为两种方式设置的规格示意图

  显然,这两种方式解决了一个高清频道传输立体信号问题,但存在水平或垂直分辨率大大下降的后果,同时系统不能与高清信号兼容,即2D电视机无法直接解码以显示其中的一个L或R信号,而3D广播与目前2D兼容是应该考虑的一个很重要的问题。

  二.3D并列显示格式(3DTILEFORMAT)

  该方式是由Sisvel集团及PaoloD’Amato、GiovanniBallocca技术专家共同开发的,并正在与CSP-InnovazioneNelleICT公司对该格式进行进一步开发,意大利广播公司尝试用“3D并列显示格式”来传送3D高清画面。QuartareteTV与意大利Sisvel集团合作,将采用“3D并列显示格式”通过DVB-T标准,播出由一个1080p/50高清信号内两个720信号(左右眼)组成的3D高清信号。

  该方式的最大亮点是立体摄像机采用720逐行扫描标准,然后将两个720P的左、右眼图像合并为一个1080P的图像,这是该格式的关键。

  怎么实施哪?首先一个720P的图像(如L图像)不作任何改动,仅对R图像作改动。将L图像原封不动的放入到图4(a)所示的1080P的框架内,另外将R图像分割成三部分,如图4(b)的R1、R2和R3,最后把R1、R2和R3装在1080P的框架内,如图4(c)所示。

立体电视编码与传输

图 4 3DTILE方式

  这样通过上述变换,两个720P的L、R图像用1080P进行“包装”,然后进行H.264压缩编码,形成一个TS流,就可以按目前的高清频道进行传输。在接收端用高清机顶盒解码器可解调出720PL信号,供2D高清电视机显示,从而实现3D与2D的兼容;另一个分成三部分的R图像,在H.264编码时,利用H.264类似的“SEI”功能,就能引导立体电视机顶盒中的解码器正确的解调出R图像,从而与L图像一起显示出3D图像。

  显然该格式有以下优点:

  1.L图像在1080P的“包装”中保持不变,目前的高清机顶盒可把它解调过来供2D高清电视机显示,保证3D向下2D兼容,这是一个非常好的办法;

  2.利用一个高清传输频道(DVB-T)可传输一套立体电视信号,这有利于立体电视广播的低成本。

  3.立体电视L、R两个图像是全高清信号,保证了立体电视的高质量。

  三.目前和将来可能采用的几种编码播出方式

  1.H.264/AVC同播(SIMULCAST)方式

  该方式如图5所示。

立体电视编码与传输

图 5 H.264/AVC立体电视同播框图

  这种同播方式,立体电视摄像机产生的L、R两个信号,各自独立进行H.264/AVC压缩编码,形成基本流/传输流(BS/TS),由传输通道传至用户端,进行解码反变换,最后恢复出L、R信号供立体电视显示。

  该方式采用运动补偿(MCP,运动补偿预测)进行编码压缩时,其对左右眼图像进行独立的编码,只利用了左右眼图像内各自的相关性(如图8中,顶部图所示),没有利用左右眼图像之间的相关性,编码效率低。

  该方式的优点是可与2D兼容,2D电视机可显示L或R图像;立体图像质量高,代表着立体电视的传输方向和目标。但系统复杂,成本高。

  2.H.2643DSEI方式。

  这种方式如图6所示。

立体电视编码与传输

图 6 H.2643DSEI方式

  该方式开始与同播方式一样,由3D摄像机产生两个L(topfield)、R(bottomfield)两个信号,但紧接着就不一样了。那就是两个L、R图像的拼接,拼接后形成一个图像,然后对拼接后的图像进行H.264/AVC压缩编码,形成BS/TS码流。由于是一个压缩的码流,仅用一个通道就可以传输。后面是一个逆向处理,最后经解码、解拼节后恢复两个独立的L、R信号。

  该方式主要特点是L、R两个图像如何拼接,如上所述的sidebyside,up/down,以及TILE等方式应属于这种方式,拼接时一定发出明确信息,让接收端在去拼接时能按照这些信息知道拼接方式,然后一步一步地恢复L、R两个图像。这个信息就是立体SEI(SupplementalEnhancementInformation)。它在立体电视拼接中产生,与拼接信号打包在一起并一起传送,在接收端一步步指示解码器正确恢复原来的两个图像。由此可见这个SEI信息在这种方式中起着重要的作用。

  这种方式最大好处是可使用目前的传输技术,成本低,如目前多使用”sidebyside”。

  3.MVC方式

  作为立体电视,它是有两个角度的摄像机拍摄同一个画面或景物,因此这两个左、右图像有很多相似性,前两种方式并没有考虑这种相似性。

  MVC(multiviewvideocoding)方式,叫多视角视频编码方式,充分利用立体电视L、R信号相关性的编码方式,如图7所示。

立体电视编码与传输

图 7 MVC多视角视频编码方式

  从图中可以看出,两个L(view0)、R(view1)视频信号进入MVC编码器,编码器对它们进行视角间预测编码,并把含有摄像机相关参数作为辅助数据,从而形成两个相关的BS(bit—stream)码流。再通过MUX(multiplexer)复用器将两个BS流帧相间的变换成TS传输流。后面的反向处理这里就不谈啦。

  至于MVC的基本思路如图8(底图)所示。红箭头表示视角间预测,即以摄像机1(VIEW0)为参考实行的视角间预测。黑箭头表示具有I、B混合的空域预测。

立体电视编码与传输

图 8 三种立体电视压缩编码示意图:同播(顶图)\H.264/AVC3DSEI(中图)MVC(底图)

  MVC是对MPEG-4AVC/H.264进行的3D扩展,其主要方法(1)基于MPEG-4AVC/H.264降低空间冗余和视点间相关性。(2)采用时域、视点间联合预测技术。(3)时域、视点间的分层B帧使用。(4)随机访问技术。[page]  

  4.2D+D方式

  2D+D方式中,2D代表二维图像,D代表DEPTH即景深。这种方式也叫V(VIDEO)+D(DEPTH)。可以看出这一格式由2D图像加对应的深度图构成。深度图(depthmap)所代表的是场景到摄像机成像面的距离信息,经量化而成。它显示为场景的灰度图,图中每个像素值在0-255之间,分别代表各像素的景深,其中值越小(暗),表明离摄像机越远,值越大(亮)表明离摄像机越近。如图9所示。

立体电视编码与传输

图 9 3D深度图

  在立体信号产生端除输出一个常规的彩色图像外,必须设法产生一个与彩色图像相对应的的深度图信号,这两个信号在接收端经合成处理之后就显示出立体来。

  支持这种方式的编码与传输系统有两种,其中第一种是MPEGCPART3的有关标准ISO/IEC23002-3,这两种系统方框图如图10所示。

立体电视编码与传输

图 10 2D+D系统

  由于深度图、特别是高质量的深度图不易获得,符合电视所需要的质量与价位的产品还为时过早,目前属于研发阶段,但它是立体电视技术发展的一个重要分支,不容忽视。

  四.我国立体电视发展与展望

  2010年我国北京大学有线电视网率先播出立体电视节目。山东齐鲁电视台播出的立体电视剧《吴承恩与西游记》采用传统的红蓝眼睛方式、标清方式播出,也为我国立体电视播出进行了大胆尝试。特别是广州亚运会是在北京大学有线立体电视播出的基础上进行了更全面更正规的试播并进行了大量的技术测试。其测试工作涵盖了3D拍摄、现场制作、传输编码、后期制作、传输播出、终端显示,3D影像拍摄、3D编辑、3D导演等专业团队实践,以及2D转3D系统等完整的3DTV产业系统,为我国立体电视的发展奠定了良好的基础。

立体电视编码与传输

图11 北京大学立体电视系统

  我国AVS成立于2002年,所制定的高清电视编码标准2006颁布为国家标准,2006年以后,AVS工作组面向高清电影、视频监控、手机视频等应用需要,将该标准扩展为包括四个档次的新版本。新版AVS国家标准直接支持立体电视、立体电影、立体监控和立体手机。

立体电视编码与传输

图12 我国AVS3D立体电视实验转播系统方案

  AVS将立体电视分为双拼高清、全高清同播、全高清增强三种方案,并对三种工作模式制定了相应标准。从以上内容可以看出,第一种工作模式双拼高清相当于国际上H.2643DSEI方式,第二种全高清同播与H.2643D同播相似,第三种全高清增强与MVC方式或2D+D基本对应。北京大学与广州亚运会播出的立体电视系统采用第一种工作模式,与上述国际sidebyside或up/down格式相似)。从这些可以看出目前我国立体电视技术的发展与国际完全同步。更可喜的是这些立体电视方案具有我国自主产权。

  使用我国自主产权的AVS3D方案,借鉴国际3D技术,快速而有步骤地发展我国立体电视事业和产业链,是电视广播工作者光荣而神胜的任务,有很多问题需要我们探索:

  1.我国标清的传输视频压缩多采用MPEG-2,在目前全国逐步开展高清的情况下,高清传输压缩标准采用MPEG-2、H.264还是AVS?

  2.从国际上看,高清多采用H.264压缩传输,而 立体电视会更多的采用H.264压缩传输,如此可较顺利的实现高清与3D的兼容,有利于高清与3D的双赢;

  3.为了我国电视发展的长远利益,怎么找准切入点,把我国传输标准顺利地从MPEG-2过度到AVS,是我国电视技术发展的重要方面。

  4.虽然目前我国AVS3D三种方案方向是对的,但如何实现标清向高清,高清向3D,3D与高清的兼容,仍有很多事要作。

  5.尽快制定3D国家标准,在此基础上尽快在有实力的大台进行3D试播,从而正式拉开我国立体电视事业与产业的大幕,让我国立体电视走在世界的前列。B&P

武汉传媒学院 立体电视 编码 传输

视听科技视频号 广告
发表评论