引言
标清电视(SDTV)和高清电视(HDTV)的数字编码已经实行10多年了。文献显示压缩视频信号的图像质量应根据统计参数表示。这令最佳观看质量的必要条件得以在业界有效地确定。不过,针对小型移动装置编码数字电视的知识还相对不成熟,因此本文是作者对最大限度提高移动装置观看体验质量之关键因素的思考。首先考虑了移动装置与更传统的固定SDTV或HDTV相比所涉的问题,然后对编码器内三大关心的领域:视频、音频和传输层进行了探讨。
移动装置涉及的问题
这里所述的装置是指电池供电的小型手持个人设备,因而:
·由于是手持,相比传统电视屏幕更小,分辨率更低。
·作为电源,电池能量是有限的,而连续工作时间长短对用户来说是一个重要的标准,可得到的处理能力也是有限的。此外,手机内部通常没有专用解码芯片,因此在通用处理器上用软件完成解码。
·为移动装置开发了像由DVB-H等描述的专门调制技术,最大限度减少接收广播信号的功耗。使用的功率量取决于信号码率,因此最大限度降低编码信号码率,最大限度增加装置的运行时间非常重要。
·常规的收听方式是通过立体声耳机。由于iPod一代产品的出现,这些耳机在质量上得到了大幅提高,音频重放能力优于标准的SDTV。
音频
移动装置上电视音频编码的主要音频编解码竞争者是:
·DVB IP电视规范内规定的MPEG-4 HE-AACv2。此编解码是开放标准解决方案。
·WMAPro是来自微软公司的专有编解码,因此可用于运行Windows Mobile操作系统的任何耳机。
·Dolby Digital Plus是杜比公司的专有编解码,但它更适用于SDTV领域,而非移动领域。迄今为止,它尚未广泛地用于移动领域。
还有可用的语音编解码器,但它们不善于处理电视内全范围的音频内容。由于音频解码器比视频解码器要简单得多,因此音频解码器不受有限的处理能力的限制,可以使用传统电视编码器中使用的相同软件。大多数情况下,编码和解码软件由相应的厂商许可的,因此选择标准更多地是基于商业条件和对要求平台的软件可用性。
因而移动音频的重要问题并非音频编解码选择,更是:
·使用立体声编码:过去为了降低码率采用了单声编码,不过,现代编解码可用比单声信号多一点的比特产生合理的立体声像。这是观看体验的一大改善。
·环绕声编码:音频编码的最新发展围绕着参数编码多声道音频的额外声道为每个音频帧的用户数据。这允许立体声编码被解码为更多的声道或增强用耳机收听时的体验(由于头相关传输函数HRTF可与参数解码协同应用)。
视频压缩算法
移动装置的视频压缩算法要求不同于传统的卫星直接到户(DTH)应用。它们不仅应在相当小的非隔行图像上提供高效率,还应该要求极小的处理功率和供解码的存储空间。由于MPEG-2是针对标清或高清隔行视频设计的,它从未被认真地考虑用于移动应用。
适合移动应用的第一批国际标准化算法之一是MPEG-4 part 2。它包括一些新型编码工具,特别适应于较小的图像,并且排除了一些MPEG-2开销。为较小图像优化的MPEG-4 part 2引入了许多新编码工具,实现了小图像上大量的码率节省。SMPTE 421M(VC-1)和MPEG-4 part 10(AVC)中引入了更强大的编码工具,而且这些算法相比MPEG-2,实现了相当大的码率节省。表1给出了这些算法引入的编码工具。
预处理
除了上述的核心编码工具,移动应用视频压缩还要求大量高质量预处理工作。事实上,最近有论文显示它比DTH应用更大地依赖于视频预处理。原因在于视频信号(标清或高清)一般以隔行格式产生,因此不仅必须下变换到更低的分辨率,而且必须解隔行。尽管水平大小调整可用简单的多相FIR滤波器完成,但如果要避免转换失真,隔行视频信号的垂直大小调整(及解隔行)需要一种更尖端的方案。此外,移动服务更大程度依赖编码器预处理和像素精确图像尺寸调整,原因在于移动解码器中根本没有上变换或后期处理。
下变换
表2给出了常用于广播应用的下变换算法一览表。目标是实现高质量的尺寸调整的图像,没有失真,由此而来,评估连同压缩的下变换处理是非常重要的,因为两者之间有相互作用。实验显示到目前为止压缩算法对下变换失真相当敏感,因为它们消耗较高的码率。此外,如果下变换信号较柔和些的话,极低码率下的高图像质量更容易实现。因此,细节保护和降低压缩失真之间有一个折衷。
其它预处理功能
除了图像尺寸调整,高端压缩编码具有大量的提高质量预处理操作。这些操作包括降噪和去块滤波以及电视电影/电影检测。此外,视频信号对临界状态、场景剪切、淡入淡出和摄像机闪光进行分析,以便优化针对此视频信号特性的编码结构。最后但并非最不重要的一点是,像分辨率和帧类型位置这样的以前压缩参数被确定。这特别有助于提高转换编码器的压缩性能。
电视到移动装置的压缩工具
H.264基本档已被提议为向移动装置传输视频服务的默认点。表3表示H.264内基本档和主档之间编码工具的差异。至于编码效率,相关的差异是在基本解码器中不支持CABAC、B切片和场/帧自适应编码。由于移动装置采用逐行扫描,场/帧自适应编码在此情况下是不适应的。本节我们将分析编码价值及不同分辨率下对CABAC和B切片解码效率的影响。
编码价值
不同压缩工具的编码价值视源素材,差别很大,因此应当按照统计参数表示。为了获得现实和可重复的结果,测量必须在大量测试片段上进行。我们使用了总共75个测试片段,它们代表广泛的广播素材,从慢动作、非临界的片段(如图1所示)带快动作、极其临界的素材(如图2所示)。此测量在4种不同分辨率上重复:SDTV(720x576)、CIF(352x288)、QVGA(320x240)和QCIF(176x144)。
| |
图1 一个非临界片段的例子 | 图2 一个临界片段的例子 |
CABAC
图3显示了在码率节省方面CABAC熵编码相比CAVLC的编码价值直方图。可以看出,最高的码率节省出现在标清格式,其中最高百分率的片段达到9%-11%的码率节省,少量片段达到超过20%的码率节省。随着图像尺寸减少,码率节省降至一个中值,对CIF和QVGA是7%,对QCIF则降至6%。不过,即使在QCIF,少量的片段达到超过12%的码率节省。
B切片
统计意义上,由于B切片的码率节省甚至更有吸引力。平均说来,B切片给出16%的码率节省,在某些片段上给出最高40%。此外,如图4所示,码率节省分配在所有分辨率上都是一样的。
广告