微博

QQ

基于灰阶直方图的视频画质检测方法研究

2021-11-08 付晓天 苏州市公共文化中心 依马狮视听工场


【摘要】 灰阶直方图是一种有效的检测画质的手段,本文通过这种方法做了一系列对比实验,针对外来素材如何进行转码的问题,给出了具体的解决方案。

【关键词】视频编码格式  灰阶直方图  输出码率  MPEG  转码  GOP  帧内压缩  帧间压缩  I帧  B帧  P帧


随着新媒体业务的扩展,视频编辑系统接收的外来素材日趋繁多,其视频格式也是多种多样,包括AV I, MPG,MP4,MOV,WMV,MKV,MXF,FLV,RM/RMVB,MTS等等,这时我们就会面临非常多的困惑:怎样设置转码格式,能够使得画质达到最优?是否存在一种针对画质优劣的检测方法?带着这些问题,我们首先分析了影响画质的因素。

一.影响画质的因素

所谓“视频的画质”,除去高清素材、标清素材这些原始因素,在同等视频源的前提下,视频的压缩编码方式才是影响画质的“幕后真相”,简单来说,就是视频编码格式。但这里所说的格式,并非后缀名.avi或.mp4或.rmvb的格式那么简单,那只不过是文件封装格式,即包含了音频、视频、时间码等附加信息的一个容器,而视频编码的核心是MPEG-2、H.264、Divx之类的压缩技术,这种技术决定了视频是如何被压缩的,二者的关系如图1所示。

基于灰阶直方图的视频画质检测方法研究

图1 容器格式与视频编码格式的关系

可见容器只是一个外壳,内部的视频编码格式的才是影响画质的关键。具体来说由两个因素决定:压缩效率、输出码率。在输出码率不变的前提下,压缩的效率越高,

画质越好,效率越低,画质损失的就越多。视频的画质由以上两者来决定,也就可以采用不同的编码方式,对相同的原始素材进行编码,通过对比实验来进行评测。这里就用到了灰阶直方图,一种可以描述画质的统计学图像。接下来详细介绍灰阶直方图检测法。

二.画质检测方法

1. 灰阶直方图

灰阶可以理解为“灰色的阶梯变化”,从纯黑到纯白,每一个“阶”就发生一点变化,以8bit灰阶为例,就是用8位二进制的数字表示从纯黑到纯白的变化过程,即0~255,设0为纯黑,255为纯白,则一共有256种灰度组成的“阶”的变化。如果把分布在所有灰阶的像素数统计出来,就得到一个直方图。图2就是一个从纯黑到纯白的渐变条,纯黑的灰阶为0,纯白为255,中间32、64、96、 128、160、192、224七种不同灰阶的色块,统计出的直方图中,就只有这9种颜色组成的“竖线”,竖线的长度即该色阶的面积。显然,最大的色块是纯黑和纯白,所以直方图中表示0和255的两根线最长。

基于灰阶直方图的视频画质检测方法研究

图2 灰阶与直方图的对应关系

直方图可以统计出图像中各种颜色的百分比。假设一幅黑白图像,有且仅有纯黑、纯白两种颜色,没有过渡色,那么在图像参与重新编码、压缩(如帧内压缩、帧间压缩)计算的时候,就会产生非纯黑非纯白的“杂色”,此杂色的灰阶必然处于1~254的区间范围,根据直方图,这些部分的面积和百分比可以统计出来。

2.螺旋测试图

螺旋图在保证画面为纯黑纯白的同时,又最大程度的提高了画面的复杂度,从而放大了压缩编码时的破坏效果。如图3所示为螺旋测试视频的截图,该图像由黑白相间的螺旋条带与白色螺旋网格组成,在视频播放时,黑白螺旋向相反的方向旋转,形成错综复杂的动态变化,从而增加了视频编码的复杂度。

基于灰阶直方图的视频画质检测方法研究

图3 螺旋测试(视频截图)

尽管图像复杂,颜色上仍然是由灰阶为0和255的纯黑纯白二色构成。当对视频进行转码,图像被压缩时,由于帧内压缩、帧间压缩的差值计算,必然产生了处于1~254的灰色部分,这些部分并非原始图像中的内容,而是由于压缩计算产生出来的,反映了压缩编码对画质的破坏程度。

如图4,截取转码后视频中的一帧,放大后可看到白色不再是纯白,中间夹着许多灰色的“碎片”,这些碎片占画面的比例,可以用这些颜色的面积百分比来表示,除此之外,黑白相间的部分也有许多模糊不清的地方,在黑白边缘出也产生了杂色。

基于灰阶直方图的视频画质检测方法研究

图4 转码后放大可看到“碎片”

值得注意的是,灰阶直方图检测方法并不局限于螺旋测试图作为样本,通过各类绘图软件,还可以编辑出其他形式的测试样本,只需最大程度的提高图像复杂度即可。

使用直方图,即可测出灰阶为1~254的杂色占整幅画面的比例,如图5所示,这些部分的比例越高,画质破坏程度越大。

基于灰阶直方图的视频画质检测方法研究

图5 杂色占整幅图像的百分比

上图中,通过直方图统计信息可以得出,灰阶为1~254的杂色部分占画面的百分比为29.90%。根据以上数据,我们就可以控制不同的变量,来进行对比实验。

三.应用实例:MPEG视频转码对比实验

为了进行对比实验,样本视频必须采用统一的素材源制作,并且宜采用市面上最为通用的、视频编辑软件最认可的格式,参数如下:

基于灰阶直方图的视频画质检测方法研究

1. 控制变量

以上参数只是转码设置的一个大的框架,具体到细节,也就是我们要研究的两大变量,第一个变量即输出码率,第二个是压缩效率,后者反映在MPEG的GOP设置上,GOP (Group of Pictures)是MPEG标准中的重要内容,涉及到I帧、B帧、P帧、帧内压缩、帧间压缩等相关概念。

在同等的GOP设置下,输出码率不同,画质必然不同。这里的第一个实验即采用300Mb/s、100Mb/s、 80Mb/s、35Mb/s四种不同码率分别对样本进行转码,用灰阶直方图测定其杂色百分比,即可验证“码率越高画质越好”这一推断。

2.实验A:不同码率下的画质检测

在这个实验中GOP设置要尽可能简单,只做帧内压缩,设置为“仅I帧”(Intra coded picture图像内部编码帧,简称I帧),没有帧间压缩或预测算法,转码软件GOP设置和输出码率如图6所示。

基于灰阶直方图的视频画质检测方法研究

图6 GOP设置(左)与码率设置(右)

将四个样本的码率分别设为300Mb/s,100Mb/s, 80Mb/s,35Mb/s,转码并截图后分别得到以下四张图,再分别用直方图测定其杂色百分比,如图7所示。

基于灰阶直方图的视频画质检测方法研究

图7 四种码率及其灰阶直方图

基于灰阶直方图的视频画质检测方法研究

显然,码率越高,杂色越少,画质也就越好。另外,从上述数据中,我们还能得出一些其他推论:从300Mb/s到100Mb/s画质变化只有0.7个百分点,尽管两者的文件大小差了两倍之多,这说明码率增加的太高,也没有太大意义,反而给文件传输增加了负担。

码率从80Mb/s到35Mb/s,同样是码率变化,画质改变就大的多了,杂色增加了约6个百分点,可见视频压缩编码存在一个“崩溃点”,当码率低于这个值,画质会迅速下降。

MPEG-I帧是仅采用了帧内压缩的格式,压缩效率并不理想,这时就要考虑优化GOP设置,加入帧间压缩了。

3.实验B:加入P帧的GOP设置对画质的优化这里简要介绍一下MPEG-I BP的GOP原理。如图8所示,图像组的第一帧是I帧,由I帧预测出2个P帧(Predictive预测帧),然后由I帧和P帧、或者P帧和P帧双向预测出中间的B帧(Bidirectional predictive双向预测帧),每5帧图像共同组成一个图像组,组中有且仅有一个完整的I帧,可见,这种编码技术大幅度提高了压缩效率。

基于灰阶直方图的视频画质检测方法研究

图8 帧间压缩原理

GOP的P帧和B帧结构可以用N和M来表示,图8是N=5,M=2的情形(即GOP总共5帧,BP周期为2的BPBP……结构)

从实验B开始将GOP设定为12帧,在做灰阶直方图的时候,截取连续12帧的图像进行统计,可以直接把螺旋测试视频长度做成12帧(约0.48秒),即只有一组GOP,对12帧的杂色百分比分别测定之后,取其平均值即可得到结论。本次实验统一采用35Mb/s的码率,仅加入了P帧,所以GOP结构为N=12,M=1(无B帧)。

测定结果如下:

基于灰阶直方图的视频画质检测方法研究

可见,相比实验A的35M b/s的M P E G-I帧相比, 杂色百分比从3 2 . 6 6 % 下降到2 8 . 8 6 % , 这个改善程度比从100M b/s到300M b/s都要理想的多,这说明,在相同码率下,采用帧间压缩与帧内压缩结合的方式,能大大降低杂色成分在画面中的比例。

4 . 实验C : 加入B帧和P帧的GOP设置对画质的优化


B帧是夹在P帧中间并呈周期性出现的,每个周期的B帧数量相同,这里继续保持35Mb/s的码率,GOP采用N=12,M=2结构。

结果如下:

基于灰阶直方图的视频画质检测方法研究

整体来看比实验B的结果又优化了一点,约0.2个百分点,其中能看出B帧的杂色百分比达到了29%,明显高于I帧和P帧,但平均下来的还是优于实验B的结果。此外我们还检测了M周期为3/4/6的样本,一组G OP的杂色仍然保持在28.6%左右,几乎没有变化。

四.结论

实际上, 灰阶直方图的检测方法可以推而广之到更多的编码格式,应用到网络视频、流媒体等更多领域。特别是在上述实验中,我们发现了“崩溃点”的存在,这说明,视频软件的输出码率一定存在一个“最优解”,即如何在码率尽可能低的情况下,让画质保持在可以接受的范围,既保证了播放流畅度,也不影响观感体验。希望本文的画质检测方法和相关数据,能为视频编辑、视频转码等工作提供一些参考意义。

视频编码

视听科技视频号 广告
发表评论