
网飞公司开发出一种自动化质量控制(QC)方法,用于检测视频中的像素级失真。
该解决方案旨在减少人工审查的需求,它能够识别出被称为热或亮像素的亮点,从而能够在制作过程的早期阶段进行干预,避免在后续阶段进行成本高昂且耗时的校正。
像素级出错通常分为两类:表现为单帧亮点的热或亮像素以及不响应光的死(卡顿)像素。此前,网飞公司已开展了检测死像素错误的工作,现在其将注意力转向了热像素,因为这类像素较难通过人工方式标记出来。
该公司开发了一种神经网络,能够实时、规模化精准指出像素级的失真,并且具有近乎完美的查全率。检测要求在大图像中识别出小规模、细微的特征,并能够区分失真和具有类似失真特征(如小光斑、眼光及其它可观反射)的自然明亮像素。

为实现这一目标,网飞公司设计了一种模型,能够以全分辨率处理大规模输入数据,而非在预处理阶段对其进行降采样,从而确保像素级误差仍能被检测到。每次分析5个连续帧,为网络提供确立一明亮对象是有意还是小差错所需的时间背景信息。对于每一帧,都会生成一个输入层面像素错误发生率的连续值图。在训练过程中,这些图通过减少密集的像素方面的损失函数进行优化。
在干预过程中,该算法会先使用置信阈值将该模型的输出二值化,然后进行连通分量标记以定位错误群集。错误位置会被准确地绘制并报告,整个过程是在一个GPU 上实时完成的。
为了创建逼真的训练样本,开发了一个合成像素误差发生器,以模拟真实世界中的失真。这些失真被叠加到来自网飞内容库中的画面上。虽然合成数据对于训练至关重要,但为确保精确性,该模型需要多次循环使用新的、现实世界的镜头。迭代改进的过程如下:
●推断:在未添加合成热像素的情况下,对之前未见过的片段运行该模型。
●误报消除:人工审查检测结果,并完全消除误报标签,这比从头开始标记热像素要容易得多。
●细调与迭代:在精炼的数据集上进细调,并不断重复操作直至达到趋同。
一个不断完善的处理旨在减少误报,保持高灵敏度,同时最大限度减少因处理内容量大而必然产生的误报数量。
网飞公司表示,需几个小时的费力人工审核工作已最大限度减少,现在审查可能只需几分钟。该公司正通过实际部署不断优化其功能,并与合作伙伴合作,加深对像素误差如何影响观看体验的理解。