微博

QQ

4K/UHD视音频创建关键技术研究

2022-12-02 金莉萍 依马狮视听工场


【摘要】 4K/UHD超强视觉体验源自其视音频创建各环节的质量严控。本文以质量监测视角,从图像传输与重组、视音频及传输链路、色彩校正、图像宽高比四方面,阐述4K视音频创建关键技术。

【关键词】 传输与重组  视频负载标识(VPID)  色彩校正  宽高比

 

一.引言

4K/UHD超强视觉体验源自超高分辨率、超高动态范围及更宽的扩展色域,使收视更具鲜活生动之感。而超强收视体验的根本在于4K视音频创建各环节的质量把控。本文将从图像传输与重组、视音频及传输链路、色彩校正、图像宽高比四方面,阐述4K视音频创建的关键技术。

 

二.传输与重组

1.   图像传输

根据视频帧率,将4K/UHD图像采用四分屏或样值交织分为四部分,每部分封装为SDI信号,经由四条链路传输。

四分屏(片模式)传输如图1-A所示,先将图像划分为A、B、C、D四部分,再如图1-C所示将每部分图像数据封装为SDI信号经由四条链路传输。该方法最简单,但在重组完整图像前需要更多的存储空间存储各部分图像,常用于拍摄和后期制作。

4K/UHD视音频创建关键技术研究

图1 四链路图像传输

 

样值交织传输如图1-B所示,将图像分为A、B、C、D四个交织的像素组,并分别复用封装为SDI信号,经由四条链路传输。该方法使用存储空间较少,且处理时延低,但复杂、需要将数据复用为四个SDI码流。常用于传输和编码。

SMPTE352未定义字节指示传输模式,传输模式确定可使用下文将阐述的“视频负载标识(VPID)”实现。

2.帧率定时

正确的帧率定时—帧延时对于视频系统定时至关重要,表1所示为以ms(毫秒)为单位的帧率时长。四链路信号定时监测,最重要的是检查各链路视频帧率是否一致,不一致,则存在视频格式误配所致的定时不一致问题。

4K/UHD视音频创建关键技术研究

3.   图像重组

4K/UHD创建始于超高分辨率摄像机基于扩展色域和超高动态范围的图像获取。如图2-A所示,摄像机获取的4K/UHD超高分辨率、演播室或转播车1080p 50/59、94/60或从23.98p到30p的HD信号均基于3G-SDI以四条链路传输。因此,信道间定时对于四链路信号接收端正确重组至关重要。

4K/UHD视音频创建关键技术研究

 

4K/UHD视音频创建关键技术研究

 

四链路SDI传输路径不同,因电缆长度和设备传输延时不同引发定时偏移,确保每条链路所传数据必须在定时差容限内接收,即每条链路信号传输延时必须符合标准,唯此可确保信号的正确重组。图2-A所示SMPTE ST425-5标准规定了发送端链路A到链路D的SAV(有效视频开始)/EAV(有效视频结束)间的定时差,即发送端设备出口通道间延时不超过400ns,约29个时钟;接收端设备最大信号延时没有标准,完全取决于其定时差容限。图2-B所示,链路A作为其他链路的参考信号,以黑场或三电平基准信号作为外部参考信号,校准链路A的定时;链路B、C与A间的延时为6740ns、1个时钟延时,链路D与A间的延时为20222ns、3个时钟延时。圆圈位于中心,说明输入已定时至外部参考。标准规定输入信号间定时差最大容限为1024个时钟,超越此限,信号无法正确重组。

 

三.视音频及传输链路

1.   视频负载标识—VPID

SMPTE 352规定的附属数据空间携带的VPID,对于快速解码正确的视频格式及判断多链路传输模式下是否存在链路调换至关重要。图3-A可见VPID所在行和采样位置为Filed F1/Line 9。VPID遵循SMPTE 291附属数据包和空间格式标准,图3-A可见包括附属数据标示(ADF)、数据标识(DID)、二级数据标识(SDID)、数据计数(DC)、用户数据字(UDW1-4)及校验和。图3-B数据列表详细说明了多链路模式下,4K信号各链路VPID所在行及采样位置。

4K/UHD视音频创建关键技术研究

4K/UHD视音频创建关键技术研究

图3 SMPTE352 VPID

 

表2所示为SMPTE352 VPID数据包定义,UDW1-4定义了图像码率、采样率、显屏宽高比、色度、单链路或多链路等重要信息,可用于定位修复视频及传输链路问题。应注意的是不同视频格式使用不同比特位定义规范,ST 425-1、425-3及425-5、四链路3G level A、2081-10、2082-10标准使用第三个字节B7位定义显屏宽高比,而ST 292、372、435-1及425-5、3G level B标准使用第三个字节B5位定义显屏宽高比。表3给出了UDW1定义。表4给出了UDW2-4图像码率、采样率、色度、单链路或多链路及音频定义。

4K/UHD视音频创建关键技术研究

表2 VPID附属数据包

 

4K/UHD视音频创建关键技术研究

表3 SMPTE 352 VPID UDW1

 

4K/UHD视音频创建关键技术研究

表4 SMPTE 352 VPID UDW2-4

 

2.传输模式、视频格式及链路顺序

4K可承载诸多视频格式,VPID可用于确定传输模式、判断视频格式正确与否及多链路传输顺序调换问题。如表2所示,UDW2 B6、B7可用于判断传输模式是“四分屏还是样值交织”,“0”为“样值交织”,“1”为“四分屏”。

多链路传输模式下,如表2和4所示,UDW1-4承载的图像码率、采样率、色度等信息可判断是否存在多链路视频格式不一致问题。若存在信号锁定问题,单链路模式检查每条链路视频格式,以确定是否存在多链路视频格式不一致问题。

多链路传输模式下,UDW4可用于判断链路顺序调换问题。如图4-A所示四链路前三个字节UDW1-3是一致的,分别均为89h、CAh、00h。单链路模式下,UDW4与UDW1-3也应一致。但多链路模式下,UDW4分别定义为各链路信息,四链路UDW4互不相同,故UDW4可用于判断链路顺序调换问题。图4-A所示四链路UDW4序列为01h、41h、81h和C1h,说明链路顺序正常。图4-B所示四链路UDW4序列为01h、81h、41h和C1h,说明链路B和C顺序调换,故“Signal”状态标示为“Link swapped”。应验证信号路径并改变信号连接,纠正链路调换错误。

 

4K/UHD视音频创建关键技术研究

4K/UHD视音频创建关键技术研究

图4 链路顺序调换

 

四. 色彩校正

1. 色域

如图5所示,4K基础色域采用ITU-R BT.709传统HD色彩,扩展色域采用ITU-R BT.2020扩展色彩空间,获取更加丰富靓丽的色彩。电视色彩规范基于1931年CIE标准规定的整套主要XYZ三色激励值,由R'G'B'转换的正数值,Y值与加性混合亮度成比例。

4K/UHD视音频创建关键技术研究

图5 ITU-R BT 709和2020色彩空间CIE图表

 

表5-A给出了CIE标准光源。系统白点由红绿蓝三种颜色等量相加而来。色域是特定色彩空间的完整色彩范围,如表5-B所示,由色彩空间红、绿、蓝三基色xy坐标值界定。表5-C给出了R'G'B'电压电平转换亮度和色差信号Y'P'bP'r的公式。

4K/UHD视音频创建关键技术研究

表5 标准光源 三基色XY值 亮度和色差值

 

2.色彩空间

REC.2020全方位调整了分辨率、帧率、色彩深度、色彩空间、伽玛校正,特别是色域扩展,使UHD色彩更为丰富。色彩深度由REC.709的8bit提升至10或12bit,增强了图像的色彩层次与过渡;色彩空间覆盖了CIE1931的75.8%,白点D65色温6500K;REC.709仅覆盖REC.2020的35.9%。

基于Rec.709和Rec.2020的4K与基于Rec.709的HD间色彩区别,比较图6-A HD和6-B UHD波形,UHD彩条波形尖峰脉冲转变正常,因为所有链路均未使用视频过滤。因此,四链路传输图像可无缝再现4K图像,否则,重组图像间可见一条细细的黑线。比较基于Rec.709(图6-A HD和6-B UHD)、Rec.2020(图6-C UHD)及Rec.709和Rec.2020色彩空间(图6-D UHD)的彩条波形,其视频电平还是存在差别。因此,应谨慎选用色彩空间。

4K/UHD视音频创建关键技术研究

4K/UHD视音频创建关键技术研究

4K/UHD视音频创建关键技术研究

4K/UHD视音频创建关键技术研究

图6 HD和UHD 100%彩条YPbPr波形 Rec.709和Rec.2020

色彩空间选择使用彩条信号。100%彩条信号的每个颜色分量RGB(红、绿、蓝)均有两个视频电平100%(700mv)和0%(0mv)状态。如图7-A所示,视频电平转变是图7-C彩条信号所有颜色(白、黄、青、绿、品红、红、蓝、黑)结合而成。不同方程式应用不同色彩标准(Rec.601、Rec.709和Rec.2020)产生不同Y'P'bP'r分量信号电平。图7-A RGB波形的小尖峰信号是亮度和色差带宽间不等的上升时间和Y'P'bP'r转换回R'G'B'所致。在图7-B SD和7-D HD间绿色/品红色转换,较SD而言,HD转换要更多。这是亮度和色差值采用方程式不同所致。

4K/UHD视音频创建关键技术研究

4K/UHD视音频创建关键技术研究

4K/UHD视音频创建关键技术研究

4K/UHD视音频创建关键技术研究

图7 SD彩条RGB波形及测试图 SD及HD彩条YPbPr波形

 

图8是基于Rec.709和Rec.2020的4K色彩空间的RGB彩条波形,图中可见波形电平差。色彩空间选择正确,波形迹线在0%和100%(700mv)电平位置,不正确,不是所有彩条信号均在0%和100%电平位置。

4K/UHD视音频创建关键技术研究

图8 100%彩条信号RGB波形 Rec.709和Rec.2020

 

3.色彩校正

4K图像色彩分级是实现超高画质的关键。4K作为新格式依然采用传统色彩分级获取高质量色彩。基本色彩分级包括图像色调范围和色彩分级,通常展开色调范围至其最大自然范围。

色彩校正起点可参考图9-B。图中可见,黑色不在0位置,白色也不在700位置。如图9-A所示,使用暗影、黑色或暗影拉升使画面阴暗降至最低电平(暗影、黑色或暗影拉升处理方法相同,只因使用色彩分级方法不同称呼不同)。对以数字方式创建和收看的视频而言,暗影、黑色或暗影拉升电平均为零。参考图9-C将高光置于100,参考图9-D调整色彩电平。

4K/UHD视音频创建关键技术研究

4K/UHD视音频创建关键技术研究

4K/UHD视音频创建关键技术研究

4K/UHD视音频创建关键技术研究

图9 色彩校正

注意不是所有图像均有黑色0和白色100。应观察图像是否存在暗黑和亮白,存在,将图像在1-100内展开,用高光和暗影将其调至合适电平,以获取所需图像亮度。参考图10-A和10-B,基于伽玛校正和中间色调处理图像,再回至暗影和高光处理,参考图10-C和10-D观察图像,确保色调不因伽玛校正和中间色调处理改变过度。

4K/UHD视音频创建关键技术研究

4K/UHD视音频创建关键技术研究

4K/UHD视音频创建关键技术研究

4K/UHD视音频创建关键技术研究

图10 伽玛校正前后

色偏处理如图11-A所示中间色彩图像引入色偏后可能生成图11-B所示的整体呈现“金色”的暖色调图像或者图11-C所示的冷色调图像。基于色彩分级的色偏处理可使图像呈现较冷、较暖或对比度增强的色彩。

4K/UHD视音频创建关键技术研究

图11 色偏处理

色彩平衡首选RGB波监。它显示红、绿、蓝色彩通道的相对值。色彩平衡图像如图12-A所示,生成纯色、黑平衡、白色或灰色,每个色彩通道等量。RGB波形若蓝色通道底部较其他两色彩通道底部较高,则黑色中掺杂蓝色;若波形顶部红色通道较蓝和绿色通道稍高,则高光呈现淡品红或红色。色彩平衡要做的是安排色彩通道的底部和顶部。但也存在例外,尤其是存在大量相同色彩的图像—如图12-C所示的巨大草坪,因大量绿色致使绿色通道提升,但图像依然呈现色彩平衡。色彩不平衡图像如图12-B所示,右侧蓝色通道顶部剪切,黑色和中间色调与左侧红色通道和中间绿色通道比较,相对提升。即图像某通道比其他通道存在更多剪切,剪切视为波形顶部或底部迹线变平或变亮,导致色彩不平衡。

4K/UHD视音频创建关键技术研究

4K/UHD视音频创建关键技术研究

4K/UHD视音频创建关键技术研究

图12 RGB色彩平衡处理

 

色彩平衡的另一种选择是矢量示波器。色彩平衡图像如图13-A所示,矢量示波器显示纯黑、白和灰色,无论亮度如何,所有色彩迹线均关闭至示波器中心位置。色彩不平衡图像如图13-B所示,因图像色彩仅由黑、白、灰三色构成,所有色彩迹线离中心位置很近,迹线向蓝色矢量倾斜,呈现忧郁色彩。由此可见,越远离中心位置,色彩越艳丽、色彩饱和度越高,色彩呈现越生动。经典色彩图像如图3-C所示,“会客庭院场景”画面,色彩迹线呈现人物肤色红色、草坪黄/绿色及蓝天色。

4K/UHD视音频创建关键技术研究

4K/UHD视音频创建关键技术研究

图13 矢量 色彩平衡处理

 

五.图像宽高比

图14-A说明了从SD到4K各种在用格式的图像宽高比,图14-B展示了不同分辨率对应的图像尺寸。

4K/UHD视音频创建关键技术研究

图14 不同格式的图像宽高比及尺寸

 

宽高比是指图像的水平与垂直尺寸之比。UHD图像尺寸为水平方向1920像素、垂直方向1080像素,因此,图像宽高比为1920/1080=1.778=16:9。不同图像尺寸的宽高比如表6所示,4K/UHD或HD(1080)、电影(4K)或HD(2K)及数字影院(4K)宽高比分别为1.778:1、1.896:1及2.39:1,与之对应的图像尺寸分别为3840×2160或1920×1080、4096×2160或2048×1080、4096×1716,如此等等。

4K/UHD视音频创建关键技术研究

表6 不同图像尺寸的宽高比

 

4K画面能否以适合的宽高比收视是一项颇具难度的工作,尤其是图像转换处理过程中,可能出现图像失真或剪切不正问题。因此,确保正确的图像宽高比至关重要。图像宽高比定位需要从水平和垂直两个方向,检查图像开始和结束的有效位置。例如,图像尺寸为3996×2160的4K图像宽高比1.85:1。其图像首个有效行行号如图15-A所示为83(A0),其末尾所在有效行行号如图15-B所示为2242 (A2159)。图像居中,首个有效像素Y样值位置如图15-C所示为50.AY ,最后有效像素位置如图15-D所示为4045.DY。

4K/UHD视音频创建关键技术研究

4K/UHD视音频创建关键技术研究

4K/UHD视音频创建关键技术研究

4K/UHD视音频创建关键技术研究

图15 图像首个和最终有效行和样值位置

 

六.结语

四链路传输准确的图像定时重组,视音频格式正确与否,四链路传输顺序正确与否,色彩校正,图像转换处理保持正确的图像宽高比,这些视音频创建阶段的关键技术、甚或难点技术,直接关系到优质4K/UHD视音频内容的生产,更直接关乎超强视觉体验的实现。至关重要,应从严掌控。

 

 

 

参考文献:

1.《网络视听节目视频格式命名及参数规范》 中华人民共和国广播电视和网络视听行业标准  GY/T 353-2021  国家广播电视总局  2021年8月19日发布

2.《中央广播电视总台4K 超高清电视节目制播技术规范》(暂行) 发布日期:2018 年 7 月

3.《4K超高清电视技术应用实施指南(2018版)》国家广播电视总局科技司 2018年8月

4.《4K超高清标准和测试实践》 作者:吉秋霞1,宁金辉2,王惠明2,孙岩2(广东广播电视台)1(国家新闻出版广电总局广播电视规划院)2  《广播与电视技术》 2018年第5期

5.A Guide to 4K/UHD Monitoring and Measurement- 6 key challenges of 4K/UHD content creation    Tektronix  02/2016 EA 25W-60401-0

http://www.telestream.net/pdfs/technical/4KUHD-Content-Creation_eBook_25W604010.pdf

6.Creating 4K/UHD content  Tektronix  092116 AH 25W-60274-1

http://www.telestream.net/pdfs/technical/Creating-4K-UHD-Content-Poster_11W-60274-2-2.pdf

7.Color correcting your 4K content  Tektronix  08/15 EA 2PW-27357-1

http://www.telestream.net/pdfs/solution-briefs/sol-Color-Correcting-4K-Content_How-to-Guide.pdf

8.A Guide to High Dynamic Range Operation for Live Broadcast Applications  Klaus Weber, Principal Camera Solutions & Technology, December 2018  GVB-1-0676B-EN-WP

https://www.grassvalley.com/whitepapers/2018/hdr-a-guide-to-high-dynamic-range-operation-for-live-broadcast-applications/

9.HDR and the Broadcast Environment- Better Pixels Create Better Content  By Chris Merrill, Product Marketing & Klaus Weber, Principal, Camera Solutions and Technology December 2017 GVB-1-0661B-EN-WP

https://www.grassvalley.com/whitepapers/2019/hdr-and-the-broadcast-environment-better-pixels-create-better-content/

4K UHD 视音频

视听科技视频号 广告
发表评论