沉浸式专业视频体验,从AMD开始

微博

QQ

“好的编解码IP一定是不断打磨出来的”—— 对话北格逻辑研发总监周毅华

2023-10-19 依马狮视听工场


非常感谢您的关注!

在收看本次专访文章之前,

我们再次诚挚邀请您

参与今天(10月19日)下午举办的

打造沉浸式专业音视频体验

AMD ProAV技术与方案分享专题研讨会

 

芯片大厂AMD本次联袂四家合作伙伴,与大家一起分享专业音视频及广电应用中基于AMD相关架构的最新方案及他们对市场发展态势的独到见解。

北格逻辑研发总监周毅华先生是本次研讨会的的分享嘉宾之一。通过本文,您或将对北格逻辑及周毅华先生的分享内容有更深入的了解!

 

“好的编解码IP一定是不断打磨出来的”—— 对话北格逻辑研发总监周毅华

扫描二维码或点击“阅读原文”即可注册及参会

 

—— 本文转自“LiveVideoStack” ——

 

“好的编解码IP一定是不断打磨出来的”—— 对话北格逻辑研发总监周毅华

 

编者按:在音视频编解码领域,以H.264/H.265为代表的深压缩编解码算法一直占据着行业的主流。随着视频编解码的需求增多,浅压缩算法逐渐得到了重视。JPEG 2000曾获认为是未来取代JPEG的下一代图像压缩标准相较于主流的潜压缩JPEG来说,JPEG 2000压缩比更高,体积更小,并能同时支持有损/无损两种压缩方式。

北格逻辑是专注于FPGA的音视频解决方案提供商,其提供的JPEG2000编解码算法能够在25倍压缩下实现视觉无损,延迟小于8.5ms,是在标准算法的基础上,针对视频浅压缩应用做了深入优化,充分体现了浅压缩模式下的低延迟和高画质。

那么,目前JPEG 2000的应用场景如何了?在FPGA的帮助下,浅压缩算法是否会往主流压缩算法更进一步呢?以下,是LiveVideoStack与北格逻辑的对话。

 

LiveVideoStack:周毅华老师您好,可以跟我们简单介绍下JPEG 2000的主要应用场景吗?以及它是如何与其他视频处理模块相结合的呢?

周毅华:目前,JPEG2000的主要应用场景包括:数字电影的发行放映、分布式视频的浅压缩应用、医疗设备的图像存储、雷达等专业图像存储等。JPEG2000的优势在于画质好,在这些要求画面清晰度高的场景下,能够得到广泛地应用。而在视频分布式以及KVM应用中,JPEG2000低延迟的特性也是非常重要的,可以解决H.264等深压缩算法鼠键操作延迟大的痛点。

目前的话,北格逻辑的JPEG2000 IP主要应用于AV over IP应用场景,包括视频分布式以及无线图传等。视频从编码器的HDMI/LVDS等视频接口输入后,直接送入JPEG2000 编码IP进行处理,编码后的数据流经过网络(有线或无线、单播或组播)传递到解码器,然后送入JPEG2000解码IP,还原成视频流,再经过VPSS模块进行裁剪、缩放、开窗、图层管理等处理后,从HDMI/LVDS等视频输出接口输出,在显示器上显示。

 

LiveVideoStack:在开发JPEG2000的过程中,您有哪些心得体会?FPGA为实现部署带来了怎样的帮助?

 周毅华:JPEG2000标准的码率控制算法是一个开放性的规范,只给出了推荐方案。规范推荐的码率控制方案计算量非常大,延迟也超过一帧,无法充分体现浅压缩方案的低延迟特性。所以这方面我们花费了大量的心血,在最大程度保障画质的前提下,将延迟控制在了半帧以内,将方案改造成非常适合视频分布式应用场景。整个过程是一个不断迭代、时间跨度长、画质不断优化的过程。

我们最大的心得体会就是:一个好的编解码IP,一定是不断打磨出来的,不是一蹴而就的。因为FPGA的可编程特性,我们可以不断的、快速的更新我们的版本,让客户能够使用到最新最好的编解码IP;同时我们可以提供不同处理性能的版本给客户,有直接处理8k的,也有720P的,只要选合适容量的FPGA即可。这些都是ASIC方案不具备的。

 

LiveVideoStack:如何将不同解码器(例如JPEG2000和H.264)解码出的图像混合在同一个大屏上显示?这个过程中有哪些技术难点,最终呈现效果又是如何呢?

 周毅华:我们有一个强大的VPSS模块,是为了视频分布式应用场景而专门打造的,可以支持最多16路视频输入,这些视频可以是JPEG2000解码出来的,也可以是H.264解码出来的,它们分别进行裁剪、缩放后在大屏上开窗显示,可以任意指定视频的位置和图层。

对我们来说,最大的技术难点是多路视频开窗显示需要先把视频存入到内存(DDR3/DDR4)的,怎么样提高内存带宽利用率,怎么样让各个内存读写接口都能分配到合理的带宽,保证视频能够流畅的播放。我们花费大量的时间,去优化内存的读写效率、多接口读写调度和带宽分配、内部buff的深度,最终达到的效果在有限的内存带宽下,多路视频同时开窗时都能够流畅的播放。

 

LiveVideoStack:您认为未来(五年内)视频编解码技术会达到怎样的进步?

 周毅华:深压缩和浅压缩代表着编解码算法的两种发展方向。以H.264/H.265为代表的深压缩算法,在画质不降低的情况下,追求更高的压缩倍数,新一代深压缩算法H.266有可能在5年内实现商用。而随着4K/8K分辨率的普及,以及用户对高清画质和超低延迟的需求,广电领域对夹层编码的需求,也会让以JPEG XS和JPEG2000为代表浅压缩算法得到广泛的应用;同时,针对不同的应用场景,也会有新的、更好的浅压缩编解码算法出现,已有的浅压缩算法也会不断迭代,以满足应用需求。

 

LiveVideoStack:可否透露一下贵司对FPGA及相关技术的未来展望以及后续对FPGA技术的应用呢?

 周毅华:北格逻辑未来会持续在音视频领域深入耕耘,打造全系列的基于FPGA的浅压缩编解码算法,包括JPEG2000、JPEG XS、DSC和Huffman-diff等等,压缩倍数从2-3倍、6-10倍、15-25倍全覆盖,追求更高的画质和更低的延迟。同时围绕着这些编解码IP,北格逻辑会完善包括视频输入输出接口、VPSS、视频网络传输协议等在内的视频类IP,客户可以使用我们的IP快速搭建出自己的视频处理系统。

 

LiveVideoStack:在10月19日AMD的技术与方案专题研讨会上,您会带来哪些分享,可否跟我们的读者剧透一下呢?

 周毅华:10月19日的专题研讨会,我首先会介绍一下北格这边已有的一些音视频类IP(包括ISP、编解码、VPSS、3D LUT等),然后重点讲一讲北格逻辑JPEG2000的特点,以及与H.264/JPEG XS的对比;最后结合视频分布式/KVM的应用场景,介绍如何在FPGA内用这些IP打造一个高性能、高画质、低延迟的视频传输系统。

AMD 北格逻辑 AMD ProAV技术与方案分享专题研讨会 沉浸式 专业音视频

视听科技视频号 广告
发表评论