向劳动者致敬

微博

QQ

揭秘网络媒体背后的黑科技

—— AMD 自适应嵌入式计算平台的兼容性和强处理能力

2023-08-30 依马狮视听工场


第 一 篇

AMD 自适应嵌入式计算平台

作者:Rob Green,AMD 专业音视频、广播与消费业务高级经理

 

任意网络上的任意媒体

在不断变化的专业多媒体世界中,向以太网和 IP 网络的转变是从根本上改变行业的最重要趋势之一。音频和视频( A/V )不再受限于点对点连接。设备正从大型机架单元资本支出转向更灵活的、基于运营支出的网络可寻址平台的使用,这些平台存储在本地或云端,并且仅在需要时进行配置。这对各种设备(在工作室或通过云)之间的灵活连接选项的需求比以往任何时候更加重要。因此,传统音视频连接标准和 IP 网络之间的支持和桥接,现已成为众多多媒体系统所需的关键组件(图 1)。

揭秘网络媒体背后的黑科技

图1:采用 AMD 平台桥接基带音视频和 IP 网络

 

基带音视频

与广播和专业媒体系统中的许多传统技术一样,基带音视频连接不会在一夜之间被以太网取代,尤其是在端点中。针对 HDMI(高清晰度多媒体接口)和 DisplayPort 的新标准会定期发布,提高了速度,并改进了可承载和显示的视频和音频格式。

HDMI 2.1 是支持 8K 超高清( UHD )视频的最新版本,主要用于电视等消费类设备。DisplayPort 1.4 也支持 8K,但更常见于桌面计算应用和显示器,并且 2.1 版本的推出将进一步扩展其功能。串行数字接口( Serial Digital Interface)在广播领域无处不在,并且仍然是用于从摄像机到切换器和专业监视器等各种设备的点对点连接的主力。凭借器件功能特性与 IP 核( IP core),AMD 能够支持所有这些标准。它们需要高比特率收发器来在片上和片外迁移内容,也需要高性能可编程逻辑来实现所需的标准格式化,甚至可以在同一器件中实现这些功能相结合或是多个通道。

 

AV-over-IP

目前,业界大部分公司都采用以太网进行音视频传输。尽管以太网的设置与维护较之 SDI 等接口要复杂得多,但其却更为灵活且可扩展,以支持更高的分辨率和帧速率,同时它还能在单个链路中聚合多个通道,也能将设备从独立设备转变为远程可寻址处理平台。基于 AMD FPGA 和 SoC 提供的 1Gbps 到 400Gbps 以太网 MAC 的优势,可以实现各种流行与新兴的 IP 网络协议,从而通过链路传输音视频和数据。例如,SMPTE ST 2110 现在是所有广播应用中 AV-over-IP 的主要标准,但 网络设备接口( Network Device Interface )在通过现有 IP 网络传输的流媒体专业广播媒体中也大受欢迎。NDI 还用于专业音视频中的现场活动、实况转播甚至实时协作。

同样在专业音视频领域,一项名为 IPMX(IP Media eXperience)的新标准正崭露头角,该标准旨在 ST 2110 基础进行构建,能为 AV-over-IP 提供最具可扩展性、开放性并不依赖于供应商的解决方案。对于AoIP (Audio-over-IP),Audinate 公司推出的 Dante 已成为专业音频和直播活动中实际采用的协议,并且现正通过其新款 Dante 音视频产品扩展到视频领域。选择何种技术取决于时延、压缩质量、用例、成熟度、成本以及易用性。

尽管这些协议中很多都采用了不同的编解码器,而后者互相之间通常无法互操作,但通过采用我们的可编程硬件和以太网 MAC,依然可以在基带音视频和所提到的任意 IP 网络协议之间进行桥接。这些可编程硬件和以太网 MAC 结合来自 NDI、Audinate、Nextera Video & Adeas、Macnica 和 intoPIX 这些合作伙伴的 IP 核和参考设计,可实现您期待的任何内容!

 

在本博客系列中,我们将更详细地探讨以太网、NDI、IPMX、ST 2110 和 Dante。我们将重点介绍各种用例和解决方案,并向您展示如何利用 AMD 自适应嵌入式计算平台降低风险、保持选择余地以及支持任意网络上的任意媒体。 

 


第二篇

让以太网尽显强大优势

作者:Rob Green,AMD 专业音视频、广播与消费业务高级经理

 

在《任意网络上的任意媒体》系列的首篇中,我们重点介绍了传统音视频连接标准和以太网 IP 网络之间的桥接支持,这是许多多媒体系统所需的一项关键功能。接下来,我们将深入研究设计人员使用 AMD 自适应 SoC 通过以太网进行音视频传输时所拥有的选择。 

 

Zynq™ 7000 SoC

对于空间受限、功耗预算紧张的成本优化型应用,AMD Zynq 7000 器件为高达 1Gb/s 的以太网媒体传输提供了一款极具吸引力的解决方案。所有 Zynq 7000 器件在其处理系统( PS )中包含两个硬连接的 10/100/1G 以太网端口,并且可以通过使用在该器件的可编程逻辑( PL )部分中实现的 IP 核来添加额外的 1G/2.5G 以太网端口。事实上,配备了 GTX 收发器的 Zynq-7030 以及更大型的器件,甚至可以在 PL 中实现 10G 以太网端口。除了 MAC 以外,在 PL 中还可以实现其它网络处理和加速功能。

揭秘网络媒体背后的黑科技

图 1:Zynq 7000 自适应 SoC 原理图

 

Zynq UltraScale+™ MPSoC

AMD Zynq UltraScale+ MPSoC 在 PS 中提供了四个硬连接的 10/100/1G 以太网端口和更高性能的 Arm® 应用处理器单元,从而扩展了 Zynq 7000 系列的功能。与 Zynq 7000 SoC 一样,该器件可以通过 PL 中的 IP 核添加额外的以太网端口,包括 USXGMII(通常称为 NBaseT,通过双绞线支持 1G/2.5G/5G/10G 以太网),并在配备 GTY 收发器的 XCZU11EG 和更大型器件中可扩展支持高达 25G 以太网。得益于该系列中一些最大型器件配备了硬连接的 CMAC 块,即便 100G 也是可能的!
 

揭秘网络媒体背后的黑科技

图 2:Zynq UltraScale+ MPSoC 原理图

 

Versal™ 自适应 SoC

当需要多个 10G 或 25G 以太网端口时,AMD Versal Prime ACAP 便成为一款有效的解决方案,因为其集成了一个或多个硬连接的多速率以太网 MAC( MRMAC )块。每个 MRMAC 都具备高度可配置性,可实现多达四个 10G 或 25G 以太网端口、两个 50G 以太网端口或单个 40G 或 100G 以太网端口。一旦需要超过 100G 的速率,Versal Premium ACAP 就有了用武之地,因为该系列器件不仅包括多个 MRMAC,而且还包括一个或多个硬连接的 DCMAC 块,其中每个均可实现多达六个 100G 以太网端口、三个 200G 以太网端口或一个 400G 以太网端口。

揭秘网络媒体背后的黑科技

图 3:Versal Premium 自适应 SoC 原理图

无论您对通过以太网传输音视频的需求是什么,无论是通过对处理器上运行的标准 Linux IP 堆栈进行控制,还是采用以硬件为中心的 SMPTE ST 2110 实现方案,AMD 自适应 SoC 都能满足您的需求。如需快速启动设计,请查看我们的“目标参考设计”,其中包括在 ZC706、ZCU106 和 VMK180 评估板上通过 1G 和 10G 以太网传输视频流媒体,或联系您所在地的 AMD 或分销商销售团队,进一步了解更多信息。

接下来,我们将深入研究 IPMX、Dante 和 NDI 这些用于音视频传输的新兴以太网标准,它们非常适合在 AMD 自适应 SoC 上进行实现,并且可以在针对您的具体需求量身定制的单个器件中与一系列音频、视频和机器学习 IP 进行集成。

 


第三篇

NDI 简化专业音视频

作者:Gordon Lau,AMD 专业音视频、广播与消费业务系统架构师

 

引言

过去 10 年间,企业工作场所、专业视频工作室等的多媒体需求显著增长。如今的内容制作商需要支持高质量、低时延视频的设备和基础设施,而不受 HDMI™、DisplayPort™ 或 SDI 等传统基带视频接口的限制。制作商想拥有远距离传输、多通道视频以及音视频要素的灵活路由,而这些只是其中的几项需求。随着向基于 IP 的流的过渡,音频、视频和数据现在可以融于一条以太网线缆上,在其上可以在本地和全球的 IP 网络上编辑、分离、组合和传输内容。尽管市面上有多种选择可以实现这一点,但市场上的一项协议因其性能和简化性而发展势头迅猛,那就是网络设备接口,也称为 NDI®。

 

网络媒体很难实现,是什么让 NDI 如此简单?

目前,高清广播媒体内容数据传输速率可高达 3Gb/s,而超高清 4K 内容的传输速率是其 4 倍!即使是最简单的工作室也会在内容创造过程中利用其他功能,例如管理和组合音频、信号(如 Tally 指示灯)、音频返回通道和字幕,所有这些都会使整个流程变得更加复杂!网络工程师可以告诉您,管理此类带宽、同时平衡低时延、高质量和帧同步音视频需求曾经多么具有挑战性。NDI 如何解决其中许多挑战,以支持流媒体商和广播公司基于 IP 的现代制作流程呢?

NDI 通过自动化网络/设备发现和注册,为内容制作商解决了许多网络基础问题。该协议通过 mDNS(多播 DNS )实现这一点,允许所有端点(如摄像头、显示器和切换器)自动检测并与同一子网上的其他设备协同工作,而无需设备设置和注册。为扩展到本地网络之外,NDI 提供了一套免费工具套件,其中包含用于实现 mDNS 网关的实用工具,可以轻松地在全球范围内迁移 NDI 流!

为了满足视频所需的高带宽,NDI 提供了两种格式:NDI 高带宽和 NDI|HX。NDI 高带宽采用一种名为 SpeedHQ( SHQ )的轻量级帧内编解码器,该编解码器业经验证可以通过在广播放送中运用来提供高质量视频。高效格式 NDI|HX 基于 H.264( AVC )和 H.265( HEVC )编解码器可用于录制或远距离传输,因为它占用 SHQ 带宽的大约十分之一。NDI|HX 格式的最新版本 NDI|H3 将效率提升到了全新水平,迁移视频的整体质量与 NDI 高带宽相似,但使用的带宽却显著减少(约 80Mbps)。一个典型的高清和超高清 NDI 高带宽流分别为 125Mbps 和 350Mbps 左右,可在不到一个字段的时延下交付,支持在标准的 1Gbps 网络上轻松传输多个音频/视频流。除了音频/视频有效负载外,NDI 还可以容纳其他数据,以实现更多功能,如面向基本工具的双向数据(如计数器和 PTZ 控制),或用于舞台指导的音频返回通道的灵活路由,不一而足。最新的 NDI 工具套件包含测试图形源和工作室显示器等实用工具,以及其他更为强大的功能,使网络摄像头、桌面或 VLC 内容可作为 NDI 流所用。该工具套件还包括适用于 Adob​​e® After Effects 和 Adob​​e Premier 等行业标准工具的插件。

揭秘网络媒体背后的黑科技

图 1:ISE2023 上 AMD 展位的 NDI。

Lumens 和 BirdDog NDI 摄像头、Magewell 和 Kiloview NDI<>HDMI 转换器以及 SWIT NDI 监视器均通过 NewTek Tricaster 连接和控制。

 

NDI 已与 AMD 开展合作,在 AMD 28nm Zynq™ 7000 器件和 16nm Zynq™ Ultrascale+™ MPSoC 器件上提供 NDI 高带宽实现方案,其具备高级 SDK,可帮助开发人员轻松集成 NDI 并快速推向市场。NDI 充分利用 AMD 在 SHQ 编解码器可编程逻辑方面的优势,结合全功能处理子系统,实现了当今高度集成、经济高效的解决方案!对于寻求硬件模块来集成 NDI 的客户,AMD Kria™ SOM能够借助应用商店提供的预构建 NDI 功能支持您将 NDI 集成到产品中。

 


第四篇

IPMX 和 ST 2110:适应全新 IP 媒体体验

作者:Rob Green,AMD 专业音视频、广播与消费业务高级经理

 

在广播领域,向 IP 网络的过渡和 SDI(串行数字接口)的替代,特别是在新建部署中,已经在顺利进行,并且许多业界人士都认同,SMPTE ST 2110 应该成为用于压缩和非压缩媒体传输的普遍标准。ST 2110 实现了在网络上传送独立的音频、视频和辅助数据流,这意味着每个所谓的要素都可以分开处理和加工,同时还有基于 IEEE1588 的 PTP 同步和 NMOS(网络媒体开放规范)网络控制与管理。由电影与电视工程师协会( SMPTE )、欧洲广播联盟( EBU )、高级媒体工作流协会( AMWA )和视频服务论坛( VSF )联盟机构组成的网络媒体联合工作组( JT-NM )投入大量工作,开发和推出了一整套可互操作、稳健的标准和合规性测试,并具备面向未来视频格式的扩展和支持空间。

互联网协议媒体体验( IPMX )主要基于 ST 2110,是针对专业音视频市场的一组新兴且重要的标准。它目前主要基于 HDMI 传输而非 SDI,还包括 EDID(扩展显示标识数据)和 HDCP(高带宽数字内容保护)的处理。在ST 2110中,PTP(精确时间协议)是必需的,但在IPMX中它是可选的,因此它也可以在专业音视频所需的异步模式下进行,同时另外使用JPEG XS进行视频压缩。与 ST 2110 一样,IPMX 的主要优势之一在于它是一套完全开放且不依赖于单个供应商的标准。它由 IP 媒体解决方案联盟( AIMS )定义,没有任何一家公司可以单独定义,并且任何人都可以下载标准并在任何合适的硬件或软件中构建自身实现方案。由于 IPMX 与 ST 2110 密切相关,广播制作和专业音视频呈现很容易重叠,因此应用可以跨两个行业并协同工作。

 

揭秘网络媒体背后的黑科技

图 1:ISE 2023 上的 AMD IPMX 演示。

由 Matrox ConductIP 控制,来自 Matrox、Village Island 和 Adeas/Nextera Video 的 IPMX 发送器连接到 Adeas/Nextera Video 的接收器以驱动 HDMI 显示器,并连接到 Megapixel VR 以驱动 ROE LED显示墙。

 

适应新兴标准并技术之间建立桥梁

AMD FPGA 和自适应 SoC 本质上可重新编程,在 AV-over-IP 技术、尤其是 IPMX 标准的采用中发挥着关键作用。对于仍在变化和更新的新兴标准,FPGA 几乎总是用于实现基带视频、音频和以太网网络之间的桥接,同时保持高水平质量和低时延。它们还可用于在同一设备上实现高级功能,如压缩、加密和纠错,以及实现针对特定应用的定制功能。

 

基于 AMD 自适应计算平台的 ST2110 和 IPMX 选项

各种 AMD 生态系统解决方案提供商和客户已经开发出了将 IPMX 和/或 ST 2110 集成到您的下一个设计中的打包方法。

对于那些只想安装芯片来启用 IPMX 接口的用户,Macnica Technologies 开发了ME10 SoC(片上系统),支持 HDMI 2.0 4K 4:4:4 视频、音频,以及采用 JPEG XS通过 1GbE 网络的控制数据,同时采用小型 23 x 23毫米 BGA 封装。

对于那些希望在您的板卡上拥有 ST 2110 以及小尺寸可插拔( Small Form Factor Pluggable )插槽的用户,Riedel 的MuoN SFP 模块可能正是您需要的解决方案。MuoN SFP 是一款软件定义的硬件,支持一系列不同的输入和输出配置,包括 ST 2110、SDI、光纤或 HDMI。他们的EB82SOC1 IP-SDI SoC 可以通过集成且经过 JTNM 测试的 ST 2110 网关解决方案使您轻松迁移到 IP,该解决方案可通过 SPI 或 RESTful API(基于 JTNM)、NMOS 或 Ember+ 进行配置。  

如果您有一个需要 ST 2110 的 PCIe 系统,考虑一下使用Deltacast 的DELTA-ip-ST2110 01播放卡和DELTA-ip-ST2110 10采集卡吗?其通过单个 10GbE 链路支持多达四个 1080p 视频通道,并带有第二个 10GE 端口以实现无缝保护切换,可以从主机 CPU 中卸载整个 ST 2110 IP 网络堆栈。或者,如果您有 NIC(网络接口卡),例如AMD Alveo™ U25N SmartNIC,Deltacast 还提供了 IP 虚拟卡,这一软件框架专用于利用 ST 2110 的高性能视频流。

对于那些想要将 IPMX 或 ST 2110 的全套 IP 核与当前 FPGA 或 SoC 设计集成的用户,Adeas 和 Nextera Video 联手提供了一系列全面且业经 JT-NM 测试的 IP。他们针对ST 2110或IPMX的全模块化解决方案由 FPGA 核、NMOS 控制软件和端到端参考设计构成,因此您可以从工作系统入手,根据您的需求进行定制并快速推向市场。 

 

结论

ST 2110 正成为广播领域 AV-over-IP 的普遍标准,并提供可扩展性、互通性且不依赖于单个供应商。IPMX 采用 ST 2110 作为基础,构建了一套针对专业音视频行业的类似传输机制,但它也在广播质量内容制作和音视频呈现领域之间建立了便利的、基于标准的桥梁。与 ASIC 和 ASSP 这些实现方案不同,在 AMD 平台上运行的 ST 2110 和 IMPX 可以随市场演进灵活适应与改变,并为 AV-over-IP 实现提供风险更低的方法。因此,对于您的下一个设计,强烈推荐利用 AMD 合作伙伴正在开发的日益壮大的 ST 2110 和 IPMX 实现方案组合。

 


第五篇

Dante

作者:Amanda Emerson,AMD 专业音视频、广播与消费技术营销专员

 

在《任意网络上的任意媒体》系列的开篇中,我们探讨了 AV-over-IP 以及业界多大程度上开始以某种形式采用它。这种采用见于企业、高等教育、广播和直播活动等广泛市场。每个系统都有着不同的需求,而这些不同需求可能会使设置过程变得复杂、耗时且成本高昂。这正是 AMD 合作伙伴 Audinate 推出其 Dante 产品线的价值所在。该产品易于集成和使用的特点令音视频系统的设置和安装变得简单。

 

揭秘网络媒体背后的黑科技

图 1:Dante Brooklyn 3 模块(来源:Audinate)

 

Dante 助力满足您的网络需求

部署传统音视频系统时,工程会迅速变得复杂且成本高昂,并且可能存在诸多挑战有待克服。这些系统通常需要大量规划,因为它们要求每个音频设备之间的点对点连接,而很多设备又需要特定的单一用途线缆以及必须仔细考虑位置(因为信号衰减随设备之间的距离而增强)。这些挑战可能会使设置和安装变得昂贵、耗费人力同时又耗时。然而,如果将这些系统升级呢?一些设备会与其他设备不兼容,这可能会迫使您更换比最初计划更多的系统,这样一来又推升了成本。


揭秘网络媒体背后的黑科技

Figure 2: Dante in Action (Source: Audinate)

图 2:Dante 实际应用(来源:Audinate)

 

然而,Dante 的工作方式有所不同。该公司采用标准 IP 网络助力提供无损音频(以及通过 Dante 音视频产品提供低时延视频),从而简化了系统设置。尽管设备仍然需要连接,但系统利用以太网传输数据,如此便减少了对杂乱的单一用途线缆的需求。设备可以自动检测,而信号路由和设置则可以借助 Dante 控制器进行配置,这就使得系统扩展和升级变得简单。配置设置会存储在端点中,因此在没有 PC 的情况下也能运行,甚至在迁移设备或设备断电重启设备后也可以运行。另外,Audinate 的系统管理软件 Dante Domain Manager 允许您限制特定用户的访问、查看整体设备和系统状态,以及记录和报告网络中产生的任何更改。

如果您对 Dante 感兴趣,可以使用 Audinate 的 IP 核、Dante AV Ultra 硬件(基于 AMD Zynq™ 7000 系列)或 Brooklyn 3 模块将其部署在您的产品上。

Dante Brooklyn 3 是 Dante 模块系列的最新成员。它基于 AMD Zynq SoC 器件构建,提供 8x8 和 64x64 通道版本,进而提供了 100% 无损的超低时延网络音频,同时还支持 44.1 kHz 至 192 kHz 的采样率(采用 24 位或 32 位编码) 。Brooklyn 3 模块已兼容超过 3,500 种支持 Dante 产品,其提供了一个即用型音频接口,可以实现对 Brooklyn 2 模块的引脚兼容替代。

 

让音视频网络毫不费力

Audinate 的技术利用 AMD 平台使音视频网络毫不费力。凭借硬件和软件方面的产品,Dante 可以助力您的系统焕发活力(无需考虑应用),因为正如 Audinate 所强调的那样,Dante 不仅是一种 AV-over-IP 协议,还是一款+完整的 AV -over-IP 解决方案。

感谢您的关注!

 

AMD Audinate NDI Dante 自适应嵌入式计算平台 IP AV-over-IP SoC

视听科技视频号 广告
发表评论