微博

QQ

全台网系统中网络传输瓶颈分析

2012-03-02 杨超 传播与制作


  一.电视台数字化建设

  广电总局于2007年3月12日发布了《电视台数字化网络化建设白皮书(2006)》和《广播电台数字化网络化建设白皮书(2006)》,这两项白皮书的发布标志着我国全面推进广播电台和电视台数字化网络化工作的开始。

  在广电行业全面数字化网络化的巨大进步中,大多数电视台已经完成了从模拟到数字、从数字到网络化的进程,但从局部网络到全台各个业务子网的互联互通大部分电视台都在建设推进过程中,局域子网形成相对封闭的环境越来越使得台内信息交换的不顺畅和资源浪费等问题凸现。因此,电视台核心任务是将庞大的珍贵节目资源的整合并进行生产方式转型、业务流程再造,并将整合的节目资源在全台的互联互通平台上实现资源交换,相互共享。

  电视台的数据量需要海量级别的网络存储,通常都采用在线硬盘阵列和近线磁带库,甚至是离线异地磁带库结合的方式来解决。由于电视台各部门业务相对独立,这样造成了电视台的节目制作,收录采集,新闻制作,节目播出网络系统来源于不同的厂商,各个业务子网采用不同的系统,造成各个业务子网之间形成了信息孤岛,全台网的引入彻底解决了信息资源孤立的问题,采用核心存储平台与各个业务网络互联互通的方式就是时下最流行的电视台互联互通网络体系结构。这一体系日益成熟,各网络、存储商都能提供整体的解决方案,这些方案虽然造价不菲,但是能解决日益膨胀的数据量的存储问题,各电视台也不惜高额造价建设全台网系统,全台网系统逻辑简图如图1所示。

全台网系统中网络传输瓶颈分析

图1 全台网系统逻辑简图

  全台网系统可以分为应用服务平台,内容管理平台,中央存储平台,子网对接平台,我台全台网系统采用星形网络拓扑结构,核心三层接入,子网二层接入,这样在网络上,各个子网之间隶属于不同的VLAN,相互之间保持隔离,所有的子网之间的数据均通过核心交换网络来进行交换。本文主要分析中央存储平台与业务子网之间的网络传输瓶颈。

  二.全台网中的网络存储

  我台中央存储平台采用FC SAN,三台IBM小型机集群配置作为MDC(Metadata Controller)元数据控制器,IBM的GPFS文件系统能够提供多路并发访问硬盘而提供更优的硬盘读写性能。硬盘阵列采用IBM DS4300系列磁盘阵列,共48TB在线存储空间,将其划分为三个卷组,分别为缓存区,低码区,备播区。缓存区存放业务子网迁移至中央存储的媒体文件。低码区存放通过审核,已经入库的媒体文件转换成的低码流格式文件,这部分文件对外提供预览功能。备播区则存放在根据节目单在磁带库中调用的媒体文件(如图2所示)。

全台网系统中网络传输瓶颈分析

图2 全台网系统组成结构图

  中央存储盘阵中的数据采用光纤通道与外界交互,由于采用高密度SCSI磁盘阵列,并且采用并行方式,其数据传输率已经远远超过SCSI控制器可以支撑的速度,所以我台的FC SAN中央存储网络压力主要在于三台作为MDC的NSD服务器,而我台采用的是IBM的GPFS系统小型机作为FC SAN存储网络的MDC,采用硬件SCSI控制器,基于GPFS的硬盘访问分流技术,在中央存储和外界之间的数据传输中,使得光纤网络发挥最大的性能。中央存储网络拓扑图如图3所示。

全台网系统中网络传输瓶颈分析

图3 中央存储网络拓扑图

  当业务子网通过以太核心网络平台发送一个业务请求后,消息服务器将会对请求进行分析,然后交由任务调度服务器,由任务调度服务器调用任务执行服务器的FTP服务对中央存储中的数据进行访问,访问中央存储则是通过IBM的NSD服务器来进行,当有多个任务并发时,有着集群配置的MDC服务器群可以分担不同任务,以减少MDC服务器的节点压力。成功访问中央存储中的数据后,任务执行器会将数据发送到业务子网的接口网络,通过中间FTP服务器进行数据迁移。示意图如图4所示。

全台网系统中网络传输瓶颈分析

图4 数据交换示意图

  FC SAN网络造价比较高,拓展增加光纤通道节点时需要增加光纤HBA卡,这种卡不同于普通光纤网卡,是带有SCSI协议运算的光纤通道控制卡,增加一个节点至少要增加一块HBA卡,这样不适合在互联互通的大环境中拓展,而且光纤成本也比较高,所以虽然存储平台可以用纯光纤通道的FC网络,但整体大环境中,以太网作为成熟的网络体系结构,以其强大的拓扑能力和价格优势,而被广泛采用,中央存储平台提供的是媒体文件高速交换,而真正的数据传输还是在以太架构下的全台核心网络平台中进行。这样,真正的数据传输瓶颈就到了NSD服务器和核心网络平台的接口上,中央存储磁盘阵列中的数据与外界交换全部是通过此接口的以太网络进行传输,当NSD服务器同时用两个千兆以太接口进行数据交换时,由于以太网络的体系原因,这两个千兆以太接口的最大传输率在110MB/S左右,而三台NSD服务器同时对外提供并发数据交换时,中央存储平台和核心网络平台之间的数据传输率在330MB/S,我台中央存储平台中的媒体文件以50Mb/s,12Mb/s IBP帧,25Mb/s I帧,120Mb/s格式为主,但均以文件的形式进行传输而不是节目流的方式传输。这样计算带宽容量时,就不能以节目格式为参考,根据华为3com公司有关测试数据,大文件在以太网络中的传输率不稳定,千兆以太网络中传输峰值能达到250Mb/s,折合为31.25Mb/s,这样粗略计算,330Mb/s的带宽容量可以支撑10个大媒体文件的同时传输,也可以理解成同时支持10个任务并发。由于网间接口网络是采用FTP的方式进行传输,这时,就要考虑到FTP协议的传输限制,通常FTP在千兆以太网络环境中的数据传输率在30Mb/S—40Mb/S之间,此时,真正的瓶颈就成了FTP协议的自身限制,整个网络中的数据传输的压力最终落在了接口网络上,这是我们在全台网建设中要考虑的一个问题。

  总结

  在存储技术飞速发展的今天,传统的电视技术已经和IT技术慢慢融合,将来的互联网业务也会渗入到电视领域中,三网合并的趋势将会促使电视台的技术向数字化,网络化,一体化的方向发展,本文分析了FC SAN存储网络在全台互联互通系统中的应用,对我台全台网系统的性能进行了剖析,全台网建设实际上是一个电视台网络化演变中的一个重要进程,我们还需要考虑到的问题很多。B&P

广西电视台 全台网 互联互通 FC SAN 网络存储 数字化 SCSI

视听科技视频号 广告
发表评论