[摘要] 本文分析了有线数字电视节目平台存储系统建设的若干技术问题,如存储网络体系,存储介质,以及存储管理体系等,并结合有线网络运营商的实际应用需求提出了建议。
[关键词] 数字电视 存储 信息生命周期
随着数字电视平移步伐的加快,数字电视节目平台建设逐步提上了有线电视运营商的日程。数字电视节目平台主要解决的是有关源头的问题,如果将数字电视节目传输网络比作河流,数字电视节目平台便是一个巨大的蓄水池、水库,是各条主干支流的源头,在网络中传送的便是鲜活如水的各种丰富的数字电视节目。存储管理作为有线数字电视节目平台的核心之一,在平台中的重要性不言而喻。在其技术体系确定过程中,以下几个问题需要着重考虑。只有结合有线网络运营商的实际应用需求,逐一探讨下列问题,才能更好地明确适用自身平台的存储技术方案。
一.存储网络体系的选择
NAS(Network Attached Storage)是一种采用IP协议,基于文件(Files)存储的专用文件服务器。而SAN(Storage Area Network)则是一种采用专用光纤通道协议(FCP),基于数据块(Data Block)存储的存储区域网络。两者的区别如图1所示。目前,随着NAS/SAN网关设备的出现,随着NAS设备对FC(光纤通道)和iSCSI连接的支持,以及统一存储技术的出现,NAS和SAN融合的趋势越来越明显,NAS与SAN应用的界线变得越来越模糊。此时,NAS/SAN混合存储系统中所采用的数据传输协议(IP、FC和iSCSI)成为关键所在。如何选择数据传输协议取决于业务的实际需求。有线网络运营商必须考虑:我们的存储I/O吞吐量有多大?我们的服务器CPU负荷有多重?所存储的AV节目是否需要异地备份、远程传输?在I/O吞吐量要求高,并发访问需求量大,服务器CPU负荷重,所需存储数据包含数据库等关键性应用,并对存储的安全性、可靠性及扩充性能要求较高的情况下,选择以SAN存储网络体系为主的存储技术方案,更为合理。
二.存储介质的选择
1.关于ATA硬盘与数据流磁带的选择
数据流磁带库一直被认为是比较理想的数据备份产品。数据流磁带成本低,数据保存时间长(约30~50年),磁带还是可移动介质,数据安全性高。但近年来,ATA硬盘越来越广泛用于备份用途。用磁盘作备份,成本接近数据流磁带(ATA磁盘较数据流磁带稍贵一些),但备份速度大幅提高,这对数据流磁带库来说是一个不小的冲击。实际上,磁盘与数据流磁带并无高低之分,应该说各具特色,各有优缺。从磁盘到磁带的备份方式,与从磁盘到磁盘再到磁带的备份方式,两种备份方式并无优劣之分,完全取决于用户需求。对有线网络运营商来说,数据备份并不是最终目的,数据恢复更有意义。而对数据备份来说,60天是一个门槛,据统计这个时期内的数据恢复频率是最高的。用磁盘这种在线介质作备份,把60天内的数据都存放在磁盘上,可以使数据恢复的速度更高、效率更佳。
2.关于SCSI/FC硬盘与ATA/SATA硬盘的选择
SCSI/FC硬盘使用坚实耐用的机械部件,能提供更高的性能和更可靠的运行,支持连续读写的繁重任务,适用于服务器存储环境,被称作“服务器级”的硬盘,价格也较为昂贵。ATA/SATA(Serial ATA)硬盘与SCSI/FC硬盘之间的价格差异按每gigabyte来计算可达到50%,甚至更多。使用ATA和SATA硬盘来组建磁盘阵列——准确地说叫RAID阵列——可使存储管理人员在有需要时用价格低廉的ATA/SATA硬盘取代费用高昂的SCSI/FC硬盘,从而降低存储成本。目前,当我们考虑关键应用中的数据存储时,SATA的性能和可靠性相对来说还是不足的。SCSI/FC硬盘的性能决定了它在高端存储中的主流地位,而ATA/SATA硬盘更多的是用作二级在线存储,用作磁盘备份。
目前,这两种硬盘可以很好地结合使用,已经出现了在同一磁盘存储系统中共用FC和SATA驱动器的产品,如HDS Thunder 9500V、EMC CLARiiON,以及IBM FastT系统。这种组合可以让用户花更低的价钱进行分级存储,无需添置新的磁盘阵列。以EMC CLARiiON CX500为例,总容量为8T的全Fc CX500磁盘系统与FC(2T)和SATA(6T)混合使用的CX500磁盘系统相比,价格上后者大约只是前者的三分之二。当然,SATA/FC混合存储系统的价格要比单一的SATA存储系统高。然而,用更高性能的SCSI/FC驱动器运行关键数据,而用相对便宜的ATA/SATA驱动器处理其它业务数据,这种存储应用更具性价比优势,给有线网络运营商建设数字电视节目平台提供了一种崭新的存储思路。同时,这些产品也给管理员带来方便,因为所需管理的系统更少了,存储体系也更简单。
三.存储管理体系的选择
1.传统的三级存储管理架构
传统的三级存储管理架构即在线——近线——离线(online-nearline-offline),如图2所示。这种存储管理体系采用快速、大容量、可即时响应的磁盘阵列作为在线存储设备,而采用经济、安全可靠、大容量的自动化带库、光盘库等作为近线存储设备,并采用数据流磁带和DVD光盘等作为离线介质。通过三级存储管理架构,将不经常访问的数据迁移到近线、离线等存储介质上,降低整个存储系统的建设成本,同时保证相应的数据访问性能。该体系在电视台媒体资产管理系统中应用较为广泛。近线存储是电视台媒资系统存储平台的核心,采用自动化带库作为近线存储体,是由电视台媒资系统主要面向电视节目的长期归档、保存需求决定的。这也正是该架构在电视台媒资系统中得以广泛应用的关键所在。而在需要对数据即时恢复访问的场合,例如有线数字电视节目平台,这种传统的三级存储管理架构便显现出不足。常见的做法是增加在线硬盘的存储容量,但代价很昂贵,成本会因此大大增加。下面提出一种更适用于有线网络运营商建设数字电视节目平台的存储管理体系。
2.新型的三级存储管理架构
新型的(或称改进型)三级存储管理架构,即主存储+二级存储-近线 -离线存储,可有效弥补仅仅依赖磁带完成备份和恢复策略的不足,满足对数据即时恢复访问的需求,如图3所示。它在传统三层存储管理体系的高端磁盘(SCSI/FC硬盘)存储(称为主存储)和自动化磁带库之间插入经济易用的磁盘式(ATA/SATA硬盘)存储(成为二级存储),充当大容量数据缓存,补充并改善现有的磁带备份、存档和数据保护方案。新型三级存储架构中,数据在备份到磁带之前先存放在ATA/SATA磁盘中,作为第一恢复点,提供即时访问性能。暂存数据可按用户自定的存储策略(如每周一次)安全地写入磁带及回迁到高端硬盘中。与传统的三级存储架构相比,该存储体系更具性价比优势,既可满足用户按需求分层次存储数据的要求,也可有效降低存储体系的采购成本和总体拥有成本,是实施信息生命周期管理(ILM,Information Lifecycle Management)的切实体现,非常适合要求部署经济合理的高容量存储,实施多节点复制的应用,例如有线数字电视节目平台。
广告