中朋荣（北京）影音设备商贸有限公司
一. 概述
广播电视的行业的视频归档系统与其他行业的信息归档系统相比有长期性存储，安全性要求高，数据密集，以及对成本敏感等鲜明的特点，音视频归档系统自本世纪初的前十年的发展，已经形成了比较成熟的多级存储层层迁移的系统体系结构，比较成功的解决了海量音视频数据的归档存储问题。但是，随着广播电视和影视行业的数字化进程的不断发展，高清音视频采集设备以及高清视频后期制作系统的广泛应用，对于长期视频归档系统的研究与设计提出的更严峻的挑战。
二. 相关技术发展现状
随着近年来磁盘技术的飞速发展，磁盘存储性能越来越高，价格越来越低，侵蚀了大量原属于磁带的市场领地，在视频归档领域中，也有越来越多的系统使用磁盘作为数据的核心存储。但是，随着广播电视领域的高清技术的普及，高清电视节目制作和播出，对视频归档系统的能力提出了更高的要求。使用高清HDTV(1920×1080)格式(MPEG-4 120-185Mb/s)单位时间内所需要存储容量是标清(MPEG-2 25Mb/s-50Mb/s)制式的3到6倍。虽然磁盘系统能够比磁带技术提供更高效的随机数据的访问能力，但是视频归档系统的设计特性决定了90%以上存入磁盘的数据都不会被访问，与此同时，根据权威机构统计，磁盘存储数据所消耗的能耗是磁带的29倍，即使是在应用20:1重复数据删除后的情况下，磁盘存储的成本仍然是磁带的5倍。如果将90%的视频数据使用存储到耗能不那么高，维护成本低，存储有效期长的磁带介质上，则无疑可以大幅度降低视频归档系统的成本。
目前数据磁带技术主要有三种磁带标准，分别为AIT，DLT和LTO系列，其中LTO标准是有HP公司，IBM公司和希捷公司联合提出的公开标准，已经占据了绝大多数的市场份额。目前基于LTO标准的Ultrium磁带格式能够提供单盘磁带TB级别的数据存储能力。目前LTO磁带技术已经发布到第五代，提供1.5TB的未压缩容量，而整个LTO技术的路线图在2010年4月10日发布到第八代，提供12.8TB的未压缩容量。而LTO磁带技术从2000年起，基本严格按照以两年更新一代的速度发布，按此速度，在2016年单盘磁带将会有10TB以上的存储容量，而每TB的存储成本将会在30元以下。另一方面，磁带技术也有比较明朗的前景，在IBM的实验室中，IBM和Fujifilm的科学家已经在一原型磁带上实现了每平方英寸295亿比特的存储记录，也就是说不远的将来采用钡铁氧体颗粒的双面磁质磁带将可以使磁带盒的容量增加到35TB的未压缩数据。相比与高容量硬盘，磁带有寿命长，离线存储，运输不易损坏等优点，但是也有顺序读写限制，访问效率低等缺点。
三. 视频归档系统存储长期性特点
构建真正有效的归档是能够按照当前最合适的分类方式分类和索引数据，并且提供合适的工具检索和取出归档的内容。归档的意义在于系统化的收集和保存对“未来”有价值的内容。归档的最基本的一样在于长期性保存，无论是模拟视频还是数字化的视频都需要存储在介质上，而目前可用的存取介质主要是磁性介质(硬盘，磁带)和光学介质(光盘)，其物理特性和技术发展规律决定了，不可能存在永远有效的存储技术。目前数据的长期性保护主要是通过数据迁移和仿真实现的。数据迁移是指当介质和存储方式在失效之前，将其从旧介质中迁出，重新归档入新的存储方式之中；而仿真则是通过软硬件的方式，模拟已经失效的设备，使其内容能够继续被使用。但是由于仿真本身有许多硬件和应用场景的限制，因此绝大多数长期视频归档系统，都是使用的数据迁移的方式，达到数据的长期性保护的目的。
目前在视频归档系统中使用的LTO3或者LTO4磁带，实际上开始并不是面向视频归档设计的，而是面向计算机行业中的数据备份应用的，因此磁带本身没有元数据信息，其存储内容的数据描述实际上都存储在第三方开发的数据库当中，对于磁带中的内容，必须结合相对应的数据库甚至应用软件和运行环境才能读出。LTO5之前的数据磁带，借助如Unix/Linux中的tar资料打包指令，可以建立具有自我描述性的磁带备份复本，但tar命令做不到视频归档系统所必须的立即可用的要求，仍然必须将磁带中的资料解回到硬盘上、回复成原始文件以后，才能操作这些文件。某些厂商曾经推出一些可让磁带拥有类似硬盘档案即时操作功能的软体，如XenData公司专供数位影像应用的XenData Archive产品，Qumtum公司的SNSM系统，国内中科大洋公司和索贝数码公司的视频资料库产品。这些产品的基本思路是将磁带资料分割成小区块、并预先读入硬盘缓冲区的方式，让使用者无须完整恢复磁带资料，就能以类似操作硬盘文件的方式，利用多媒体播放软体直接播放磁带中储存的视频资料。然而问题在于，这类技术虽然一定程度解决了磁带资料非立即可用的问题，可允许使用者以类似硬盘的方式直接存取磁带资料，但必须在这些厂商采用专属格式与存取技术的应用软件下才能生效，所以是非共通性的。而LTO-5和 LTFS线性磁带文件系统的技术，正是回应这个需求而出现的。
四. LTO5和LTFS技术的分析与研究
2010年1月，IBM与其他厂商联合宣布推出最新一代的线性磁带开放协议(LTO)磁带技术—Ultrium 5磁带驱动器，简称LTO5技术，除了性能和存储容量指标的提高外，LTO系列磁带第一次引入了分区功能，并且利用分区功能IBM推出了IBM Long Term File System(IBM长期文件系统,简称LTFS)技术使得我们可以用类似磁盘或其他移动媒介的方式来浏览和访问磁带文件。系统可以把磁带当作硬盘驱动器一样载入。LTO5和LTFS技术的出现对视频归档、医疗图像存储、电子发现等行业都有重要的意义，值得深入的研究。
1.LTO5技术
LTO5技术是基于Ultrium磁带格式的第五代线性开放磁带规格，单卷容量提高到1.5TB，传输速率可达140MB/s。与上代LTO4技术相比，除了容量增加了700G，传输速率增长了20MB/s以外，最重要的技术革新是LTO5技术的磁带分区（Partitioning）功能，LTO-5磁带机可为磁带提供2个磁带分割区。
LTO-5磁带上下两端边缘是用于磁头定位的servo band占用，在servo band中间共含用于记录资料的1280条资料磁道(track)。这些磁道是以磁道组(track group)为单位来记录资料，每个磁轨组中的16条磁轨将被同时记录资料。以相同方向记录资料的磁轨组被称为线带(Wrap)，LTO-5磁带共含有80条Wrap，其中40条是由前往后正向记录资料，40条是由后往前反向记录资料，每条Warp可以存储18.75GB的数据。
LTO-5磁带出厂预设的格式是只有1个80条Wrap的分区，但可在驱动器Firmware的控制下格式化为2个分区，每个分区最小为2个Wrap，最大为76个Wrap，2个分区之间以Guard Wrap作为分隔，这个Guard Wrap大约会占用2.5%的总容量。以下图为例，在红色Guard Wrap上方的是分区0，下方的则是分区1。
若应用程序支持分区功能，将可同时使用2个分区；若不支持分区功能，则应用程序只能识别分区0，只有分区0会被写入资料，所以此时是以只作一个分区0较为有利，可更充分地利用磁带容量，因此在LTFS文件系统的应用程序将1分区作为元数据存储的分区。
2.LTFS原理
根据IBM研究人员David Peace、Arnon Amir在论文中介绍，一个LTO5磁带在逻辑上作为一个卷的形式提供数据存储应用。一个LTFS卷由两个LTFS分区组成，LTFS将两个分区分别用作数据分区和索引分区。根据上文所述LTO5的物理特点，索引分区可以认为是位于磁带的“最末端”，而不像磁盘一样位于磁盘的头部。
而每个分区在存储实际内容区域之前都有一个标签结构存储区(Label Construct)。如上图所示：
标签结构存储区由ANSI VOL1标签区和LTFS标签区组成。如左图：
ANSI VOL1标签区实际上是一个80个字节的长度的有固定格式记录。而LTFS标签区则是一段类似下文的XML格式的数据。
<?xml version="1.0" encoding="UTF-8"?>
<ltfslabel version="1.0">
<creator>IBM LTFS 0.20 - Linux - mkltfs</creator>
<formattime>2010-02-01T18:35:47.866846222Z</formattime>
<volumeuuid>30a91a08-daae-48d1-ae75-69804e61d2ea</volumeuuid>
<location>
<partition>b</partition>
</location>
<partitions>
<index>a</index>
<data>b</data>
</partitions>
<blocksize>1048576</blocksize>
<compression>true</compression>
</ltfslabel>
标签结构存储区后面是实际内容区域(Content Area)，在索引分区和数据分区的内容区域(Content Area)存储方式存在一些差别。索引分区里面存储的是索引结构(Index Construct),其索引结构也是一段XML格式的数据，描述文件的目录结构和存储区块信息。当删除或者更新文件时，由于磁带的线性特性，数据没有实际上被删除或者更新，而是重新生成了一个变化了的索引结构(Index Construct)插入在之前的索引结构(Index Construct)后面，如下图所示。
同时，在数据分区中也插入了一个同样的索引结构，放在当前数据内容的最后面，数据分区的情况如下图所示意。
另外，值得注意的是LTFS的索引结构(Index Construct)的XML，提供了扩展属性字段(extendedattributes)，通过利用XML的可扩展特性为LTFS内存储的文件添加更加复杂的描述信息，能够存储UTF格式的字符串和base64编码的二进制数据，在基于LTO5的视频归档系统的设计中，可以利用此可扩展字段存储视频的部分或者全部的元数据描述。
3.LTO5结合 LTFS实验与测试
为了验证LTFS效率的可用性和实际使用效率，参考《The Linear Tape File System》一文中实验设计，进行了LTFS主要特性的实验和测试工作。
·实验环境
采用一台IBM 3573 2U磁带库,使用ULT3580-HH5半高LTO5驱动器，内置256MB缓冲区，测试用主机是HP DL380 G5服务器，双路四核的处理器(2*4核 Intel E5320运行在1.86GHz),8G内存，4G光纤HBA卡。软件环境是Centos Linux 5.5版本, lin_tape磁带库驱动1.41.1版本，LTFS文件系统1.0.1版本(于2010年8月13日发布)。
·实验工具
为了避免本地硬盘性能成为IO瓶颈，使用C++和QT编写读取和写入测试工具，读取的目的地和写入的源都是主机内存，通过4G光纤读写EMC CX960盘阵测试，能够达到220MB/s的读取速度，和210MB/s左右的写入速度，远大于LTO5的读写带宽。
·实验记录
（1）基础读写效率测试：在格式化好的空白LTO5驱动器上面写入1GB大小的文件。然后将其完整读取。测试6次后，取结果如表3：
因为磁带读取文件需要进行倒带操作，在磁带上进行定位(Seeking)，才开始读取或者写入数据，而Seeking操作耗费了绝大多数时间。
（2）随机数据读写测试：在LTO5磁带中，写入100个1GB左右的不同内容的视频文件，然后随机选取一个视频文件进行读取，在写入一个1GB左右的视频文件。测试6次后，取结果如表4：
在随机读写的时候，最大带宽影响不大，但是在磁带上进行定位(Seeking)的时间有了明显的增加。
（3）实际文件读写性能测试
通过测试工具控制，在写入第一个文件块时不进行计时，直到第一个文件块写入成功后再进行计时，进行所谓“热身”操作，测试实际的1GB大小的文件读取和写入效率，整理结果如表5：
在测试是发现，在使用LTFS写入时，数据不是连续写入，而是在先以130MB/s的左右速度读写1秒，然后等待1秒左右，进行下一次读写。因此测试的结果是标称的LTO5带宽140MB/s的一半左右。可能与ULT3580-HH5驱动器只有256M带宽有关或者与LTFS软件本身缓冲区设置有关。
（4）磁带上进行定位(Seeking)的时间测试
通过以上的文件读写测试可以发现，实际上耗费时间的不是LTO5本身的读写带宽，而是磁带定位(Seeking)本身占用了绝大多数时间。因此需要对LTO5驱动器和磁带本身的定位(Seeking)效率进行测试。
通过Seeking测试可以看出，从文件系统中选择一个文件，而不管文件有多小，将耗费1到2分钟左右的时间。而实际上如果找到了文件，则读写速度还是非常快的，因此在视频归档系统应用LTFS和线性的磁带必须慎重考虑磁带定位时间这个重要因素。此外，在对IBM 3573 2U磁带库进行测试时，由带库机械臂将磁带从插槽抓取到驱动器，平均耗时大约在25秒至30秒的时间，因此可以看出，如果在磁带库中读取一个不在驱动器中的磁带中的1G左右的文件大约耗费时间的组成为：
按照平均情况，可以推算获得一个存在带库中的1GB左右的视频文件所耗费的总时间t大约为2分钟，而且读取的文件越大，LTO5和LTFS的相对的效率就越高：
t=tmove+tmount+tseeking+treading
=25+10+80+15
=130秒
五．LTO5技术在视频归档系统中应用
使用LTO5和LTFS技术的归档系统，能在存储介质失效前或者新的更大容量的存储技术出现后，能够灵活而高效率的实现数据迁移，而没有明显的业务中断。同时，通过直接通过物流传递LTO5磁带的方式，可以在网络条件较差的情况下实现高清视频数据的线下传输。存储了标准元数据信息的磁带技术，能够提供较低成本的海量视频归档数据解决方案。同时在设计基于LTO5或者其他使用磁带介质的归档系统时，应当结合磁带本身特性才能设计出高效率的视频归档系统。
利用LTO5磁带技术，针对原有分级存储的视频归档系统存在的问题进行改进，使其能满足长期视频归档的要求。如在LTO5磁带库中，通过可以策略保证做到每盘磁带都有自己的一个副本，这样就能保证同一个视频内容在归档磁带库中有两份数据，一方面冗余数据保证了数据安全性，另一方面在磁带介质即将失效或者需要进行大量数据迁移时，可以直接取出副本磁带，通过LTFS文件系统实现磁带对磁带的复制，从而实现了数据迁移，而在整个迁移过程中原有归档系统的保持正常服务。B&P