【摘要】 介绍了山东电视台非线性编辑制作网存储设备，对存储设备的参数设置作简单说明；介绍了使用的文件系统，以及文件系统的部分参数设定。
【关键词】 非编制作?网RAID缓存
粒度?策略
山东电视台2010年新搭建了非线性编辑制作网。下面就整个制作网的核心部分—存储系统作一个简单介绍。
存储系统在整个系统中的作用，我们可以形容为“仓库”，其重要性是不言而喻的。非线性编辑制作网存储系统采用了EMC存储家族中的CX4—960，作为承担核心存储任务的CX4-960，拥有非常好的性能，就存储硬件本身而言，提供了8个BUS，最多可支持到960块磁盘，双控制器提供了16个4GB的光纤通道（fibre channel），控制器的缓存（cache）也达到了16GB。
在系统的规划中，我们首先考虑存储设备与交换机的连接方式。对于存储的控制器光纤通道与交换机的连接，充分考虑了其高安全性，防止由单链路故障引起的系统问题，因此采用了交叉连接方式，即每个控制器的4个光纤通道分别均匀的连接到两个交换机上。使控制器不只依赖于某一交换机和某一光纤链路。
图1 EMC存储与交换机连接示意图
系统规划中，我们还需要结合实际的业务量和对带宽的需求，对磁盘进行规划，包括RAID的级别，热备盘的数量及RAID中包含的磁盘数等等。RAID划分我们最先考虑的是容量的要求。根据实际情况，存储配置了97块，其中，Encl0的前5块盘是EMC的系统盘，做的是RAID5，其系统为windows xp，该RAID5可以说是整个存储的“大脑”，其余的92块盘，每9块盘(8+1)做一个RAID5，剩余两块盘作为热备(HOT SPARE),之所以采用RAID5(8+1)的方式做RAID，第一点，是考虑容量的要求，另外一点就是要跟后面讲的文件系统的粒度相匹配，具体的RAID划分如图2所示：
图2 RAID划分示意图
RAID采用了8+1的方式做，而作为RAID磁盘的分配，我们采用了取每一个磁盘扩展柜（DAE）的前9块来做RAID，之所以没采用每个DAE各取一块盘来做，是因为，CX4-960本身提供了8个Bus，而我们系统配置了7个DAE，所以每个DAE独享一个Bus，带宽不是瓶颈（如果存储的Bus少或着DAE间串接起来后连接Bus的话，建议采用每个DAE各取一块盘的做法，那样会提高性能）。存储的RAID规划做完后，我们要根据实际的应用情况及系统对读写的要求，对EMC存储的cache进行调整，调整前，我们先了解一下存储的几个属性：
1.页面大小：
在缓存页面中页面大小以KB为单位，控制器（SP）以页面而不是扇区管理读写缓存，页面越大在单页面中储存的连续扇区就越多，默认页面大小为2K字节。
◆对于一般的文件服务器应用：8Kbytes
◆对于数据库应用：2或4Kbytes
2.低水位，高水位，水位的处理
SP使用高低水位来决定什么时候冲洗他们的写缓存。关于水位处理器参考如下选择。
图示3 水位处理器
下面是关于高低水位的细节
图示4 高低水位
3.写缓存：
镜像的写缓存为两个SP设置写缓存类型镜像或非镜像。如果设置非镜像的SP写缓存失败，没有保存到硬盘的写缓存的数据将丢失，为了提高更好的安全性，大多数存储系统都设置了镜像缓存。我们此次采用了镜像写缓存方式，目的就是保证数据的安全性。一个SP的写缓存会镜像到另外一个SP的写缓存中，因此，两个SP中的写缓存大小总是一样，都是打开或停止。启动时，如果写缓存大小为非零，存储系统将自动打开写缓存功能。其他类似读缓存。
4.读缓存：
SP A和SP B的读缓存可以做如下的选择。
图示5 读缓存
一个SP上的读缓存不影响另外一个SP中的读缓存，启动时，如果SP的读缓存大小不为零，存储系统将自动地启动读缓存功能。打开或禁止存储系统的读缓存并不影响SP的LUN的信息，有些操作，比如设置最多的LUN缓存属性，需要禁止掉SP A 或SP B的读缓存功能，当执行其他操作时，如果缓存打开，系统将自动停止掉，直到操作完成。
对存储的属性有了一定了解后，结合实际的需求，我们对存储的实际设置调整为：
上面讲到存储设备EMC CX4-960，而作为存储系统的组成部分，不得不提的是文件系统，此次采用的文件系统是ASFS文件系统，它可以将多台FC阵列转换成支持多服务器并行处理的存储集群，提供高性能、可扩展的文件共享服务，并支持多机工作流或集群环境下的各种应用。
图示7 文件系统结构
在实际应用中，我们必然要考虑到文件系统的高可用性（防止单点故障）、异构性和可扩展能力。
从开始部署，到实际中的应用，使我对ASFS有了更深刻的认识。总结ASFS的特性，可以简单概括如下：
1)异构平台文件级数据共享--采用全局命名空间的特性，支持Windows/Linux操作系统平台间的文件级数据共享。
2)卓越的性能优势--采用直接数据存取模式和带外（out-of-band）数据传输架构，最大限度发挥SAN环境的带宽和性能优势，这一优势在配合高端存储系统和大规模存储环境下表现得更加淋漓尽致。
3)强大的可扩展能力—支持高达EB级的系统存储容量和32TB的巨型文件，支持上亿规模的目录和文件数量。通过增加存储设备，系统可以在线扩展存储容量、IO带宽和负载能力
4)系统高可用能力--采用冗余架构设计的MDC，配合全冗余的SAN架构，支持FC环境下的multipath配置，从而实现存储系统无单点故障，确保存储系统整体连续运行。
文件系统的特性及自身特点可以满足需求后，我们来了解几个文件系统的参数及个参数的作用，最后介绍一下最终参数调整。
1)卷组分配 粒度
当某文件在该卷组上申请资源时，卷组分配资源的最小单位，结合文件大小，节省磁盘空间，提高性能。
在实际的应用中，我们采用的粒度是2MB，该粒度大小是经过与RAID组磁盘数量及存储的块大小（blocksize）计算出来的。也就是我们刚开始讲的做RAID时，磁盘数量多少要与粒度相匹配。文件系统的粒度大小，我们讲EMC存储时，提到了block size的概念。文件系统的粒度要与存储的block size大小相匹配即整数倍，才能达到文件系统的最佳性能。如存储EMC CX4-960 的block size大小为64K，存储提供了92块数据盘，综合考虑下，我们采用了raid5是8+1模式，而文件系统的粒度设置是2MB，所以64（block size）×8（RAID有效磁盘数）=512，而粒度（2M）正好是512的整数倍，这样，文件系统去存储取数据时，能够达到最佳性能。
2）数据块大小
指的是数据卷上的块大小，代表文件系统分配资源的最小粒度，创建文件系统时要选定的，可以很好的配合大小文件的管理，提高I/O请求速度。
数据块的大小尽量与存储系统的blocksize大小成整数倍，这样可以提高存储的性能及执行效率，我们采用的数据块大小为512K
3）卷组策略
卷组策略是我们必须要考虑的问题之一，可分为错误隔离方式和条带化方式。错误隔离方式，在写数据时，是RAID顺序写入。而条带化方式使数据尽可能平均的分布到所有设备上，发挥盘阵的最大性能和背板带宽，使在一次访问中访问该卷组中所有的卷，并发操作，平均利用资源。关于卷组策略，我们采用的是条带化策略，该策略在实际使用中，数据均匀的写在存储的每一个RAID组中，减少了磁盘的I/O响应时间。
该文件系统还有个比较方便的地方是其IE界面可以进行文件系统的状态实时监控，还可以对文件系统的健康状态进行诊断，应用起来非常方便。系统诊断界面，检测文件系统相关资源状况，实时反映文件系统状态，易于操作，遇到问题可以快速定位解决。
最后，我们再说一下文件系统的高可用性。作为文件系统，除了提供强大的功能外，其自身的安全性是必须要重视的内容之一，ASFS的HA高可用管理（High Availability Cluster）：主机工作，备机处于监控准备状况；当主机宕机时，备机接管主机的一切工作，待主机恢复正常后，按使用者的设定以自动或手动方式将服务切换到主机上运行，数据的一致性通过共享存储系统解决，经过我们反复验证，ASFS做到了高可用性，真正实现了主备服务器的无缝切换，从而对外提供7*24小时不间断的服务，如高可用的文件服务器、数据库服务等关键应用，MDS与EMC存储具体连接方法如下图：
图示8 MDS与EMC连接示意图
经过运行实践，作为存储系统的组成部分：EMC存储和ASFS文件系统，都很好的完成了自己所承担的责任，也证明了我们对存储、文件系统等策略调整的有效性。B&P