微博

QQ

存储虚拟化在广播数字化中的应用

2009-08-10 蒋伟平 依马狮广电网


一. 存储虚拟化在广播数字化中的必要性
     近些年来随着数字化、信息化在广播电视行业的广泛应用,用户数据的积累越来越多,数据存储的安全稳定成为广电企业技术部门最大的目标。
     随着业务的发展,数据量大幅增长,存储设备的投入在生产投入中的比重逐渐加大,而50%到60%左右的存储利用率对存储资源又造成了巨大的浪费。相反地,存储投入所带来的收益却并不高,因此,如何提高存储资源利用率的问题,成为现实需求,也是存储虚拟化发展的一个重要原因。
相同厂商不同类型的产品如何访问,不同厂商之间的产品如何能够很好的进行兼容,这些都是摆在我们技术部门面前需要解决的问题。这种问题解决了也就能够节省投资,方便管理。存储虚拟化把用户的分立的、不同品牌的存储产品、不同连接方式下的产品统一到一个大的存储系统下,用户看见的不再是孤立的、分散的系统,而是一个统一的整体。用户管理的也是一个整体存储,而不是一个一个的具体的系统。
     光纤通道的引入为分布式存储系统的应用扫清了道路,使得异构主机能够在分布式存储系统中实现共享。“存储公用设施模型”要求存储系统的管理处于集中控制之下,同时允许分布于不同地理位置的主机能够访问集中管理的数据,用户不必考虑存储设备的布局方式、采用何种存储系统以及资源如何配置。
     要使"存储公用设施"从理论走向实用,存储系统必须满足下列要求:
     ·支持从异构主机到异构存储系统的透明访问。即服务器可以运行异构操作系统,例如Sun Solaris、HP-UX、Windows或Linux等等。存储设备可以来自不同的供应商,无论是EMC、康柏、Sun还是戴尔公司的存储设备,都可以顺利地接入系统;
     ·支持24×7小时的数据可用性;
     ·高性能的数据访问;支持数据保护和恢复;
     ·数据安全性—只允许有访问权的用户进行访问相应的数据;
     ·平滑的存储容量扩展—存储网络上添加存储设备的过程对用户透明,而且任何服务器都不需停机;
     ·透明的数据迁移—由于系统故障或者存储系统重新配置所进行的数据迁移不改变用户访问数据的方式;
     ·存储系统在线重新配置—当用户请求新的存储需求或要求访问权限调整时,不会中断其他用户的数据访问。
     存储虚拟化是支持存储公用设施模型的关键技术,是安全可靠的动态存储池,可以适应和包容丰富多样、迅速发展的存储设备,具备为异构服务器和客户机提供服务的能力。

二. 存储虚拟化解决架构
     目前业界主要采用的以下三种架构解决存储虚拟化问题,
     第一类,我们称之为集中式文件系统,以lustre和panasas为代表,即所有数据的元数据都集中在一台服务器上,左侧的客户端需要访问素材时,需要得到元数据服务器的授权,如果这台服务器出现问题,整个存储系统都将崩溃。我们以假想中的电话机交换系统为例,如果全国的电话通讯都需要经过北京的核心交换机来连接,那么某一天北京的交换机出现问题时,整个国家的电话系统瘫痪。所以我们看到这种架构单点和扩展性的局限性。

存储虚拟化在广播数字化中的应用


     第二类,我们称之为锁式文件系统,以HP的polyserve为代表,即客服端服务器需要访问某个素材时,和此客户端连接的IO服务器需要通知其它N-1台服务器将此素材的权限释放出来,这样每增加一台,IO服务器内部的报文增加N倍,所以随着数目的增多,整个存储系统的内部报文将占用大量网络流量。如果我们假设全国的电话机交换系统,从西安打电话给大庆某个单位,需要告诉其他所有城市不要占用此号码,如果这样的话,我们电话机交换系统没法扩展到现有规模。所以此类的文件系统的扩展性存在一定的问题。

存储虚拟化在广播数字化中的应用


     第三类,业界使用并行文件系统,以ibrix为代表,即将元数据平均分布到所有的IO服务器中,这样类似我们现行的电话机交换系统,比如从西安打电话给大庆的0459-410-2587,将信号切换到西安交换机时,西安交换机只处理0459这个区号,查询到是属于大庆市的,然后在大庆的交换机中只处理410,发现属于红岗区,最后在红岗区的交换机上连接到2587这个号码。同样的道理,IBRIX是将每个文件11位的inode编号按照电话号码的系统分配。

存储虚拟化在广播数字化中的应用


     元数据平均分配在所有的segment服务器上,并且在后面的存储端各个空间均有一份。从而避免某台segment服务器出现问题,影响整个系统。每一个文件通过一台segment服务器写到自己的存储空间中。比如下图的橙色服务器只能写入橙色空间,将写权限分给各台segment服务器中。

存储虚拟化在广播数字化中的应用


     在没有IBRIX存储虚拟化之前,存储空间每做出一个LUN都会在windows下形成一个盘符,这样不是很有利于查找和共享文件,存储虚拟化之后,客户端获得一个大容量的盘符,数据充分共享。而且文件从各个segment服务器进入存储空间,并行写入,segment服务器越多,同时能够处理的文件数目越多,整个存储系统吞吐量越大。

存储虚拟化在广播数字化中的应用

三. 存储虚拟化在广播应用的优势
     目前运行在音频网中的服务器端都是在windows操作系统平台下运行的,这些服务器都担任的单一的或者对应的工作应用,由于这些服务器站点相对分散,所以给维护造成一定的麻烦。对于硬件的资源利用率没有一个整体的规划划分,由于系统的原因在单盘容量上还有一定的限制,这就造成了使用中硬件资源的相对限制。在管理维护过程中不能进行关机检修,并且在问题到来是往往机器不能自动切换群集管理造成了问题隐患。在数据的同步和备份统一中始终不能进行时时的一致总会出现迟缓。
     使用存储虚拟化文件系统之后,下面的应用优势特别明显:
     ·盘符不受2TB的限制
     ·文件和SQL数据库分离,播出和制作分开
     ·镜像功能
     ·无需每年交纳服务费
     ·管理界面简单
     ·在线扩容、在线维护 [Page]
     ·异地备份
     ·无单点故障全冗余
     ·Linux操作系统更稳定,集群更安全
     ·Linux服务器避免病毒侵袭

四. 存储虚拟化的应用
     目前运行在音频网中的服务器端都是在windows操作系统平台下运行的,这些服务器都担任的单一的或者对应的工作应用,由于这些服务器站点相对分散,所以给维护造成一定的麻烦。对于硬件的资源利用率没有一个整体的规划划分,由于系统的原因在单盘容量上还有一定的限制,这就造成了使用中硬件资源的相对限制。在管理维护过程中不能进行关机检修,并且在问题到来是往往机器不能自动切换群集管理造成了问题隐患。在数据的同步和备份统一中始终不能进行时时的一致总会出现迟缓。
     构建在IBRIX文件系统下的系统,网络中采用双线连接,绑定单一IP在系统中出现。我们采在网络下的本地播出对网络中的盘符映射到播出站的硬盘中,现有的主服务器作为SQL的服务器只对制作产生影响,制作上单直接制作到主播出站,同时备播和服务器做相应sql拷贝保证SQL的备份。
在整个系统中采取双网络连接,机器和机器、机器和交换机中间都采用双光纤连接,播出站双网卡连接绑定同一IP,这样在网络中采用了双保险连接,备份播出站做拷贝完成正常的本地播出。
     从播出方面,实现了网络化的本地播出,上单中数据库直接写到本地播出站再对备机和服务器进行相对的拷贝作为备份使用。没有了固定的播出服务器,这样分散了故障点不会出现单一服务器故障造成所有网络播出站都无法播出。存储端可以进行在线的扩容和维护,可以对某一单个节点进行维护,这样对于整个系统没有任何影响。同时解决了存储之间的文件按同步问题,时时的写入2份或者多份系统这样对于备份工作有个更好的解决
     从存储方面在阵列群出现单一网络的问题时不会造成用户的使用问题,ibrix可以自动解决单一网络故障带来的问题。

存储虚拟化在广播数字化中的应用

视听科技视频号 广告
发表评论