随着我国宽带网络系统的迅猛发展,作为宽带网络增值服务中一个非常重要的应用—VOD系统,发展可谓一日千里。近几年来,各地的宽带营运商、电信、教育系统等纷纷构建了大小不一的VOD系统。其系统的结构如下图所示。伴随着VOD用户的不断增长,以上VOD系统结构的不足暴露地越来越明显,已严重影响与制约了VOD业务自身地发展。 其缺陷主要表现在如下几个方面。
(1)同时在线人数已受到旧存储系统的限制 由于系统使用普通的SCSI阵列建成,其有效传输速度有限,达不到多个高带宽流媒体文件的同时请求播放的要求。每台服务器的承载人数只能达到300×450kb/s的流,也就是说,单服务器最多能承担300个用户并发访问。
(2)热门影片无法承受大量用户的并发访问
影视中心一推出当前热门影片后,会有大量的用户点击,由于服务器承载的并发量有限,受限于300人每台。所以当用户数超过这个限制后,就很难为在这个服务器上欣赏影片的所有用户提供流畅的视频服务。也就是说,即便是系统总体能提供300×5=1500个并发访问,但实际上对热门影片的承载能力仅为一台服务器所能承受的最大限度,也就是300个左右。
(3)服务器容错及文件保护性差 使用单台服务器与其他服务器文件相互独立的方式,若单台服务器故障,导致的必然结果就是本台服务器所有的文件全部损坏或无法访问,损坏后,由于影视文件大的特点,在短时间内很难恢复,从而造成了系统服务的中断,严重影响业务的开展。
针对于这些问题,RorkeData公司推出了以ImageSAN为核心的、基于SAN架构的高性能、高可用、高伸缩性的VOD系统。 系统结构如图2所示。与其他SAN文件共享软件相比,在VOD这种典型的SAN+NAS结构(后台SAN,前台NAS)中,ImageSAN具有如下3个显著的优势:(1)SAN的共享卷在ImageSAN里面表现为本地磁盘,具有本地磁盘的所有特性,每个主机都可以面对以太网提供再映射服务。(2)内置动态高可用冗余,确保应用的连续性。(3)无需专门的服务器,节约系统投资。
结合下图与我们的实际案例再对系统进行仔细的分析。
第一:由于每个VOD服务器都能看到相同的SAN存储,同时,这个共享的存储在ImageSAN里面以本地磁盘的方式出现。 因此,在VOD服务器中可以像使用本地盘一样使用这个共享的存储,在Windows Media Server 或者Real公司的Helix Server里面直接将装载点像设置在本地一样设置在SAN共享磁盘上即可。由于所有的VOD服务器都能完全共享与使用SAN存储上面的数据,负载均匀分布在每个VOD服务器上,因此,完全实现了热门影片的承载人数和平台总的承载人数相同这个最理想的目标。
而其他SAN共享管理软件由于磁盘以网络映射盘的形式出现,在装载点的设置上,无论选取本地或网络,都会造成文件无法读取或者文件从以太网上读取的严重问题。
第二:ImageSAN在元数据控制器上使用了由网络自动推选的先进机制,即便是Master主机由于各种原因宕机了,ImageSAN也可以立即从其他Client的客户机中推选出一个新的Master主机来,其切换过程不到1秒钟,切换过程完全自动并对客户透明,客户甚至感觉不到应用系统出现了切换。同样,由于使用了这样的推选机制,ImageSAN完全支持故障回复。(failback),回复过程同样不会中断应用,正因为如此,ImageSAN根本不需要额外购买单独的MDC服务器。
而目前市面上的同类软件,都必须购买独立的高可用附加软件,并且不支持系统自动故障回复。其系统的故障回复必须完全手动进行,同时还必须中断应用。
第三:由于采取了活动/活动的网络负载均衡技术,所有的VOD服务器都处于工作状态,并平均分配负载。任何一台VOD服务器宕机都不会影响系统的总体运行。另外,如果要进行网络的扩展,只需要简单的添加服务器即可,系统性能有几乎有无限的升级空间,其群集主机的最大数量可达32个,使得系统具有非常灵活的伸缩性。
ImageSAN的代理商,在给客户做系统整体解决方案的时候,对客户应用进行了仔细分析,发现VOD系统中还存在着另外一个显著的问题:系统中大部分的数据使用率极低,却占用了大量的存储空间――当然,这是由于VOD这种应用的特性所决定的。但这些使用率极低的数据却占据了大量昂贵的FC存储空间,是非常不经济与不合理的。
针对这种情况,在给客户的实际系统中,我们引入了二级存储。其技术核心为:将系统中长时间(如30天)未使用的影片自动迁移到一个廉价但优质的的、基于SATA技术的存储中去。同时,在FC存储中,保留其原文件的索引。一旦有用户访问到了已经迁移至二级存储的影片,系统会自动从二级存储中将影片回迁至FC存储卷中,供用户观看。 其迁移过程对用户完全透明。如该影片在随后的30天内,如再没别人观看,系统将重新把此影片迁移到二级存储,释放出宝贵的FC存储空间。 系统结构如下图。
此种运行方式特别适合于VOD这种对数据访问的热点与冷点非常不好预估的应用。例如:也许平时张国荣的片子没人看,但一旦传出了他去世的消息,其所拍摄的影片一下成为了热点。在这种情况下,由于第一个点击影片的人已经使其影片迁移至了高速的FC存储,因此,随后的访问者都直接获得了高速FC访问的特性。
在实际的案例中,选用了RorkeData的Galaxy SATA存储,它具有性能高,扩展性强以及价格低廉的特点,其在单控的情况下就能提供每秒超过180MB的传输速率,非常适合于这样的应用。
在本实际案例中,由于引入了二级存储,使客户在得到了更大的存储空间的同时,还降低了系统造价,最终用户非常满意。
VOD系统是一个典型的集SAN、NAS、网络负载均衡群集等技术于一身的应用,与之类似的应用还有:数字化图书馆、医疗系统、科学计算等。文中所提及的技术也完全适宜于这样的应用使用。相信Rorke Data公司一流的产品及方案,必将在中国数字化媒体发展中发挥积极的作用。