微博

QQ

网格计算在视频数据处理中的应用

2006-01-05 谢炜 中国石油大学 / 杜宝森 天津人民广播电台 依马狮网


【摘要】 网格计算是继互联网、Web之后的第三次技术浪潮,被称为“第三代互联网应用”。网格计算正逐渐应用于商业领域和经济领域,本文介绍了网格计算的基础知识和运行机理,重点介绍了网格计算在视频数据处理中的运用。
【关键词】 网格计算  Portal  Broker  GSI  Web服务

 
    一. 引言
    随着互联网技术的迅猛发展,科学研究借助网络环境获得了极大的进步,同时在互联网上形成了大量以计算机系统为主导的计算资源、存储资源、数据资源和仪器设备资源等。研究人员试图将这些大范围地理分布的异构计算机系统和资源整合在一起形成一个大规模的计算平台,其中每一台参与的计算机或者以一台计算机为中心的资源集合就是一个“节点”,而许多这样的“节点”便组成“网格”,网格利用集成的资源,形成了一个大规模的计算池。利用网格的这种超级处理能力,能够解决以前一台高性能计算机无法解决或者不容易解决的大规模科学计算;利用网格中的共享资源,可以处理需要多种资源、多个系统和多门学科的参与的重大应用研究问题。网格不但有助于解决物理、天文、生物、工程和模拟等领域的科学计算问题,同时在商业领域、社会生活和国民经济的各行各业方面具有重大的应用价值。

    二. 网格的特点
    网格是借鉴电力网的概念提出来的,网格的最终目的是希望用户在使用网格计算能力时,就如同现在使用电力一样方便。我们在使用电力时,不需要知道它是从哪个地点的发电站输送出来的,也不需要知道该电力是通过什么样的电机产生的,我们使用的是一种统一形式的“电能”。网格也希望给最终的使用者提供的是与地理位置无关的、与具体的计算设施无关的通用的计算能力[1]。
    网格计算不同于web服务,网格计算具有自身的特点: 
    (1)异构性(Heterogeneous) 。网格系统由分布在Internet 上的不同管理域的各种计算资源组成。包括各类大型机、工作站以及PC 机等不同的硬件环境,运行在Unix、Windows等各种操作系统,采用不同的数据格式文件和数据库。
    (2)可扩展性(Scalability) 。随着计算机系统的不断加入,网格系统的规模随之扩大,应用不断增长,网格必须能适应规模的变化。
    (3)可适应性(Adaptability) 。在网格计算中,某一资源出现故障或失败的可能性较高,网格的资源管理必须能动态监视和管理网格资源,从可利用的资源中选取最佳资源服务。
    对于网格提供的计算能力,有四个基本的要求,它们分别是可靠性要求、标准化要求、易访问性要求和价格低廉的要求[2]。
    网格的可靠性是指网格提供的计算能力必须保证是持续、稳定和安全的,网格内部局部资源的变动对网格应用应该是透明的,网格还应该满足各种形式的安全保障,比如数据传输的加密,权限的认证,避免非法入侵和非法使用等。
    网格的标准化要求是指网格资源之间应该有一个统一的可以相互访问的接口或者协议标准,因为只有这样才能够实现网格资源的互操作,继而实现充分的资源共享。另外,网格对用户提供的计算能力应该满足一定的标准,有一种比较统一的形式,从而便于以一种统一的方式进行访问。
    网格的易访问性要求是指用户可以在任何时间,任何地点,以自己习惯的统一的形式访问和使用各种网格资源。网格计算能力可以通过网格系统输送到任何角落,随处可得。
    网格费用的低廉性要求是网格能够普遍接受和推广。网格技术通过将资源充分共享,最大限度发挥资源的使用价值,可以将原来闲置和浪费的资源收集起来供网格用户使用。
    Globus Toolkit是用来开发基于网格的应用程序的软件工具包,作为开放网格服务基础设施(Open Grid Service Infrastructure, OGSI)的参考实现,Globus Toolkit提供了基于开放网格服务架构(Open Grid Service Architecture, OGSA)和Web服务架构建立网格服务的基础平台。这些服务可以实现资源共享、任务日程安排与组织,还可以访问网格上的各种分布式资源。以下的介绍是基于Globus Toolkit平台。

    三. 网格环境中的组件
    通过对网格环境中的主要组件的描述,来理解网格计算的运行机理[3],如图1。

网格计算在视频数据处理中的应用
图1 网格用户视图

    1.门户网站/用户界面
    正如消费者将电力网格看作墙上的插座一样,网格用户不应该看到计算网格的任何复杂性,用户只需将网格看作虚拟的计算资源。用户通过Web门户网站(Portal)启动应用程序,该应用程序将使用网格所提供的资源和服务。
    2.安全性
    在任何网格环境的基础部分,都必须提供安全性的机制,安全性包括认证、授权以及数据加密等。Globus Toolkit的网格安全性基础结构(Grid Security Infrastructure,GSI)组件提供了健壮的安全性机制。一旦认证了用户,就创建代理证书,并在网格内执行操作时使用该证书。在设计网格环境时,可以使用GSI登陆来授予对门户网站的访问权,也可以有自己的门户网站的安全性。然后,该门户网站将负责使用该用户的凭证或使用该门户网站所有已被授权用户的一组通用凭证登陆到网格。
    3.代理程序
    一旦认证被通过了,用户就会启动一个应用程序。根据该应用程序,下一步是确认网格中可用的和适合使用的资源,可通过代理功能(Broker)来完成该任务。Globus提供一个基于LDAP的监控和发现服务(Monitoring and Discovery Service,MDS),此服务主要完成对网格计算环境信息的发现、注册、查询、修改等工作,其处理的信息主要是网格计算环境中的各种资源和服务。
    4.调度程序
    一旦确认了资源,从逻辑上讲,下一步就是调度在这些资源上运行的单个作业。如果要彼此互不相干地执行一组独立作业,那么可能并不需要专门的调度程序。但是,如果为了确保应用程序中的各个作业并发地运行,那么就应该使用作业调度程序(Scheduler)来协调这些作业的执行。
    5.数据管理
    如果任何数据都必须移到应用程序作业执行所在的节点上,或者必须使这些节点可以访问这些数据,那么就需要有安全和可靠的方法来将文件和数据移到网格中的各个节点上。GlobusToolkit提供了对辅助存储器的网格访问(Grid Access to Secondary Storage,GASS),它包含了诸如GridFTP之类的工具。GridFTP构建在标准FTP协议之上,但是它添加了其他功能并利用GSI进行用户认证和授权。因此,一旦用户拥有了经过认证的代理证书,他就可以使用GridFTP工具来移动文件,而不必在所涉及的每个节点上都要执行一遍登陆过程。
    6.作业和资源管理
    网格资源分配管理器(Gr

视听科技视频号 广告
发表评论