微博

QQ

面向下一代媒体融合网络的内容分发技术

2016-10-11 孙剑峰 内蒙古广播电视台 传播与制作


  【摘要】 本文通过介绍CDN采用的关键技术,探讨了内容分发在下一代媒体融合网络中的应用,并提出了面向媒体融合网络的CDN与P2P、云计算融合的网络架构,有效的利用网络资源,提升网络性能,提升广播电视媒体在三网融合中的竞争力。

  【关键词】媒体融合 CDN IPTV NGB P2P 云计算

一.引言

  网络新媒体不仅可以实现点对面的媒体传播,还具有点对点、即时、互动、个性化、多形态的传播特性,弥补了传统媒体无法即时互动传播的局限。

  在网络新媒体的冲击下,传统广电媒体积极探索和实施广播电视媒体的转型,广播电视网、互联网、通信网不断地交叉融合,推动了融合媒体网络的发展。广电媒体应将传统媒体和新媒体进行融合并开拓新的发展空间,打造全媒体融合的网络传播平台,将数字化、网络化的新媒体技术和传统媒体技术结合,打造新的传播手段。

  基于TCP/IP的互联网体系在本质上并不是给媒体传输设计的,而是一个信息交换的网络,不是一个媒体的网络。在互联网时代,媒体内容的发布和分发,不仅要有高效、灵活、可扩展、易于部署等特点,又需要有带宽效率、质量保证、安全控制等保障。因此基于三网融合的媒体内容分发既要考虑全媒体传播的特征,又要充分发挥不同体系架构网络的优点,取长补短、互为补充,将各自的优势技术结合起来发展智能融合的媒体内容分发网络。

  内容分发网络(Content DeliveryNetwork,CDN)是在已有的基础设施网络上构建的一种内容传输覆盖网,是现有互联网体系结构的一种延伸。它通常采用分布式缓存、负载均衡、内容重定向、流量工程等技术,通过将内容从源服务器推送到网络边缘设备,使得用户的内容访问可以在就近的位置得到快速的响应,同时,缓解了中心源服务器的负荷压力,也降低了骨干网络的负载流量,降低了端到端时延,提高了服务质量和用户使用体验。

  内容分发网络的基本架构主要由分发服务系统、负载均衡系统、运营管理系统等几大部分构成,如图1所示。分发服务系统主要作用是响应用户的内容请求、实现内容从源服务器到边远的推送和存储,以及内容数据流在全网的实际分发工作。负载均衡系统是CDN的核心,其作用是负责对用户请求进行调度,它根据分发服务系统的内容分布情况和网络状况等信息,选择最佳的用来响应用户请求的边缘缓存服务器,并将确定的服务器地址返回给用户。运营管理系统则是对CDN网络的运行进行统计管理的接口和界面,包括运营情况的管理和网络运行情况的管理。

  CDN网络通过监测各个节点和服务器的网络参数如负载、吞吐量、健康状况等,在网络发生突发状况时,及时将性能恶劣的节点剔除,使整个网络性能更好,更稳定。

  因此,如何将CDN技术应用到下一代媒体融合网络,从而支撑起未来庞大的多媒体数据业务,是每一个广播电视从业人员需要学习和实践的内容。

面向下一代媒体融合网络的内容分发技术

图1 CDN基本功能结构图

 

二.CDN关键技术及应用

  内容分发通过将数据中心的内容发送到CDN网络边缘的缓存服务器上,靠近用户已达到减少访问响应时间。传统的内容分发方式有PUSH和PULL两种。

  PUSH是主动分发技术,将内容从数据中心推送到边缘服务器。采用PUSH方式推送的是热点内容,通过预先将这些热点内容发送到边缘服务器,可以满足绝大多数用户的需求,不需要大量地访问数据中心,避免造成网络拥塞。

  PULL是被动分发方式,一般情况下从用户主动请求开始。如果用户请求的数据不在本地边缘服务器时,该服务器就会使用PULL方式从中心节点或者其他邻接CDN节点上获取所需数据。

  (1)内容缓存技术

  在视频点播环境下,用户视频访问速度的提高是提升用户体验的关键。用户的视频访问速度与服务器的响应以及网络传输状态等因素有关,其中服务器对用户请求的响应是主要因素。在内容分发网络中,高效的缓存算法在减少服务器的负载和延时方面发挥出很重要的作用。

  内容缓存技术就是在缓存中存储内容副本,用缓存中的内容副本为后续访问的客户端提供服务。通过内容缓存,用户向源服务器发起的内容访问就变成了用户到缓存服务器和缓存服务器到源服务器的两次访问过程。

  缓存可采用独立缓存或协同缓存,独立缓存是用作缓存的服务器相互独立,协同缓存由服务器集群组成,集群中的缓存服务器根据缓存协议协同服务,这也是CDN中最常采用的缓存设计方案。

  (2)负载均衡

  CDN系统主要通过负载均衡实现内容路由的功能。负载均衡是将用户的请求重定向到距离用户最近的边缘服务器上。在进行负载均衡的时候需要考虑到当前网络的拥塞状况、每台边缘服务器的性能以及负载状况。负载均衡系统是CDN的核心,关系到整个CDN的工作效率和服务质量。

  负载均衡算法分为静态算法和动态算法。静态算法没有考虑当前时间网络拥塞情况和服务器负载状况,按照设定好的均衡策略分配任务,实现起来比较简单,执行效率高,但是适应性差。动态算法可以考虑实际运行中服务器的负载情况,根据不同的负载状况对服务器使用不同的负载均衡算法。

  最 简 单 的 静 态 算 法 是 随 机 算 法(RAND),将到来的请求以相同的概率随机重定向到整个网络的服务器中。轮询(RR)算法是以循环的模式将请求依次分发到每个服务器上,经过一定时间,每个服务器都处理相同数量请求。

  该算法适合集群中服务器负载能力差异不大的情况。

  最小负载算法(LL)的动态算法是将请求重定向到当前负载最小的服务器上来实现整体的负载均衡,不足之处是会导致负载最小的服务器在短时间内快速达到过载状态[1]。动态算法还可以根据响应时间选择合适的服务器,最终达到用户整体响应时间最小的目标[2]。

  (3)内容管理

  内容管理是CDN系统的重要组成部分,通过网络流量管理,定期对服务器的工作状态进行探测,收集网络节点的状态信息,记录其健康状况。当发现工作状态异常的服务器时,可以及时将该服务器的负载任务转移到健康的服务器上,从而保证整个网络工作在健康的状态。此外,还可以利用内容感知技术,尽量将用户的访问请求定向到存有该内容的副本服务器,提高命中率,减少响应时间,提高用户体验。

  内容管理包括三个方面:本地内容索引,包括缓存服务器上存有内容的名称、具体的URL、访问的内容等。本地内容更新,利用HTTP响应中的头信息判断该内容是否需要更新,若需要更新,本地缓存服务器会向源服务器发出请求验证。本地设备状态信息,包括本地设备是否健康,性能是否良好,以及用户访问内容的动态变化。

  (4)CDN在IPTV中的应用

  CDN技术可以将大量流媒体内容预分发到本地网络的边缘服务器中,利用这些服务器响应距离较近的本地用户请求,达到缓解骨干网压力和减少用户响应时间的目的。

  服务器的性能千差万别,将大量用户请求分配到距离最小的服务器上会造成一部分服务器过载,一部分服务器空闲的局面。CDN的负载均衡技术可以实时根据服务器负载情况和链路流量,动态分配请求的去向。对于某些突然失效的节点,可以及时地调用附近空闲节点进行替代,使整个网络保持健康的状态。最佳节点可以根据不同的优化目标进行选择,如时延距离最近、节点负载最轻和服务最可用等。

  CDN的预分发及存储技术可以使大多数请求在本地网络中被响应,不需要将请求重定向到媒体中心。通过对IPTV系统中用户点播行为进行分析,发现点播视频热度分布类似于系数为0.8的Zipf分布[3],即80%用户的点播请求集中在20%的视频上。传统的缓存机制是在边缘服务器中缓存20%的热门视频内容,来提高请求命中率,但视频文件一般都非常大,不利于存储和传输处理。为了解决这些问题,可以使用基于切片技术的部分存储机制,将视频文件分成一个个小段[4],利于分布式存储。同时,边缘服务器中将10%的视频内容完整存储,30%的内容存储其一半,剩余的冷门视频只存储开头段。其中具体的参数和缓存策略还可根据覆盖用户的偏好进行重新定义,内容的分布也可以随着热门程度自动调整,从而系统整体的服务质量。

面向下一代媒体融合网络的内容分发技术

图2 IPTV系统网络架构

 

三.下一代媒体融合网络的智能分发技术

  1.CDN在下一代媒体融合网络中的应用

  NGB具有全程全网、宽带双向、内容汇聚等优势,大幅提高了网络接入速度和资源整合效率;在业务上有着互联互通、开放共享的特点,提供高清视频点播、视音频通信和网上冲浪等融合业务以及其他信息传播业务。

  CDN根据用户地理位置、链路带宽、服务器负载状况等参数将用户请求重定向到访问速度最快的服务器上,同时负载均衡系统合理分配资源副本,提高网络整体容量。此外CDN具有易于管理、内容保护和线性扩展的优势。鉴于以上特点,下一代媒体融合网络可将借鉴CDN的分发技术,满足网络互联互通,实现跨区域内容分发和调度的功能。

  NGB的协议体系架构包括应用层、传输层、网络层和物理层,其协议体系如图3所示。物理层包括了广播传输和双向传输两部分。根据二八原则,网络中80%的用户关注的是网络中20%的内容,利用全局负载均衡调度算法,通过广播传送共性内容,通过双向传送个性内容,缓解内容冗余传输带来的巨额网络流量压力,节省双向流量,降低网络运营经济成本。

  网络和传输层采用基于I P和T S的架构,支持已有的用户数据报协议(UDP)、传输控制协议(TCP)、实时传输协议(RTP)等面向连接的流媒体技术协议,也支持目前较为先进的基于HTTP的动态自适应流(DASH)协议,同时支持增强型网络编码PLUTE+协议,以及同时适合广播和双向网络传输的打包格式。物理层、网络和传输层都支持NGB的内容分发功能 ,同时支持广播、组播和点播业务。

  在内容分发网络架构下,NGB可以实现多种多媒体交互应用,包括高质量音视频传输、交互电视、智能EPG以及文件共享等。

面向下一代媒体融合网络的内容分发技术

图3 基于CDN的NGB体系

 

  2.CDN-P2P融合型内容分发

  P2P技术在应用层构建了一个对等节点网络,每一个对等实体Peer既可以作为客户端下载数据,也可作为服务器为其他Peer提供所需资源。P2P技术将源服务器的负载分摊到众多Peer上,减轻了源服务器的压力,原本集中到源服务器的访问流量更多的分散在本地的自治域网络,用户可以从邻近的多个节点直接获取数据,传输速率大大提高。加入P2P网络的节点首先连接到一个集中式的节点列表服务器(称为Tracker),从Tracker获得一个初始节点列表并加入覆盖网络,定期与邻居节点交换数据更新成员节点信息,根据节点列表中的信息动态地选择合适的节点收发数据。单个节点的加入和退出不会对网络的稳定性造成太大影响,因此P2P技术具有很强的扩展性。

  CDN的网络容量取决于服务器数量,建设成本昂贵。P2P技术扩展性好,但不易管理节点。两者优势互补,建立一个CDN-P2P融合型内容分发网络很有价值。

  如图4所示,根据引入P2P技术的位置不同,混合架构可分为两类:一类是在CDN的边缘服务器之间引入P2P 技术,实现边缘服务器之间的内容共享;另一类是在边缘服务器下引入可管理的P2P自治域,域内的终端用户之间可进行P2P分发。由于CDN网络是一种分域网络,特定域内的边缘服务器数量有限,在这个域内引入P2P并不能给网络容量带来质的飞跃[5],第二类架构充分利用了终端用户的资源,边缘服务器作为一个特殊的Peer可以有效管理覆盖的P2P自治域,网络性能大大提升。

面向下一代媒体融合网络的内容分发技术

图4 CDN-P2P两种混合架构

 

  3.基于云计算的内容分发

  传统的CDN网络容量仍然受限于边缘服务器的性能及数量,云计算有效解决了该问题。

  首先,云计算提供了低成本海量云存储空间,实现在CDN的多个边缘云服务器缓存同一文件的不同片段,用户能够从多个服务器同时接收该文件数据,大大提高了传输速率。此外,利用云计算虚拟化技术可以根据文件的热度和用户偏好实现动态存储,还可以根据用户的需求迅速调整服务器的数量和处理能力。最后,利用云计算强大的管理功能,可实现边缘存储之间的统一管理和资源共享。

  如图5所示,云架构CDN通过虚拟技术将物理资源虚拟成一个资源池,云平台对CDN的负载情况进行实时监控,同时,采用其智能的自动管理和动态调度策略,使得各边缘存储服务器构成一个协同配合的统一资源对外提供内容加速服务。

面向下一代媒体融合网络的内容分发技术

图5 基于云平台的CDN网络架构

 

  目 前 , 国 内 外学者提出了很多基于云平台的内容分发算法,考虑到了云节点的存储代价[6]和云节点的带宽上限[7],将带宽作为服务质量的硬性指标,遍历所有云节点寻找最优内容分发路径。同时可以解决资源预留和内容缓存的算法[8],使用基因算法获得最优解,优化最小化云服务器的租用成本和请求重定向带来的成本。

四.小结

  CDN技术可以有效增加网络带宽和提高服务质量,其优越性已在互联网中得到验证。随着全媒体融合时代的到来,下一代媒体融合网络即将全面实现,广播电视媒体在网络上市场规模的将进一步扩大,CDN技术在广播电视媒体中也将起到越来越重要的作用。CDN技术与P2P、云计算等技术相结合也展现了新的生命力,相信不久的将来,在下一代媒体融合网络中CDN技术也会被大规模使用。 B&P

参考文献

  1.Dahlin M. Interpreting stale loadinformation[J]. IEEE Transactions on Parallel &Distributed Systems, 1999, 11(10):285-296.

  2.Carter R L, Crovella M E. Serverselection using dynamic path characterization inwide-area networks[C]// IEEE Infocom 97Sixteenth Joint Conference of the IEEE Computer& Communications Societies Driving the InformationRevolution. IEEE, 1997:1014-1014.

  3.庄一嵘, 梁洁, 陈戈,等. IPTVCDN用户点播行为分析与建模[J]. 电信技术, 2014(3):79-81.

  4.徐贵宝. CDN网络及其在IPTV中的应用[J]. 现代电信科技, 2005(11):38-42.

  5.吴宏建, 何秀淼, 邓东丰. IPTV网络中CDN和P2P结合的技术分析及研究[J].现代电信科技, 2009, 39(5):14-17.

  6.Mills K A, Chandrasekaran R,Mittal N, et al. Heuristic Replica PlacementAlgorithms in Content Distribution Networks[J].Journal of Networks, 2011, 6(3):1 - 4.

  7.雷起. 基于云平台的多约束流媒体内容分发方法研究[D]. 郑州大学,2014.

  8.Hu M, Luo J, Yang W, et al.Practical Resource Provisioning and Caching withDynamic Resilience for Cloud-Based ContentDistribution Networks[J]. IEEE Transactionson Parallel & Distributed Systems, 2013,25(8):2169-2179.


媒体融合 CDN IPTV NGB P2P 云计算

视听科技视频号 广告
发表评论