微博

QQ

网络电视节目生产中的淘汰策略

2005-10-12 北京北大方正电子有限公司 陈宁 依马狮网


    在网络电视节目的生产过程中,存在着采集、编辑、转码、加密、分发等多个环节,电视节目内容在这些环节当中经历了从素材到成品的嬗变,同时也不可避免的形成了大量中间文件,如何对这些中间文件进行淘汰,是网络电视节目生产需要关注的问题之一。
    我们知道,视音频文件普遍容量较大,需要占用巨大的存储空间,这不仅带来了存储成本的上升,也加大了节目管理的难度。如果适时的对这些内容进行清空、删减、移除等处理,将会降低节目存储的空间,减轻节目管理的压力,从而使得网络电视节目的生产更为高效和顺畅。这就是我们在网络电视节目生产当中引入淘汰机制的初衷。
    为了更好的阐述在网络电视节目的生产过程中如何进行节目淘汰,首先要说明哪些生产环节涉及到节目存储,然后根据对应的存储特点以及应用要求,有针对性的选择内容淘汰的方式和策略,实现网络电视节目生产过程中存储空间的优化和系统性能的提升。

    网络电视节目的存储特点

网络电视节目生产中的淘汰策略
    如上图所示,我们可以清晰的看到素材采集、素材管理、节目制作、转码加密、节目分发是与视音频节目存储紧密相关的五个生产环节。电视节目从最初的播出信号、录像带介质等经过压缩编码处理成为素材文件,进入到素材节目存储系统当中;素材被节目制作环节调用,经过编辑处理形成内容完整的半成品节目,进入到半成品节目存储系统。根据运营需求,半成品节目还要经过后期转码处理,形成不同格式、不同码率的节目文件,以适应于电脑、电视、手机等不同的终端和传送渠道;转码后的节目经过打包加密处理,具备数字版权保护能力之后,形成成品节目,进入到成品节目存储系统;最终的成品节目依照设定的分发策略往电信运营商的存储网络分发。
    从中我们也可以看到,视音频节目的存储主要分为两类:临时文件存储和节目文件存储。临时文件存储出现在素材采集和节目转码加密两个环节。在素材采集环节,压缩编码的任务由采集工作站担负,需要对存储设备执行持续的写入操作。为了保证这一过程的高效和稳定,存储设备直接选用本机硬盘,作为临时存储系统,等待一个或一批素材采集完毕之后,再上载到素材存储系统之中。在节目转码加密环节,转码系统需要对编辑完毕的节目进行多种格式和码率的转换,该任务由转码工作站完成,同样是持续写入操作,所以仍旧选择本机硬盘作为临时文件存储设备,等待后续打包加密系统的调用处理。如果后期转码工作站以集群的形式出现,则使用统一的存储设备作为临时存储空间。
    节目文件的存储分为素材节目存储、半成品节目存储和成品节目存储,分别对应着素材管理、节目制作和节目分发三个生产环节。素材管理接收采集形成的节目,为节目制作提供素材支持。为了保证后续制作、转码工作的需要,素材要求保存较多的内容和使用较高的码率,要求存储系统提供较大的空间支持。在节目制作环节,编辑人员调用素材内容,经过剪切、合并等操作处理后,将编辑完成的节目上载到半成品节目存储系统中,该系统存储的同样是高码率节目。相对素材存储来说,半成品节目存储的内容数量要少,保留的期限也要短。节目分发环节对应的成品节目存储,它保存的是转码加密后的成品节目。由于存在着多种应用终端和传输渠道,同一内容的节目就形成了不同格式、不同码率的多个版本,造成节目数量的成倍增加,不过节目的码率相对较低。当成品节目成功传送到电信运营商的存储系统后,成品节目存储系统就无需继续保存该节目了。
    需要说明的是,不同于临时文件存储的小容量,素材节目、半成品节目、成品节目的存储往往规模庞大。所以通常的做法是采用统一的存储设备来降低采购成本,通过划分逻辑空间来独立使用,方便为不同的应用设置相应的存储和淘汰策略。

    淘汰方式的选择
    在网络电视节目的生产过程中,对于中间文件可以采用多种淘汰方式来处理,比如清空、删减和移除。淘汰不同与平时所说的删除。删除针对的是不合格、无效的节目,对其执行删除操作后,会由后续的工作流程控制完成重新采集、重新制作等弥补工作,日志记录和统计分析也将对其进行特定处理。淘汰则是为了将临时的、过期的节目清空、删减、移除,腾出存储空间供后续的节目生产继续使用,被淘汰的节目不存在任何问题,相应的日志记录和统计分析也与删除不同。
    清空主要是针对临时文件存储来说的,中间临时文件在完成其使命后,通常是上载到新的存储空间或者转换为其它的格式,这些中间文件已经没有继续保留的价值,采用清空的淘汰方式,就是将其彻底的删除,通常节目不可恢复。
    删减主要是针对节目文件存储来说的,就是按照预先设定的淘汰策略,自动或手动的将一部分节目(比如素材节目、半成品节目、成品节目)从存储设备中剔除。对于素材节目,删减后是不可恢复的;对于半成品节目,删减后可以根据素材文件以及节目编辑时记录的打点信息进行恢复;对于成品节目,删减后还可以根据半成品节目重新转码、加密生成。
    移除也是针对节目文件来说的,主要针对还有使用价值但是却不经常使用的节目(特别是素材节目),移除就是将它们从在线存储设备移动到廉价的离线存储设备中,如果今后还要用到,则可以从离线存储设备中再迁移回来。

    淘汰策略的选择
    在网络电视节目的生产过程中,可以从空间和时间两个角度考虑节目的淘汰策略。从空间角度来说,主要是定义存储的水位线,当节目存储容量超出水位线时,将按照设定把一些节目进行淘汰。从时间角度来说,每个节目或者节目分类可以设定保存期限,系统定时检查节目是否到期,到期的节目将被淘汰。
    由于空间淘汰策略的误删除风险较高,管理起来也比较困难,网络电视节目生产过程中更倾向于采用时间淘汰策略。在淘汰策略的执行上分为自动执行和人工手动执行两种,一般根据实际应用情况来灵活选择。

    网络电视节目的淘汰运用
    在明确了网络电视节目生产过程中的存储特点,以及可供选择的淘汰方式和策略,下面以央视网络电视的应用情况为例,来说明方正在网络节目生产过程中是如何设计运用淘汰策略的。

网络电视节目生产中的淘汰策略

    如上图所示,我们可以清楚的看到央视在网络电视节目生产中所采用存储和淘汰策略,下面进行逐一分析说明。
    在素材采集阶段,每台采集工作站负责一路电视节目信号的采集,每天采集大约10个小时的2Mb/s码率素材节目。采集工作站配置40G的硬盘,能够存储大约40小时的节目。考虑到节目制作的时效性,采集完毕的素材会立即上载到素材存储系统,上载成功后本地的素材节目将自动淘汰。这种即时清空的淘汰策略保证了采集工作站可以长期的自动执行,无需人工干预维护。在上载过程出现网络、设备等异常的情况下,素材将一直保存在本地,等系统恢复正常时再自动上载到素材节目存储系统中。
    央视每天采集的素材节目大约100个小时,90G左右的数据量,采集后上载到素材节目存储系统。为了后期节目的编辑使用,这些素材通常需要保存1~12个月的时间,央视分配了15T的空间来进行素材节目存储。淘汰策略是根据素材节目内容的不同来分别设置的,比如新闻类等时效性较高的节目,通常只保留1个月,而电视剧等时效性不高的节目,通常保留6~12个月。要淘汰的素材节目根据其再利用价值,采用删减或者移除的策略进行处理。相对来讲,大部分要淘汰的素材都以手工方式转移到离线存储设备中,素材节目存储系统仅保留最新和最频繁使用的内容。
    央视根据采集的素材每天要生产大约60个小时的2Mb/s码率半成品节目,50G左右的数据量。这些半成品节目的保存期限通常为3个月,需要5T左右的存储空间。半成品节目在删减时,可以选择是删除整条记录还是仅删除视音频文件。如果是删除整条记录,那么该节目将不能再恢复;如果仅删除视音频文件,那么该节目还可以根据素材和记录中的编辑打点信息重新生成。正是由于这种可以快速重新生成的特性,半成品节目在淘汰策略的选用上,往往是直接删减,而不必移动到离线存储设备中保存。
在后期转码阶段,央视使用多台转码工作站并行工作,采用1T容量的存储设备进行统一临时文件存储。转码后的临时文件进入加密处理队列,在成功加密后,该临时文件被自动删除,按照即时清空的策略进行淘汰。
  

方正

视听科技视频号 广告
发表评论