沉浸式专业视频体验,从AMD开始

微博

QQ

按应用确定存储策略

—— 选择合适的存储组件需要了解整个媒体生态系统

2023-01-17 卡尔·保尔森 依马狮视听工场


按应用确定存储策略

 

为新设施配置端到端系统存储解决方案可能具有挑战性。曾经建立在“存储层”理论基础上的系统是关键的起划分作用的元素。当前,挑战包括管理这些层之间的数据迁移以及为最佳使用和用途定制存储类型。

存储层分配是一个将“连续主动”存储与“不那么主动”存储(即快速存储与慢速存储或批量存储)分开的体系描述。传统存储层设计根据设计时已知的相关活动在存储层之间不断推送数据。随着存储容量要求的增加,更多的驱动器被“投向”系统中。不同的驱动容量产生了差异,性能测量变得不可预测。

随着“云”及其它复杂的存储架构开始起作用,一种不同的技术出现了。以前专用的“分层体系结构”改变了功能,以便利用管理需求、容量、性能和同步的软件解决方案。通过最好的数据存储产品小心地建模,可以使用复杂的数据活动预测和自动化处理新的解决方案。使用单一的存储部件或仅仅使用云支持现代媒体制作活动已不再现实。

 

按类型管理以适应要求

当今媒体资产管理解决方案中及其复杂的结构使得存储管理员能够把存储组合中的变体运用于各种拓扑和工作流程(图1)。软件驱动的方法结合快速闪存及其它主干(NVMe、PCIe)现在允许管理员选择工作流程部分,并将它们紧密结合到为企业中的特定工作流程适当配置的独立系统中。

 

按应用确定存储策略

这个概念图通过从摄取(左)至分发(右)端到端系统化,描述了现代新闻生产相关架构的存储系统的相对规模、性能预期和总工作负荷。在为以媒体为中心的运作计划或扩展新存储系统时,可以利用类似的图示。

 

再加上正转向云的媒体技术比例越来越大,而混合选择在本地和云工作流程中开辟了更广的可能性。

云支持摄取操作,导入来自许多地理位置的内容。根据需要,将集聚的数据放入云平台提供了许多额外的功能,包括以原始形式长期存储内容,以及将内容整合为一个虚拟化分配单元的能力。

了解并明确产生可播出内容的各种步骤,对于确定数据是存储在本地,还是存储在云中,或者两者兼而有之,是至关重要的。将哪些数据放在一个或多个位置的时间和原因相对于特定或目前的工作流程的效率或性能观点,正是定义“按类型管理和满足要求”的因素。

 

不同的存储结构和组成部分

具有不同要求的机构可能需要以与“纯云”架构不相称的速度立即、快速地访问内容;一些工作流程可能不需要云解决方案中提供的额外特性、功能。

对于媒体机构来说,一个工作流程可能只是将“原生”内容直接推入编辑制作。当面对突发新闻或直播新闻的要求时,他们可能需要在与其它工作(包括编辑)并行进行的同时,将新内容直接推送到播出系统。

工作流程往往必须支持多个并行过程、重复的修改,以及为后续的特别节目或专题节目做类似纪录片的准备。在“直播”制作中,原生内容在“直播”之前至少需要“技术预审”。在直接播出之前,可能还需要获得监制的批准或其它审查。

在将数据从摄入缓存迁移到播出服务的同时,代理生成可以从不同的存储平台获得效率提高。虽然有些可能就是需要“头和尾”片段,但另一些可能只是要求中间场景移除或音频泛音。

这些“快与慢”的工作流程例子需要能够快速接受内容,将其转换为“可播出”格式,并将它组装起来,使之适用于需要快速分发的流程,而不是很长或更传统的标记,迁移到编辑缓存,或为了其它制作目的,转移到短期存储。

 

关注元数据

针对任意数量的工作流程或制作/法规的标记或元数据关联并不罕见。元数据集涵盖从自动标记到场景变化检测到详细的内容分析或关于人、地点或目的的评估等活动。根据每个工作流程所需的努力程度,将这些变化放置在不同类型的存储上,可获得额外的好处。

这种根据活动的区分有助于减少负载平衡,并可能减轻“瓶颈”,此瓶颈会拖垮包括处理平台之间多次读/写或传输的其它进程。Kubernetes和微服务结构等其它方法正在利用AI原则提高性能和加快操作。

视工作流程的不同,可以根据使用可用目标的最佳系统方法,将数据重新置于快速磁盘阵列。还可以寻求能够将信息实体化为某一格式、由MAM管理、并在编辑之前发送到云端或直接播出的存储。因此,我们认识到“并非所有存储都是平等创建的”。

 

主动监测

为确保不会出现瓶颈、过度保障或其它随机事件,必须监视高可用性存储系统。

管理存储、处理最佳数据路径和利用基于文件的工作流程活动的管理员主动密切注视存储卷、总系统带宽和这些进程的管理。

一些不那么紧张或非紧迫的活动花较多时间完成它们的操作,当有其它需要更高性能的指令需要立即处理时,最好分配给它们几小时。例如,如果与编辑相关的存储卷应有比迁移目的的简单读取更多的读写,就将那些不太重要的活动转移到编辑工作较少的夜间。

管理员必须定期查看日志,确保正常运行时间、系统加载和安全性问题得到主动处理。

建议包括在高可用性不必要的时候安排升级。建立通知和报告的层次结构,以确定什么时候最佳性能时期需要完全可访问性。如果能够主动监控和报告高可用性工作时间,就可以在无停工情况下支持大多数维护,并且可以根据日常计划表在灵活和方便的时间内进行。

 

极超扩展性

选择合适的存储组件需要了解整个媒体生态系统。工作流程各不相同,因此存储系统管理员必须使用具有足够规模的组件来处理一般的工作流程,但仍提供那些“超活动”,以便在必要时使可用性更上一层楼。在不同的工作流程中,自始至终需要考虑爆发时期的灵活性和容量开销。

通常在“高峰时期”希望有速度和吞吐量保障,但不一定在所有时间。当工作流程接近甚至超越存储基础设施常规容量的极限时,应该预期存储架构会“升级”到更高的级别,以满足短期需求。改动这些活动发生的时间(即改到“下班时间”))可能会减轻高峰期间的瓶颈可能性。

一些厂商可以通过使用“容量模块”扩展来自主地提高系统性能。通常使用NVMe over PCIe架构中的闪存配置附加的支持。这些模块不需要部署在所有存储子系统中;并且可能仅仅局限于你的“最高性能级别”的活动。对需求未雨绸缪要求大规模可扩展性,亦被称为“横向扩展和向上扩展”——这种特别的能力对一次性事件或重大事件(如超级碗、四强赛或突发新闻)可能是必需的。

我们只是触及了现代智能存储管理的表面及其细节。在考虑对当前或新设施升级存储平台或新建存储平台时,一定要注意媒体存储领域中出现的竞争和持续的变化。你可能会对许多新的本地存储系统正在改变那些对媒体制作至关重要的功能感到惊讶。

存储 管理

视听科技视频号 广告
发表评论