微博

QQ

BBC研发部研究机器学习如何为视频着色 

2021-05-07 依马狮视听工场


BBC研发部研究机器学习如何为视频着色 

BBC研发部团队一直在研究机器学习如何帮助给存档黑白视频着色。

在一篇博文中,该团队透露,他们正在研究如何用其他有相似内容的彩色图像引导彩色化处理,给黑白图像着色。

该博文解释说,从灰度输入中映现颜色可能是一项复杂的任务。“例如,一辆汽车可能是红色、蓝色或无限种颜色,此算法将选择最可能的颜色,这可能并不一定符合用户期望看到的。”

这使得BBC研发部团队研究更保守的解决方案,并提供了颜色参考以引导系统朝向更准确的颜色预测。

他们开发了一种新颖的基于标本的神经网络——XCNET,可以实现快速高质量的颜色预测。 与其它包含两个步骤的处理不同,XCNET同时传输风格和彩色化——简化处理并实现更快的预测。

该博文介绍,XCNET由三个不同的分支组成:第一个分支取得黑白目标(T)和颜色参考(R)并输出大量特征。

第二个分支整合注意模块,如视觉变换器,以融合来自两个特征源的信息。然后使用第三个分支(金字塔形解码器)将组合特征转化为实际的颜色。

该项目的目的是为高分辨率黑白视频提供最逼真的彩色化和还原。  

BBC 视频处理

视听科技视频号 广告
发表评论