
BBC研发部团队一直在研究机器学习如何帮助给存档黑白视频着色。
在一篇博文中,该团队透露,他们正在研究如何用其他有相似内容的彩色图像引导彩色化处理,给黑白图像着色。
该博文解释说,从灰度输入中映现颜色可能是一项复杂的任务。“例如,一辆汽车可能是红色、蓝色或无限种颜色,此算法将选择最可能的颜色,这可能并不一定符合用户期望看到的。”
这使得BBC研发部团队研究更保守的解决方案,并提供了颜色参考以引导系统朝向更准确的颜色预测。
他们开发了一种新颖的基于标本的神经网络——XCNET,可以实现快速高质量的颜色预测。 与其它包含两个步骤的处理不同,XCNET同时传输风格和彩色化——简化处理并实现更快的预测。
该博文介绍,XCNET由三个不同的分支组成:第一个分支取得黑白目标(T)和颜色参考(R)并输出大量特征。
第二个分支整合注意模块,如视觉变换器,以融合来自两个特征源的信息。然后使用第三个分支(金字塔形解码器)将组合特征转化为实际的颜色。
该项目的目的是为高分辨率黑白视频提供最逼真的彩色化和还原。