去年8月，明角工作室（Clear Angle Studios）宣布在4D表现捕捉方面取得突破。与表现驱动的脸部动画公司DI4D和纹理增强公司TexturingXYZ合作，该公司演示了一段视频，其中展示了与真人的真实镜头几乎没有区别的一名演员表演的照片级真实数字表示，标志着一项对媒体和娱乐（M&E）行业具有深远影响的技术创新。
明角工作室联合创始人、首席执行官多米尼克·雷利首先介绍了这一进展背后的技术及其对行业的意义。该公司是一家全球性企业。总部位于伦敦，在亚特兰大和温哥华设有办事处，并在布达佩斯和全球其它地区设有办事处。
去年秋天，一家全服务的工作室在洛杉矶卡尔弗城开业，提供永久扫描设备，以满足日益增长的需求。“我们在扫描方面覆盖了电影行业，”雷德利说，“我们会扫描道具、交通工具、布景、环境和角色。我们会坐上一架直升机，拍摄整个山脉，但与此同时，我们会为你扫描这支笔，”他解释道，举起了正在提到的物品。
接着，雷德利提及行业中不断增长的融合，即不断变化的观众趋势和技术创新促使媒体公司拓宽其IP，他说道：“我们从事扫描和数字化业务，传统上我们主要涉及电影制作，但我们希望更多地进入游戏领域，因为游戏和电影中的照片真实感之间的鸿沟正在缩小。”
转到4D扫描，他澄清了一个常见的误解，“它往往被称为4D动作捕捉，但它并不是动作捕捉。它是扫描。”
明角工作室最先从事的是数据捕捉业务。雷德利进一步解释道：“4D扫描本质上是运动扫描。当你拍摄视频并将其转换为逐帧3D扫描时，你就可以同时从各个角度获得动画，这本质上就是4D扫描：进行静态扫描并使其成为动画扫描。”
简言之，第四个D可能指的是数据的运动方面，即动画本身。
“这是运动，但一旦你涉及运动，你最终得到的数据是3D扫描的24倍、30倍或48倍，”雷德利说，他指出迄今为止阻碍这一处理的一个大障碍——对计算能力巨大的要求。
“传统上，为弥补数据太多这个事实，4D扫描的分辨率相对较低。它是处理器非常繁忙的工作，因为在无论你有多少秒或分钟的一段时间内，你都必须每秒处理24个3D帧。通常，你会使用较低的分辨率。，你不会做一个高分辨率扫描，而是会做很多较低分辨率扫描，这将驱动你的动画。本质上，你会把高分辨率纹理从中性姿势推到所有其它姿势。”
谈到8月份的演示，雷德利继续说道：“我们与DI4D和TexturingXYZ合作演示的视频确实包含了它的一部分。这就是我们对每一帧实现高分辨率的方式。这就是它的独特之处，非常不同。这工作量很大，但它为我们迈向下一个可能性、下一个高分辨率捕捉和显示数据方式奠定了基础。”
劳动分工
该项目的工作由三家专业公司负责，每家公司提供自己的专业知识。首先，试验对象——明角工作室的财务总监迈克尔·佩德森——被扫描到系统中。“我们用同步摄像机系统记录了他的FACS（面部动作编码系统）脸型，这样我们就可以以每秒24帧捕捉到从中性到每个FACS脸型的所有面部表情转换，” 雷德利解释说，“我们对这些数据进行处理，生成OBJ文件的每帧序列，并将其交付给DI4D。在这个阶段，OBJ数据每帧具有不同的随机网格拓扑结构。DI4D将网格拓扑从基本网格精确地包装到OBJ序列数据的一帧上。然后，他们使用最先进的网格跟踪解决方案，将这个网格拓扑精确地跟踪到序列中的其它每一帧上。结果是一个包含高度一致的网格拓扑的4D序列，随着面部从中性过渡到每个FACS脸型而变形。这是原因很关键，是因为在此过程结束时，每一帧数据都有相同的UV布局。”
然后将数据返回到明角工作室，在这里被纹理化并发送给第三个项目合作伙伴TexturingXYZ。此最后阶段需要分析纹理，法线贴图和位移贴图，使用TexturingXYZ的定制解决方案——Hyperskin 2.0和HyperlookX，使得数据得到增强。“他们有一个非常酷的平台，”雷德利说，“这是一项极好的技术，为数据锦上添花，更加完美。”
捕获此数据需要使用明角工作室的专有系统Dorothy，该系统自2017年推出以来经过多次迭代开发。“Dorothy现在处在一个我们可以非常精确地控制灯光和摄像机的程度，”雷德利说“我们使用精确到我们想要的任何毫秒范围的高分辨率机器视觉摄像机，而且它们与我们的灯光完美同步。”
对硬件的深刻理解是明角工作室的特色，再加上对后期制作中如何使用数据的了解，以及在捕获其数据时不断追求完美。“我们主要关注的是确保我们得到最好的、高分辨率的空白画布数据，这样视觉效果供应商就可以添加创意、照明，以及他们需要为他们所拥有的镜头做的任何事情，”使用雷德利所指的可以提供的最佳捕获的、最有真实感的数据。
除了机器视觉摄像机外，还使用了非常高分辨率的索尼数码单反相机来捕捉静态图像。
“它们有极高的动态范围，”雷德利说，“我们在使用我们在脸上能有的所有分辨率和景深、照明限制等等之间取得平衡。”团队非常清楚需要为被扫描对象保持安全的光照强度。“那里灯光很强，而我们只能把这么多的光直接照进某人的眼睛，否则就会变得不舒服或不安全。”该系统可以根据摄像机的动作调整照度，上下调节以匹配曝光。
仅仅关闭灯光会产生有害的闪烁效果。找到平衡需要技巧。“这是老生常谈，但它更是艺术而不是科学。你必须确保你知道坐在那里的人是舒适的，你必须首先解决这个问题。”
考虑到该技术在行业别的领域的流行，在此过程的扫描阶段没有使用人工智能（AI）可能令人惊讶。雷德利说，未来也没有引入它的计划。“我们没有在任何处理中使用AI。我们只是专注于以最高质量重现真实。”
融合边界
自2013年成立以来，明角工作室一直与业内一些大名鼎鼎的公司合作，其令人羡慕的早期作品包括《速度与激情》系列、《权力的游戏》和《驯龙高手》等。最近，该团队正在制作《邪恶女巫》和《角斗士2》。对于雷德利来说，一个杰出时刻来自2013年。“《灰姑娘》是在这里拍摄的，这是一个巨大的转折点，”他说，“他们终于意识到，就全身摄影制图而言，我们的产品是一个比以前所具有的更好的解决方案。”
回到媒体产业融合的话题上，明角工作室能够在经常提及的电影和电视制作平静期进入游戏市场。
然而，该团队已经见证了制作项目的明显好转，未来几年将是一个繁忙的时期。虽然雷德利对他们的具体工作内容守口如瓶，但他表示，未来一两年，许多电影公司“都有相当多的他们要去拍摄的作品。”
他还暗示2027年圣诞节将发生一件大事，但遗憾的是，职业操守禁止他透露更多信息。
放眼未来，雷德利探讨如果技术进步足够，明角工作室想要实现的目标。“心灵传动，”他笑着说，然后稍微降低了他的目标，描述了在现场体育报道中创造沉浸式体验的可能性，提到了最近Apple Vision Pro Formula 1的演示。“我认为我们都渴望更多的内容和不同的观众体验。例如，在一级方程式赛车中，我们习惯于在屏幕上看到信息，但实际上看到来自赛道的逼真东西，几乎就像全息图一样，你可以从车手的角度看到赛车是如何在赛道上分散开来的，这更加身临其境。”
他还看到了高斯喷溅（Gaussian Splatting）和辐射场的光明前景：“有一些有趣的技术正在探索中。它目前还不适合传统的视觉效果管道，但它肯定可以在3D和电影制作世界中发挥作用，我认为我们将来会看到更多这样的东西，”他总结道。
随着明角工作室团队取得的进展，这种沉浸式转播可能很快就会普及——如果他们实现目标能够做到心灵传动，也不要大惊奇。