虚拟制作工作流程正在改变内容创作

使用游戏引擎、摄影棚、LED屏幕和数字数据制作媒体与娱乐（M&E）内容有了全新方式。虚拟制作时代已经来临。

《阿凡达》（2009）是一个最明显的早期实例。然后，虚拟制作逐渐成为较为普遍的实践，而新冠疫情期间的封锁使它们变得至关重要。如今，制作团队可以为演员提供服装和道具，然后以数字方式完成其他所有工作；环境和背景在软件中构成，并在封闭、遮风避雨的表演空间的巨型液晶屏幕上播放。

这代表了几种已经成熟的工具和技术的融合，而随着成本的下降和制作结果的不断改善，越来越多的艺术家和工作室也在加入这一行列。

虚拟制作可用于各个领域，从可视化预览（以低分辨率对序列进行动画处理，查看其是否有效）到最终渲染（对高清背景进行投影并在摄像机内捕捉）等等。

虚拟制作的许多要素早在新冠疫情爆发之前就已成熟，但在疫情最严重的时期，旅行限制让这一流程深受好莱坞青睐——技术的进步完美地符合社交距离新常态的需要。

例如，在拍摄漫威的《鹰眼》时，明星Jeremy Renner、Hailee Steinfeld和Vera Farmiga在摄影棚中远程表演他们的角色，软件捕获他们的表演并将数据导入到单个虚拟场景中。

这不是理想的做法，但却有效地证明了远程拍摄的概念。“你肯定会看到很多远程协作，”工业光魔公司（ILM）虚拟虚拟制作执行制片人Chris Bannister说道。

移动图像特效公司（MPC）视觉特效制作主管Matt Jacobs也经历了虚拟制作因为疫情期间的拍摄将重点放在LED灯光舞台而引起的腾飞，并推动了现有工具的改进。“早在疫情爆发之前，虚拟制作工具和技术就已用于Jon Favreau导演的《狮子王》等电影中，”Jacobs说。“像虚拟摄像机、视觉前和视觉后处理这样的东西已经存在很长时间了。”

虚幻引擎和Unity引擎等游戏引擎是虚拟制作流程的根本元素，长期以来一直包含了虚拟制作工具。电影导演和游戏导演可以控制虚拟摄像机和游戏操纵杆，游戏引擎可以对摇臂和悬臂的运动进行编码，跟随现场摄像机的运动，从而在数字环境中创建相同的运动。

虚幻引擎背后的公司Epic Games的虚拟制作总监Alejandro Arango表示，多年来，摄影棚和电影制作人一直在将表演可视化并将之直接捕捉到虚幻引擎中，并直接用动作捕捉（mocap）系统或Autodesk MotionBuilder等工具传输数据。

在疫情之前，虚拟制作工具（例如制作数据库、出版工作流程和渲染农场）与虚幻引擎的整合已经迅速发展。“当然，摄像机内视觉特效 [ICVFX] 在电影《曼达洛人》中都被证明是可行的，”Arango说。

当虚拟制作的组件在20世纪90年代出现时，它们的价格高得令人望而却步，而且电脑生成动画（CGI）需要大量手动操作、非常块状化且质量低下。对于许多人来说，不值得这么麻烦去用它。但工程师、软件开发人员和动画师继续挑战极限，力图取得突破性的视觉效果，且变得更加经济实惠。

在2014年的《星际穿越》中，导演Christopher Nolan在各个宇宙飞船场景的窗户外设置了LED屏幕，让演员在拍摄时对着太空旅行、虫洞和卡冈图雅黑洞的动画做出第一手反应。

现在，导演还可以在片场观看动画背景或CGI角色的实时镜头，电影摄影师或视觉特效艺术家可以远程调整灯光、颜色和其他变量。而且这一切都可以在场景拍摄时实时完成。

真正的虚拟制作流程由各个特定部分组成：

1. 舞台

自从CGI出现以来，视觉特效艺术家就拥有了动画背景、烟雾或水波特效、角色、道具等以及介于两者之间的一切手段和工具。演员在巨大的绿色幕布前表演，随后动画软件将幕布隔离并移除，并由艺术家在后期制作中进行数字绘画并插入最终视觉效果。

通过虚拟制作，LED投影将数字绘画置于现场，供演员实时观看并做出反应。数字元素经过预先设计、渲染并投影在演员身后，使每个人都可以在拍摄过程中看到最终的屏幕渲染效果。

图像可以投影在单个LED屏幕（本质上是大屏幕电视）或整面LED屏幕墙上。世界上最大的此类屏幕墙由虚拟制作供应商NantStudios于2023年在澳大利亚墨尔本的Docklands Studios建成。弧形墙长88米，高度超过12米，由6,000个LED面板组成。

2. 摄像机

任何数码或胶片摄像机都可以用于虚拟制作，而秘密武器就在幕后。如果您曾经细心地看过有虚拟制作背景的宣传剧照，您可能会注意到图像的视角是极其错误的。这是因为软件将摄像机的位置和视角与投影的图像同步了。在这一技术开发的早期，处理工作必须手动完成，这极大地限制了摄像机的移动。

但如今，摄像机和镜头的实时跟踪已经内置。“数据足以能够以正确的视角渲染视图，”Arango说道。“然后，通过将显示几何体的虚拟模型投影到摄像机平面上生成 UV 贴图，进行采样，就能恰当地进行渲染。”

这意味着预先计划至关重要。视觉特效和虚拟制作工作室Pixomondo的虚拟制作和捕捉部门主管James Thompson告诫说，导演和制作人员必须确保幕墙覆盖支持所需的拍摄角度并提供充足的照明。

事实上，虚拟制作考虑了眼睛感知光线的方式，使CGI背景看起来更加真实。“计算机硬件呈现出内部和外部的视锥体（又名截头锥体形状），”Thompson说。“内部视锥体覆盖了摄像机的主框架或‘安全’框架，具有最高的细节和保真度。外部视锥体覆盖了外围，通常以较低的分辨率和较少的细节进行渲染。这保持了风景的连续性，因此当摄像机移动时，环境显得具有连续性且令人有身临其境的感觉。”

3. 软件

视觉特效艺术家使用强大的3D建模、动画和效果软件创建CGI，例如，Pixomondo使用Autodesk Maya，而ILM则使用Autodesk Maya 和 Autodesk 3ds Max。使用这些工具构建的资料可以导出到虚幻引擎等游戏引擎；虚幻引擎是用于生成虚拟制作中使用的实时图像的最常见的软件工具。

就像游戏开发人员使用游戏引擎的内置工具来设计景观、游戏中的物理定律、车辆或道具等交互元素等一样，电影导演和视觉特效艺术家也可以使用相同的工具来构建CGI世界。唯一的区别是，导演不是像玩家那样使用遥控器来控制角色的去向和行为，而是选择动作、摄像机角度和条件来有效地讲述故事。

尽管《曼达洛人》的故事发生在多个行星和太空中，但它完全是在洛杉矶摄影棚和一个小型外景场地拍摄的。相比之下，最初的《星球大战》三部曲是在美国、英国、突尼斯、挪威等地拍摄的。

这显示了虚拟制作的主要好处：速度和效率。Thompson认为，虚拟制作的实时反馈可以让导演、电影摄影师和视觉特效艺术家立即评估镜头的效果。“它有助于及早发现问题，从而可能避免昂贵的后期修复，”他说。

Bannister补充说，这项技术提供了各种新颖创意的可能性。“我们在小型广播节目中使用它来解决眼前的问题，”他说。“《老妈老爸浪漫史》中有一个场景，故事的某个节点将人物带到纽约的布鲁克林大桥，但去那里的成本太高，而且要花很长时间，所以我们想出了一种方法，在LED舞台上快速展示了布鲁克林大桥。”

另一个好处是可持续性。Thompson表示，它减少了运输、照明和大型制作空间供暖/制冷的能源消耗。“可实时调节的LED照明和虚拟布景让我们做到非常节能。”

如果您正在处理备受观众期待的系列片或电影，这可以让您更早地获得营销资料。一般而言，值得播放的预告片的镜头要到最终后期制作视觉特效完成后才能准备好，但如果用带有CGI高清镜头的摄像机进行拍摄，就可以立即捕捉到我们需要的标杆镜头。

虚拟制作技术的市场广阔且在不断增长。市场调研机构360i Research预测，2023年的市场规模估计为25.5亿美元（约185亿元），预计到2030年将达到84.2亿美元（约610亿元）。

除了剧本式娱乐形式之外，虚拟制作在新闻和电视体育广播等固定摄像机设置环境中也占有稳固的地位，并且适用于在小型工作室拍摄的企业培训和信息视频。

其他行业里的一些有远见的用户也在将虚拟制作付诸实践。建筑设计师和建筑公司正在使用项目的数字3D设计，当视觉数据可以压缩和流式传输时，利益相关者可以在现场或远程使用虚拟现实（VR）眼镜在建筑物的内部“走动”。

Thompson曾在2024年的CES交易展上与索尼合作，通过虚拟制作打造粉丝体验。现场的反响表明，一旦这种沉浸式的叙述体验用于互动式表演和娱乐主题公园，就可开拓出令人兴奋的市场前景。“成千上万的人涌入活动现场，与《捉鬼敢死队》中的棉花糖人等角色实时互动。这一体验使用了捕捉技术和触觉地板，环境和角色取自我们在Unreal Engine（虚幻引擎）中的实时视觉特效捉鬼敢死队短片项目。”

可以使用虚拟制作的其他行业包括虚拟展厅中的汽车销售，以及医疗保健和军事等领域中的教育，后者的培训环境通常需要既安全又逼真。

这种更广泛的使用部分地是因为制作成本发生了转变。虚拟制作背后的系统和技术并不便宜，但随着摄像机技术、数据处理和显示设备价格的下降，它们变得比较容易获得，从而为创意制作开启了更多可能性。

“有些聪明人已经为创意问题设计了更好的解决方案，”Jacobs说。“我们过去用胶片拍摄，现在大多数摄像机都是数码式的。计算机、软件和渲染的速度出现了指数级的增长。数据可以在全球范围内更快地传输。最重要的是，过去的人比较专一化，而现在这个领域有无数的艺术家和技术人员，他们拥有多个交叉学科的技能。这就带来了竞争并对制作成本产生巨大影响。”

好莱坞也会追随潮流。但虚拟技术确实很酷，而且已成为电影制片人的重要工具，这类似于音响、色彩、CGI等突破性的进步。

就像其他工具一样，虚拟制作也将找到自己的位置，并且更加适合某些项目。一个项目有自己的对制作的需求，理解了这一点，就能明白它是否有可能从这些工具和工作流程中受益。

虚拟制作不太可能很快完全取代真实外景拍摄——在《曼达洛人》之后，根据《星球大战》改编的系列片《安道尔》就完全是在外景拍摄的，其中一些场景根据制作人和导演的审美决定使用了ILM的虚拟制作工具集 StageCraft进行拍摄。正如Jacobs所言，“虚拟制作在某些环境中占有一席之地，它对于技术含量很高的镜头很有用，但并非所有地点都适合，也不是所有制作都能负担得起。”

尽管如此，虚拟制作显然将继续存在，并且可以更进一步地为许多跨行业的项目带来成本节约、效率和创意的机会。