文/VR陀螺 豌豆

自从AIGC进入快速发展时期，每一次相应突破性技术的升级都会为各行各业带来强烈震感。

以内容为王的影视行业，2024开年以来更是大步前进，短剧、互动影视游戏、虚拟拍摄等名词更是被频频提起，新数字技术、新需求推动影视行业加快变革进度，虚拟制作则能够将前期制作、拍摄过程与后期制作结合在一起，模糊了现实与虚拟的边界，同时大幅缩短拍摄周期并减少制作成本。

例如热播电视剧《繁华》、短剧《柒两人生》、京剧电影《安国夫人》，还有今年获得4项奥斯卡奖的《Poor Things》，它们之间的共同点则是使用了“LED巨幕+XR/VP（Virtual Production）虚拟拍摄”，这些技术逐渐成为影视领域的焦点，它们也在改变制片流程以及成片的呈现形式。

《Poor Things》使用11个巨型环绕式LED屏幕进行拍摄（图源：postperspective）

 虚拟制作+LED显示屏，改变传统制片流程 

要提升沉浸感先从空间环境入手。虚拟制作进入大众视野的标志是2019年由卢卡斯影业（Lucasfilm）和工业光魔（ILM）推出的大型虚拟制作项目《曼达洛人》，此后虚拟制作影棚便如春笋般涌现在世界各地。如今全球范围内已有上百家LED虚拟拍摄工作室落地，国内也有多个虚拟拍摄工作室坐落于北京、上海、横店等地，数量还在增加。

虚拟拍摄工作室（图源：postperspective）

虚拟拍摄工作室的逐渐普及得益于虚拟制作相关技术的快速发展，相比于传统的拍摄方式，在一些特定的场景，例如冰原、火山、外太空等难以到达现场拍摄的场景，可以通过LED屏实现。

传统的影视生产环节中，各部门在制作流程通常按线性的时间表来配合拍摄，由于时间紧迫，更换或重新拍摄场景既耗时又昂贵（平均一部低预算的电影项目为100万美元，一部好莱坞大片的预算则为数亿美元）。电影制作人也不能在第一时间看到在这些场景拍摄的成片效果。

具体到某一个场景，例如通过传统方式拍摄日落的场景。可能需要动员几十人不等的团队，但通常只有十几分钟的时间来拍摄，因为日落会逐渐消失，周围环境的光影和色彩也在变化。如果场景特别复杂，还必须第二天再回来补拍，这不仅会造成额外的费用支出，而且出外景难保会出现意外情况影响拍摄。但现在有了虚拟制片提供的完全同步的环境，一切都能以虚拟方式重建。

在降低拍摄成本和缩减拍摄周期的基础之上完成高质量的成片，成为影视行业最基本且现实的需求。

尤其是新冠疫情期间，对影视业来说，许多预定外地拍摄任务无法如约完成，因此不少团队转向虚拟制作，当时Netflix便与《1899》的制作人尝试通过虚拟制作完成拍摄。

如今国内短剧盛行，泼天的流量砸向这条颇有“钱途”的新赛道。有数据显示，2023年微短剧拍摄备案部数和集数分别达到3574部和97327集，相比前一年大幅增长，2024年Q1短视频平台破亿播放的短剧数量同比增长了65%。2023年短剧市场规模达到373.9亿元，预计2024年将超过500亿元。短剧逐渐得到更多主流平台的认可。

《柒两人生》（图源：网络）

以悬疑主题短剧《柒两人生》为例，全剧共16集，总时长约90分钟（平均一集3-5分钟）。据称在制作方面该剧60%的内容采用虚拟拍摄+真人实拍的虚拟制片方案，预先通过LED屏呈现剧中所需场景，节省了实际搭建环境和使用道具的成本，使该剧特效处理时间缩短了10个月。有趣的是，《柒两人生》由抖音和创壹科技联合出品，而虚拟美妆数字人“柳夜熙”正是创壹科技旗下的短视频达人之一。

在虚拟制作环节，LED屏幕上越细腻、精致的实时画面，对使用的GPU性能有着越高需求，例如虚幻引擎可为英伟达同一系统的多GPU提供虚拟制作支持，满足渲染的高需求。英伟达在AI技术的基础上，优化Omniverse方案，为引擎和内容创建工具提供更丰富的视觉效果。

现在看来虚拟制作更像是一种非线性、更具协作性、更具迭代性的视频制作方法。而且结合了计算机辅助制作和实时可视化工具，例如游戏引擎技术、计算机生成图像（CGI）以及VR/AR技术，能够提供实时反馈。虚拟制作在电影制作、电视节目、天气预报、电子游戏以及演出活动等媒体内容的制作中更加常见。

图源：网络

以演出活动为例，前段时间，MIKU EXPO 2024北美巡演在首站加拿大拉开序幕，凭借初音未来全息投影演唱会为卖点的MIKU EXPO，刚好在今年迎来了十周年，但有不少粉丝吐槽“花了近200美元来看大电视”，原来今年的演出并没有采用之前全息投影的方案，而是转向以LED屏幕的形式呈现演出。

虚拟制作正在辐射整个文娱行业，在影视内容制作中使用LED屏幕的趋势可能会更加普遍，短剧采用虚拟拍摄技术仅是一个开端。

 内容引擎发展驱动影视行业迈入快车道 

在进行虚拟拍摄之前，通常需要进行视觉方面的前期预演，并提前准备好各种模型道具、人物以及各类环境等3D资产，以方便后期拍摄过程中尽可能还原预演的效果，此时则需要得到游戏引擎和XR设备的支持，尽管虚拟制片并不与VR头显有直接关联，却与VR本身的定位技术息息相关。

其关键在于利用3D技术（采用虚幻引擎等）在大型LED屏幕上显示超高清背景图像，虚拟背景可实时调整，并配合布光以及拍摄角度和运镜，直接拍摄成片。另外，比起在绿幕前演出，真人演员在有沉浸感的环境下更容易进入状态。

以知名电影《头号玩家》为例，该电影采用了动作捕捉、实景拍摄和电脑动画三种制作形式，曾被斯皮尔伯格认为是自己拍过最复杂的电影。

斯皮尔伯格（图源：HTC）

由于《头号玩家》的大部分制作内容都包含虚拟场景，斯皮尔伯格需要一种方法来预先设想镜头的取景，以及获取在摄影棚中只穿着动捕服的演员的位置。此外，在VR中实时移除或添加虚拟场景中的元素有助于简化制作流程。

对动捕演员来说，在绿幕的拍摄场景下也很有挑战性，因为他们无法看到自己所处的环境或周围环境是什么样子。斯皮尔伯格表示：“我也会要求每个演员戴上头显进入虚拟场景，这样我们就不需要凭空想象了。”

游戏引擎的实时渲染、视听交互设计等功能在影视作品制作的不同环节中能发挥重要作用，好的电影制作工具同样能反哺游戏行业。游戏领域的两大知名引擎，虚幻引擎和Unity都是影视内容制作的常用工具。

在游戏引擎中制作影视内容，通常基于3D资产构建，并且具有正确的透视和空间感，搭建好虚拟场景后只要添加一个虚拟摄像机就可以看到引擎空间中的物体、灯光、材质等，就像第一人称视角的3D游戏，通过将引擎中的虚拟摄像机与拍摄场地中的真实摄像机的物理位置、摄像机参数等完全匹配，让真实摄像机来驱动引擎中的虚拟摄像机，从而同步镜头画面，这就是虚拟勘景和可视化预览的作用。

虚拟勘景（图源：虚幻引擎）

用光学摄像机跟踪系统实时将数据传输给控制服务器和内容引擎，目前主流的光学摄像机追踪系统误差在2mm左右。为了进一步获得更有真实感的虚拟场景拍摄角度，通常需要由虚拟艺术部门使用VR头显来辅助虚拟勘景，让虚拟制作变得更加可控。

此外，对于体育赛事解说，观众既需要身临其境的现场讲解，又需要实时观看现场画面。为减少反复切换镜头并提高直播观赛沉浸感，体育类电视栏目《FOX NFL Sunday》联合雷迪奥和虚幻引擎，打造大型XR演播室，两层共5130平方英尺的LED巨幕墙。

图源：福克斯体育

为了让LED影棚支持多机位拍摄，团队使用了MegaPixel的GhostFrame技术，它可以将四处不同的60Hz视频流整合到刷新率为240Hz的LED墙上。工程团队设置好各个镜头后，导演就可以看到四个独立的摄像机信号源，它们以互不相同的视角实时展示画面。

福克斯体育台系统工程副总裁Daryl Moore表示：“（这项技术使）我们能够构建丰富多彩的层次化场景，从地面到出镜者上方的天空，用虚拟图形填满整个场景。也意味着我们可以讲述更精彩、更有活力的故事。”

 AI技术再推一把，虚拟制片正对齐虚拟与现实世界 

通过新技术讲好故事，XR/VP虚拟制片的前景空间更大。

据MarketsandMarkets数据显示，虚拟制作市场规模预计将从2023年的31亿美元增至2027年的51亿美元，预测期内复合年增长率为14.5%，电影中对视觉特效和计算机生成图像的需求不断增长，机器学习、AI、AR、VR、XR、深度学习等技术是虚拟制作市场发展的主要驱动力。

如今AI已经在改变影视领域，国内也有意进一步打开市场格局。4月23日举行的第三十届中国国际广播电视信息网络展览会（CCBN2024）主题报告会上，中国电影电视技术学会理事长，中央广播电视总台技术局局长徐进指出，在新质生产力的推动下，影视行业与数字技术、互联网、云计算、人工智能等新技术深度融合成为趋势，为影视行业带来了前所未有的生产手段和表现形式。

在虚拟制片领域，将来能看到多少AI的影子？

首先，创作效率优先，虚拟制片将“后期再修”的大部分工作改变成“前期先做”，而拍摄前期需要完成的3D背景环境交由虚拟美术部门实现搭建，在这一环节可以利用AIGC工具来加快布景生成。

第二，在虚拟制作环节，LED屏幕上越细腻、精致的实时画面，对使用的专业硬件以及GPU性能有着越高需求，AI将进一步提高影视级内容渲染优化。

第三，激光雷达、摄影测量和NeRF成像技术等已在影视方向上也取得了良好进展。据了解，NeRF基于2D图像可采集复杂数据，更适用于在影视行业将3D虚拟图像与真实2D图像融合的场景设计环节。

第四，如今在AI的加持下，智能化的数字人甚至可以参与到拍摄中，例如以数字演员身份出演影视剧《异人之下》的阿里大文娱数字人厘里等等。

虚拟制片还在进一步摸索降本增效之路，而AIGC工具Sora横空出世，只要一段文字就能生成视频作品，这对创意至上的影视行业来说是巨大的冲击。尽管Sora目前无法取代虚拟制作和传统影视制作，但AIGC工具或能以辅助工具的身份与虚拟制作流程结合，在画面预览、3D资产的修改等方面提供支持，甚至是捕捉灵感。

制作团队期待好技术，观众期待好作品。短剧成为了虚拟制片的新场景，而虚拟制片是一种具有艺术性、技术性和可持续性的影视制作辅助手段，目前处于快速发展阶段，在具有无限可能的内容制作领域持续开辟新市场。