《头号玩家》背后的技术：Unity虚拟拍摄解决方案解析

ACGN洞察

访问三文娱网站3wyu.com查看产业必读文章

《头号玩家》背后的技术。

上个周末，Unite Shanghai 2019 在上海国际会议中心举行，来自世界各地的多位技术和创意大牛进行了分享。

Unity创意技术总监Ron Martin进行了演讲，以《头号玩家》为例，分享虚拟电影摄影和Unity在虚拟现实方面的使用。

以下是分享节选，推荐给对技术有所了解的读者查看。

Ron Matin：今天非常荣幸来到中国，代表Unity和大家分享。

在座有没有做游戏的，我们知道做游戏有很多是关于故事的讲述，在玩游戏的故事当中讲故事，我们希望把电影制作的工具和技术引入游戏行业，这样可以体验类似于电影的高质量故事讲述，如果说要做故事的讲述，在传统意义上来讲，我们要一点一点把它累计起来，然后让信息流动起来，这样一个创意想法在最早期，我们有音频、视频、视觉特效等等各种想法，在我们制作的早期要做整合，在我们制作的过程当中，会涉及到各种各样的元素，如果说是早期已经制定好了，后期再做变化就比较困难。

当我们讲到Unity，把它作为一个电影视觉创作工具，我们可以边写边制作，然后使用摄像机工具，在其他的元素或者其他的工作成形之前，可以向看整个流程，先看整个想法，最后形成什么样的结果。我们可以有一些实时的模拟。

现在的工作流程和过去很不一样，我们现在可以做实时工作，大家有没有看过《银翼杀手》，莱德利作为一个导演，可以自己写故事，同时也可以做电影导演，非常多才多艺，他的工作非常有挑战。现在有了Unity，我们可以实时把自己的想法呈现出来，然后看整个创作过程，最后会形成什么样的结果。

银翼杀手

这部电影是《奇幻森林》，用到了动作捕捉技术和协同工作摄影机。把CG实时进行混合，我们可以看到效果。在摄影棚里面，然后再加上Unity的工具来进行实时混合，在制作过程当中，所有的创意决定是最早已经做出来了，然后制作动画后果，最后做实时表演。导演把图像导入Unity之后，进行实时工作。

奇幻森林

有一些镜头是非常复杂的，我们先捕捉动作，之后进行调整，更加有效呈现你想讲述的故事。大家之前有没有在动作捕捉摄影棚里面工作过？其实是一个非常庞大的处理过程。现在有一些成本更低的装备，这些工具包不需要非常大的摄影棚，成本就会很大降低，这是一些虚拟制作测试，有一个iPad，在上面加一个硬件。

这部电影是《头号玩家》，这一位是斯皮尔伯格，斯皮尔伯格能够进入不同的场景，找到不同的镜头，通过VR可以看到，也是因为Unity的工具帮助，能够看到所构建的场景。通过和团队的合作，在场景的设计，这里有两个角色，本来是要在白天进行拍摄的，结果导演说今天晚上就想做调整，这也是可以实现的。

我们再来看一下细节，导演对这一镜头不是很满意，对于镜头走位不是特别满意，在Unity里面用DMM工具重新规划了镜头走向，这是场景的规模大小，导演觉得不合适，然后进行修改。能够找到电影里面的具体场景、具体时间点，然后进行一些修改。

导演就能够实现完全掌控，能够以最好的方式，最精彩的呈现整个故事。《银翼杀手》是一部非常了不起的电影。

接下来是可视化的过程，只有两个人合作，移动镜头，最后可以创造出来非常影院式的体验。导演和摄影师在做镜头拍摄。

我们的合作公司DMM（不是日本那个），和卡梅隆一起合作，最早是合作《阿凡达》，他提出了一些新想法、新流程，卡梅隆非常感兴趣，他们就开始一起合作。在《阿凡达》里面做了一些测试。

然后就有了《奇幻森林》，《奇幻森林》非常成功应用了相应的技术，比如说《奇幻森林》这种电影，你可能没有意识到给后续电影带来的巨大影响，在《奇幻森林》里面，大量的应用了动作捕捉和实时摄像机结合，还有就是《银翼杀手》，不同的导演都会越来越多的应用新技术。

我们来看一下DMM提供哪些服务或者说解决方案。

1.expozure，可以实现虚拟的电影制作、预览、动作捕捉，相应的工具是logos，节点图，hermes通信网络。Cyclopz虚拟摄影机。expozure是软件或者说整个基础。像这些虚拟摄像头，还有这些实体物理控制进行整合。Cyclopz是ltc和时间编码场景管理。比如说3D的场景，以及其他的镜头进行时间顺序整合。

我们知道如果要制作电影，用时非常长，非常复杂，我们制作电影可能需要几百人的团队，如果是大制作电影，可能就需要几千人的团队来合作，现在大制作电影有越来越多的视觉特效，有几千个工作人员，通过使用expozure可以在电影制作过程当中，可以实现虚拟外景的勘探、勘察，之前斯皮尔伯格就通过虚拟的方式勘察不同的场景，除此之外非常有帮助，因为可能场景并没有达到摄像头要求的纹理或者说其他的效果，导演可能自己有想法，我不知道大家之前有没有做过Set，在舞台或者说在场景下，我们的角色在里面表演，我们现在可以先做一个粗略的场景，先找一下镜头的位置，可能最早的时候不需要做非常精准的场景搭建，我们先做一个大略的草图，看一下镜头走过去的效果如何，这样可以节省很多钱。

我们得到镜头之后就知道人物在哪里，然后可以插入书签，书签可以认为是一个数字故事板，我们可以把故事板加入编辑当中，通过编辑就可以知道是如何进行工作的。我们认为故事板或者说书签其实是可以和场景或者说和人物进行混合，混合之后效果非常好。

动作捕捉方面，我们会用到一个非常昂贵的工具，可以使用这一工具来进行动作设计。通过Unity我们可以看到这些动作未来可能会是什么样的，动作捕捉场景在之后也会被清空，但是我们一旦加入Unity之后，就可以看到最终实时表现是什么样的。

另外一个就是镜头的创作，也是今天我们要讲的重要内容之一，在Unity当中也可以对灯光进行改变，我们认为这是非常重要的，因为如果我可以和摄像师和导演进行合作，我就可以看到整个流程应该是什么样的，我们可以向他们展现灯光如何进行改变，我们怎么样可以实时改变环境，从而得到更好的创作结果。

我们也可以进行VR拍摄，我们也可以进行AR场景扫描，所有的工具可以保证整个电影制作的过程非常流畅。

比方说我可以进入一个场景当中，通过使用这些工具就可以扫描场景中的光线值或者说光线环境，然后整合到Unity当中，所有的这些工具都可以整合起来进行工作的，DMM可以把所有的工具进行整合，同时这些工具都是可以进行自定义的，他们针对一些工作室，一些主要的开发创作人员进行制作等等。Unity也可以进行扩展，这种扩展功能让电影制作人员得到一个非常好的机会，来对作品进行预览。

接下来和大家介绍一下expozure，expozure在网络中间，可以实时改变场景当中的数据。所有的工具被整合到了Unity当中，接下来和大家介绍一下HERMES，整个网络是可以进行预测的，有一个点用于拍摄，另外一个点用于渲染图像，另外一个点可以控制控制动作捕捉摄像机，当我们把所有点连起来的时候可以进行同步，所以没有一个点处于主导地位，他们都是处于平等的地位。同时关闭一个站点并不会影响其他两个站点的工作，而且这些节点可以不断增加。也就是说节点数量是没有限制的。

LOGOS是一个模块结合，每个模块都可以进行协同工作，比如说我们来看一下网络，在这里加入一个控制器或者说操作者，同时就可以把整个网络进行改变，来控制动作捕捉摄像机，当我在摄影棚里面移动摄像机的时候，我可以对它进行精确控制。

另外一个是普罗米修斯，是云服务器，当我们在一个区域进行工作的时候，我们可以把资产上传到另外一个站点，所以说在不同地方的人可以看到这个站点的工作流程或者说进度是什么样的。

实时追光，我们会把实时追光加入expozure模块当中，我们和其他的工作室进行合作，来更好的打造expozure模块，SCAN模块可以跟踪现实世界当中的摄像机，并且融入虚拟元素，使导演可以实时看到作品。在这当中，导演可以在整个区域里面进行移动，这样就可以说进行虚拟编码。

我们在电影制作当中，导演和摄像师最重要的工作是找到最好的拍摄角度，他们使用expozure或者说Unity的时候就不需要亲自到现场，他们可以使用虚拟拍摄工具，检测每个点的拍摄效果，然后在Unity当中看到整个效果是什么样的。

这是SimulCam模块，我们过去非常专注于这一模块，刚才提到了《奇幻森林》，也使用了SimulCam模块，这是一个扫描模块，同时也可以和CG环境进行融合。我们在Unity当中也可以使用插件或者说支持模块，这就是SimulCam和动作捕捉器如何进行协同合作，我们会有演员，利用摄像机追踪动作，然后把虚拟和现实进行重叠。

这是另外一个概念，LED墙，比如说在摄影棚当中有一个很大的LED墙，我们可以把场景投射到LED墙上，当我们移动摄像机的时候，摄像机可以拍摄到演员的动作和背景，我认为这是一个非常重要的技术，当我们采用这种绿屏的时候，我们必须要用这一场景来替换绿棚。当我们拍摄车上或者说飞机上的场景的时候，比方说拍摄飞船镜头，如果演员在绿棚上表演，后期渲染需要进行大量工作，如果我们有LED墙就可以把演员同时拍摄下来，这样就可以减少后期渲染工作量。我们和其他的一些电影制造方进行合作。

LED墙怎样进行工作的，整个流程是什么样的，我们使用了expozure之后，对我们有哪些帮助，现在我们作为一个消费者使用Unity来创作一些资产，在电影当中可以使用这些资产来进行拍摄，这就意味着你使用了Unity进行工作的时候，可以对我们的实时工作做出很大的工作，但是下一个层级不是消费者，也就是产销者，他们使用一些虚拟的电影拍摄技术，采用的技术包括expozure技术，另外一个是完全的动作捕捉摄像棚，里面有动作捕捉摄像机和面部追踪器，我们可以把追踪器和摄像机结合起来。

接下来和大家介绍一下《头号玩家》，在我们拍摄《头号玩家》的时候我们使用了HERMES网络，我们有一个虚拟摄像机和移动的AR、VR，以及动作设计，以及道具等等，所有的一般都是进行实时工作的，如果他们要对其中一个元素来进行修改，可以对单独的部分来进行修改。他们要做的就是回到预览，移除或者做相应的改变，然后再进入另外一步。在动作捕捉摄影棚当中，我们可以利用这种新改变或者说已经做出改变的设置来进行拍摄，这种实时拍摄是非常流畅的，同时也能够帮助创作人员节约大量的人力物力和时间。

接下来的例子是《银翼杀手2049》，当时他们使用这一工具的时候有点纠结，采用了我们的技术之后，可以看到摄像机当中的拍摄效果非常好，而且拍摄效果正好是导演所期望的效果。在《银翼杀手2049》当中，我们需要拍摄很多的打斗或者说对战场面，在整个过程当中，导演把摄像结果和CG进行融合，通过使用了expozure，他们可以在必要时对特定的镜头进行改变，比方说有一个旋转器或者说飞行器，他们要的是一个飞船，在电影当中，地上一个人对着飞机上的飞船射击，把飞船打下来，他们在拍摄这个镜头的时候使用了expozure，所以说导演觉得Unity或者说expozure的拍摄效果是非常好的。