广告合作我要投稿 设为首页

首页 > 硬件新闻

Coldplay×BTS:《My Universe》AR全息投影舞台的虚实解构

2022-04-11 audioapp

Coldplay×BTS:《My Universe》AR全息投影舞台的虚实解构!640 (30).png


 

 

大热节目《美国之声》(The Voice)季终集的一大亮点是,BTS防弹少年团通过全息投影的方式,跨越太平洋与Coldplay“合体”表演热单《My Universe》。


 


合体舞台的策划早在节目数月前就已展开,由Coldplay Creative、Dimension Studio和虚拟制作机构All Of It Now (AOIN)共同完成。其中Dimension Studio拍摄了BTS乐队成员的原始镜头,AOIN团队则负责让想象成真。


  


可视化预览








舞台上的Coldplay成员和The Voice现场观众都看不到BTS防弹少年团,只有通过屏幕观看节目才能看到。为此,AOIN通过与(LD)Sooner Routhier合作,在舞台上使用特定的落地灯来帮助Coldplay主唱Chris Martin确定BTS出现在舞台上的时间和位置。
















“我们大量使用可视化预览(previsualization),让Coldplay了解每一时刻背后的创意顺序,并向The Voice导演展示哪些类型的镜头效果良好,以及应该规避哪些镜头。”AOIN团队介绍。














AOIN团队收到来自The Voice团队的3D舞台配置,能够将表演者置于The Voice舞台的3D成像中。这一过程启用了关键的可视化预览,Coldplay Creative团队甚至可以在进入工作室之前测试AR表演者的配置、跟踪区域、过渡时间和摄像机遮挡。














AOIN能够将3D舞台和摄像机动线提取到虚拟引擎Unreal 中,用7台AR摄像机创造真实世界比例的精确图像,以便Coldplay可以预先知道每个时刻中哪些BTS成员是可视的,哪些摄像机可以精准捕捉这些时刻。因此可视化预览成为将这些时刻传达给所有相关人员的最佳方法。这种可视化预览对于充分利用有限的现场时间至关重要,还有助于将所有技术和创造性工作变得可以共同理解并且可以共享。




 


















技术挑战








Dimension Studio提供了可全息处理的BTS原始捕捉视频,有两种格式,一种是Alembic序列,另一种是使用Microsoft针对Unreal Engine4.27.1的SVF插件的特殊mp4导出。由于同时播放7个Alembic序列的数据速率很高,因此选择mp4方法作为首选方法,AOIN和Dimension团队都在创意效果和序列方面取得了进展。
















使用mp4方法需要克服一些技术挑战。UE4的当前SVF插件无法将mp4录音正确地跟踪为时间码。这需要AOIN和Microsoft合作重写SVF插件代码的元素,以便BTS表演者与舞台上的Coldplay保持同步。
















体三维捕捉(volumetric capture)的原始录制视频在使用时的另一个挑战是BTS表演以24 FPS录制以匹配音乐视频帧速率,但 The Voice 是以 29.97 FPS 的速率制作和播放。将 24 FPS混合到29.97输出中会造成一些口型同步上的问题,不过AOIN能够在后期制作中解决这些问题。
























现场部署








除了制作这场表演外,The Voice团队还在积极制作该赛季的剩余节目。这意味需要围绕 The Voice的现有演出和制作时间表安排和协调现场的各个方面,制作周期非常紧凑。该AR系统的安装依赖于几个不同的安装阶段:在演播室中为摄像机跟踪系统安装跟踪贴纸、绘制跟踪区域、为AR应用校准7个摄像机镜头、与The Voice团队一起排练和摄像机遮挡表演,然后最后在舞台上与Coldplay一起排练AR表演,这一切都要在7天内完成。在快节奏的电视制作计划中部署和校准7个AR摄像头并非易事,但在The Voice制作团队的帮助和支持下,AOIN团队能够顺利完成校准和安装。
















“EIC Jerry Kaman在整个过程中的支持和监督对于这个项目的成功至关重要”,AOIN首席执行官Danny Firpo说, “这个安装过程通常是大多数项目出错的地方,但Jerry对The Voice制作计划的了解和经验、以及引入额外摄像机的建议,是这个过程如此成功的原因。”
















AOIN与Stype及其Red Spy Fiber摄像机跟踪系统合作,并增强了2台已用于制作的Jib摄像机,然后用5台专用AR摄像机进行补充,即使在The Voice拍摄时也可以校准跟踪摄像机的另一个片段。
























能否在巡演“复制”这一现场?








如果Coldplay想在即将到来的巡演中重现这一“合体”现场,技术难度有多大?








“体三维捕捉视频的好处在于它确实使这些内容在更多节目中更‘便携’,而且我们之前有过在巡演中使用AR技术的经验。我们是首批为BTS ‘2019 Love Yourself, Speak Yourself ’巡演提供AR制作的公司之一。”AOIN介绍,“最困难的部分是AR相机校准过程,这可能很耗时,没有一颗强心脏不建议浅尝。但如果有适当的计划部署,完全可以做到。”
















但在目前的技术手段,巡演现场的观众并不能看到全息投影的内容。“这就是我们为什么说IMAG屏幕在体育场级节目中扮演非常重要的角色,观众可以在IMAG屏幕上观看表演内容。同样地,为了增加The Voice现场观众的体验,我们与制作部门合作‘指导观众’以响应关键的AR时刻,就好像BTS真的在舞台上一样。”










标准IMAG和AR feed之间的延迟通常为5-7帧。这种延迟在体育场表演中通常是可以接受的,因为PA到体育场后方的延迟通常可以匹配此AR工作流程产生的额外延迟。“对于The Voice节目,在播出时,我们能够延迟标准摄像机输入以匹配AR输入的延迟,这使得导播更容易在AR和非AR摄像机之间进行切换。也就是说,这是我们在流程早期与创意和技术方进行对话,以确保我们与预期保持一致,并制定策略来解决这种增加的延迟。”AOIN总结道。


 








AOIN团队部分成员








科幻电影与现实的距离,是每一个幕后人向前奔跑的目标。
















制作团队




Coldplay Creative 团队




Coldplay Creative总监:Phil Harvey




制作设计师兼联合创意总监 :Misty Buckley




视觉内容主管:Sam Seager




灯光设计师:Sooner Routhier




项目创意经理:Grant Draper




屏幕导演:Joshua Koffman




视频设计师:Leo Flint




屏幕内容创建:NorthHouse Creative








AOIN现场团队




执行制片人:Danny Firpo




制作经理:Nicole Plaza




技术总监:Berto Mora




高级UE4技术美术:Jeffrey Hepburn




高级AR工程师:Neil Carman




AR工程师:Preston Altree








体三维捕捉工作室:Dimension, London




执行制片人/联合导演:Simon Windsor




销售/客户总监:Yush Kalia




制作主管:Adam Smith




制片人/技术总监:Sarah Pearn




高级首席三维技术美术:Adrianna Polcyn




动画师:Ben Crowe




CG灯光美术:Marcella Holmes








Jump Studio(SK电讯),首尔




副总裁,元界公司负责人:Jinsoo Jeon




副总裁,元界开发负责人:khwan Cho




执行制片人:Sung Yoon Baek




业务发展:Taekeun Yoon




制作人:Minhyuk Che




舞台监督:Gukchan Lim








The Voice 团队




执行制片人:Amanda Zucker




EIC - Jerry Kaman 导演:Alan Carter




监督编辑:Robert M. Malachowski, Jr.,




ACE后期制作主管、副总监:Jim Sterling




助理编辑:Joe Kaczorowski



站内搜索

广告

    广告位置

本站投稿邮箱:yinpiyingyong@qq.com

  Copyright © 2022 音频应用 . All Rights Reserved