【XRライブ】マルチカムのバーチャルプロダクションで実現。生身のアーティストと3DCGの完全一体化｜『SiM XR LiVE』メイキング

東京都中央区にオフィスをかまえるflapper3は、モーショングラフィックスをはじめ、映像とテクノロジーを組み合わせた幅広いデザインワークに定評あるクリエイティブスタジオだ。

近年は、社内にテックチームを設立。映像制作だけでなく、空間演出や配信や舞台・ライブの見せ方にもこだわった「体験型コンテンツ」にも精力的に取り組んでいる。

その最たるものが、XRライブ。

2022年9月30日（金）に配信されたレゲエパンクバンド「SiM」のXRライブでは、プロデュース、アートディレクション、テクニカルディレクション、演出を一手に引き受けた。

本公演における技術的な大きなチャレンジとなったのが、マルチカメラによるバーチャルプロダクション。

ソニーのCineAlta 4Kカメラ「PMW-F55」を7台も導入するという、映画案件ではまず見られない画期的なプロジェクトになった。

本稿では、『SiM XR LiVE』のディレクターを務めた矢向直大氏、アートディレクターを務めた山本太陽氏、XRテクニカルディレクターを務めた猪股芳樹氏の3氏へのインタビューをお届けする。

MVをきっかけに、バーチャルライブ制作へ

まずは、今回のXRライブが企画された経緯を尋ねた。

『SiM XR LiVE』ディレクター 矢向直大氏（以下、矢向）：
TVアニメ『進撃の巨人』The Final Season Part 2の主題歌にもなった、SiMさんの『The Rumbling』MVをflapper3で制作したことがきっかけです。

矢向：
MVでは、山本（太陽氏）がディレクターを担当しました。

SiMさんのボリュメトリックキャプチャとグリーンバック撮影した素材を組み合わせて『進撃の巨人』の世界観を表現しました。

このMVで描かれる巨人が歩いている中で彼らが歌っているようなビジュアルを気に入っていただけて、MVと地続きな世界観で、バーチャルライブをやりたいと相談いただいたのです。

矢向：
ただし、バーチャルライブの場合はアーティストの生身のパフォーマンスと3DCGアセットをいかにして自然な見た目に一体化させるかが重要になるため、ボリュメトリックキャプチャは使えません。

そこで、こちらからインカメラVFXのバーチャルプロダクションを利用することを提案させていただきました。

本プロジェクトは、MVを納品した直後からスタートした。

flapper3は、これまでにXRライブを複数手がけているが生身のアーティストを演出するのは今回が初めてのこと。

矢向：
バーチャルキャラクターについては、ARライブやVRライブというかたちで制作を重ねてきました。

いずれもリアルタイムでの制御には、Unityをベースにシステムを構築して取り組んできました。

ですが、今回は生身のアーティストをバーチャルプロダクションを用いて演出するため、プログラミングと照明演出の連携やトラッキング、背景の合成などのやりやすさなどの観点から、Unreal Engine 4（以下、UE）を選択しました。

UEを選んだ理由は、もうひとつある。

それは、ハイエンドなXRイベントやバーチャルプロダクションでは海外でも多くの導入実績をもつメディアプラットフォームである「disguise」の製品を『SiM XR LiVE』でも利用したこと。

disguiseシリーズは、UEをはじめ、Unity、Notch、Touch Designerにネイティブ対応しているが（※2023年1月時点）、2021年にEpic Gamesからの出資を受けたことが示すとおり、UEとの親和性の高さに定評がある。

flapper3にとって、技術面のチャレンジとしては初ものづくしとなった本プロジェクト。

そうしたこだわりは、スタジオの設営にもおよんだ。

『SiM XR LiVE』では、4人のバンドメンバーが並ぶことができる広さ（約4ｍの横幅）、なおかつ『The Rumbling』MVにも登場した巨人たちをスケール感のあるアオリの構図で撮れる高さ（見た目としての高さ約7m）が求められた。

こうした要件をクリアしているバーチャルプロダクション対応のスタジオが国内ではなかなか見つからず、一時は海外のスタジオを利用することも検討したという。

最終的に、普段はモーションキャプチャやボリュメトリックキャプチャ収録用のスタジオにLED機材を持ち込み、本ライブ用のステージを自分たちでイチから設営した。

＜上＞disguiseから出力された映像ソースのLEDウォール上での見え方をキャリブレーションする様子。1.5mmピッチのLEDパネルを採用／＜下＞disguiseの制御卓の様子。本プロジェクトでは、LEDウォールの機材手配ならびにエンジニアリングは、タケナカがリード。disguiseのオペレーションは、ヌーベルバーグがリードした。各々、複数の外部パートナーも携わっており、大がかりな案件であったことが窺える

1曲に1ワールド、没入できる世界観を演出

次に、山本太陽氏に本ライブのアートディレクションについて語ってもらった。

『SiM XR LiVE』アートディレクター 山本太陽氏（以下、山本）：
今回は、そもそもバーチャルプロダクションというか、XRライブってどんな感じだろう？　と、トライ＆エラーを通じて学びながら作業を進めていました。

他のメンバーとのやり取りを通じて、ステージとなりUEシーンや、そのシーンに読み込むワールド（エンバイロンメント）を作り込む必要があると感じていたので、MVのアセットをリアルタイムCG用に細かく再調整していきました。

今回のライブは全4曲という構成があらかじめ決まっていたので、全体としての物量はそれほど多くはありません。そうした意味でも、観客がライブが始まったらすぐ世界観に没入できるよう、各曲ごとにワールドを作り込みました。

『Light it up』は新曲のため、新規にワールドを作成しました。残りの3曲はMV用のアセットをUE向けに調整しつつ、本ライブの映像演出に必要なギミックなどを追加していきました。

そして、制作を進める上で心がけたのは、プリビズを入念に行うことでした。

プリビズ工程で、カメラワークやライティングを綿密に検証 ＜上＞ 『KiLLiNG ME』のプリビズシーン。アーティストが動ける範囲とバーチャル空間の相関、リアルなカメラとCGカメラの整合性、ライティングが変わったときの見え方など。本制作を進める前に、各曲（各ワールド）ごとにプリビズ工程で様々な検証が行われた／＜中＞＜上＞と同じアングルでライティングを変えた状態／＜下＞ワールドのパースビュー。カメラビューを確認しながら、作り込む必要がエリアと、そうではないエリアを細かく詰めていったという

全体的なスケジュールは、2022年の夏にプロジェクトが本格的にスタート。約2ヶ月かけてプリビズとアセット制作を実施。

8月からシステム構築に取り組み始めて、ある程度できあがったUEシーンをdisguiseチームに共有し、現地で調整が行われた。途中段階の検証については、本番よりも小規模の環境を用意することで対応したという。

9月30日（金）にリアルタイムで配信が行われた後、10月1日（土）から10月31日（月）までアーカイブの視聴期間が設けられた。

ところで、本ライブで導入されたdisguiseとは、どのようなものなのだろうか？

disguiseの強みについて、テクニカルディレクターを務めた猪股芳樹氏は次のように語る。

『SiM XR LiVE』テクニカルディレクター 猪股芳樹氏（以下、猪股）：
今回のプロジェクトでは、テクニカルディレクターとして、UEとdisguiseのデータ受け渡しをはじめ、音と照明とカメラとCGなどのライブに用いられる各種データをどのような機材を経由して、どのようなフォーマット（信号の形式など）で受け渡すのかといった、全体的なシステムの構築とテクニカル面のサポートを総括していました。

山本たちアーティストチームからの要望をテクニカルチームに正しく、適確に伝えるといった、通訳的な役回りでもあります。

disguiseの強みは、バーチャルプロダクションというリアルな要素とバーチャルな要素を組み合わせたXRの表現を行う上で入力と出力の設定が全て揃っていることです。

いわゆる統合ツール（プラットフォーム）なので、例えばLEDウォールから出力された映像信号を、どのモニタとマシンに出力するのかといったフローの指定を一括して行うことができます。

また、今回はライブパフォーマンスの収録ということで、複数のカメラを用意するなどの工夫も試みた。

猪股：
国内におけるドラマやCMの撮影用途のバーチャルプロダクションの場合、1台のカメラで被写体を追い続けるというスタイルが一般的だと思います。

ですが、ライブ公演のようなイベントを映像に収める上では各メンバーのパフォーマンスやステージ全体の様子を意図したタイミングで切り替える（スイッチング）という演出が求められるのでマルチカメラでの撮影が必須です。

そこで今回は、グローバルシャッターに対応していて、こだわった画が（シネマルックで）撮れるカメラとして、ソニーのPMW-F55を採用しました。

F55を7台用意していただき、そのうちの2台をインカメラVFXに対応させました。

LEDウォールに映したCG環境を同時に複数台のカメラで撮れるようにするためには、LEDに映すCG映像を1フレごとにインカメラVFX対応カメラのアングルごとに切り替えつつ（※1）、Genlockを利用して各カメラごとに記録するフレームを同期させるという少し特殊なことをしました。

※1：インカメラVFX対応カメラ2台で各々のフレームを撮影するため。これを実現する上でグローバルシャッター対応のカメラが必要になった

F55を7台導入！　マルチカメラによるパーチャルプロダクション ＜上＞スタジオに配置された「PMW-F55」。全7台のうち2台がインカメラVFXに対応した。今回、リアルなカメラとバーチャルカメラの3次元情報を同期させるにあたり、Mo-Sys Engineering「StarTracker」を採用。レンズについては、StarTrackerを装着したカメラには放送用4Kレンズ 「FUJINON UA13×4.5BERD」を使い、その他のカメラには「FUJINON ZK12×25」が用いられた／＜下＞撮影の様子。左下のモニター中の右上がスイッチャーで選ばれた映像。7台のうち、1台がクレーン、別の1台がドリーで撮影できるようにされた

猪股：
今回は曲ごとにワールドのルックがガラリと変わるので、床面のLEDが必須でした。LEDウォール（ステージ）のサイズは、横幅が約8ｍ、奥行が約6m、高さが約4ｍ（※2）というかなり広いスペースを用意していただきました。

※2：巨人の大きさを効果的に捉える構図としては約7〜8ｍの高さが求められた。そこで、UE上のバーチャル環境と実際のステージとのスケールを調整することで対応

様々なチャレンジを実践した『SiM XR LiVE』プロジェクト。

アーカイブを視聴して、生身のアーティストによるパフォーマンスとUEから出力された3DCG環境やエフェクトがとても自然な見た目で一体化している点にも感心させられる。

猪股：
LEDウォールの外側は3DCG合成になることを考慮して、スモーク等の演出は使用しませんでした。

ライティング面におけるバーチャル環境とリアル環境の同期（見た目としての親和性）については、擬似的にUEシーンに同期させる照明を用意して演出用の照明に利用しました。それらについては、UEからHDRI素材として出力したものからカラーをピックして、それぞれの位置から当てています。

矢向：
ワールドを作った段階で、ワールドの演出に合わせてUEシーン上でライティングも施していました。

そこで、UEシーン上のライティングに合わせて合成に干渉しない範囲での演出的な（リアルな）照明をSiMのメンバーに当てるようにしました。

特に照明を前から切ってしまうと、LEDの光が強くてアーティストが真っ暗になってしまうということもあったので、SiMのメンバーが見えるようにするための照明を別に用意していただきました。

そもそも通常のバーチャルプロダクションの場合、激しく明滅するようなライティングで撮ることはあまりしないはずですが、今回はライブパフォーマンスなので、撮影用というよりもライブ公演用の照明機材を利用しました。そうした意味でもチャレンジングでしたね。

山本：
リアルタイムCGならではの苦労として、巨人が登場するシーンはキャラクター数もエンバイロンメントも物量が多いため描画クオリティとFPSの調整が大変でした。

UEの経験が少ないこともあり、当初は何が原因で重くなっているのかを特定することが難かしかったため、UEの知見がある外部の方にアドバイスをいただきました。

実は、『The Rumbling〜』よりも『Light it up』シーンの方が重くなりました。発光するオブジェクトが多くなったことが主な理由です。

山本：
『Light it up』シーンでもリアルな照明との擬似的な同期をDMX信号を介して行なっています。

特に多いシーンがでは当初、発光オブジェクトを800ほど仕込んでいたのですが重すぎて動かなかったため約600にまで減らしました。

ほかにもDMX信号を同期させるために使用していたUEプラグインが余計な処理も行なっていたことがわかったので、テクニカル班に調整してもらいました。

猪股：
UEに限らず、リアルタイムCGの特性としてGPU処理部分がパフォーマンス改善の中心になる場合が多いのですが、このシーンはライトの挙動を制御しているCPU処理部分も負荷が高く、ボトルネックになっていました。

ライトの描画方法や影響範囲を細かく調整しつつ、制御処理スクリプトも見直し、どうしても処理負荷が規定の範囲に収まらない場合は、ライトの数を減らして調整するという2段階で対応していきました。

バーチャルプロダクションにはプリビズが重要

ここまで紹介してきた通り、インカメラVFXのバーチャルプロダクションを用いたXRライブの国内事例はまだ少ない。

そのため、『SiM XR LiVE』プロジェクトでは、いわゆる画づくりとシステム面の調整を同時並行で進めることで問題をひとつひとつ解決していった。

矢向：
試写はできるだけ回数を重ねましたが、本番ではやるべきことが明確になっていたので諸々スピーディーに作業を進めるようにしました。

本番については、LEDと機材回りのセッティング、設営、建て込みに1日。その翌日と翌々日に検証というか、ゲネプロだったり、セッティング後の各種調整を行いました。

ステージの設営については想像ベースで決めていく部分もあったため、苦労も多かったという。

例えば、撮影ではクレーンを随所に使っており、俯瞰の構図の場合は、スタジオの実際の高さとCG合成を施した後の最終的な見え方との整合性について。逆にアオリの構図では空間の見え方（バレが生じていないか等）など、撮影チームやXR面のコンサルティングを担当したB.b.designといった外部パートナーと密にコミュニケーションを重ねたそうだ。

撮影ステージ（リアルな空間）と3DCG空間との整合性を詰める上では、プリビズをしっかりと作成することが有効だったという。

山本：
プリビズ工程における取り組みですが、例えば4曲目の「The Rumbling featuring 進撃の巨人』では、壁の上に立っているというシチュエーションなので、どこまで下の街並みを見せてリアル感を出すべきなのかという話し合いは密に行いました。

また『Light it up』では、UEシーン上の床面にレイトレースによる反射表現を入れることで、演者が本当にワールドに立っているようなリアリティを込めることができました。

こうしたルックを作り込む上でもプリビズで目指す表現の方向性を具体的に共有できたことが有効でした。今後のXRライブ企画にも活かしたいですね。

『The Rumbling』MVの世界観を、XRライブでも描くために
▲ プリビズの活用例。『The Rumbling』MVのアセットを基に作成された、今回のXRライブ用3DCGシーン。アーティストのボリュメトリックキャプチャデータをレイアウトしてスケール感等を確認している様子

矢向氏は、バーチャルプロダクションを利用したXRライブについて、新たな気づきや課題を感じたという。

矢向：
「こういう手法が有効なんだな、バーチャルプロダクションは」的な学びは色々とありました。

特に、基本的にはLEDウォールへの投影面だけを見せるインカメラVFXではなく、バーチャル空間の表示が主体となるAR形式のアプローチが主となるXRライブの場合は、情報量を画面のどこに置くかというのはかなり重要になると実感しました。

XRライブならではの演出としては、ワールドが移動していくような演出にも積極的にチャレンジしたいと思っています。

今回は『Devil in Your Heart』で、LEDウォールの奥方向へとカメラがトラックアップする表現を入れてみたのですが、真正面からの構図だとワールドに引き込まれるような没入感を得ることができました。

バーチャルプロダクションでは、リアルとCG双方の視点が必要

最後に、XRライブ（バーチャルライブ）の制作に興味のある人たちへのアドバイスをお願いした。

▲『SiM XR LiVE』メイキング動画

山本：
今回、生身のアーティストのバーチャルライブに挑戦してみて痛感したのは、事前の準備の重要性です。

ステージ上で演出がどう見えるのかは、思いつく限りのレイアウトやカメラワークをプリビズで試した方が良いと思います。

演出の精度を高める上では、できるだけ本番環境に近い状態で実際に撮ってみることが有効です。

そうした意味でも、できるだけ早いタイミングで目指す演出やビジュアルの方針を定めることが大切です。
　

猪股：
現実的なことを言うと、（生身のアーティストによる）バーチャルライブはとてもハードルが高いものだと実感しました。

LEDウォールをはじめとする機材やUEシーンなど、やはりものがないと試行錯誤すらできませんから、やりたいと思ってもすぐに始めることはできません。

今回利用したインカメラVFXのバーチャルプロダクションは特にコストが高いですし、それを行える会社自体が日本ではまだ少ないのも現状です。

自分はテクニカルディレクターと言っても、正直全ての技術に精通しているわけではありません。カメラに関しては撮影チームのテクニカルを担っている方に助けていただきました。

映像用途なのか、XRライブ用途なのかにかぎらず、日本にはバーチャルプロダクションを総合的に見ることができる人材が稀少です。

そういった課題が解消されてくると、もっと面白いことができるはずだと期待しています。

　
矢向：
やはり事前の準備、特にプリビズが大事ですね。

猪股が話した通り、バーチャルライブを高い精度をもって進めるにはクリエイティビティだけでなく、CGとXR、UEやUnityなどのゲームエンジンといった幅広い知識が必要になります。

バーチャルライブについては、通常のライブ公演では不可能な表現をいかにして実現させるかというアプローチが重要だと思います。

言い換えれば、いかにバーチャルという夢を売るかがコンテンツを成功させるのかが鍵になる。

3DCG制作に取り組まれている方などは日頃からこうした考えをもたれているかもしれませんが、バーチャルプロダクションの場合はカメラや照明等の知識はもちろん、リアルな現場とCGの双方の視点が必要になってきます。

INTERVIEW＿沼倉有人 / Arihito Numakura（Vook編集部）
TEXT＿江連良介 / Ryosuke Ezure