バーチャルプロダクションの最新動向を識者が解説。LEDウォールとは？　インカメラVFXとは？｜モーションモンスター2021

2021年6月9日～12日の4日間にわたってオンラインで開催された日本最大級のモーショングラフィックスイベント、MOTION MONSTER。DAY3のCG･VFX DAYには、中でも技術的に最先端を行くバーチャルプロダクションに焦点を当てたセッション、【バーチャルプロダクションのいま】 を開催しました。

バーチャルプロダクションという言葉は聞いたことがあっても、具体的に説明するのは難しいという方が多いかもしれません。セッションではsync.devの岡田太一さんをお招きして、バーチャルプロダクションの全体像や代表的な「LED WALL」等のメリット・デメリット、合わせて近年よく聞かれる「In Camera VFX」についても解説いただきました。今回はそのダイジェストを記事でお届けします！

ゲスト紹介

岡田 太一

sync.dev / Technical Director
Digital Artistからキャリアを開始。CM業界のポストプロダクションを経て、現在はビジュアルクリエイティブ領域にてテクニカルディレクションを担当。得意な分野はビデオ信号とリアルタイム合成、トラッキング関連など。

バーチャルプロダクションとは

岡田：バーチャルプロダクションについて話していくにあたり、最初に言葉を整理しておきたいと思います。まずカバーする範囲がいちばん広いのは、恐らく「xR」という言葉でしょう。これは要するに「何とかリアリティ」。例えばVR、AR、MRだけではなく、バーチャルプロダクションに必要な技術や、照明、音響、配信関連の言葉まで、全て「xR」に含まれます。

岡田：図にあるとおり、「xR」の中にある「バーチャルプロダクション」も非常に範囲が広い言葉です。VR・AR・MR、撮影、照明、バーチャルスタジオなども入ってくるのですが、今回は「映像制作におけるバーチャルプロダクション」という切り口で、特に「LED WALL」でのバーチャルプロダクションにフォーカスして話を進めます。

プロダクションという言葉は、大抵の場合は撮影前後のことを指しています。一般的に、企画、絵コンテ、撮影準備といった「プリプロダクション」に続いて「プロダクション」、つまり実際の撮影が行われ、そのあとに撮影したものを編集、合成、カラコレといった「ポストプロダクション」と呼ばれる工程があります。

このプロダクションの現場の中にポストプロダクション的な要素を組み込んでいく流れが、最近ではバーチャルプロダクションと呼ばれています。それでは早速、バーチャルプロダクションで用いられる代表的な3つの技術である「LED WALL」「グリーンバック」「フルCG」について見ていきましょう。

LED WALLのバーチャルプロダクション

岡田：LED WALLは、スターウォーズの実写ドラマシリーズ『マンダロリアン』で有名になったのをきっかけに、今特に欧米で普及が進んでいる技術です。

メリットは大きく4つあります。まず、現場のLED WALLに実際にCGが映るので、合成の工程が不要です。撮影したものが、そのまま最終アウトプットになります。

2つ目は、スタッフや演者さんにとって、LED WALLの方を向けばCGが見えているので、その場で何が起きているかを把握しやすいということです。モニター越しでなくても状況が分かるので、現場の一体感が結構違います。

3つ目は、LED WALLは光っていますから、照明の代わりになります。例えば、青空があるとその青が演者さんに映り込んで、自然でよく馴染んだ感じになります。

最後に、LED WALLではレンズディストーションについてあまり考える必要がありません。グリーンバックの場合、実写の映像をCGに合成しますよね。カメラで撮影した画にはどうしても歪みが生じるので、CG側もそれに合わせるのですが、その歪みを解析するのがかなり面倒だったりします。一方、LED WALLはCGと人物込みで撮影するので、そのような解析が不要なのです。

岡田：ただしデメリットも多々あって、まずLED WALLの場合、カメラに映る範囲に加えてその外側も考慮する必要があるので、かなりのマシンパワーが要求されます。1台で賄うのは難しいことがほとんどで、うちでテストするときは2台から4台ぐらいですが、大抵は本格的なマシンを4台以上連結します。

この時、それぞれの信号を同期しなければならないのも難点です。マシン間のフレームレートを同期し忘れてコマ落ちのタイミングがずれるとアウトですし、LEDパネルや液晶画面のリフレッシュレートも、普通に電源を入れただけでは合っていない場合があります。これらを合わせた上で、LEDパネルを撮影するカメラ側も同じ信号で同期していないと、フリッカーの原因になります。

また、現在開発中の技術なので、誰も検証したことがないことがたくさんあります。今事業として新しいことを始めようとしてらっしゃる方々は、自分たちでR＆D実験をしてから進めている感じですね。

続いて撮影に関わる部分での難しさで言うと、実写素材をCGの中に入れるのが大変です。LED WALLでCGと一緒に合成されていますから、後修正しようと思うと、もう1度マスクを描かなくてはいけなくなります。

足元をどうするかも問題です。床をLEDパネルにすることも可能ですが、光るので馴染みに影響したり、影が出来なくなったりします。クオリティを考えると、例えば荒野や砂漠のシーンだと、美術さんに入っていただいてスタジオに砂をまくといった対応をします。まるで総合芸術の様相ですよ。

以上のようなメリット・デメリットを考慮して、現状LED WALLのバーチャルプロダクションは、主に長尺の映画などで活用されています。現場で撮り方を悩んでいるシーンがあっても、監督はいろいろ試してその場でアウトプットを見られるので、無駄なく撮影を進められます。また、一発撮りの場合にグリーン抜きよりも綺麗なエッジ、馴染みになる場合が多いです。

少し特殊な用途ですが、観客を呼ぶイベントなどでの活用を模索している人たちもいます。LEDにCGを映し、観客がそれを見て楽しむというような演出が、これからできるようになっていくかなと思います。

グリーンバック/フルCGのバーチャルプロダクション

グリーンバック

岡田：グリーンバックは古くからある技術です。グリーンのスタジオに演者さんがいて、そこにCG背景を合成します。向いているのは、生放送や生配信のようなリアルタイムで進行するもの。ノウハウが共有されている分、ライブではないCMなどの現場でも工数を計算しやすく、撮影を予定どおりに進められることが多いと思います。

メリットは、まず技術的に成熟していて、現場の人に大抵知見があることです。手順としては実写素材をCG側に取り込むので、CG側に対して反射や屈折ができたりします。撮影後にCGの作り直しが可能なんですね。足元までグリーンですから、影などを作りやすいのも特徴です。

デメリットは、そもそもグリーンバックのスタジオを用意しなくてはなりません。この時点で既にハードルが高いですよね。時間とお金を無限に使えば良いものが出来ますが、合成結果からグリーンバック感を消すのも大変です。さらに、照明がグリーン優先になりがちな点も挙げられます。

特にリアルタイムのイベントではカットごとにパラメーターを変えられないので、完璧なグリーンを作るがために、照明の当て方や色味といった自由が利きにくくなる場合があります。モニターを通さないと結果を確認できないので、演者さんからすると、自分が何をしているのかがどうしても分かりにくいと感じてしまうのも、グリーンバックの弱点の1つです。

フルCG

岡田：フルCGのバーチャルプロダクションという概念もあります。こちらは映像としてのアウトプットよりも、ゲームあるいはVRゴーグルのようなかたちで、最終アウトプットもリアルタイムCGという場合によく用いられます。VTuberのコンテンツやゲームキャラクターのイベントに非常に向いていますね。

フルCGならではのメリットとして、何もかも自由です。要はCGカメラですから、簡単にマルチカメラができます。任意の場所にカメラを置いて、その視点を見せることができます。

デメリットは、モニター上にしか結果が出ないことです。また不得手な部分としては、実写素材を入れるにはかなり変わった工程を経るか、ボリュメトリックキャプチャという別の技術の話が絡んできてしまう点があげられます。

In Camera VFXの仕組み

岡田：LED WALLの話をもう少し深掘りしましょう。LED WALLとセットになって聞こえてくる言葉に「In Camera VFX」があります。まず、In Camera VFXが動いている動画をご覧ください。

【動画】

さらに、こちらに模式化したステージを用意しました。

Real Stageと書いている方を、LED WALLのあるスタジオだと思ってください。

ここで今カメラがグルグル動いています。この動きをトラッキングして、カメラがどう動いたのかをCG側に伝えます。そうすると、CG Stageの方で実写のカメラと同じようにCGカメラが動きます。

岡田：このCGカメラが撮影、レンダリングしたCGを、実写のカメラ位置からLED WALLに対して投射します。カメラの位置にプロジェクターを置いたと思ってください。カメラとプロジェクターは光の進む方向が逆なだけで、似たようなものですからね。プロジェクターを置いた結果として、画が歪んだ状態でLED WALLに映ります。これをリアルタイムで行っているのが、In Camera VFXです。

手順をまとめると、次のとおりです。

1. 現実世界のカメラをトラッキングして、CG側にカメラデータをわたす
2. CG側をレンダリングをする
3. 2でレンダリングした結果を、カメラデータを元に仮想的なLED WALLに対して投射する
4. 仮想的なLED WALLを正対位置から再度レンダリングする
5. 4を現実世界のLED Wallに表示する

現実的にどうしても数フレの遅れは出てしまうので、激しい手ブレは危ないかもしれません。パンは大丈夫ですが、動き始めと動き終わりが少しずれる可能性があるので、そこはカメラマンさんの腕次第というところはありますね。

エンジンソフトウェアの主流はUnreal Engine

岡田：このようなIn Camera VFXを制作していくにあたり、基本となるのがゲームエンジンと呼ばれるソフトです。メジャーなものに「Unreal Engine」と「Unity」の2つがあります。最近の『マンダロリアン』から始まったバーチャルプロダクションの流行りで言うと、Unreal Engineが特に注目されていて、それにはいくつか理由があります。

Unreal Engine公式サイト

まず、Unreal Engineはクオリティの高い画を比較的簡単に出すことができます。さらに、バーチャルプロダクションが必要とする映像制作系のハードウェアについて、メーカーからサポートが提供されているんですね。Unity関しては、いろんなセンサーやトラッカーに対して、GitHubなどでいろんな人たちが対応してくれていますが、プロが仕事で使う場合は、純正のサポートがある状態が望ましいかなと思います。

また、Unreal Engineはソースコードが公開されていて、それを使ってUnreal Engine自体の改造が可能です。個人ではなかなか大変ですが、Zero Density、Pixotope、Vizrt、Smode、Brainstorm、disguiseなどがUnreal Engineをサポートしています。ものによって、対応の仕方は違いますね。

例えば、Zero DensityというメーカーのソフトウェアであるRealityは、Unreal Engineのプラグインというより、むしろ改造版Unreal Engineです。対して、これから伸びると言われているdisguiseやSmodeといったソフトは、元々ライブ配信会場の画面制御や照明制御を行うものでしたが、そこにCGレンダリングエンジンとしてUnreal Engineを統合しています。

フリー版を試せるソフトも実はたくさんあります。ただし、仕事ではハードウェアも必要なので、価格が3桁万円から4桁万円くらいという…。いずれも個人で購入するものではなくなってきます。とは言え、結局これらの高価なソフトも、レンダリングエンジンがUnreal Engineなんですよ。ソフトに応じたノウハウや作法はありますが、本質的にはUnreal Engineで中身を作れます。必ずしも作業をする全員がソフトを持っている必要はないのが、大きなところですね。

主要なソフトウェアと機材

岡田：では最後に、バーチャルプロダクションに関わるエンジンソフトウェア以外のソフトウェアや機材を紹介していきます。

バージョン管理システム
バーチャルプロダクションでは現場で手を加えますし、複数台のマシンを動かします。マシンが同期できていて、同じファイル、同じ素材になっていることを保証するには、ファイルコピーで済ませず、バージョン管理システムを入れておくことが必要です。

トラッカー
バーチャルプロダクションで避けては通れないのが、カメラトラッキングです。数あるトラッカーの中で、例えばVIVEは手を出しやすいと思います。先ほどのIn Camera VFXの動画を撮影したときは、VIVEトラッカーを使いました。ただ、カメラ専用トラッカーではないので、自前で開発が必要になる部分がありますね。プロ向けのカメラ専用トラッカーは、レンズディストーションを考慮したり、マルチカメラで使用したりといったことが可能です。

PC本体とGPU
一昔前まで、ほぼHPのZシリーズ一択でしたが、最近はLenovoのThinkStation P620も耳にするようになってきました。

現場の本番機のGPUは、NVIDIA RTX A6000が鉄板です。コンテンツの制作や開発機はGeForce RTX 3080くらいで充分なことが多いですね。結局のところ重視するのは、フレームレートがどのぐらい出るか、コマ落ちしないか、といった部分になります。

NASとネットワーク機材
「複数台のマシンにデータをコピーしていられない」「バージョン管理システムをどこに置くか？」ということで必要になるのがNAS（Network Attached Storage/ネットワークに接続して使用するHDD）で、現場に持ち込んで使用します。速度は10G以上に対応していることが望ましいですね。

さらに、その周りのネットワークを自前で組まなければなりません。通常は配信管理の方々がいますが、バーチャルプロダクションの中まではカバーしていないことがほとんどです。

GenLockとカメラの選択
電気で動くものには動作クロックという概念があり、クロック同期のための仕組みをGenLockと言います。各マシン、LED パネル、カメラ、カメラトラッカーなどを同期する必要性については、先にお話ししたとおりです。

ですから、カメラの選択に関しては、同期信号が入る、すなわちGenLock入力を備えたものがいいということになりますね。

その他の必要機材（グリーン、LED WALL）
グリーンバックでは、大抵の場合SDIインターフェースというかたちで実写映像をUnreal Engine側に取り込みます。それ専用のボードがあって、AJAのCorvid 44 12GとBlackmagic Designの Decklink 8K Proの2機種がよく使われています。

LED WALLの場合、WALLを建てることからスタートなので、まずLEDパネルを手配します。いろんなメーカーのものがありますが、やはりここはいちばんお金がかかるところですね。また、複数のGPUを同期させるためのボードも必要です。例えばNVIDIA RTX A6000を使うとしたら、別途NVIDIA Quadro Syncのような専用ボードも入れておかなければなりません。

未来の業界を担うのは個人の専門性

岡田：映像制作におけるバーチャルプロダクションというテーマで、特に今注目したいLED WALLに重点を置きながら、全体像をお話ししました。

もし、個人でバーチャルプロダクションを試してみたいということでしたら、LEDパネルをテレビで代用するという手があります。本物と同じようにいかない部分があったり、同期信号が入らないせいでフリッカーが見えたりするかもしれませんが、何千万円の費用もかかりませんし、遊びとしてはすごく面白いと思います。

僕自身は、sync.devで映像やビジュアライズの分野でテッキーなことをやっていきたいと考えていますが、業界としてまだ確立していません。例えば、「バーチャルプロダクション業界」があるわけではなく、いろいろある手法や用途を、今みんなが模索している段階なんです。冒頭で触れたとおり、そこで必要となる技術は非常に広範囲にわたります。なので、何か1つ自分の専門性を持って、半歩、1歩と踏み出せる人が、これからどんどん増えていってほしいですね。

岡田さんが代表を務めるsync.devの公式サイトはこちら！メンバー募集中とのこと、気になる方は是非チェックしてみてください。
https://www.sync.dev/

ーーー

アーカイブ動画はこちら

モーションモンスターセッションレポート一覧