【Unreal Engine】バーチャルプロダクションを、実質コスト“0円”でやってみた！

初めまして。
映像やデザインを手がけるクリエイティブスタジオ、株式会社IDENCEです。

今回は、当社でも徐々に活躍の機会が増えてきている「Unreal Engine」を用いて、あの装置 を簡単に再現してみました！

そう、LEDウォールです！！！

LEDウォールを用いたバーチャルプロダクションを、Unreal Engineを使って、ミニマムに、卓上で、ありものだけで再現してみたいと思います。

そもそもバーチャルプロダクションとは

バーチャルプロダクションってなんだ……？　という人のために簡単におさらいしましょう。

On-set virtual productionとは、テレビや映画の制作において、セットの背景に映像やCGIを表示したLEDのスクリーンを使う撮影技術のこと。入念な調節やキャリブレーションのもと、本物のセットや屋外のロケーションとほぼ変わらない現象を作り出すことができる 。
引用：Wikipedia

そう、カメラの動きに連動してスクリーン上の背景コンテンツがリアルタイムに動くことで、場所や時間に捉われることなく、撮影の自由度を上げることを可能とする最新の技術です。

参照：トヨタ カローラクロスCM BTS

近年ハリウッドやCM等でも導入が進み、話題となっています。

実践編

ではもう少し話の解像度を上げていきましょう。

今回私たちが挑戦するのは具体的には「インカメラVFX」と呼ばれる技術となります。

インカメラ VFX は、ライブ アクションによる映像の撮影中にリアルタイム ビジュアル エフェクトを撮影するための驚くような新しい手法です。この手法では、LED ライティング、ライブ カメラ トラッキング、軸外し投影をともなったリアルタイム レンダリングの組み合わせを活用することにより、前景の出演者とバーチャルな背景をシームレスに統合します。インカメラ VFX の主な目的は、グリーン スクリーン合成の必要をなくし、最終的なピクセルをカメラ内で作成できるようにすることです。高品質なリアルタイム ビジュアル エフェクトを制作するうえでの課題の 1 つは、すべてを同時に実行するためにテクノロジーを同期することです。
引用：https://docs.unrealengine.com/

このようにありますが、つまるところ、
そもそもの背景に、LEDウォールを使って 映像を出してしまおう！
ということです。

グリーンバックでの撮影では、一度映像を取り込んでクロマキー処理をし、そこで初めて合成後の映像を確認することができます。

それに対してインカメラVFXでは、すでにLEDウォールによって背景映像が投影されているため、カメラマンはもちろんのこと、演者も実際に自分がいる環境を認識した状態で撮影に臨める利点があります。

しかし通常のCGソフトで作成した背景画像では、カメラが動いた際に背景が追従せず、リアリティが落ちてしまいます。

(どうしよう…。)

Unreal Engineがアツい

そこで用いられるのが、リアルタイムで3DCGを表示することに長けているUnreal Engine（以下、UE）になります。

UEを用いた、インカメラVFX制作の流れ
●どのような映像が作りたい／見せたいか検討する（企画）
●3DCGソフト（Cinema 4Dなど） or UEで舞台となる空間を制作する
●UE上にバーチャルのカメラを配置する
●「トラッカー」を用いて、現実空間にあるカメラとUE内のカメラの動作を同期させる（ここが肝）
●リアルのカメラを動かすと、同期したUE内のカメラが動き、背景映像はそれに合わせてリアルタイムに変化していく

リアルタイムでカメラに合わせた背景描画が行われることで、リアリティのあるVFXが、その場で完結してしまいます。

文字だけではリアルタイムに動く背景がなぜリアリティを生み出すのかわかりにくいので、画像を用意してみました！

①背景が現実だったら…
被写体を中心にカメラが円周運動をするワークを考えてみます。
カメラが左から右にワークした場合、背景の建物は右から左に流れるように見えます。
見る場所によって、さらに奥のビルが見えたり、見えなくなったりします。

②背景が静止画だったら…
カメラが左から右にワークした場合、背景の画像は同様に右から左に流れるように見えます。

しかし、どこから見てもビルの並びは同じようにしか見えません。

③背景がUEのリアルタイム映像だったら…
カメラが左から右にワークした場合、背景の画像は同様に右から左に流れるように見えます。

現実のカメラ位置とUE上のカメラ位置が同期しており、背景を見る場所がUE上でも変化しています。

それによって現実と同様に、カメラの位置によって背景の見えるものが刻々と変化していきます。

なんとなくわかったでしょうか？

UEでリアルタイムに背景が動くことで、画面の向こうのオブジェクトが現実と同じ動きをするのです！
では早速、検証に取りかかってみようと思います！

バーチャルスタジオをつくってみよう

……と意気込んでみたものの、カメラをトラッキングするトラッカーとLEDウォール、どうやって用意すんねん😇

一般的なバーチャルスタジオでは高輝度・高精細な大型LEDウォールが導入されていて、Red Spy（ https://stype.tv/redspy/ ）などの高額なトラッカーも必要らしいですわね……。

まさかインカメラVFXは敷居が高くて、誰でもできるわけじゃないのか……？

と思いましたが、なんとか身近な機材でチャレンジしてみようと思います！

通常のインカメラVFXは、人物を撮影したり、大きなカメラワークを実現するため、そして十分な輝度を確保するために、大型のLEDウォールが用いられています。

しかし高額でかつ広い場所がないため、今回は40インチ程度のPCディスプレイを用いることにしました。

ズバリ、「LCDウォール」！！！これで用意できそうです！

通常だとRed SpyやVIVE Trackerが必要になりますが、これも用意しにくいですね……。

そこで今回は、UEにある「バーチャルカメラ」と、iOSアプリの「UnRemote」を用いたトラッキングを検証します。

参照：https://docs.unrealengine.com/4.26/ja/AnimatingObjects/VirtualCamera/VirtualCameraActorQuickStart/
※UEとiPhone (iPad)の接続方法詳細は上記記事をご確認ください。

撮影にはBlackmagic Design社のPocket Cinema Camera 6Kを用います。

小型軽量、そして安価にもかかわらず、大型センサーでしっかりと解像度を保ったまま撮影ができるため選定をしました。

そしてUnRemoteを用いたトラッキングがどこまで機能するのかをしっかりと検証するため、よくインカメラVFXでも用いられるジブクレーンを利用します。

ジブクレーンも大規模撮影では高さが数m規模で必要なため、大きくなりがちですが、今回は40インチのディスプレイサイズで十分なため、小型のものを用意しました。

↑今回のカメラセットアップ

はい、"スタジオ"ができました！！

何が撮れるか

今回のLCDウォールバーチャルプロダクションでは、そこらへんの物をディスプレイの前に置くだけで、宇宙でも砂漠でもとにかく自由な背景の中に簡単に合成できちゃうのが最高ですね。

グリーンバックを用いたVFXに比べて、リアルタイムで完成映像が見れるのもテンションが上がります。

リアル側では、奥のディスプレイの光をいい感じに透過してくれるような素材を設置できるとバーチャルプロダクションを効果的に使った映像になりそうです。

いざ、撮影。

撮影、やってみましょう！

検証①
まず、現実空間と3DCG上で配置したオブジェクトを同期させる、カメラトラッカーの精度が最大に要求される実験です。

UE上でカメラとオブジェクトを配置、現実のカメラ位置をしっかりと計測して同期させます。

しかし、ここで問題が発生しました。

UnRemoteを用いたトラッカーが、正確なXY軸の移動を捉えれられていないように見えます。

通常のトラッカーのように相対位置でトラッキングができていないからでしょうか。ﾑｽﾞｶｼｲ……。

スマホのセンサーで正確な位置測定は、かなり難易度がありそうです。
（↑限界検証員たち）
氷も準備したんだけどなぁ…

検証②
UnRemoteのトラッキングは、ジャイロセンサーによって角度などはしっかりと計測されていそうだったので、そこまで精度の要求されない、背景と手前の物体が分離した映像も検証します。

背景にはしっかりとパララックス効果を感じられるよう、奥行き感のある素材を制作します。

中央に商品に見立てたペットボトルを配置し、その周りをワークします。

それなりにいい感じです！

プレビュー表示のfpsはPCスペックにかなり依存しますし（参考値 | RTX3080：平均40fps / Macbook Pro 16” M1 Max ：平均20fps）、トラッキングの精度はジブクレーンのようなXY軸に加えてZ軸が加わる際に微振動などが気になるようです。

カメラにスマホをマウントする機構には、クイックシューのスマホスタンドに加え、それだけでは微振動が多く、トラッキングに影響が出たため、追加でノガアームの補強を加えました。これで意外と揺れない。

上手くいったこと、いかなかったこと

無事に検証を終えることができました！
今回の検証結果をまとめてみます。

ー上手くいったこと
iPhoneがそれなりにトラッカーとして機能した
しっかりと奥行き表現のある映像を撮影できた

ー上手くいかなかったこと
正確な位置のトラッキングができなかった
iPhoneのマウントが弱く、微振動が気になった

今後

ディスプレイと、パソコンとスマホさえあれば、プログラミングも難しい環境構築も必要なく再現可能なのが素晴らしい点ですね。

私たちはそんな高度なセンシングと高度な演算が容易にできてしまう良質なデバイスに囲まれて生きています。幸せですね。

今回は最低限の構成要素での試行にとどまっています。

液晶ディスプレイの枚数を増やしてみてもいいですし、リアル側とバーチャル側でもっと要素を絡めてみてもいいかもしれないです。

表現を詰めていけば、小規模LCDウォールもいずれ実務として使われることもあるかもしれないですね。

国内ではまだまだ事例の少ないバーチャルプロダクションですが、小規模ながらも事例を産み出していくことによって少しづつ土壌が生成されていくと嬉しいです。
最後までご覧いただき
ありがとうございました！

IDENCEのご紹介

いかがだったでしょうか？

最後に少しだけ当社についてもご紹介します。
IDENCEは、慶應義塾大学SFC在学生を中心に2021年末に設立された、まだまだ新しいクリエイティブスタジオです。
https://idence.jp

プランナー、ディレクターをはじめ、カメラマンやデザイナーといった専門職のクリエイターが幅広く在籍。

実写映像、3DCG映像の制作技術を軸に据えながら、その映像を効果的に届けるためのプランニングやコンサルティング、グラフィックデザイン、イラストレーション、WEBデザイン、UI設計、楽曲制作、スタイリングを提供しています。

高校時代、ひたすら映画を作っていたり、プロジェクションマッピングで地上波に取り上げられていたり、マイクラを極めてMicrosoftに公認されていたり。

様々なバックグラウンドを持つ個性の強すぎるクリエイターが集い、日々楽しくクリエイティブ表現を追究しています。

何かご一緒できることなどありましたらどうぞお気軽にご連絡ください。お待ちしております！
https://idence.jp/contact

▼ TV番組共演がきっかけで起業したアイデンスとネイキッド業務提携
https://prtimes.jp/main/html/rd/p/000000782.000008210.html

▼ Vook編集部様にインタビューしていただきました

技術要件

【PC】
OS：Windows11 Home
CPU：Intel®︎ Core i7-12700
RAM：64GB
GPU：NVIDIA GeForce RTX 3080

【ソフトウェア】
Cinema 4D S24
Unreal Engine 5.0.3

【撮影機器】
カメラ：Blackmagic Design Pocket Cinema Camera 6K
レンズ：Canon EF 24-70mm F2.8L Ⅱ USM
ジブクレーン：iFootage MINICRANE M1-Ⅲ

映像制作用途で、Unreal Engineを使いたい人はこちらもチェック！