UnityとUEを活用して、「メタバース番組」を実現させる。stuの挑戦｜CEDEC2022

現在はメタバースが新たな産業の領域として注目されており、様々な分野が参入しようと試みている。その中には、映像制作やライブの放送エンターテインメントといった業界の姿もあった。

そうした業界側の取り組みを、CEDEC 2022では「ライブ・放送エンターテインメントにおけるゲームエンジンを用いたリアルタイム演出」にて、stuの取り組みが紹介された。

本講演ではライブ・放送エンターテインメントにおいて、リアルタイムに演出するためゲームエンジンを用いた事例を通じて、ゲーム以外の産業へのゲームエンジン利用について知見を深めるものである。

メタバースライブという新たなライブエンタメに立ちふさがる課題

▲ 講演者を務めた、stuの青木雄斗氏（左）と高尾航大氏（右）。同社は。今回は様々なイベントを開催してきた経験の下、ライブ・放送現場の映像演出をゲームエンジンによるリアルタイムCGで制作するメリットとデメリットについて解説した

さて、本講演を行うstuとはリアルとバーチャルの融合を目指したライブエンターテインメント手がける企業である

“リアル”では、音楽のライブ演出のプロデュースや制作のほか、MVの制作などに関わってきた 。

一方の“バーチャル”での活動として、これまでにメタバースを舞台にした番組プラットフォームを開発したり、ホロライブ所属の湊あくあのようなVTuberのライブを企画・制作したりしてきた。青木氏は同社が双方を「独立した市場や業種と考えずに、お互いを補い合う関係性がある」と認識しており、将来は両者が融合する未来を目指している。

だが、そうした未来に向けていくつかの課題があるという。まず挙げられたのはメタバースライブの技術的な課題だ。

メタバースライブについて、青木氏は「明確な定義はない」と前置きしつつ、本講演においては簡潔に「バーチャルタレントのアバターが歌ったり踊ったりするのを、ユーザーが自宅からアバターでログインし、同じ空間で楽しむ」要素を持つものだと説明する。

このライブ方式の技術的課題は大まかに2つ挙げられた。バーチャルライブを事前収録で行うケースの課題と、リアルタイムで行うことの課題だ。

それぞれの課題について、まず事前収録方式について詳しく解説。

これは事前に収録されたCGモデルのダンスといったアニメーションデータをネット経由でダウンロードし、クライアント上の3Dモデルに反映し、再生する方式だ。それだけではなく、音声や楽曲も全て事前ダウンロードすることで成立している。

現状のメタバースライブはほぼこの方式で行われている。これはダウンロードさえできていれば、ライブの際に事故が起こりにくいメリットが大きいためだ。

しかし、先述したように演者と観客がコール＆レスポンスすることはできないため、ライブならではの即興性が生まれない問題がある。

さらに事前ダウンロードサイズも数時間のライブを見越したもののため、GB単位でのデータ量を落とし込む必要が出てしまう。ユーザーがライブを見るために、わざわざストレージを開けなくてはならない手間も少なくないのだ。

一方のリアルタイム方式の仕組みはこうだ。

TCPなどの通信方式を使い、スタジオで演者の動きをキャプチャーしたデータを即時ネット経由でクライアントにストリーミング伝送する方法で行われる。

こちらは音声とモーションのみをストリーミングするかたちで、楽曲音源などは事前収録方式との組み合わせになることが多い。

ライブ中に観客とコミュニケーションする、現実のライブと同じようなことができるのがポイントだ。

だが、この方式にも課題があった。

伝送経路が異なる複数のメディアの同期がずれることだ。リアルタイム方式では3Dモデルのモーションと音声、そして口パクそれぞれが別のデータであり、それらを同時に伝送することが重要になる。

ところが、音声をRTCなどで配信し、モーションと口パクを独自の配信機構で行う場合、それぞれのping値が異なることから音声と口パクのズレが発生する可能性が生まれてしまうという。

またライブを観る大量のユーザーへの配信が「非現実的」と称されるほど難しい。

モーションや口パクのデータをリアルタイムで送信するには、様々な通信プロトコル上に構築した独自プロトコルが利用されるが、数万という規模の大量接続が困難なため、サーバーをスケールアウトする対応が要求されてしまう。

リアルタイムのライブ配信を実現するための環境構築

こうした配信の問題に関しては、stuではマルチメディア同時転送プロトコルとして「MSSP（Multimedia Simul-Streaming Protocol）」を考案している。

これはHLSやMPEG-DASHを参考に、音声や映像など様々なメディアタイプをセグメント化した技術である。

また、扱うデータソースを個別に異なるアルゴリズムを用いて圧縮する機能もあり、円滑にデータを伝送できるようにしている。

このMSSPによって、先述した音声と口パクみたいにメディアタイプの異なる時系列データを単一のセグメントにパッケージングし、ネット配信の際にそれぞれのタイミングがずれないタイミングを保証した状態で伝送する。

事前同期とセグメンテーションによって、CDNを経由して大量接続を実現できるわけだ。

▲ MSSPを利用した、リアルタイムのデータ送信構造

stuはこうしたMSSPを活用したリアルタイム配信として、過去にいくつかのライブを成功させたことも紹介された。

リアルタイム配信の環境構築の話題に関連して、メタバース向けのリアルタイム通信バックエンドのMultiverceについても紹介。

これはメタバースでのライブや番組を行うための独自のバックエンドである。本バックエンドによって低遅延と高可用性、高データレートを実現している。

新たなる放送エンタメ「メタバース番組」実現に向けて

こうした環境を下に、stuが新たに取り組もうとしているのはメタバース番組だ。

現在、様々なテレビ放送局専用のメタバースプラットフォームを開発し、多くの番組で採用されていると高尾氏は説明する。メタバース番組の魅力は視聴者が番組に参加できることで、出演者に顔を覚えてもらえることなどが魅力となる。

そのようなメタバース番組では、放送業界ならではの課題がいくつかある。

まず現場での需要と課題に加え、運用面での需要と課題がある。ここでは、そうした課題解決にあたってゲームエンジンのUnityが利用されていることなどが語られた

メタバースでは、ワールドにログインするユーザーはスマホなどのデバイス操作でかまわないわけだが、テレビの現場では放送に耐えうるクオリティを作る必要がある。そのため現場が求めたのは、メタバース中のカメラを制御する機能だった。

そこで実装したのが、ゲームコントローラーとキーボードによるカメラ制御である。

実際のカメラのズームやパンといった機能をコントローラーの各ボタンに割り当てることで、カメラマンはPCの前でゲームの要領で制御できるようにしている。

またカメラには位置記憶の機能もあり、ワールド中のどの位置でカメラを向けているかをすぐ替えられる機能も実装。

現実のTV番組でいわゆる1カメ、2カメみたいに複数のカメラに切り替えるように、キーボードの数字を押すと記憶したカメラ位置に移動できる。カメラ位置はワールドの情報が変わっても記憶されるなど、使いやすくしている。

ほかに高尾氏が強調したのは「画面中に時刻を大きく表示していること」だという。

放送中は時刻が正確であるかどうかで命取りになるため、コンスタントにMPPサーバーから時刻を同期するようにしているなど、放送業界ならではのUI設計が実装されている。

さらにARシステムを利用し、現実のカメラワークでメタバースも撮影する手法も紹介された。

こちらは光学式や機械式カメラトラッキングシステムによってカメラ位置を特定させ、グリーンバックのスタジオで現実のカメラを操作して放送する手法だ。

一方、stuでのARでのカメラ制御はUnityを利用している。

物理カメラにトラッカーを付けており、ネットワークを経由してカメラ位置を特定し、制御している。カメラでグリーンバックのスタジオ上の演者を撮影し、Unity上でメタバースと合成して放映するかたちとなる。

高尾氏はUnityを利用した出力で大切にしていることも指摘する。

Unityはフレームレートが可変することから映像機材で扱いにくい部分があるという。そこで映像装置とUnityのフレームレートを同期させる仕組みを導入して解決している。

また映像の出力トラブルの可能性もあり、いつ何時も機材が変わるかわからないため様々なツールを用意している。

放送中にどのカメラで今、放送されているかを演者に伝えるタリー表示についても、メタバース版ではカメラがスイッチングしたときにGPIO信号を出すことで行なっている。

この信号を受けて、Unityでタリー表示をするためのハードウェアもstuで開発したそうだ。

そのほかに、ライブ番組のときの演出同期についても解説。

例えばライブで音楽が行われる際、曲に合わせて特殊効果や照明の演出をするときには、LTC（Longitudinal Timecode）を利用している。LTCでは音声信号の中にタイムコードデータを埋め込めるため、曲と同期しやすくなるわけだ。

続いてメタバース番組を、TV放送局側がどのように運用したいかについて語られた。

stuでは番組などで使用するオウンドメタバースプラットフォームとして、「RemoteStudio」を開発。

これはホワイトレーベル（他社制作のものを自社ブランドとして良い）というかたちで、使いたい企業のニーズに合わせてカスタマイズしている。

stuではホワイトレーベルでのメタバースを開発するためにいくつか工夫している。

Multiverceを利用することでイベントのオーガナイザーと、会場を作るワールドクリエイターとそれらを消費するエンドユーザーらがやり取りできるようにしている。

“リアル”と “バーチャル”が接続した、未来のライブエンタメの展望

最後に未来への展望について語られた。

ここまで解説されたようなバーチャルライブの開発が進めば、近未来的には現実のライブをデジタルツイン化できると説明される。

また、音楽ライブ制作のワークフローを変えるライブのプリビズ（Pre-Visualization）も提案していきたいという。

さらに実在の人物や場所を3次下デジタルデータに変換するボリュメトリックキャプチャー技術によって、ライブ中のアーティストをメタバースにそのまま登場させることも考えているという。

「現実のライブをそっくりそのままバーチャル空間上に持っていく」ことがstuの未来に目指していることであると高尾氏は説明し、本講演を終えた。

TEXT＿葛西 祝 / Hajime Kasai
EDIT＿沼倉有人 / Arihito Numakura（Vook編集部）