液晶ペンタブレット「Wacom Cintiq 16」を実写VFX制作に使ってみた。【アニメーション編】

こんにちは、映像ディレクター/VFXアーティストの涌井 嶺です。

僕は普段、グリーンバック撮影のMVや、実写素材への3DCG合成などをメインに映像制作をしています。
涌井嶺ウェブサイト

この度、ワコムさんから「Wacom Cintiq 16」をお借りして、VFX映像制作に液晶ペンタブレットを使用すると作業環境はどう改善されるのかを検証しました！

僕は趣味でイラストを描く際に板型のペンタブレットを使っていたのですが、
これまでずっとペンタブというのは、絵やイラストを描くときににだけ使うものだとばかり思っていました。

CG制作を始めるようになってからは、3D制作でもスカルプトやウェイトペイント、テクスチャペイントなどの工程で便利だということは聞いたことがありましたが、実写合成のVFXでは、トラッキングやコンポジットなどの作業が多くペンタブの使用感はわからずにいました。

今回、「VFX映像の制作に液タブを使ってみてほしい」というご依頼を受けて、正直、「VFXに液タブってどう使うんだろう？」「どういうメリットがあるんだろう？」と率直な疑問がいくつか浮かびました。

そんな未知の世界だからこそ、実際に使ってみて新しい発見や素直な感想が出てくるのではないかと思い、レビュー記事を書かせていただきました！

今回は 「液晶ペンタブレットをテーマにしたVFXのショートビデオを、まさにその液晶ペンタブレットを使って制作する」 というちょっと面白いチャレンジをしてみました。

こちらが完成したムービーです。Blenderを使っている人ならお馴染みの、起動したときに置かれている「デフォルトキューブ」を
液晶ペンタブレットを使って実世界に大量コピーするというテーマです。

本記事は、このムービーのメイキングという形で話を進めつつ、
「こんな作業に液タブが向いていた」「こんな使い方もあるんじゃないか」という発見を、VFXの制作という視点から都度紹介していければと思います。

前半となる本記事では、主にBlenderを使ったマッチムーブやシミュレーションの部分のメイキングを紹介し、次回はAfter Effectsを使ってコンポジットや仕上げの作業について解説します！

プランニング＆実写撮影

まずはこちらの液タブを使った映像のアイデアを考えました。

Blender起動時に最初からある「デフォルトキューブ」を、液タブを使ってたくさんコピーし、実体化するというアイデアを思いつき、映像を撮影しました。

合成前の撮影素材はこちらです。シュールですね。

後々トラッキングしようと思っているので、キーボードやマイクなどトラックマーカー代わりになるオブジェクトも配置しています。
（よく見ると左奥のモニター台の下に、僕の愛機の板タブも出演しています。）

右手で液タブを操作しなければいけなかったので、左手でDJI Osmo Pocket 2を持って撮影しました。
撮った素材はPremiere Proに取り込み、ProResに変換してBlenderに読み込みました。

ペンタブを使って作業するということでしたが、実際にはキーボードやマウスなど他の入力デバイスを使いたいこともあるので、いろいろと作業用のレイアウトを考えました。

Blenderで使用する上で個人的に一番おすすめなデスクレイアウトはこちらです！

▲ Wacom Cintiq 16をキーボードとマウスの間に配置しています

この後、各作業工程で解説していきますが、液晶モニター自体をサブモニターのように扱えるので、Blenderのウインドウを1つ独立させて液タブ側に配置し、液タブでやりたい作業はこちらに集約するというのがとても便利な使い方でした！

手元にモニターがあるというのは見た目にもかっこいいです。

マッチムーブ 〜トラックマーカーを効率的に配置できる〜

次に、この撮影データに3DCGを合成するために、動画をトラッキングし撮影時の空間とカメラの位置関係を再現（マッチムーブ）します。
この作業をしないと、3DCG上でのカメラワークが実写と一致しません。

ここで早速、液タブの魅力を発見しました！

トラッキングをするときは、まずトラックマーカーと呼ばれる特徴点を動画上に打っていくのですが、マーカーと映像の位置を調整するというなかなか繊細な作業になるので、マウスだとクリックの位置がずれたりして調整に時間がかかることがありました。

ですが、液タブの場合は、映像の特徴点の位置にペンで印を付けていくような感覚で直感的にトラックマーカーを配置することができました。

少しずれてしまっても、ペンでつかんで調整するような操作がかなり繊細にできます。

マウスで操作するときと違って、ペンとタブレットの間に適度な摩擦があるので、繊細な作業をするときに動かしすぎてまた戻す……といった細かいストレスが解消される感じがしました。

とにかく、直接撮影素材に書き込むようにトラッキングできるというのが直感的で新しい体験でした……。

また、ペンタブ自体がサブモニタのように扱えるので、トラッキング画面を液タブに、3Dレイアウト画面をメインモニターに表示しておけば、適宜レイアウトを確認しつつ、トラッキングが上手くいっていないところを直接、液タブ上で修正するといったことも可能です。

トラックマーカーを配置したら、全てのマーカーを特徴点にトラッキングさせ、コンピューターに三次元空間でのオブジェクトの配置やカメラの位置関係を計算させます。

今回はトラッキングを行なった後、マーカーの位置を参考にして机の上のオブジェクトを簡単にモデリングし配置しました。これらはこの後、飛び出してくるキューブとの衝突判定用のダミーモデルとして使います。黄色いのがカメラの位置です。

▲ こちらのスクリーンショットからもわかるように、撮影時のライト環境を再現するため、いくつかエリアライトも配置しています。液タブやモニターの位置、窓の位置、照明の位置にライトを置きました

カメラの位置から見ると、撮影データと3D空間がほぼ一致していることが分かります。

アニメーション 〜キーフレームの調整を直感的に行える〜

次に大量のキューブが飛び出してくる動きを作ります。先ほど作った机や机の上のオブジェクトのモデルに剛体（衝突判定）を入れ、その上に同じく剛体を入れたキューブを飛び出させることによって、キューブが自然に落下して机の上に溜まっていく様子を物理シミュレーションします。

このときキューブの初速を定義するため、キューブがペンタブから飛び出す直後までは物理シミュレーションをオフにし、キーフレームアニメーションでアニメーションさせています。

液タブよりも上にキューブが飛び出したら、そこから物理シミュレーションをオンに切り替え、自由落下させつつ机や他のキューブとの衝突判定を行わせています。

個人的にはこのキーフレームアニメーションの作業で、液タブが非常に優秀だと感じました。

今回、28個のキューブが画面から飛び出してくるので、映像でペンをフリックする動きに合わせて、上記のキーフレームアニメーションを28個に対して行う必要があります。

そうするとなかなかキーフレームが多く、またキューブが飛び出す方向に変化を付けるため、細かい調整をする必要がありました。

▲ このような細かいキーフレームを少しずつ操作するのに、液タブは直接キーフレームをつまんで動かすような感覚で出来るので、繊細な作業を直感的に行えました！

また、個人的にBlenderの画面でグラフエディタを大きく表示したいのですが、他のウインドウ（3Dビューポートやシェーダエディタなど）を置いているとなかなかスペースがないのが悩みでした。

しかし液晶タブレットがサブモニターの代わりになるので、メインモニターに他の作業スペースを集約して、液タブには大きくグラフエディタを配置して直接ペンで操作できます。

さらにキーフレームの多いアニメーションを扱う方にはかなり便利なのではないでしょうか。

さて、次回はここまで作ったアニメーションをレンダリングして、After Effectsでのコンポジット作業を行なってみたいと思います！

コンポジット作業でも同じくWacom Cintiq 16を使って、どのような発見があるのかとても楽しみです。

ではでは！