【Blender】VFX入門！カメラトラッキングの方法を解説

この記事では、Blenderを使ったVFXの基礎解説として、カメラトラッキングの方法を解説いたします。

実写合成についての知識がない方でもわかりやすいように、画像付きで説明していきます。

VFXとは

VFXはビジュアル・エフェクツの略で、CGやモーショングラフィックなどを合成処理して、実写映像を加工することです。実写合成はほぼVFXといって差し支えないでしょう。

カメラトラッキング

CG制作におけるカメラトラッキングは、実写撮影のデータを解析して、CG空間上に再現する工程になります。

AfterEffectsなどほかのソフトウェアでもトラッキングを行えるソフトはいくつもありますが、Blenderのトラッキング機能は有料ソフトと比較しても高性能と言われています。

トラッキングの準備をする

Motion Trackingタブを開く

早速作業をしていきましょう。

BlenderにはVFX用のワークスペースがいくつか用意されています。
上部のワークスペースの一覧から、1番上の+マークをクリックしてください。

「VFX」から「Motion Tracking」を選択します。

表示されたのが、トラッキング用のワークスペースです。

動画を開く

画面中央あたりにある「開く」を押して、用意した動画を読み込みましょう。

今回は私がスマホで撮影したこちらの動画を使用しました。

動画を開くとこのような画面になりました。
プレビューのサイズはマウスのホイールで拡大縮小ができます。

トラッキングする前の準備

まずは動画の情報とBlenderで書き出すときの情報を一致させます。
右側のプロパティパネルから「出力プロパティ」を開いてください。

以下の画像のようにフッテージ設定を確認しながら、出力設定の解像度とフレームレートを一致させてください。

開始・終了のフレームも指定があればここで行ってしまいましょう。今回はこのまま進めます。

また、素材が4Kサイズのためこのまま作業をすると非常に時間がかかってしまいます。
まずは簡単に編集できるように設定していきます。

先ほど確認した「フッテージ」の中にある、「プロキシ／タイムコード」の項目にチェックを入れます。

「オリジナルを構築」を50%にして、「プロキシ／タイムコード」を構築を押します。
これで編集用に軽い動画データを作成してくれます。

「プロキシサイズ」を50%に変更します。

これで先ほどよりも軽い動画データで編集を進めることができるようになりました。
ここで作った画像データは作業を軽くするための機能で、実際に書き出しを行う際には元データのサイズで行えます。

左側のメニューから「プリフェッチ」を押せば準備は完了です。
プリフェッチは動画のキャッシュデータを作る機能で、再生速度を向上させることができます。

トラッキングの実行

「トラックマーカー」を設置する

それでは早速トラッキングに取り掛かりましょう。
トラッキングは「トラックマーカー」というものを設置して行います。トラックマーカー内のコントラストなどの情報を確認しながら自動で追跡を行ってくれます。

トラックマーカーを手動で追加は、「ctrl + 左クリック」で行います。
なるべく色の変化がくっきりしているポイントを狙ってトラックマーカーを設置してみてください。

小さくて分かりにくいですが、左手前のコースターにマーカーを置きました。

右側のタブから「トラック」を押すと、拡大された画面でトラックマーカーの位置が確認できます。

なるべく柄がはっきり見えるところにマーカーがくるようにしてください。

次に左側の［トラック→トラッキング設定］からモーションを「位置・回転」にします。この項目はカメラの動き方に合わせて変更してください。

そうしたらトラッキングを行っていきます。
中央下側にあるボタンの中から、下の画像で赤く囲っているところを左クリックしてください。

すると自動でトラッキングが進行します。

今回は101フレームでトラックが途切れてしまいました。
続きをトラックさせたいので、まずは左矢印のキーで100フレーム目まで移動します。（トラッキング上手くいっている最終フレームに移動する）

次にトラックマーカーが認識できる範囲を広くしてあげましょう。
トラックマーカーを選択して「S」で範囲を変更できます。少し大きくするだけで追跡が上手くいくと思います。

再びトラックボタンを押して、続きをトラッキングしましょう。

途切れたら1フレーム戻って「S」でほんの少しだけ拡大か縮小、この作業を繰り返して最終フレームまでいきましょう。

Blenderではこのトラックマーカーを最低8個以上設定することで、カメラの分析が行えます。

自動でトラックマーカーを設置する

先ほどのやり方でトラックマーカーを8個置いても構いません。
例えば実写合成の撮影では、テープを使って×印を作って後でトラッキングしやすいようにします。こちらでコントラストがはっきりしているマーカーが設置できる場合は手動でやった方が上手くいきやすいです。

今回は特に用意したマーカーがないので数で攻めてみます。

1フレーム目まで戻ります。
左側のタブにある［トラック→マーカー］の中にある「特徴点を検出」をクリックしてください。

すると自動でコントラストがはっきりしているところを抽出してトラックマーカーを設置します。

マーカーの数が少ないと感じたら、「特徴点を検出」を押したときに左下に表示されるウィンドウから設定を変更してください。

このとき、トラックマーカーが同一平面上に固まってしまっていると失敗しやすいです。今回は少し不安ですね。

一応散らばってるところはあるので、このままトラッキングしてみます。
検出した直後は全てのトラックマーカーが選択されているので、このままトラックを開始しましょう。

複数のトラッキングは環境によっては時間がかかります。
この作業をスムーズにするためにも、プロキシの設定とプリフェッチはなるべく行うようにしましょう。

すべてのトラッキングが終わったら、トラックマーカーを整理していきます。
特異点で自動的に検出する場合、基本的にはトラックが途切れてしまったものは削除してしまいましょう。

四角の中に点があるのが最後まで追跡できたトラック、四角のみになっているのは途中で途切れてしまったトラックです。

途切れたものを選択してＸキーで消していきましょう。

次に画面下のグラフの表示を確認して、グラフが単独で飛び出ているものも削除します。
これはトラックマーカーの動きの情報が入っているので、他のマーカーとあまりに違う動きをしているものは、追跡が失敗しています。

左上の「ドープシート」を見て、トラックが途切れていないか、また開始フレームと終了フレームで8個以上のトラックマーカーが共通してあるかを確認しましょう。

カメラを解析する

ここまで来たら解析の準備をしていきます。
左側のタブで「解析」を選んでください。

以下のように設定してください。

「キーフレームA」：開始フレーム（今回は1）
「キーフレームB」：終了フレーム（今回は250）
「絞り込み」：焦点距離

これで「カメラモーションの解析」を左クリックします。

Solve errorの見方

解析が終わると、プレビューが映っているウィンドウの右上に「Solve error」という数値が表示されます。

この数字は少なければ少ないほど、正確にトラッキングできています。
これが1.0より少ない数字になるようにしてください。

エラー値が大きい時の解決方法

エラーが大きい時の原因はさまざまなものが考えられますが、まずは撮影データのブレの大きさやブラーを確認しましょう。正確なトラッキングを行うのであれば、本来ジンバルや三脚を使ってブレが少なくすむようにします。手持ちの撮影データがぶれてしまうようであれば、動画を撮り直すことも視野に入れましょう。

編集でどうにか出来る範囲であれば、

・グラフで飛び出ているものを削除する
・キーフレームの範囲を変更する
・トラッキングの開始地点を変えてみる

などが挙げられます。

また、ドープシートを見るとマーカー名の横にトラックマーカー毎のエラーの値が出ているので、数値が高いものは消してしまいましょう。

3Dビューポートに解析したデータを反映する

解析したカメラを実際に反映させてみましょう。

［解析→シーン設定］から「トラッキングシーン設定」をクリックしてください。

すると3Dビューポート（右上）に、十字のマークとキューブと平面が追加されました。

これで再生すると動画データのカメラの動きと同じような動きが出来ていると思います。

動画と照らし合わせて動きが合っているか確認しましょう。
カメラを選択して、カメラプロパティを開いてください。

下絵にチェックを入れて、プロキシレンダーをフルレンダーに変更します。

3Dビューポートでテンキーの0を押すとカメラ視点に切り替わり、下絵が反映されます。
今回はビューポート上でトラックマーカーの位置と合わせながら、立方体を配置しました。
再生してみると以下のようになります。

無事にカメラのトラッキングに成功できました。
今回の解説は以上です。

まとめ

今回はBlenderでカメラトラッキングをする方法をお話しました。ほかのチュートリアルに比べて工程が多く、覚えるのが大変だったかもしれませんね。

マッチムーブがうまくできなかったときは、Solve errorの値が大きいか、配置したオブジェクトの位置が仮想空間と合っていない可能性があります。

いろいろな動画素材で試してみて、どこにマーカーを打つとうまくいくのか、どんな動画ならトラッキングしやすいのかを肌感覚で理解していくと自分でオリジナルのムービーが作れるようになります。頑張って身に付けてみてください。

TEXT／EDIT＿河内誠／Makoto Kawauchi（Vook編集部）