2019.10.21 (最終更新日: 2019.12.24)

DaVinci ResolveのAIテクノロジー 〜DaVinci Neural Engineでできる9つのこと〜

DaVinci Neural Engineというテクノロジーをご存知でしょうか? DaVinci Resolve 16から搭載された技術で、AIを使って高度なエフェクトを適用したり、時間のかかっていた作業を数秒、数分で終わらせることができます。編集のスピードもクオリティも上がります。DaVinci Neural Engineでできることは多岐にわたり、一度整理をしておいた方がいいと思ったので、この記事でまとめてみます。

DaVinci Neural Engineは、NVIDIA GPUの開発チームとDaVinci Resolveの開発チームの長年の深い協力関係がなければ生まれていなかったかもしれません。というのはこれらのAI機能は、NVIDIAさんも公式ブログで公に認めているように、NVIDIA AIライブラリを活用することで開発されたからです。その膨大で豊富なライブラリがあったからこそ、ここまで高機能で高速なAIアルゴリズムを作り出せたわけです。

とはいえDaVinci Neural Engineは、実際にユーザーが使う時点では、NVIDIA GPUを必要としません。DaVinci Resolveというアプリケーションの中には、すでに完成したアルゴリズムが内包されていて、GPUとは独立して動いているからです。もちろんパワフルなNVIDIA GPUを搭載したマシンであればこうしたAI機能はサクサク動きますが、AMD GPUでもIntel GPUでもちゃんと使えます。その点はご安心を。

AIスローモーション(スピードワープ)

フレームレートを変換したとき、もしくはスピードを変更してスローモーションを加えたときには、フレームの補完技術が必要になります。ここでDaVinci Neural Engineの出番です。エディットページでインスペクタに入って、「リタイム処理」の項目で「オプティカルフロー」、「動き推定」で「スピードワープ」と選ぶと、AIフレーム補完機能が発動します。

この記事で使い方や実例を紹介しています。

AI超解像技術(スーパースケール)

解像度を上げる場合に、AIを使ってより細かく解像度を偽装することができます。HDで撮影したものでも、まるで4Kで撮影したもののように見せることができます。ピントが合っていない映像でも、よりシャープでくっきりした映像に変えることができます。

使い方はこんな感じです。

メディアプールの素材を右クリックして、「クリップ属性」を選びます。

一番下のSuper Scaleの項目で、倍率を選びます。そしてシャープネスとノイズ除去のグレードを設定します。

x2だと解像度が2倍になり、x3だと3倍、x4だと4倍になります。シャープネスのグレードを上げると解像感は上がる一方でノイズも増えてきますし、ノイズ除去のグレードを上げると映像は滑らかになるけれどシャープネスは下がります。

適切な設定は、素材によって変わってきます。我々が試したかぎりでは、倍率を上げれば必ず画質が良くなるというものでもなく、x4よりもx2の方が解像感が増したように見えることもあります。このあたりはいろいろとトライアンドエラーを繰り返して、最適な設定を見つけてみてください。

この動画では23:45くらいからスーパースケールについて紹介しています。

AIカラコレ(自動カラー)

すべてのAI機能の中でこれほど人気のある機能は滅多にないかもしれません。簡単な使い方で、見事な結果が得られるからです。

カラーページで、このAボタンを押してみてください。魔法みたいに映像の色合いが奇麗になります。

あまり知られていないことですが、このAIカラコレが使えるのはカラーページだけではありません。この機能は上部のプルダウンメニューの中に入っていって、キーボードショートカット(Option + A)も標準で割り当てられています。だからたとえばエディットページでも、クリップを選んで、Option + Aを押せばカラーページに行かずに一気にカラコレができます。

エディットページでAIカラコレを使う様子は、この動画の40:10からご覧になれます。

AIカラーマッチング(ショットマッチ)

AIカラコレと並んで、カラーページのAI機能のひとつです。複数のショットのマッチングをしようとする場合に、AIが勝手に色や明るさを合わせてくれます。この機能は昔からありましたが、DaVinci Resolve 16のDaVinci Neural Engineの恩恵を受けて、精度とクオリティが増しています。

使用するには、まず対象となクリップをクリックしてオレンジ色の枠にして、揃える際の基準となるクリップを右クリックして「このクリップにショットマッチ」を選びます。対象となるクリップは、複数選択しても大丈夫です。

AI時間伸縮(エラスティックウェーブ)

これはFairlightページのAI機能で、前に述べたスピードワープに似ています。通常、オーディの長さを変えると、ピッチが変わってしまいますが、このエラスティックウェーブを使えば、ピッチを変えずに音の長さを伸び縮みさせることができます。

使用手順を紹介します。

Fairlightページで、クリップを右クリックして「エラスティックウェーブ」を押します。

Command(Ctrl)を押しながら、時間伸縮を加えたい箇所をクリックします。たとえば下の画像みたいに2点のポイントを打ちます。

緑の縦線を引っ張ると、オーディオの長さを伸縮させることができます。

もし映像と音声のリンクが成立していれば、この伸縮の動作で映像も伸び縮みします。エディットページに行くと一目瞭然です。ここでこの記事の最初で紹介したスピードワープを使えば、音声もAI(エラスティックウェーブ)、映像もAI(スピードワープ)の助けを借りることになります。

AIズーム(クローズアップ)

CutページもAIを活用するという点では負けてはいません。クリップをタイムラインに放り込むとき、「クローズアップ」というコマンドを使えば、AIを使って顔を検出し、そこを1.5倍から2倍程度ズームして入れてくれます。

インタビューで引きの映像だけ撮影しておけば、あとはこの機能を使って、たった1つの素材から、引きと寄りの2種類の映像を作り出すことができます。そうすることで映像の切り替えにバリエーションが生まれます。

しかもこの機能がすごいのは、ほかのいくつかのCutページのコマンドと同じく、タイムラインでイン点、アウト点を打たなくても勝手に適切な場所にクリップを置いてくれるところです。ソースビューワーで素材にイン点、アウト点を打てば、あとはタイムラインのソースタイムコードを参照して、タイムラインにクリップを置いてくれるわけです。

オリジナル

ズーム後

詳しい使い方はこちらの動画の24:20をどうぞ。

記事でも使い方を紹介しています。

AIバレ消し(オブジェクト除去)

映像の中に存在する人物やオブジェクトを削除して、その削除されたスペースにあるべき背景を作り出します。

Object Removal 使用前

Object Removal 使用後

動画はこちらからご覧ください

ノードの組み方にはルールがあります。最初のノードでは除去するオブジェクトをパワーウィンドウで囲み、それをトラッキングします。次のノードではResolveFXのセクションからObject Removalを選択して適用しますが、最初のノードとは緑の線(ビデオ出力)だけではなく青い点線(アルファ出力)も接続します。Object Removalの項目で「Scene Analysis」を選択すると、DaVinci Neural Engineが勝手にオブジェクトの除去と背景の生成を担当してくれます。

AI顔検出(人物検出)

メディアプールにある素材を顔の違いに基づいて整理してくれます。たとえばドキュメンタリー番組やインタビュー動画を作る際、出演者によってフォルダを分けることができます。

使い方はシンプルです。まずメディアプールで対象となるクリップを複数選択します。そして右クリックして「Analyze Clips for People」を選びます。AIが分析を開始します。分析が終わったら、「People」というダイアログが表示されます。すでに顔の違いに基づいてソースクリップがフォルダ分けされているので、自分でそれぞれのフォルダに名前をつけます。写っている人の名前をつけるといいでしょう。

最後に、「環境設定」の「ユーザー」、「編集」のタブで、「Automatic Smart Bins for People Metadata」にチェックを入れます。メディアプールのスマートビンに、「People」というフォルダができていて、その中に人物の名前ごとの複数のフォルダが含まれています。

AI顔補正(フェイス修正)

これはご存知の方も多いかもしれません。ResolveFXの大人気機能です。

20クリップする
クリップしておくと
あとからいつでも
見返したりできます。