DaVinci Resolve 18.5のAIテクノロジー 〜DaVinci Neural Engineでできる18のこと〜

DaVinci Neural Engine（ダビンチニューラルエンジン）というテクノロジーをご存知でしょうか？ DaVinci Resolve 16から搭載された技術で、AIを使って高度なエフェクトを適用したり、時間のかかっていた作業を数秒、数分で終わらせることができます。編集のスピードもクオリティも上がります。DaVinci Neural Engineでできることは多岐にわたり、一度整理をしておいた方がいいと思ったので、この記事でまとめてみます。

DaVinci Neural Engineは、NVIDIA GPUの開発チームとDaVinci Resolveの開発チームの長年の深い協力関係がなければ生まれていなかったかもしれません。というのはこれらのAI機能は、NVIDIA社も公式ブログで公に認めているように、NVIDIA AIライブラリを活用することで開発されたからです。その膨大で豊富なライブラリがあったからこそ、ここまで高機能で高速なAIアルゴリズムを作り出せたわけです。

とはいえDaVinci Neural Engineは、実際にユーザーが使う時点では、NVIDIA GPUを必要としません。DaVinci Resolveというアプリケーションの中には、すでに完成したアルゴリズムが内包されていて、GPUとは独立して動いているからです。もちろんパワフルなNVIDIA GPUを搭載したマシンであればこうしたAI機能はサクサク動きますが、AMD GPUでもIntel GPUでもちゃんと使えます。その点はご安心を。

ちなみにDaVinci Neural Engineの機能の多くは無償版では使用できません。DaVinci Resolveでは有償版のみの機能というのは少ないのですが、DaVinci Neural Engineはその中のひとつです。無償版を使用されている方はこの機会に有償版にアップグレードしてみてはいかがでしょうか？　有償版と無償版の違いについてはこちらにまとめてあります。

AI字幕作成

DaVinci Neural Engineを使って字幕を自動でつけられます。「タイムライン」のプルダウンメニューの Create Subtitles from Audio を押せば一発でタイムラインに字幕を載せてくれます。

作成された字幕は字幕クリップとして扱われるので簡単に一括管理ができます。

AI文字起こしとテキストベースの編集

自動で字幕がつけられるだけでもすごいんですが、DaVinci Neural Engineはさらにその先をいきます。テキストベースの編集です。まだタイムラインに置く前のファイルを文字起こしして、その文字を使って編集ができるのです。

まずはメディアプールでクリップを選択します。

右クリックして、Transcribe Audio を選択します。

終わるとこのようなダイアログが開きます。それぞれのクリップが文字起こしされているのがわかります。


文字起こしだけでもありがたいのですが、このツールはそこで終わりではありません。文字起こしした内容を見ながら、使いたい文章をドラッグしてハイライトしてみてください。

そうすると、なんと、ソースビューワーでその箇所にイン点とアウト点が打たれます。これが「テキストベースの編集」の意味です。このテキストとソースビューワーが完全に連動しているわけですね。ソースビューワーで再生ヘッドが置かれている箇所で話している単語は、トランスクリプトの中では赤く表示されます。

あとはそのイン点とアウト点が打たれた箇所をタイムラインに入れるだけです。右下に2つボタンがあり、左が「挿入」、右が「末尾に追加」です。

文字起こしダイアログの右上の検索ボタンから、文字を検索することもできます。これまでは目的の言葉を探すためにはソースビューワーで実際に音声を聞きながらその箇所を探さないといけませんでしたが、この文字起こし機能を使えば、実際の音声を聞かずに文字ベースで必要な単語を検索して探せます。最初から最後まで一度も素材の音声を聞かずに、正確に欲しいところだけを抜き出してタイムラインを作ることだってできます。

AI音声カテゴリー判別（オーディオ分類）

これもDaVinci Resolve Studioを使った機能です。音声の種類を自動で分析して、クリップにメタデータを付与できます。メディアプールでクリップを右クリックしてアクセスできます。

分類された属性は、メタデータのオーディオのセクションのカテゴリーに現れます。カテゴリーは「無分類」、「ダイアログ」、「エフェクト」、「音楽」、「無音」の5種類です。

驚くべきは、この5種類のカテゴリーだけではなく、DaVinci Neural Engineが自動的にサブカテゴリーも分析してくれるということです。音声だけで、「散歩」とか「足音」とか「人間」とかのキーワードを見つけられるってすごいですね。

AI自動マスク作成（マジックマスク）

DaVinci Resolve 17ではマジックマスクというセクションが新たに追加されました。これはDaVinci Neural Engine（AI）を使って、自動的にマスク（ウィンドウ）を作り、トラッキングまでできる機能でした。つまりこれまでパワーウィンドウツールとトラッキングツールを使って、一部マニュアルでやっていたことが、マジックマスクツールでは全自動でできるというわけです。DaVinci Resolve 18からは人間以外のあらゆるものが対象になります。それがオブジェクトマスクです。マジックマスクを使えば、それが人であれ猫であれ車であれ、自動的にマスクを描いて、特定の部分を抜き出し、そこをトラッキングできます。

マジックマスクについてはこの動画の冒頭から解説しています。

AIスローモーション（スピードワープ）

フレームレートを変換したとき、もしくはスピードを変更してスローモーションを加えたときには、フレームの補完技術が必要になります。ここでDaVinci Neural Engineの出番です。エディットページでインスペクタに入って、「リタイム処理」の項目で「オプティカルフロー」、「動き推定」で「スピードワープ」と選ぶと、AIフレーム補完機能が発動します。

この記事で使い方や実例を紹介しています。

AI超解像技術（スーパースケール）

解像度を上げる場合に、AIを使ってより細かく解像度を偽装することができます。HDで撮影したものでも、まるで4Kで撮影したもののように見せることができます。ピントが合っていない映像でも、よりシャープでくっきりした映像に変えることができます。

使い方はこんな感じです。

1.
メディアプールの素材を右クリックして、「クリップ属性」を選びます。もしくは18.5以降であれば、インスペクタからもアクセスできます。
2.
一番下のSuper Scaleの項目で、倍率を選びます。そしてシャープネスとノイズ除去のグレードを設定します。

x2だと解像度が2倍になり、x3だと3倍、x4だと4倍になります。シャープネスのグレードを上げると解像感は上がる一方でノイズも増えてきますし、ノイズ除去のグレードを上げると映像は滑らかになるけれどシャープネスは下がります。

適切な設定は、素材によって変わってきます。我々が試したかぎりでは、倍率を上げれば必ず画質が良くなるというものでもなく、x4よりもx2の方が解像感が増したように見えることもあります。このあたりはいろいろとトライアンドエラーを繰り返して、最適な設定を見つけてみてください。

18.5からは「2x 強化」というモードも加わっています。多くの場合において最も優れた結果を引き出せるように設計されていますので、まずは「2x 強化」から試してみることをお勧めします。

この動画では23:45くらいからスーパースケールについて紹介しています。

AIカラコレ（自動カラー）

すべてのAI機能の中でこれほど人気のある機能は滅多にないかもしれません。簡単な使い方で、見事な結果が得られるからです。

カラーページで、このAボタンを押してみてください。魔法みたいに映像の色合いが綺麗になります。

あまり知られていないことですが、このAIカラコレが使えるのはカラーページだけではありません。この機能は上部のプルダウンメニューの中に入っていって、キーボードショートカット（Option + A）も標準で割り当てられています。だからたとえばエディットページでも、クリップを選んで、Option + Aを押せばカラーページに行かずに一気にカラコレができます。

エディットページでAIカラコレを使う様子は、この動画の40:10からご覧になれます。

AIカラーマッチング（ショットマッチ）

AIカラコレと並んで、カラーページのAI機能のひとつです。複数のショットのマッチングをしようとする場合に、AIが勝手に色や明るさを合わせてくれます。この機能は昔からありましたが、DaVinci Resolve 16のDaVinci Neural Engineの恩恵を受けて、精度とクオリティが増しています。

使用するには、まず対象となクリップをクリックしてオレンジ色の枠にして、揃える際の基準となるクリップを右クリックして「このクリップにショットマッチ」を選びます。対象となるクリップは、複数選択しても大丈夫です。

AI音声ノイズ除去（ボイスアイソレーション）

DaVinci Resolve Studio 18.1から追加された機能です。AIが自動的に人の声を抽出し、それ以外の音を除去してくれます。これまでFairlight FXのノイズリダクションやサードパーティーのプラグインなども存在しましたが、このボイスアイソレーションはそれらに比べてもかなりパワフルです。驚くほどきれいに人の声だけを取り出してくれます。

この動画の43:46から説明しています。

AI時間伸縮（エラスティックウェーブ）

これはFairlightページのAI機能で、前に述べたスピードワープに似ています。通常、オーディの長さを変えると、ピッチが変わってしまいますが、このエラスティックウェーブを使えば、ピッチを変えずに音の長さを伸び縮みさせることができます。

使用手順を紹介します。

1.
Fairlightページで、クリップを右クリックして「エラスティックウェーブ」を押します。

2.
Command（Ctrl）を押しながら、時間伸縮を加えたい箇所をクリックします。たとえば下の画像みたいに2点のポイントを打ちます。

3.
緑の縦線を引っ張ると、オーディオの長さを伸縮させることができます。

4.
もし映像と音声のリンクが成立していれば、この伸縮の動作で映像も伸び縮みします。エディットページに行くと一目瞭然です。ここでこの記事の最初で紹介したスピードワープを使えば、音声もAI（エラスティックウェーブ）、映像もAI（スピードワープ）の助けを借りることになります。

AIシーンカット（シーンカット検出）

編集点が入っていないクリップに、自動で編集点を入れてくれる機能です。もう編集データの残っていない、すでに書き出したあとのクリップをもう一度編集したいときなどに使えます。これ、なかなかすごいです。「タイムライン」のプルダウンメニューにあります。

シーンカット検出使用前

シーンカット検出使用後

AI自動リフレーム（スマートリフレーム）

縦型動画で顔を画面の中に入れ続けようとすると、顔が動くのでなかなかうまくフレームに残ってくれないということがあります。通常はそこで手動でキーフレームを打っていくのですが、それでは時間がかかります。そこで追加された機能がスマートリフレームです。この機能を使うとAIが勝手に顔を見つけて、それをトラッキングして、画面の中に入れ続けてくれます。言い換えると、映像の位置情報に自動でキーフレームが打たれていきます。これは便利ですね。

使用できるのは縦型動画だけではありません。4Kの映像からHDの箇所を切り出して、顔をずっと真ん中に置いておくということもできます。「関心対象」を「レファレンスポイント」にすると、顔ではない自分で指定したオブジェクトをトラッキングさせられます。

スマートリフレーム適用前

スマートリフレーム適用後

この動画の19:47から説明しています。

AI奥行き検出（深度マップ）

映像から自動的にDepth Map（深度図）を作り出してくれる機能です。DaVinci Neural Engine（AI）を使って、被写界深度をもとに前景と背景を分離してアルファチャンネルを生成します。背景のみを修正したり、特定の対象物を抽出したり、リアルな霧を合成したり、ボケを強めたり、いろいろなことができます。

オリジナル

Depth Map適用後

20:02から作例をご覧になれます。

AIズーム（クローズアップ）

CutページもAIを活用するという点では負けてはいません。クリップをタイムラインに放り込むとき、「クローズアップ」というコマンドを使えば、AIを使って顔を検出し、そこを1.5倍から2倍程度ズームして入れてくれます。

インタビューで引きの映像だけ撮影しておけば、あとはこの機能を使って、たった1つの素材から、引きと寄りの2種類の映像を作り出すことができます。そうすることで映像の切り替えにバリエーションが生まれます。

しかもこの機能がすごいのは、ほかのいくつかのCutページのコマンドと同じく、タイムラインでイン点、アウト点を打たなくても勝手に適切な場所にクリップを置いてくれるところです。ソースビューワーで素材にイン点、アウト点を打てば、あとはタイムラインのソースタイムコードを参照して、タイムラインにクリップを置いてくれるわけです。

オリジナル

ズーム後

詳しい使い方はこちらの動画の24:20をどうぞ。

記事でも使い方を紹介しています。

AIバレ消し（オブジェクト除去）

映像の中に存在する人物やオブジェクトを削除して、その削除されたスペースにあるべき背景を作り出します。

Object Removal 使用前

Object Removal 使用後

動画はこちらからご覧ください

ノードの組み方にはルールがあります。最初のノードでは除去するオブジェクトをパワーウィンドウで囲み、それをトラッキングします。次のノードではResolveFXのセクションからObject Removalを選択して適用しますが、最初のノードとは緑の線（ビデオ出力）だけではなく青い点線（アルファ出力）も接続します。Object Removalの項目で「Scene Analysis」を選択すると、DaVinci Neural Engineが勝手にオブジェクトの除去と背景の生成を担当してくれます。

AIインターレース除去（デインターレース）

従来より放送で使用されているフォーマット、1080i59.94の映像のインターレースを除去してくれる機能です。AIを使用しているので通常よりもきれいに除去できます。

AI顔検出（人物検出）

メディアプールにある素材を顔の違いに基づいて整理してくれます。たとえばドキュメンタリー番組やインタビュー動画を作る際、出演者によってフォルダを分けることができます。

使い方はシンプルです。まずメディアプールで対象となるクリップを複数選択します。そして右クリックして「Analyze Clips for People」を選びます。AIが分析を開始します。分析が終わったら、「People」というダイアログが表示されます。すでに顔の違いに基づいてソースクリップがフォルダ分けされているので、自分でそれぞれのフォルダに名前をつけます。写っている人の名前をつけるといいでしょう。

最後に、「環境設定」の「ユーザー」、「編集」のタブで、「Automatic Smart Bins for People Metadata」にチェックを入れます。メディアプールのスマートビンに、「People」というフォルダができていて、その中に人物の名前ごとの複数のフォルダが含まれています。

AI顔補正（フェイス修正）

これはご存知の方も多いかもしれません。Resolve FXの大人気機能です。