はじめに

鎌田です。今回の記事はCambridge in COLOURの記事、REDのベイヤーセンサーについての記事を翻訳しつつ、自分なりの解釈を加えた記事になっています。かなり技術的な話っぽく見えますが、理解として頭に残しておかないといけないポイントは最後にまとめてみますので、お忙しい方はそちらだけご覧ください。

参考リンク

Digital Camera Sensor from Cambridge in COLOUR by Sean McHugh

THE BAYER SENSOR STRATEGY by RED社

デジタルカメラのセンサー

センサーはAD変換装置

デジタルカメラは、何百万個も配列された小さな光電変換セル(別名はフォトダイオードと言います)で出来ています。光電変換とは、光がセンサーに当たった際、光子(アナログ)を電子(デジタル)に変換させて記録できるようにするアナログ/デジタル変換 (AD) の一種です。

1画素と1フォトダイオードの違い

画素はフォトダイオードとは違います。フォトダイオードと他の電子部品を含んだ1ユニットでまとめたグループを称して、1画素と言います。一般的にイメージしていた、カラーフィルターを含むフォトダイオードはセンサー全体を覆っているわけでは無い、ということです。


参考:Panasonic CCDの仕組み

色の記録方法

カメラのシャッターが開いている間、センサーが露光します。そして撮影後、1つ1つのフォトダイオードが光電変換を行うことで、光子を変換し、電子量(電荷)として計測、記録されます。この電子量を記録する際の解像度のことを、ダイナミックレンジと言います。8bitの場合だと256段階で明るさの度合いを計測します。最近は10bitのGH5が出ました。


1つ1つの箱がフォトダイオードで、光が溜まっていく様子を図解するために箱のような形をしています。
参照:Cambridge in COLOUR

この際、フォトダイオードは光子の量を計測することは出来ますが、光が持つ色を記録することが出来ません。そのために、それぞれのフォトダイオードに違う色の光が当たっても識別出来ず、完全なグレースケールとなって(白から黒のみ)記録されることになります。

全画素に色情報は記録されていない

そのため各フォトダイオードの手前には、特定の色の周波数の光だけを通すためのフィルターがついています。この際、フィルターを通すことで光子が急に色が帯びるわけでは無いです。特定フィルターを通じて入る光子を限定出来るため、その画素に入っている光子は特定の色のものであるはずだ、とセンサーに認識させる様にプログラムされているのです。

現在一般に普及しているほぼ全てのカメラは、RGB(RED, GREEN, BLUE - 赤, 緑, 青)に分けられて記録されます。各フォトダイオードが、3色のどれか1色を記録します。つまり大雑把に言って、各フォトダイオードに届いている光子の凡そ3分の2は、センサーに届いていないことになります。このRGB配列をCFA、カラーフィルターアレイ(Color Filter Array)と呼びます。


フィルターを持つことによって、フォトダイオードに色を割り当てることが出来ます。
参照:Cambridge in COLOUR

結果的に、各画素に含まれるフォトダイオードが、モニター上で正しく綺麗な色として表示されるためには、各画素が保有している色以外の2色の情報を左右上下の画素に存在する色情報から予測-補完して、完全なRGBピクセルとして記録 / 表示出来る様にします。この際、RGBがそれぞれ割り当てられたフォトダイオードのRGB配列方法が何パターンか存在しますが、もっとも有名でほとんど全てのカメラに使われているCFA配列がベイヤー配列と言います。これはベイヤーさんが考案したから、ベイヤー配列と呼ばれているそうです。

ベイヤー配列


ベイヤー配列
参照:Cambridge in COLOUR

緑のフォトダイオードが赤と青の各フォトダイオードの2倍

ベイヤー配列はR-G(赤-緑)フィルターが並んだ列と、G-B(緑-青)フィルターが並んだ列が交互になる様な配列のことを指します。ベイヤー配列の特徴として、全体画素数の半分が緑フィルターのフォトダイオードに割り当てられます。どうやらRGB中で、人間は緑の輝度変化(解像度)に最も敏感なのだそうです。そのために、限られた画素数で最大の画質を確保するには、RGB全てのフィルター数を均一にするよりも、緑のフィルター数を多く確保する方が、視覚的な解像度が高められます。

ベイヤーのディモザイク(ディベイヤー)

各ピクセルがフルカラー(8bitの場合、RGBそれぞれ8bitで表示可能なため、全部で16,777,216色でフルカラー)を持つため、ベイヤー配列の各画素が持つプライマリーカラー(RGBのいづれか)を使った”ディモザイク”という工程が必要になります。ディベイヤーされていない状態で記録したファイルをRAWファイルと基本的には呼びます。

メディアを記録する場合は、

  1. 露光
  2. ベイヤー配列でサンプリング
  3. ディベイヤーでフルカラー画像処理
  4. 圧縮・エンコーディングして特定のフォーマットに記録

と言う流れになります。
圧縮・エンコーディングの際、クロマサブサンプリングが行われる場合が一般的です。

名称について
ベイヤー配列の画像表示だったものを、特定のアルゴリズム変換することで、ベイヤー配列画像では無いフルカラー画像にするため、ディベイヤー(非ベイヤー、という意味)とも呼びます。ディモザイクという名前は、ベイヤー表示した際に、画像がモザイクの様に見えるので、非モザイクの意味でディモザイク、と呼びます。

参照:THE BAYER SENSOR STRATEGY

どうやったらR-G-Bのいづれかの色しか無い場所をフルカラーで表示出来るのか?
これを考える手立てとして、まず2x2(縦横)でグループ化した4画素を、1つのフルカラーのための材料として考えます。この4つの画素にはR-赤,B-青が1つずつ、そしてG-緑が2つ入っています。


参照:Cambridge in COLOUR

もしも2x2の4つの画素を1つの画素として考えた場合、フルカラーで表示するために必要な色情報は揃いましたが、4Kで撮影したものが2Kの解像度(縦横それぞれに半分の解像度)になってしまいます。そのため、以下の画像の様にそれぞれ4画素を1画素として考える際、縦-横2画素ずつ隣同士の4画素グループと共有する様にしてオーバーラップさせて組んでいきます。そういうアルゴリズムで色をフルカラーで再現する様に変換することで、2x2でのフルカラー表示でも、解像度を余り犠牲にし過ぎることが無くなります。


2x2の4画素グループのオーバーラップ / 参照:Cambridge in COLOUR

この他にも更に効果的に解像度を維持したままでノイズが少なかったり、色の精度が高いデモザイクのアルゴリズムも存在する様なので、実際にそれぞれのカメラにどの様なデモザイク アルゴリズムが使われているか気になりますね。

デモザイクにおけるアーチファクト

画像処理についての言葉でいうアーチファクトとは、デジタル処理(アルゴリズムを使った変換など)を行った際に生まれる処理エラーや画像割れのことです。

例えば、センサーの解像度で表示出来る限界か、もしくはそれ以上に精巧で細かいディティールの模様やテクスチャの画像は、デモザイクの過程でアーチファクトを生ずることがあります。この時に生まれる最も知られるアーチファクトが”モアレ(moire)”と呼ばれるものです。色のずれや迷路みたいに不自然なパターンにアレンジされたピクセルの集まりです。

モアレは、この解像度以上の細かいディティールとRAWデータの処理方法の2つによって違うパターンが生まれるそうです。


モアレ / 参照:Cambridge in COLOUR

参照:Moire Pattern around us

また解像度が高くてもサンプリング技術の構成上モアレは必ずと言っても良いほどに生じやすい問題だそうで、それに対処すべく、ほとんど全てのカメラにはオプティカル ローパス フィルター(OLPF)や、アンチ-エイリアス フィルター(AA)と呼ばれるものが、センサーの前に付いています。これはアーチファクトを生じうる超高解像度なディティールを、効果的かつ認識出来ない程度にボカすフィルターです。

マイクロレンズについて

最後に。。。制作ノート冒頭にも添付した写真にも掲載があるマイクロレンズについてです。ノート2枚目の写真を見ても分かる様に、フォトダイオード1つ1つの間には隙間が存在しています。これは冒頭でも話した様に、1画素の中にはフォトダイオードの他にも必要な電子機器が存在していて、センサー全体をフォトダイオードがカバーしているわけでは無いからです。


参照:Cambridge in COLOUR

上の写真の様にフォトダイオードの隙間に入ってきた光子はダイオードに当たらなければ、跳ね返り、記録されず、結果として同じ露出時間でも露光量が少なく、ノイズの多い画像になったりします。そのために効果的に多くの光をフォトダイオードへと導く技術が必要とされました。そして研究の結果生まれたのが、マイクロレンズです。上の画像の左側では、隙間を覆ったマイクロレンズが光をうまく屈折(もしくは反射?)させてダイオードに露光させます。

デザインの高いマイクロレンズは各フォトダイオードの露光量を高めてくれます。センサーのサイズが同じのままFull HD (1080P)から4Kへと進化するカメラですが、同じサイズのセンサーに4倍の画素を持たせることで露光量が減る恐れがありました。同じ露出設定で露光量が減った場合、従来のカメラの明るさと誤差を減らす過程でデジタルノイズが生じることに繋がります。そのため、各画素を小さくする技術の進化と相まって、優れたマイクロレンズのデザインが進化してきているらしいです。

まとめ

  • センサー全てが露光に使われている訳では無い
  • 色フィルター(CFA - Color Filter Array)をセンサー前に配置することで、各画素にRGBのうちの1色を割り当てることが出来る
  • 緑の輝度変化に人間は最も敏感。その傾向を利用したCFAがベイヤー配列というもの
  • ベイヤー画像はRGBが分かれているためにモザイクの様に見える
  • フルカラー表示にする作業を、ディベイヤーもしくはディモザイクと言う
  • モアレはCFAを使った時に起こるアーチファクトの一種
  • マイクロレンズがセンサー全体に到着する光を、フォトダイオードに集光してくれることで、露光率が良くなりデジタルノイズが減る

カメラのエンジニアの方の知識と経験無くして今後更に発展していく4K、8K動画制作は出来ないことが、改めてわかりました。次回は、ベイヤー配列を利用せずに色を記録する方式の中でも有名な概念の紹介と、色を記録しないREDのモノクロームカメラの利点について、REDの解説を翻訳しながら考えます。

10クリップする
クリップしておくと
あとからいつでも
見返したりできます。

    コメント

    • まだコメントはありません