Is RAW file a real raw one? [Technology]
位相差検出画素や白飛び防止画素などの特別な機能をもつ画素が埋め込まれたセンサーが増えてきました。
それらの画素はRAWファイル中でどのような扱いになっているのでしょうか？
そこで、撮像面で位相差検出が可能なNikon1 J3のRAWファイルをデモザイクを行わずに展開し、位相差検出画素があると思われる領域のG画素の配置を検証しました。
まずは、位相差検出画素の存在位置を同定する必要があります。そこで、ニコンのJ3製品サイトに掲載されていた位相差検出エリアの配置画像と、DpreviewのJ3公開RAWファイルを重ね合わせて、位置を決定しました。
内側から二つ目の同心円までのどこかに位相差検出画素が存在するはずです。
モザイク画像の対応する位置から、少し大きめの範囲でG画素を抽出しました。
Chipworksが撮影したセンサー表面画像では、位相差検出画素は直線状に並んでいました。したがって、ベイヤー配列に乱れが存在するはずです。しかし、どこにもそのような乱れは見られませんので、補完されているのでしょう。
カメラユーザーがサードパーティーの現像ソフトウェアで現像することを考えると、カメラメーカーとしては補完しなければならないことは理解できます。しかし、そのようなデータファイルをRAWと呼んで良いでしょうか？
私は、メタデータ付きのセンサーネイティブデータがRAWで、それ以外は加工画像だと思っています。
しかし、キヤノンはデモザイク後に縮小したTIFFファイルをsRAWやmRAWと呼び、ニコンもD810でネイティブサイズではないRAWを設定しましたので、カメラメーカーはRAWの定義にあまりストイックではないようです。
それらの画素はRAWファイル中でどのような扱いになっているのでしょうか？
そこで、撮像面で位相差検出が可能なNikon1 J3のRAWファイルをデモザイクを行わずに展開し、位相差検出画素があると思われる領域のG画素の配置を検証しました。
まずは、位相差検出画素の存在位置を同定する必要があります。そこで、ニコンのJ3製品サイトに掲載されていた位相差検出エリアの配置画像と、DpreviewのJ3公開RAWファイルを重ね合わせて、位置を決定しました。
内側から二つ目の同心円までのどこかに位相差検出画素が存在するはずです。
モザイク画像の対応する位置から、少し大きめの範囲でG画素を抽出しました。
Chipworksが撮影したセンサー表面画像では、位相差検出画素は直線状に並んでいました。したがって、ベイヤー配列に乱れが存在するはずです。しかし、どこにもそのような乱れは見られませんので、補完されているのでしょう。
カメラユーザーがサードパーティーの現像ソフトウェアで現像することを考えると、カメラメーカーとしては補完しなければならないことは理解できます。しかし、そのようなデータファイルをRAWと呼んで良いでしょうか？
私は、メタデータ付きのセンサーネイティブデータがRAWで、それ以外は加工画像だと思っています。
しかし、キヤノンはデモザイク後に縮小したTIFFファイルをsRAWやmRAWと呼び、ニコンもD810でネイティブサイズではないRAWを設定しましたので、カメラメーカーはRAWの定義にあまりストイックではないようです。
Nikon 1は、初期において出てくる画像が「眠い」とか「もやっとしてる」という批判があったので、今の傾向として解像感を優先していることは当然のことと思います。
ここからは個人の回顧録なので偏見を含んでいる可能性が大ですが、今回の件でふと思ったことを述べます。
昔、私の大先輩に、おそらくニコンで仕事をしていたと思われる人がいました。おそらくと書いたのは、本人がそのことをはっきりと言わなかったことによります。
あるとき、何気ない会話の中で「ニコンは軍需産業の一旦を担っていたので、レンズの材料となる硝子材の選定では最優先だったんですよね。キヤノンとか、その他のメーカーは我々が選んだあとの余りものの部材で製品を作らざるを得なかった」ということをおっしゃりました。そのときは、ニコンが優れたレンズを作りえた話の一端なのかなと思ったのですが、よくよく考えると、ニコンが「不適」としてはじいた硝子材からニコンの製品に対抗しうるレンズを作り出すことに対するリスペクトの念がそう発言させたのかと思うようになりました。
当時は、陸軍のトプコン、海軍のニコンと言われたぐらい深い関係性を持っていたので、その2社に関しては特別待遇といえるものがあったそうです。「大和の主砲の照準器の中は、普通に人が歩くことができるくらい広いんです」という話も驚きでしたが、当時のカメラメーカーがどのような環境下に置かれ、どのような制約が課せられたのか大変に興味深く感じた思い出があります（この辺は、那和さんが私よりもはるかに詳しいかもしれません）。
で、そのときの話の中で出たのが、「ニコンは、照準器のこともあるけれども、結像がシャープであることを求められた」という点はいまでも忘れられません。その流れがその後も影響しているのかは定かではありませんが、「ニコン＝シャープであること」はユーザーニーズとして今でも根強いものがある気がします。
そうしたことを考えると、ニコンとしてはNikon 1が「眠い」とか「もやっとしてる」という評価を受けたことは不本意であったのではないでしょうか。私の目で見ると、今のNikon 1の画は妙にシャープネスが高い気がします。それがおかしいというのではなく、本来的に位相差用の画素がものすごく多いのに（補完をいっぱいしているはずなのに）、出てくる画が妙にシャープだという点に違和感を感じているということです。
とはいえ、Nikon 1の売りは速写性にあります。速写を売りにするためには、画像処理で時間をかけるわけにはいきません。ただでさえ位相差画素の解消をしなければいけないところに、それ以上の画像加工をする余裕は多くないと思われます。おそらく、ですが、Nikon 1はシャープネスの演出のためにエッヂの強調など、短時間で出来うることを最大限行っている気がします。
この直前のエントリーで、「α7の連射速度が遅いのは、RAWデータの出力時に何かしてるんじゃないかと考えるようになりました」と書きましたが、それは「RAWデータの出力時に何か重い処理、すなわち、周辺画像の露出調整（レンズによっては、中央と周辺で3EVくらい違ってきそうです）などをしているのでは」という投げかけでもありました。
キヤノンがRAWデータの変形としてsRAWを作ったのは、当時はまだまだ高価だったメモリーカードにより多くのカットを収めたいというのと、インターネットがいまのように普及する以前はモデムなどを使い撮影した画像を伝送しなければいけなかったため、小さいデータが求められたからという話も聞いたことがあります。
そういうことを考えると、「カメラメーカーはRAWの定義にあまりストイックではない」のではなく、ユーザーの求めにどう答えるかを真面目に考えているような気もします。問題は、その時の「声」がどのようなものであるのかなのでしょう。
フィルムカメラの時代は、最終的な映像はフィルムに大きく左右されました。その点では、カメラメーカーがするべきことは限られていたわけです。しかし、デジタルの時代になると、その最終出力にはカメラメーカーとして評価が直結するようになります。
いまは富士フィルムの画像がもてはやされていますが、それは多分、最終出力に一番近いところで溜めたノウハウによるものの気がします。カメラ自体のノウハウは、ニコンとキヤノンが群を抜いている気がしますが、最終出力の作り方という点では富士フィルムに及ばないというのが現実な気もします。これは、ある面においての経験の差なので簡単に埋めることはできないでしょう。
とはいえ、写真の出来というのは、その評価が個人の感性に大きく依存します。パッと見では富士フィルムの画は素晴らしいと思えますが、細かいところで粗が見えたりするので磐石ではありません。ニコンとキヤノンが、自分たちの画作りというものを確信すれば簡単に逆転しそうな距離感があります。
とりとめなくなってしまいそうなのでこの辺で終わりますが、そんなこんなで、カメラメーカーは大変な時代に突入しているんだろうなぁ、と感慨深く見守っているところです。
長文、失礼しました、、、^^;
by toshi (2014-07-23 22:37)
RAW形式というのは結構テキトーなもののようですね。
http://cygx.mydns.jp/blog/?arti=431
こちらは若干古い記事です。
by せーじ (2014-07-25 06:24)
> toshi さん
カメラメーカーの画作りはメーカーの歴史でもあり、画像を出力できるデジタルカメラになって、それが一層鮮明になってきたのでしょうね。
個人的には、撮影条件を検討するためにも、画作りをした画像だけでなく素の画像もカメラには残してほしいのです。メーカーには固定パターンノイズ除去や感度の均一化など最低限行うべきと考えている処理があるかもしれませんが、もしそのような処理を行っているのなら、その旨をどこかに記載して欲しいとも思っています。
「フィルムへの撮影->フィルム現像->印画紙への焼き付け->印画紙現像」のプロセスを体験しているためか、カメラでの撮影データはまだフィルムの段階で、最終出力ではないと思っています。
by hi-low (2014-07-26 14:10)
> せーじ さん
情報をありがとうございます。
dcrawのソースコードまでは見ていませんでした。メーカーによっては、RAWでも非可逆圧縮圧縮を行っているようですね。パナソニックについては、LUMIX G2で撮影すると、ライブビューで見えていたディティールがRAW記録でも消えることがあったので、実は非可逆圧縮とのことは納得です。
by hi-low (2014-07-26 15:14)
hi-lowさん
> 撮影条件を検討するためにも、画作りをした画像だけでなく素の画像もカメラには残してほしいのです
強く同意します。画作りはJPEG（カメラ内生成、自社製現像ソフト）でどんどんやっていただいて、RAWは素のデータとして欲しいと私も思います。また、次の、
> カメラでの撮影データはまだフィルムの段階で、最終出力ではないと思っています。
というのも同意で、最終出力はユーザーが作るものだと思います。
ただ、というか、実際にはRAWからの現像で、どんなソフトを使ってもカメラ内JPEGと同じような傾向の画が出なければおかしいという人が多く居るのも事実で、メーカーとしては悩ましいところではないかな、と。そういう人は「現像」の気分を味わいたい、潤沢なリソースが使えるのでカメラ内生成よりも良い画が出るのが気分がいいといったところなのでしょうから、メーカー純正のソフトを使えばいいのではないかとも考えたりもするのですが、、、
私などは普段はお気楽ユーザーなのでカメラ内生成JPEGを使いたいクチですが、ここ一番というところでは必ずRAW形式でも保管します。そのRAW形式がバリバリに加工済みだと、興醒めでしかありません。その意味では、最近のカメラメーカーの「何でもアリ」の傾向には疑問を感じています。
ちなみに、dcrawのソースコードは必ずしもメーカーのアルゴリズムと一致しているというわけではなくて、この方法でとりあえず復元できるといった性格のものですよね？ 昔のインタビューですが、ふと思い出して検索して見つけました。ご存じかもしれませんが。^^;
http://www.dpreview.com/articles/0616201150/davecoffininterview
by toshi (2014-07-27 08:35)
> toshi さん
> 最終出力はユーザーが作るものだと思います。
印画紙に焼き付けをしていた頃は、フィルムのダイナミックレンジをどうやって印画紙に落とし込むかが勝負でした。
> 実際にはRAWからの現像で、どんなソフトを使ってもカメラ内JPEGと同じような傾向の画が出なければおかしいという人が多く居るのも事実で、メーカーとしては悩ましいところではないかな、と。
RAWからの現像はユーザーの環境に依存しますので、メーカーとしては（特にエントリー機に関しては）カメラ内JPEGで満足してほしいのかもしれません。
> ちなみに、dcrawのソースコードは必ずしもメーカーのアルゴリズムと一致しているというわけではなくて、この方法でとりあえず復元できるといった性格のものですよね？
インタビューのURLをご紹介いただきありがとうございます。このインタビューは知りませんでした。
たしかに、リバース・エンジニアリングには正解はありませんが、バイナリ―データを画素パターンとして展開できれば、画素輝度値の復元法はほぼ正解だと思います。dcrawを使っているRawTherapeeが、ACRよりも高分解能のデモザイクをしてくれますし…。
by hi-low (2014-07-28 18:02)
hi-lowさん
> リバース・エンジニアリングには正解はありませんが、バイナリ―データを画素パターンとして展開できれば、画素輝度値の復元法はほぼ正解だと思います。dcrawを使っているRawTherapeeが、ACRよりも高分解能のデモザイクをしてくれますし…。
はい。私もそう思います。^^
dcrawのソースコードを元に書かれていた評価記事の書き方がちょっと気になっただけなのです。それ以外に、深い意味はありません。^^;
by toshi (2014-07-30 06:54)