Sigma's Patent for Image Sensor Calibration [Technology]
以前、SDやDPのRAWにはセンサーのキャリブレーションデータが埋め込まれている可能性を紹介しました。
関係しそうな特許が既にシグマから申請されていました。
【公開番号】特開２０１３－２４７４３５（Ｐ２０１３－２４７４３５Ａ）
【公開日】平成２５年１２月９日（２０１３．１２．９）
【発明の名称】撮像装置
この特許では、シンプルな光学系をセンサーに付けて撮影し、センサーの感度ムラを検出する装置が申請されています。申請では主にシェーディング補正を扱っていますが、ピクセル単位の補正にも利用できそうです。
関係しそうな特許が既にシグマから申請されていました。
【公開番号】特開２０１３－２４７４３５（Ｐ２０１３－２４７４３５Ａ）
【公開日】平成２５年１２月９日（２０１３．１２．９）
【発明の名称】撮像装置
この特許では、シンプルな光学系をセンサーに付けて撮影し、センサーの感度ムラを検出する装置が申請されています。申請では主にシェーディング補正を扱っていますが、ピクセル単位の補正にも利用できそうです。
LPF would affect the Image Color [Technology]
E-M5とE-M10を比較した際に、レンズの倍率色収差がデモザイクに影響を与える可能性を指摘しました。収束円が近隣のピクセルに広がるケースはレンズの収差だけでなく、LPFも同様です。つまり、Nikon D800とD800Eの画像は色が異なる可能性があるわけです。
DpreviewのD800とD800Eのiso50でのRAWを、補正をすべてOFFにし、WBを6300Kとしてamazeアルゴリズムで現像し、色分解しました。
まずはカラー画像です。左がD800で右がD800Eです。
モアレが異なりますが、色に関しては私には見た目での区別はつきません。
Rチャネルです。
中段右のパターンの背景が、D800Eでわずかに暗いようです。
Gチャネルです。
上段右のパターンと下の小さなパターンの背景が、D800Eが明るくなっています。
Bチャネルです。
上段と中段が、D800ではっきりと明るくなっています。
検証に用いたパターンでは、収束円の拡大はBチャネルに明らかな影響を与えることが分かりました。
成分比が異なっても、意外に同じ色に見えてしまいますね。私の目が良くないのかもしれませんが…。
DpreviewのD800とD800Eのiso50でのRAWを、補正をすべてOFFにし、WBを6300Kとしてamazeアルゴリズムで現像し、色分解しました。
まずはカラー画像です。左がD800で右がD800Eです。
モアレが異なりますが、色に関しては私には見た目での区別はつきません。
Rチャネルです。
中段右のパターンの背景が、D800Eでわずかに暗いようです。
Gチャネルです。
上段右のパターンと下の小さなパターンの背景が、D800Eが明るくなっています。
Bチャネルです。
上段と中段が、D800ではっきりと明るくなっています。
検証に用いたパターンでは、収束円の拡大はBチャネルに明らかな影響を与えることが分かりました。
成分比が異なっても、意外に同じ色に見えてしまいますね。私の目が良くないのかもしれませんが…。
E-M10 vs. E-M5 [Technology]
オリンパスのE-M10のイメージセンサーはE-M5と同じと発表されています。しかし、ベース感度がE-M10はiso100でE-M5はiso200と異なるため、何かしらの違いがあるかもしれません。
DpreviewでE-M10のStudio shotが公開されましたので、早速E-M5と比較しました。
iso200のRAWを使い、ノイズリダクションやアンシャープマスクなどの画像処理は行っていません。
デモザイクアルゴリズムは"amaze"です。
いつもの部分を切り出し並べています。左がE-M5で、右がE-M10です。
違いが分かりませんので、色分解しました。
Rチャネルです。
Gチャネルです。
Bチャネルです。
Bチャネルで、E-M5の画像がE-M10に比べて明らかに眠くなっています。
これはセンサーの違いなのでしょうか？
実は、E-M5とE-M10の画像は撮影レンズが異なっています。E-M5は4/3の50mm F2.0 MACROで、E-M10はm4/3の45mm F1.8です。RとGチャネルに差はほとんどありませんので、多分、50mm F2.0のBチャネル波長帯の軸上色収差が45mm F1.8よりも大きいのでしょう。
結論としては、発表通りにE-M5とE-M10は同じイメージセンサーだと思われます。
おまけ
"AHD"アルゴリズムでデモザイクした画像のBチャネルです。
デモザイクアルゴリズムの違いは、意外に大きいようですね。
DpreviewでE-M10のStudio shotが公開されましたので、早速E-M5と比較しました。
iso200のRAWを使い、ノイズリダクションやアンシャープマスクなどの画像処理は行っていません。
デモザイクアルゴリズムは"amaze"です。
いつもの部分を切り出し並べています。左がE-M5で、右がE-M10です。
違いが分かりませんので、色分解しました。
Rチャネルです。
Gチャネルです。
Bチャネルです。
Bチャネルで、E-M5の画像がE-M10に比べて明らかに眠くなっています。
これはセンサーの違いなのでしょうか？
実は、E-M5とE-M10の画像は撮影レンズが異なっています。E-M5は4/3の50mm F2.0 MACROで、E-M10はm4/3の45mm F1.8です。RとGチャネルに差はほとんどありませんので、多分、50mm F2.0のBチャネル波長帯の軸上色収差が45mm F1.8よりも大きいのでしょう。
結論としては、発表通りにE-M5とE-M10は同じイメージセンサーだと思われます。
おまけ
"AHD"アルゴリズムでデモザイクした画像のBチャネルです。
デモザイクアルゴリズムの違いは、意外に大きいようですね。
NX-D beta vs. RawTherapee [Technology]
ニコンがNX-D betaを公開しました。ベータ版とはいえニコン純正のRAW現像アプリケーションですので、ニコンの現像基準が分かるはずです。そこで、いつも使っているDpreviewのStudio Shotから、D5300のRAWを現像しました。
比較として、RawTherapee 4.0.12.50でも現像しました。
WBにはカメラ測定値を用いました。コントラストの自動調整以外のノイズリダクションやシャープネスなどの後処理は、可能な限りOFFにしています。
左がNX-D beta、右がRawTherapeeです。
一見して分かることは、NX-Dの出力画像が眠いことです。
左下の黒地に白のリングを見ると、RawTherapeeではエッジに赤の偽色がありますが、NX-Dではそれほど目立ちません。しかし、右上の赤地に青のリングは、RawTherapeeでは平面に見えますが、NX-Dではリングに縁取りがあり立体的に見えます。
いつものように色分解しました。
上から、R、G、Bの順で、左右はカラー画像と同じです。
モアレを除去するために、デモザイクの前後どちらかは分かりませんが、ピクセルピッチに対応する高周波の空間周波数成分が除かれているようです。ご興味のある方は、画像のFFTをお試しください。
今回は設定項目を見つけることが出来ませんでしたが、デフォルト設定では、LPFレスのD5300でもOLPF有りと同じ画像になってしまうようです。
個人的には、このままフリーでもNX-Dは使いそうにありません…。
比較として、RawTherapee 4.0.12.50でも現像しました。
WBにはカメラ測定値を用いました。コントラストの自動調整以外のノイズリダクションやシャープネスなどの後処理は、可能な限りOFFにしています。
左がNX-D beta、右がRawTherapeeです。
一見して分かることは、NX-Dの出力画像が眠いことです。
左下の黒地に白のリングを見ると、RawTherapeeではエッジに赤の偽色がありますが、NX-Dではそれほど目立ちません。しかし、右上の赤地に青のリングは、RawTherapeeでは平面に見えますが、NX-Dではリングに縁取りがあり立体的に見えます。
いつものように色分解しました。
上から、R、G、Bの順で、左右はカラー画像と同じです。
モアレを除去するために、デモザイクの前後どちらかは分かりませんが、ピクセルピッチに対応する高周波の空間周波数成分が除かれているようです。ご興味のある方は、画像のFFTをお試しください。
今回は設定項目を見つけることが出来ませんでしたが、デフォルト設定では、LPFレスのD5300でもOLPF有りと同じ画像になってしまうようです。
個人的には、このままフリーでもNX-Dは使いそうにありません…。
Avalanche multiplication in the thin layer film [Technology]
NHK技研が、アバランシェ増幅可能な薄膜の素材を見つけたようです。
この方法が実用化されると、イメージセンサーの構造が一新される可能性があります。素材名まで公開していますので、実用化は意外に近いのかもしれません。
楽しみです。
この方法が実用化されると、イメージセンサーの構造が一新される可能性があります。素材名まで公開していますので、実用化は意外に近いのかもしれません。
楽しみです。
CANON 5D2 RAW vs. sRAW [Technology]
キヤノンのDSLRには、RAW以外にsRAWというピクセル数とファイルサイズが小さなデータ保存形式が存在します。RAWはセンサーからの生データを意味していると思っていましたので、そのデータ構造に興味がありました。
RAWとsRAWの拡張子は共にCR2ですので、DCRaw readerで展開してみると、RAWはおなじみのベイヤー配列モザイクでしたが、sRAWはRGBのスタックでした。
ここからが今回の本題です。
sRAW2は縦横がRAWの半分なので、RGGBのベイヤー配列を1ピクセルのRGBに押し込んでいる可能性があります。もしそうなら、sRAWは、少なくともRAWを最終的に縦横半分のサイズになるようにデモザイクした画像と同一の、あるいはノイズが減ったより良い画質になっている可能性があります。
imaging resourceに、5D2で同一被写体を撮影したRAWとsRAWのファイルが公開されていましたので、比較してみました。
左がRAWを縦横半分のサイズでデモザイクした画像で、右がsRAWを展開した画像です。
ホワイトバランスはカメラ設定を使っています。
構図が少しずれているのは、元ファイルでずれているためです。
なんと、RAWをデモザイクした画像を縮小した方が、sRAWの展開画像よりも、明らかに分解能が勝っています。
最終出力や入稿でのサイズが小さいからと言って、sRAWを選択するのは得策ではないようです…。
RAWとsRAWの拡張子は共にCR2ですので、DCRaw readerで展開してみると、RAWはおなじみのベイヤー配列モザイクでしたが、sRAWはRGBのスタックでした。
ここからが今回の本題です。
sRAW2は縦横がRAWの半分なので、RGGBのベイヤー配列を1ピクセルのRGBに押し込んでいる可能性があります。もしそうなら、sRAWは、少なくともRAWを最終的に縦横半分のサイズになるようにデモザイクした画像と同一の、あるいはノイズが減ったより良い画質になっている可能性があります。
imaging resourceに、5D2で同一被写体を撮影したRAWとsRAWのファイルが公開されていましたので、比較してみました。
左がRAWを縦横半分のサイズでデモザイクした画像で、右がsRAWを展開した画像です。
ホワイトバランスはカメラ設定を使っています。
構図が少しずれているのは、元ファイルでずれているためです。
なんと、RAWをデモザイクした画像を縮小した方が、sRAWの展開画像よりも、明らかに分解能が勝っています。
最終出力や入稿でのサイズが小さいからと言って、sRAWを選択するのは得策ではないようです…。
SPP vs. ImageJ [Technology]
X3Fファイルのカラー現像が可能なアプリケーションは、SPPしかありません。SPPにはモノクロームモードが存在し、これがDP3 merrillをモノクロカメラとして利用しようとした大きな理由でした。
しかし、SPPのモノクロモードは動作が鈍く、私のPCではコントラストの調節もままなりません。最近、ImageJ + DCRaw readerでX3Fファイルを展開できることがわかり、しかもその動作はかなり軽快です。そこで、SPPとImageJの出力画像を比較して見ました。
同じファイルを表示したスクリーンショットです。アップロード可能なサイズに抑えるためJpegになっていますが、出来るだけ低圧縮にしています。
左がSPPで、右がImageJです。
SPPは全ての設定を標準（ノイズリダクションは無し）にし、ImageJはそれとほぼ同じ画像になるようにコントラスト調節を行ってアンシャープマスクをかけています。SPPのモノクロームモードは、標準状態でアンシャープマスクがかかっていましたが、明示的に外す方法が分かりませんでした。SPPは8 bitで、ImageJは32 bitで画像を扱っています。
SPPの表示が少し青みがかっていますが、これは錯覚ではなく、SPPはアプリケーションでの階調表示は同じでもディスプレイ上はRがGやBよりも1階調小さくなる傾向がありました。ImageJではアプリケーションでもディスプレイでもすべて同じ階調です。また、SPPでは、ImageJで見える異常ピクセルが全く見えません。
SPPの異常ピクセルを補正してくれる点はありがたいのですが、素のデータを見せてくれないことと鈍い動作が大きな不満です。個人的には、異常ピクセルの補正が必要なければ、SPPのモノクロームモードを使う理由はありませんね。
しかし、SPPのモノクロモードは動作が鈍く、私のPCではコントラストの調節もままなりません。最近、ImageJ + DCRaw readerでX3Fファイルを展開できることがわかり、しかもその動作はかなり軽快です。そこで、SPPとImageJの出力画像を比較して見ました。
同じファイルを表示したスクリーンショットです。アップロード可能なサイズに抑えるためJpegになっていますが、出来るだけ低圧縮にしています。
左がSPPで、右がImageJです。
SPPは全ての設定を標準（ノイズリダクションは無し）にし、ImageJはそれとほぼ同じ画像になるようにコントラスト調節を行ってアンシャープマスクをかけています。SPPのモノクロームモードは、標準状態でアンシャープマスクがかかっていましたが、明示的に外す方法が分かりませんでした。SPPは8 bitで、ImageJは32 bitで画像を扱っています。
SPPの表示が少し青みがかっていますが、これは錯覚ではなく、SPPはアプリケーションでの階調表示は同じでもディスプレイ上はRがGやBよりも1階調小さくなる傾向がありました。ImageJではアプリケーションでもディスプレイでもすべて同じ階調です。また、SPPでは、ImageJで見える異常ピクセルが全く見えません。
SPPの異常ピクセルを補正してくれる点はありがたいのですが、素のデータを見せてくれないことと鈍い動作が大きな不満です。個人的には、異常ピクセルの補正が必要なければ、SPPのモノクロームモードを使う理由はありませんね。
Foveon Calibration Data? and New DP "Quattro" [Technology]
X3Fファイルのバイナリダンプを見ると、シグマのSD, DPシリーズカメラのX3Fファイルには、SD1以降に追加された項目が存在します。Exif形式では"Lens Aperture Range"の項目順のようですが、X3Fでは以下の通りです。
F20_CalibrationSoft Version 1.00 13-02-01
RunID:F20Cal-01-001
Runtime:2013-3-11 8:59:28
手元のDP3 Merrillが出力するX3Fファイルとflickrで公開されているDP3 Merrillのファイルでは、3行目のRuntimeが異なっていました。もしかしたら各機固有かもしれません。
このヘッダーの後に小さなバイナリデータが続きますので、センサーのキャリブレーションデータかなと想像しています。
この記事を書いているところで、シグマがセンサー構造を一新したDPの新シリーズ"Quattro"を発表しました。
輝度情報（空間分解能）は最上層のPDに任せ、下部二層は色情報に特化させました。正しい判断だと思います。
"dp3 Quattro"を早く出荷してほしいですね。
F20_CalibrationSoft Version 1.00 13-02-01
RunID:F20Cal-01-001
Runtime:2013-3-11 8:59:28
手元のDP3 Merrillが出力するX3Fファイルとflickrで公開されているDP3 Merrillのファイルでは、3行目のRuntimeが異なっていました。もしかしたら各機固有かもしれません。
このヘッダーの後に小さなバイナリデータが続きますので、センサーのキャリブレーションデータかなと想像しています。
この記事を書いているところで、シグマがセンサー構造を一新したDPの新シリーズ"Quattro"を発表しました。
輝度情報（空間分解能）は最上層のPDに任せ、下部二層は色情報に特化させました。正しい判断だと思います。
"dp3 Quattro"を早く出荷してほしいですね。
Welcome back Panasonic sensor! [Technology]
ChipworksがオリンパスE-M1のセンサーはパナソニック製と報告しましたので、ソニーセンサーであることが公表されているE-M5と比較してみました。
Dpreviewの公開rawデータから、ISO 1600を用いています。
画像の並び順は、左からRGBです。
E-M1です。
E-M5です。
カラーフィルターの分光特性が異なることが分かります。
さらに、ファイル内のカラー並び順やカラー毎の増幅係数の表現も異なっていますので、センサーメーカーが異なっていても不思議はありませんでした。
分解能に大きな差はないようですが、発色のメリハリではE-M5で、スムーズさではE-M1でしょうか。
Dpreviewの公開rawデータから、ISO 1600を用いています。
画像の並び順は、左からRGBです。
E-M1です。
E-M5です。
カラーフィルターの分光特性が異なることが分かります。
さらに、ファイル内のカラー並び順やカラー毎の増幅係数の表現も異なっていますので、センサーメーカーが異なっていても不思議はありませんでした。
分解能に大きな差はないようですが、発色のメリハリではE-M5で、スムーズさではE-M1でしょうか。
Monochrome image from DP3M [Technology]
DP3 merrillのrawデータからモノクローム画像を作ったところ、少し残念なことが分かりました。
まずは、ImageJ + DCraw Readerで展開したデータのRGBチャネルを合算したモノクローム画像をご覧ください。被写体は、色彩のない被写体として丸めたアルミホイルを用いました。
画像はコントラストを強調した後に一部を切り出して200%に拡大しています。
輝点が多数存在します。よく見ると暗点も存在します。どちらも完全な輝点や暗点ではなく、周辺よりも~30%程度の違いでした。このような異常ピクセルは、Bチャネルに特に多く、GチャネルとRチャネルではわずかでした。Rチャネルが最も少ないようです。
Foveon X3センサーではPDが積層されていますが、最上層PDの有効面積に±30%程度の差があるのでしょう。
気が付かなければよかったと思っています…。
X-Trans CMOS配列とFoveon X3センサーのrawデータを扱ってみて、ベイヤー配列センサーの完成度の高さを実感しました。
まずは、ImageJ + DCraw Readerで展開したデータのRGBチャネルを合算したモノクローム画像をご覧ください。被写体は、色彩のない被写体として丸めたアルミホイルを用いました。
画像はコントラストを強調した後に一部を切り出して200%に拡大しています。
輝点が多数存在します。よく見ると暗点も存在します。どちらも完全な輝点や暗点ではなく、周辺よりも~30%程度の違いでした。このような異常ピクセルは、Bチャネルに特に多く、GチャネルとRチャネルではわずかでした。Rチャネルが最も少ないようです。
Foveon X3センサーではPDが積層されていますが、最上層PDの有効面積に±30%程度の差があるのでしょう。
気が付かなければよかったと思っています…。
X-Trans CMOS配列とFoveon X3センサーのrawデータを扱ってみて、ベイヤー配列センサーの完成度の高さを実感しました。
