米国特許情報 | 欧州特許情報 | 国際公開(PCT)情報 | Google の米国特許検索
 
     特許分類
A 農業
B 衣類
C 家具
D 医学
E スポ−ツ;娯楽
F 加工処理操作
G 机上付属具
H 装飾
I 車両
J 包装;運搬
L 化学;冶金
M 繊維;紙;印刷
N 固定構造物
O 機械工学
P 武器
Q 照明
R 測定; 光学
S 写真;映画
T 計算機;電気通信
U 核技術
V 電気素子
W 発電
X 楽器;音響


  ホーム -> 計算機;電気通信 -> ヒューレット・パッカード・カンパニー

発明の名称 デジタル画像における動きによるぼけを低減する方法
発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開2003−78812(P2003−78812A)
公開日 平成15年3月14日(2003.3.14)
出願番号 特願2002−155573(P2002−155573)
出願日 平成14年5月29日(2002.5.29)
代理人 【識別番号】100099623
【弁理士】
【氏名又は名称】奥山 尚一 (外2名)
【テーマコード(参考)】
5C022
5L096
【Fターム(参考)】
5C022 AB21 AB55 AC42 AC54 AC69 
5L096 CA04 FA06 FA23 FA39 HA02 MA03
発明者 チャールズ・エイチ・マッコニカ
要約 課題
デジタル画像での動きによるぼけの検出方法を提供する。

解決手段
デジタル画像を表す画像を提供するステップと、該画像データを解析し、第1の方向(X)での前記デジタル画像の第1の性能指数を計算するステップと、前記画像データを解析し、前記第1の方向および前記第2の方向は実質的に直交する第2の方向(Y)での前記デジタル画像の第2の性能指数を計算するステップと、前記第2の性能指数に対する前記第1の性能指数の第1の比を計算するステップであって、前記第1の比が、前記第1の性能指数または前記第2の性能指数のうち大きい方を、前記第1の性能指数または前記第2の性能指数のうち小さい方で除算したステップと、前記第1の比と予め選択された値とを比較するステップであって、前記第1の比が前記予め選択される値よりも大きい場合には、前記デジタル画像に動きによるぼけが存在するステップとを含む方法を提供する。
特許請求の範囲
【請求項1】 デジタル画像を表す画像データを提供するステップと、該画像データを解析して、第1の方向(X)における前記デジタル画像の第1の性能指数を計算するステップと、前記画像データを解析して、第1の方向に実質的に直行する第2の方向(Y)における前記デジタル画像の第2の性能指数を計算するステップと、前記第2の性能指数に対する前記第1の性能指数の第1の比を計算するステップであって、前記第1の比が、前記第1の性能指数または前記第2の性能指数のうち大きい方を、前記第1の性能指数または前記第2の性能指数のうち小さい方で除算したものであるようなステップと、前記第1の比と予め選択された値とを比較するステップであって、前記第1の比が前記予め選択される値よりも大きい場合には、前記デジタル画像に動きによるぼけが存在するものとするステップとを含んでなるデジタル画像における動きによるぼけを検出する方法。
【請求項2】 前記画像データを解析して、前記第1の方向(X)および前記第2の方向(Y)に対して斜めである第3の方向(A)における前記デジタル画像の第3の性能指数を計算するステップと、前記画像データを解析して、前記第3の方向(A)および前記第4の方向(B)が実質的に直交する第4の方向(B)における前記デジタル画像の第4の性能指数を計算するステップと、前記第4の性能指数に対する前記第3の性能指数の第2の比を計算するステップであって、前記第2の比が、前記第3の性能指数または前記第4の性能指数のうち大きい方を、前記第3の性能指数または前記第4の性能指数のうち小さい方で除算したものであるようなステップと、前記第2の比と予め選択された値とを比較して、前記デジタル画像に動きによるぼけが存在するかどうかを決定するステップとをさらに含んでなる請求項1に記載の方法。
【請求項3】 前記第1の比と前記第2の比とを比較して、動きによるぼけ方向を決定するステップをさらに含んでおり、該動きによるぼけの方向が、前記第1の比または前記第2の比のうち大きい方からの最も低い性能指数値に対応する方向に存在するものとする請求項2に記載の方法。
【請求項4】 デジタル画像を表す画像データを提供するステップと、該画像データを解析して、複数の方向(X、Y、A、B)における前記デジタル画像の複数の第1の性能指数を計算するステップと、前記画像データを解析して、前記デジタル画像の複数の第2の性能指数を計算するステップであって、該第2の性能指数のそれぞれが、対応する前記第1の性能指数に対して実質的に直交する方向でのものであるステップと、対応する前記第2の性能指数に対する前記第1の性能指数の複数の比を計算するステップであって、前記比のそれぞれが、前記第1の性能指数または前記第2の性能指数のうち大きい方を、対応する前記第1の性能指数または前記第2の性能指数のうち小さい方で除算したものであるステップと、前記比と予め選択された値とを比較するステップであって、前記比のうちの1つが前記予め選択された値よりも大きい場合には、前記デジタル画像に動きによるぼけが存在するものとするステップとを含んでなるデジタル画像における動きによるぼけを検出する方法。
【請求項5】 画像を表す画像データを提供するステップと、該画像データを解析して、前記画像中の動きによるぼけの存在を検出するステップと、前記画像データを解析して、前記デジタル画像中の動きによるぼけ方向を検出するステップと、該動きによるぼけ方向における前記画像のエッジ明瞭度を増大させるように、前記画像データを処理するステップと、を含んでなる画像における動きによるぼけを低減する方法。
【請求項6】 前記処理するステップが、前記動きによるぼけ方向において変換された画像データ中の予め選択された空間周波数の集合における信号の振幅の大きさを増大させることを含んでいる請求項5に記載の方法。
【請求項7】 前記処理するステップが、前記動きによるぼけ方向において前記変換された画像データ中の予め選択された空間周波数の集合における正弦波信号の振幅の大きさを増大させることを含んでおり、該画像データがフーリエ変換によって変換される請求項5に記載の方法。
【請求項8】 前記処理するステップが、前記動きによるぼけの検出および振幅に基づいて、前記画像の信号の振幅を増大させることを含んでいる請求項5に記載の方法。
【請求項9】 デジタル画像における動きによるぼけを低減する方法であって、該動きによるぼけ方向において前記画像中の予め選択された空間周波数の集合における前記信号の振幅の大きさを増大するステップを含んでいる方法。
【請求項10】 前記信号が正弦波信号であり、前記空間周波数がフーリエ変換を介して導出される請求項9に記載の方法。
【請求項11】 画像における動きによるぼけを検出する装置であって、該装置が、コンピュータおよび該コンピュータと関連して動作可能なコンピュータ読み取り可能媒体を含んでおり、該コンピュータ読み取り可能媒体が、前記画像を表す画像データを受信するステップと、第1の方向(X)における前記画像データの第1の性能指数を計算するステップと、前記第1の方向(X)および前記第2の方向(Y)は実質的に直交する第2の方向(Y)における前記画像データの第2の性能指数を計算するステップと、前記第2の性能指数に対する前記第1の性能指数の第1の比を計算するステップであって、該第1の比が、前記第1の性能指数または前記第2の性能指数のうち大きい方を、前記第1の性能指数または前記第2の性能指数のうち小さい方で除算したものであるようなステップと、前記第1の比と予め選択される値とを比較するステップであって、前記第1の比が前記予め選択される値よりも大きい場合には、前記デジタル画像に動きによるぼけが存在し、前記性能指数の小さい方に対応する方向に動きによるぼけが存在するようなステップとによって、前記画像における動きによるぼけを検出するように前記コンピュータを制御する命令を含んでいる装置。
【請求項12】 画像における動きによるぼけを低減する装置であって、該装置が、コンピュータおよび該コンピュータと関連して動作可能なコンピュータ読み取り可能媒体を含んでおり、該コンピュータ読み取り可能媒体が、動きによるぼけ方向を決定するステップと、前記動きによるぼけ方向における空間周波数の振幅の大きさを増大するステップと、によって、前記画像における動きによるぼけを低減するように前記コンピュータを制御する命令を含んでいる装置。
【請求項13】 前記増大するステップが、前記動きによるぼけ方向において前記画像中の予め選択された空間周波数の集合における信号の振幅の大きさを増大させるステップを含んでいる請求項12に記載の装置。
【請求項14】 前記増大するステップが、前記動きによるぼけ方向において前記画像中の予め選択された空間周波数の集合における正弦波信号の振幅の大きさを増大させるステップを含んでおり、該空間周波数がフーリエ変換によって導出されるものである請求項12に記載の装置。
発明の詳細な説明
【0001】
【発明の属する技術分野】本発明は、デジタル画像における動きによるぼけの低減に関し、特に、デジタル画像を表す画像データを解析して、動きによるぼけの量および方向を決定し、動きによるぼけを低減するように画像データを処理することに関する。
【0002】
【従来の技術】デジタルスチルカメラは、被写体の画像を表す画像データを生成する。被写体の画像を表す画像データを生成するプロセスは、単純に被写体の「イメージング」または「キャプチャ」と呼ばれることが多い。画像データは処理され、被写体の複製画像を表示する装置に出力される。たとえば、被写体の複製画像を、ビデオモニタに表示することも、またプリンタで印刷することもできる。
【0003】デジタルカメラでは、2次元アレイの感光素子上へと被写体の画像を結像する。感光素子は比較的に小さく、それぞれの1つが被写体の画像の非常に小部分を表す画像データを生成する。たとえば、2次元アレイは、被写体の画像の小部分を表す画像データをそれぞれ生成する数百万の感光素子を有しうる。個々の感光素子によって生成される画像データが処理され、被写体の画像が再現される。感光素子の1つの種類は、予め選択された期間にわたって受光した光量に比例する電圧を出力する電荷結合素子(CCD)である。
【0004】デジタルカメラによって生成される画像を改良するために、2次元アレイ上の感光素子の密度が増大される。感光素子の密度を増大すると、被写体をイメージングする感光素子の数が増大し、このことが、被写体のイメージングされた部分間の間隔を低減することによって画質を向上させる。デジタルカメラによって生成される画像を改良する別の方法は、特に低照度条件において、画像データの生成するために長時間を費やす。この長時間の画像生成は、延長された時間分の光を感光素子に検出させることによって達成される。
【0005】デジタル写真を含む写真に伴う1つの問題は、感光素子が画像データを生成するときにカメラが動くと、カメラにより生成される画像がブレることである。たとえば、イメージングされる被写体に対してデジタルカメラが動かない理想的な条件下では、各感光素子が、被写体の画像の特定部分を表す画像データを生成する。しかし、画像データ生成時にカメラが動くと、被写体の画像の個々の部分が、いくつかの感光素子でイメージングされることになる。したがって、各感光素子が、被写体画像のいくつかの異なる部分をイメージングし、これにより被写体の複製画像がブレる。この種類のブレは、動きによるぼけあるいはモーションブラーと呼ばれる。
【0006】動きによるぼけ問題は、上記のイメージング期間が延びると悪化する。イメージング期間を延長すると、カメラがイメージング期間中に動く可能性が高くなり、複製画像に動きによるぼけが生じる可能性が高くなる。したがって、ブレた画像が生成される可能性がより高くなることによって、拡張されたイメージング期間の利点が相殺されうる。動きによるぼけの問題は、画像の生成により多くの感光素子を用いることによってさらに悪化する。感光素子はより小さくなり、より少ない光を受信するようになる。したがって、より小さな感光素子が、正確な画像データの生成に十分な光を受光するように、カメラの露出時間をより長くしなければならない。
【0007】
【発明が解決しようとする課題】したがって、デジタル画像における動きによるぼけを検出して低減するための方法および装置が必要である。
【0008】
【課題を解決するための手段】本発明は、被写体の複製画像における動きによるぼけの最小化を目的とする。被写体の画像は、画像データの形態で表される。画像データは、例として、被写体を表す画像データを生成するデジタルカメラを使用して、被写体を撮影することによって生成することができる。画像データは、被写体画像内の小部分、すなわちピクセル位置(pixel location)において生成される光の強度に対応する複数の値でありうる。
【0009】画像データが解析され、一方向における特定の空間周波数における振幅の大きさが、他の方向における特定の空間周波数における振幅の大きさよりも小さいかどうか(これが動きによるぼけを示す)を決定する。これは、様々な方向について特定の各空間周波数における振幅を比較することによって、多数の特定の空間周波数に一般化することができる。
【0010】特定の空間周波数の振幅の大きさは、性能指数(あるいは良度指数;figure of merit)に比例する。第1の方向において第1の性能指数が計算され、第2の方向において第2の性能指数が計算され、第2の方向は、第1の方向に対して実質的に垂直である。動きによるぼけが第1の方向あるいは第2の方向に存在する場合には、ある方向における性能指数は、他の垂直な方向における性能指数よりも小さくなる。第2の性能指数に対する第1の性能指数の比の大きさが予め選択された値と比較されて、第1の性能指数の値が第2の性能指数の値と有意に異なるかどうかを決定する。比の大きさが予め選択された値よりも大きい場合には、動きによるぼけが存在する。動きによるぼけ方向は、2つの性能指数値のうちの小さい方に対応する方向である。
【0011】動きによるぼけは、動きによるぼけ方向における画像の適切な空間周波数集合の信号の振幅の大きさを増大することによって最小化される。適切な空間周波数集合は、画像特性に依存する。一実施形態では、画像データの空間的表現が、画像データを表す周波数領域に対して、デコンボリューション(deconvolution)または変更されたデコンボリューション修正(modified deconvolution correction)を適用することにより、動きによるぼけ方向において改良することができる。そして、画像データを表す周波数領域を、画像データの空間的表現に変換し戻すことができる。この変換は、例として、モザイク解除動作中の空間領域におけるカーネル動作の適用によって達成することができる。これらの動作は、工場で予め選択された修正係数、画像依存修正係数、または手動で選択される修正係数によって達成することができる。
【0012】
【発明の実施の形態】画像における動きによるぼけを検出して低減する方法および装置について以下に概説し、次により詳細な説明を続ける。
【0013】図1〜図9は、一般に、デジタル画像における動きによるぼけを検出する方法を示す。本方法は、デジタル画像を表す画像データを提供するステップを含みうる。画像データが解析され、第1の方向(X)におけるデジタル画像の第1の性能指数および第2の方向(Y)におけるデジタル画像の第2の性能指数を計算する。ここで、第1および第2の方向は、実質的に直交する。第2の性能指数に対する第1の性能指数の第1の比が計算される。ここで、比は、第1または第2の性能指数のうち大きい方を、第1または第2の性能指数のうちの小さい方で除算したものである。第1の比が予め選択される値と比較され、第1の比が予め選択された値よりも大きい場合には、動きによるぼけがデジタル画像に存在する。
【0014】図1〜図9は、一般に、画像における動きによるぼけを低減する方法も示す。本方法は、画像を表す画像データを提供するステップを含みうる。画像データが解析され、画像における動きによるぼけの存在を検出する。画像データはさらに解析されて、デジタル画像における動きによるぼけ方向を検出する。そして、画像データが処理され、動きによるぼけ方向において、画像のエッジ明瞭度(edgeacuity)を増大する。
【0015】図1〜図9は、一般に、画像における動きによるぼけを検出する装置も示す。本装置は、コンピュータおよびコンピュータと関連して動作可能なコンピュータ読み取り可能媒体を含むことができ、コンピュータ読み取り可能媒体は、コンピュータを制御して、後述する方法により画像における動きによるぼけを検出する命令を含む。本装置は、画像を表す画像データを受信する。画像データの第1の性能指数が、第1の方向(X)において計算される。画像データの第2の性能指数が、第2の方向(Y)において計算され、第1および第2の方向(X、Y)は、実質的に直交する。第2の性能指数に対する第1の性能指数の第1の比が計算される。第1の比は、第1または第2の性能指数の大きい方を第1または第2の性能指数の小さい方で除算したものである。第1の比は予め選択された値と比較され、第1の比が予め選択された値よりも大きい場合には、動きによるぼけがデジタル画像に存在する。動きによるぼけ方向は、小さい方の性能指数に対応する。
【0016】デジタルカメラ100およびデジタル画像におけるブレを低減する方法について大まかに説明したが、次に、これらについてさらに詳細に説明する。以下の説明は、カメラ100の動作、その後にカメラ100によって生成される画像における動きによるぼけの検出および低減に焦点をあてる。
【0017】被写体110を表す画像データを生成するデジタルカメラ100の模式図を図1に示す。被写体を表す画像データを生成するプロセスは、単に被写体のイメージングまたはキャプチャとしばしば呼ばれる。x方向Xおよびz方向Zが、図1に示すカメラ100および被写体110に対する参照目的のために用いられる。x方向Xについては、正のx方向XPおよび負のx方向XNを参照してさらに詳細に説明する。同様に、z方向Zについても、正のz方向ZPおよび負のz方向ZNを参照してさらに詳細に説明する。図1に示されていないy方向は、x方向Xおよびz方向Zの双方に対して垂直に延びており、これについては後述する。
【0018】カメラ100は、絞り122が形成されたハウジング120を備えうる。レンズ126または複数のレンズが、絞り122内にまたは絞り122に隣接して配置することができ、被写体110の画像を後述するようにカメラ内にあるコンポーネント上に焦点合わせする役割を果たすことができる。レンズ126は、非限定的な例として、約7mmの焦点距離を有しうる。2次元感光センサアレイ130およびプロセッサ132は、ハウジング120内に配置することもできる。図1に示すように、被写体110の画像は、レンズ126によって、2次元感光センサアレイ130上に焦点合わせされる。図1に示す2次元感光センサアレイ130の図は側面図であることに留意されたい。プロセッサ132は、2次元感光センサアレイ130に電気的に接続することが可能であり、さらに詳細に後述するように、2次元感光センサアレイ130によって生成されるデータを処理する役割を果たすことができる。
【0019】2次元感光センサアレイ130の正面拡大図を図2に示す。2次元感光センサアレイ130は、複数の感光素子138が搭載される表面136を備えうる。図2に示す感光素子は、説明を目的として大幅に拡大されていることに留意されたい。感光素子138は、複数の行140および列142を形成するように配置することができる。各感光素子138は、特定の周波数帯の光の強度を表す画像データを生成するように適合可能である。たとえば、図3をさらに参照すると、光が感光素子138に到達する前にその光をフィルタリングするために、カラーフィルタアレイ143を2次元感光センサアレイ130の表面136に取り付けることができる。したがって、各感光素子138は、特定の狭帯域の波長を有する光を受光することができる。図3に示すカラーフィルタアレイ143は、ベイヤパターン(Beyer pattern)を示し、RとGとBとは、特定の帯域の赤と緑と青との光を感光素子138まで透過させるカラーフィルタを表す。したがって、図3に示す赤と緑と青との各フィルタは、単一の感光素子138に連結される。ベイヤパターンは、赤および青のフィルタより2倍多い緑のフィルタを有することに留意されたい。緑のフィルタの数の増大は、赤または青の光よりも緑の光に対して高い感度がある人間の視覚を補償する。カラーフィルタアレイ143は、図3に示すベイヤパターン以外のパターンに配置されたフィルタを有しうることにも留意されたい。
【0020】感光素子138は、予め選択された期間中受光した光の量に比例する電荷を発生する電荷結合素子でありうる。予め選択された期間は、被写体110(図1)が露出される光の強度、ひいては被写体110から反射される光150の強度に依存する。たとえば、画像が比較的に暗い環境で生成される場合には、この予め選択された期間は、生成される画像を向上させるために大きくされ、同様に、画像が比較的に明るい環境で生成される場合には、短くされる。
【0021】図1および図2を参照すると、本明細書で説明するカメラ100の実施形態では、レンズ126が、被写体110の画像の感光素子138へのブレを引き起こす。本明細書で説明する実施形態でのブレは、2つの感光素子138の距離にほぼ等しく、処理中の画像のエイリアシング(aliasing)を防止する役割を果たす。
【0022】再び図1を参照すると、上述したように、プロセッサ132が2次元感光センサアレイ130に電気的に接続することができる。プロセッサ132は、2次元感光センサアレイ130によって生成される画像データを受信して処理する。たとえば、プロセッサ132は、個々の感光素子138によって生成される情報を処理して、さらに詳細に後述するように、画像を「モザイク解除(demosaic、またはデモザイク)」し、色を適宜組み合わせる。プロセッサ132によって実行される機能のいくつかの例は、引用することにより本明細書の一部をなすものとし、その全てが開示されている1998年10月23日に出願されたTaubmanによる「IMAGE DEMOSAICING AND ENHANCEMENT SYSTEM」と題する米国特許出願第09/177,729号公報に記載されている。本明細書に説明するプロセッサ132は、画像における動きによるぼけを検出して最小化する追加性能を有することに留意されたい。
【0023】プロセッサ132は、カメラ100によって生成された画像データを表示および/または処理する役割を果たす、コンピュータモニタまたはプリンタのような図示していない周辺閲覧装置に電気的に接続することもできる。プロセッサ132は、2次元感光センサアレイ130、つまりカメラ100によって生成された画像データを格納および/または処理する、図示していない周辺コンピュータに電気的に接続することができる。プロセッサ132を参照して本明細書に説明する処理技術および方法は、周辺閲覧装置またはコンピュータによって実行することができることに留意されたい。たとえば、2次元感光センサアレイ130によって生成される画像データは、処理のために周辺プロセッサに直接に送信することもできる。
【0024】動きによるぼけの補正に重要なカメラ100のコンポーネントについて説明したが、次にカメラ100の動作、その後に動きによるぼけを補正するカメラ100について説明する。
【0025】カメラ100は、通常、ユーザによって保持され、被写体110等の被写体を表す画像データを生成するために使用される。画像データは通常被写体110の静止画像を表すが、被写体110の動いている画像、たとえば動画を表すこともできる。光150は、被写体110で反射され、絞り122を介してカメラ100のハウジング120に入射する。そして、レンズ126が、被写体110の画像を2次元感光センサアレイ130上に焦点合わせされる。2次元感光センサアレイ130は、被写体110の画像を表す画像データを生成し、この画像データが処理のためにプロセッサ132に出力される。上述したように、本明細書に説明するカメラ100の実施形態では、レンズ126が、2つの感光素子138(図2)だけ、2次元感光センサアレイ130上へと焦点合わせされる画像をブレさせる。
【0026】図2は、2次元感光センサアレイ130上に焦点合わせされる被写体110(図1)の画像156の例を示す。画像156が2次元感光センサアレイ130上に適宜焦点合わせされる場合には、感光素子138に画像データを生成させる命令が、2次元感光センサアレイ130に送信される。より具体的には、感光素子138が、予め選択された期間にわたり受光した、被写体110から反射された光の量に依存する電荷を生成する。カメラ100(図1)が暗い環境で使用される場合には、予め選択された期間は比較的に長く、カメラ100が明るい環境において使用される場合には、予め選択された期間は比較的に短い。
【0027】図2および図3を参照すると、画像データは、複数の個々のカラープレーンとして処理することができる。たとえば、画像データは、緑プレーン、赤プレーン、および青プレーンを有しうる。代替として、赤または青の感光素子138よりも緑の感光素子138が2倍多くあるため、緑プレーンを2つの緑プレーンとして処理することができる。緑プレーンは、関連するカラーフィルタアレイ143の緑カラーフィルタを有する感光素子138によって生成される画像データからなる。同様に、赤および青のプレーンは、それぞれ関連するカラーフィルタアレイ143の赤および青のカラーフィルタを有する感光素子138によって生成される画像データからなる。これらのカラープレーンは、合成画像データの各色成分を個々に処理できるようにする。たとえば、個々の色は、相対強度を増減するように基準化することができる。同様に、個々の感光素子138からの画像データもそれに従って基準化することができる。
【0028】カラーフィルタアレイ143は、動きによるぼけの方向を含め、本明細書で使用される方向の参照を提供する。y方向Yは、上述したx方向Xに対して垂直に延びる。a方向Aは、x方向Xおよびy方向Yに対して斜めに延びる。b方向Bは、a方向Aに対して垂直に延びる。上記方向は、さらに詳細に後述する動きによるぼけおよび補正の非限定的な例である。
【0029】再び図1を参照すると、理想的な環境下で、カメラ100および被写体110は双方とも、2次元感光センサアレイ130が画像データを生成する上記予め選択される期間中、互いに対して静止したままである。しかし、理想的な環境はまれにしか達成されず、カメラ100は、一般に、画像データ生成中に被写体110に対して多少動く。たとえば、画像データ生成中に、ユーザは、被写体110に対して固定位置にカメラ100を通常保つことができない。
【0030】動きによるぼけは、被写体110がイメージングされているときに発生する被写体110に対するカメラ100の回転移動あるいは並進移動によって通常生じる。本明細書に説明する動きによるぼけ補正方法は、被写体110のイメージング中に、被写体110とカメラ100との間の並進移動に起因する動きによるぼけの補正を対象とする。しかし、回転移動に起因する動きによるぼけは、本明細書に説明される方法によって補正することができることにも留意されたい。たとえば、カメラ100と被写体110との間の回転移動の中心が、画像エリアからかなり離れている場合には、画像に関連する動きによるぼけは、並進移動に起因する動きによるぼけとほぼ同様でありうる。回転移動による動きによるぼけが、並進移動によって生じるかのように補正することができるかどうかを決定する1つのテストは、回転の中心に最も近い画像のブレおよび回転の中心から最も離れた画像のブレを測定することである。2つのブレが実質的に同等である場合には、動きによるぼけは、並進移動に起因するものとして補正することができる。本明細書に説明する方法の一実施形態では、画像のエッジのブレが測定されて、ブレが並進移動に起因するものであることを意味するエッジのブレが実質的に等しいかどうかを決定する。
【0031】カメラ100の動作を簡単に説明したが、次に、ブレた画像データを生成するカメラ100の動作について説明する。本明細書に説明する例では、画像データが生成されていたときに、カメラ100がx方向Xに移動していた。x方向Xにおける移動は、2.5個分の感光素子138の距離を画像156に移動させる量である。
【0032】2次元感光センサアレイ130が画像データを生成するときに、被写体110に対してカメラ100が動くと、被写体110の画像がブレることになる。より具体的には、画像データが、従来の処理方法を用いて処理されるときに、被写体110の複製画像がブレることになる。このブレの例は、図2に示される。被写体110(図1)の画像156は、画像データ生成の開始時には2次元感光センサアレイ130上に焦点合わせされて示されている。感光素子138による画像データ生成が進むにつれ、2次元感光センサアレイ130上に焦点合わせされていた画像156が、負のx方向XNに移動する。感光素子138が画像データの生成を止めるときまでに、画像156は、2次元感光センサアレイ130上の別の位置に移動してしまっている。画像データの生成終了時の被写体110(図1)の画像の位置は、第2の画像158として参照され、図2の破線で示される。本明細書に引用する例では、画像156は、画像データの生成中に、負のx方向XNに2つ半分の列142で表される距離移動した。画像156が移動した距離は、動きによるぼけの振幅に比例する。画像156が移動した方向は、動きによるぼけ方向と呼ばれる。
【0033】さらに詳細に後述するように、画像データが解析され、ブレの方向および振幅を決定する。振幅は、画像データの生成中に発生する移動の量である。本明細書において説明する動きによるぼけ方向は、説明目的のみのために、x方向Xと、y方向Yと、a方向Aと、b方向Bとに限定されている。本明細書に説明する動きによるぼけ検出および補正方法は、複数の振幅および方向に適用可能であることに留意されたい。
【0034】再び図1を参照すると、2次元感光センサアレイ130によって生成される画像データは、処理のためにプロセッサ132に送信される。プロセッサ132は、図2の各感光素子138によって生成される画像データを、図3のカラーフィルタアレイ143ごとに関連するカラーフィルタに相関付ける。処理目的のために、画像データを、赤プレーンと、緑プレーンと、青プレーンとである上記3つのカラーグループまたはプレーンに分類することができる。代替として、2つの緑プレーンを考慮する場合には、画像データを4つのグループに分類することもできる。
【0035】プロセッサ132は、各感光素子138によって生成される画像データ値、または単に画像データに対応する数値を格納することができる。各感光素子138によって生成される画像データは、各感光素子138が受光する光の強度に比例する。プロセッサ132は、画像データの各値が2次元感光センサアレイ130上に生成された位置を格納することもできる。
【0036】画像データの生成について説明したが、次に、動きによるぼけの検出および低減について説明する。以下の手順は、図4および図5のフローチャートに概説されている。
【0037】2次元感光センサアレイ130によって生成される画像データは、画像のエリア内の複数の空間位置における光の振幅を表す。画像データがカラー画像を表す状況では、画像データは、複数のカラープレーンについて複数の空間位置における光の振幅を表す。たとえば、画像データは、3つのカラープレーン、すなわち赤プレーンと、緑プレーンと、青プレーンとにより表現することができる。各カラープレーンの画像データは、フーリエ変換の適用により周波数領域に変換可能であり、「変換された(transformed)」画像データとしばしば呼ばれる。変換された画像データは、空間周波数の各集合についての振幅および位相を表す。
【0038】変換された画像データは、画像内のブレの振幅および方向に関連する画像データ上の予測を提供する。変換された画像データは、後述するように操作して、動きによるぼけを低減することができる。そして、画像データは、逆フーリエ変換によって再変換され、ユーザに提示するために元のフォーマットにすることができる。再変換された画像データにおける動きによるぼけは、この操作によって低減されている。
【0039】動きによるぼけは、特により高い空間周波数で、常に動きによるぼけ方向において、変換された画像データの振幅を低減する。画像データが、フーリエ変換または同様のものを使用して周波数領域に変換されると、移動方向に垂直な方向における空間周波数集合を通して正弦波信号の振幅の大きさは、ほぼ影響を受けないままである。移動方向に対して垂直に近い方向に関しても、同じことが発生する。
【0040】動きによるぼけについて略述したが、次に、動きによるぼけの検出および最小化についてさらに詳細に説明する。
【0041】動きによるぼけの空間的影響の例を図6A〜図6Cのグラフに示す。図6A〜図6Cのグラフは、説明を目的として、2次元感光センサアレイ130の平面図ではなく2次元感光センサアレイ130の線形図に基づいている。図6A〜図6Cのグラフ中の水平軸Pは、空間位置、より具体的には画像データが生成された感光素子位置またはピクセル位置を表す。したがって、水平軸は、図2の感光素子138の位置に対応する。垂直軸I(P)は、感光素子位置で受光した光の強度を表し、これは、感光素子によって生成される画像データの値または大きさである。図7A〜図7Cのグラフは、図6A〜図6Cそれぞれのグラフの空間周波数の振幅の大きさを表す。
【0042】ぼけフィルタ(blur filter)が2次元感光センサアレイに連結されていない状態で、図6Aのグラフは、2次元感光センサアレイによって生成される単一の光点の画像データI(P)の理想的な表現を示す。図6Aに示すように、単一の感光素子8、つまり空間位置8は、大きさ8を有する画像データを生成する。2ピクセルのぼけフィルタが連結され、2次元感光センサアレイによって生成される図6Aの単一光点の画像データI(P)を図6Bのグラフは示す。図6Aおよび図6Bに示されるように、ぼけフィルタは、画像データI(P)が低減された高空間周波数コンテンツ(content)を有するようにする。これは、図6Aのグラフの離散的なパルスと図6Bのグラフの離散的な三角形状の関数との関係から明白である。図6Bのグラフでは、空間位置8の大きさが振幅4に降下し、空間位置7および9の大きさが0から2に増大する。図6Bのグラフは、2ピクセルのブレを有するカメラによってイメージングされたものとしては「完璧(perfect)」な光点とみなされることに留意されたい。デジタルカメラの感光素子の数が増大するにつれて、図6Bのグラフによって表される「完璧」な画像が、図6Aの光点により類似するようになる。したがって、ぼけフィルタの負の影響はほんのわずかになる。
【0043】多くのデジタルカメラが、ぼかしレンズ(blurry lens)、複屈折フィルタ(birefringent filter)、複屈折レンズ(birefringent filter)、または他のぼけフィルタ装置のような様々な種類のぼけフィルタを有することに留意されたい。ぼけフィルタは、画像中の好ましくないエイリアシング信号アーチファクト(aliased signal artifact)を回避するためのものである。エイリアシング信号アーチファクトは、シャツの織布(weave of a shirt)のように、中程度に高い空間周波数反復パターンの大きなエリアに通常関連する。
【0044】図6Cのグラフは、ぼけフィルタが連結され、画像データが生成されているときに、ピクセルまたは感光素子2.5個分に等しい移動を経たカメラが受信する画像データの振幅を示す。図6Cに示すように、単一光点(図6A)から受信するエネルギは、ぼけフィルタおよび動きによるぼけにより、総計で5つの感光素子にわたって分散する。図6Cの非限定的な例では、6番目および10番目の空間位置に生成される画像データの振幅は0.6に増大した。7番目および9番目の空間位置に生成される画像データの振幅は2に低減した。8番目の空間位置に生成される画像データの振幅は2.8に低減した。図6Cのグラフに示されるように、空間位置に関して生成される画像データは、非常に広がった三角形状の関数を表す。このことは、多くの画像(replicated image)の非常に小さい大きさの高空間周波数コンテンツを示し、多くの画像が鮮鋭ではなく、ブレた可能性が高いことを意味する。
【0045】さらに詳細に後述するように、多くの画像における動きによるぼけは、動きによるぼけの方向において、周波数領域変換された画像の特定の空間周波数における正弦波信号の振幅の大きさを増大することによって低減される。正弦波信号は、本発明において説明のために用いられ、フーリエ変換によって導かれることに留意されたい。また、本発明に説明する本発明の概念は、他の変換関数から導かれる他の信号にも適用することができることにも留意されたい。
【0046】高空間周波数コンテンツの振幅の大きさを増大するために、異なる鮮鋭化カーネル(sharpening kernel)を画像データの動きによるぼけの方向に適用することができる。非限定的な一例では、特定の空間周波数コンテンツ集合の振幅の大きさを増大するために、ウィーナ(Weiner)補正アルゴリズムが、周波数領域変換された画像データの動きによるぼけ方向に適用される。動きによるぼけを低減するために、他の補正アルゴリズムを画像データに適用することができることに留意されたい。
【0047】動きによるぼけの作用および動きによるぼけの作用を最小化する方法について略述したが、次に、動きによるぼけの検出について説明する。
【0048】略述したように、並進移動による動きによるぼけは、他のブレとは異なり、単一方向においてのみ発生する。たとえば、図2の画像156および158で示される動きによるぼけを参照すると、動きによるぼけはx方向Xにおいてのみ発生している。光学的ブレ等他のブレは、すべての方向で通常発生する。したがって、動きによるぼけによる影響を受ける画像の高空間周波数コンテンツの振幅の大きさは、移動方向に対応する方向で低くなる。移動方向に垂直または実質的に垂直な方向に対応する高空間周波数コンテンツの振幅の大きさは小さくなる。実際に適用する場合には、動きによるぼけの方向における高空間周波数コンテンツの振幅の大きさは、垂直方向における同じ特定の高空間周波数コンテンツの振幅の大きさよりも大幅に低くなる。
【0049】動きによるぼけの検出は、2次元感光センサアレイ130の一部にある感光素子138によって生成される画像データを解析することによって達成することができる。カメラのユーザは、通常、写真の被写体に焦点を合わせ、被写体が写真のほぼ中央にくるようにする。したがって、写真の中央は、最も鮮鋭な焦点が合わされた画像があるところである。このため、本明細書に説明する例では、2次元感光センサアレイ130の中央部分によって生成される画像データを動きによるぼけのために解析する。たとえば、2次元感光センサアレイ130の中央の1/9部分によって生成される画像データを動きによるぼけのために解析することができる。しかし、2次元感光センサアレイ130の任意の部分を動きによるぼけのために解析することができることを理解されたい。
【0050】説明目的のために、画像データを解析して動きによるぼけ方向および大きさを決定する例を提供する。解析は、画像156の角160の付近にある感光素子138によって生成される画像データの解析を開始する。図8は、2次元感光センサアレイ130の角160にある感光素子138の拡大図である。x方向Xに延びる感光素子138の行164によって生成される画像データが、以下の例で解析される。同様に、y方向Yに沿って延びる感光素子138の列166によって生成される画像データも以下の例で解析される。行164中の感光素子138は、X(1)、Y(1)〜X(10)、Y(1)として参照され、列166中の感光素子138は、X(1)、Y(1)〜X(1)、Y(10)として参照される。説明目的のために、x方向Xおよびy方向Yに延びる10個の感光素子138しか解析されないことに留意されたい。しかし、x方向Xおよびy方向Yにおける任意の数の感光素子138を解析することができることを理解されたい。他の方向における動きによるぼけ検出のために、a方向Aおよびb方向Bにおける任意の数の感光素子138を解析することができることもさらに理解されたい。
【0051】動きによるぼけが画像データに存在するかどうかを決定するに当たっての第1のステップは、画像エリアにわたり直交方向における高空間周波数コンテンツの振幅の大きさを解析することである。x方向Xおよびy方向Yにおける高空間周波数コンテンツの振幅の大きさは、x方向Xおよびy方向Yそれぞれにおける性能指数に比例する。性能指数は、画像における特定の方向に発生する明/暗遷移の程度を決定するためのベースを提供する。x方向Xにおける性能指数の非限定的な例は、本明細書ではFxと呼ばれ、以下のように計算される。
【0052】
【数1】

【0053】式中、pは、解析されるx方向Xにおける感光素子138の数であり、qは、x方向Xにおいて解析される行の数であり、X(n,m)は、その位置における感光素子138によって生成される画像データの値である。したがって、nは、感光素子アレイの列数を示し、mは行数を示す。本明細書に説明する非限定的な例では、性能指数Fxが、最も鮮鋭な焦点合わせが行われる画像の中央で計算されることに留意されたい。また、性能指数は、単一カラープレーンについて計算され、本明細書に説明するデジタルカメラの例の場合の隣接する感光素子によってではないことにも留意されたい。これにより、性能指数が、画像中の色遷移ではなく動きによるぼけを測定するように保証される。さらに、隣接する感光素子を解析しないことによって、アンチエイリアシングぼけフィルタ(anti-aliasing blur filter)の性能指数計算に対する影響が殆どなくなるであろう。実質的にあらゆるピクセル値の増大を、性能指数の計算に利用しうることに留意されたい。好ましい実施形態は、より高い空間周波数を強調することから、1つのカラープレーン内で共に近い感光素子を使用する。より高い空間周波数は、動きによるぼけの最も敏感な尺度である。性能指数は、任意の方向での動きによるぼけを測定するために、任意の方向において計算することができることにも留意されたい。
【0054】x方向Xにおける性能指数と同様に、y方向Yにおける性能指数はFyと呼ばれ、以下のように計算される。
【0055】
【数2】

【0056】式中、qは、解析されるy方向Yにおける感光素子138の数であり、pは、y方向Yにおける列の数であり、Y(n,m)は、その位置における感光素子138によって生成される画像データの値である。本明細書に説明する非限定的な例では、性能指数Fyが列166に沿って計算されることに留意されたい。好ましい一実施形態では、pはqに等しいため、性能指数は、画像の正方形の区画(section)から計算される。
【0057】上述したように、本明細書に説明する性能指数は、性能指数の非限定的な例である。他の性能指数の変形は、重みの付いた複数のカラープレーンを使用することができる。たとえば、性能指数をすべてのカラープレーンにおいて計算することができる。異なるカラープレーンからの値に重みを付け、共に加算することができる。たとえば、各緑プレーンに30パーセントの重みを付け、赤プレーンに30パーセントの重みを付け、青プレーンに10パーセントの重みを付けることができる。同様に、空間周波数に重みを付けることもできる。また、重みの付いたカラープレーンを重みの付いた空間周波数と組み合わせることもできる。別の変形では、より高次の数値解析法を使用して、傾き推定値を生成することができる。上記の単純な差分計算ではなく、これらの推定値(slope estimate)を用いることができる。
【0058】性能指数は、特定の方向における画像の空間周波数の振幅の大きさの指標を提供する。簡単に図6Aを参照すると、グラフは、動きによるぼけなしで、ぼけフィルタなしで生成された画像データの隣接する感光素子間の急な遷移を示す。より厳密には、単一の光点が、8番目の空間位置においてのみ画像データを生成させる。したがって、図6Aのグラフに関連する性能指数は高い。図6Bのグラフは、図6Aのグラフほど急ではない画像データ値の間の遷移を示す。したがって、図6Bのグラフに関連する性能指数は、図6Aのグラフに関連する性能指数よりも低い。図6Cのグラフは、動きによるぼけが存在する場合に生成される画像データを示す。動きによるぼけは、隣接する感光素子138(図2)の画像データ値の間の遷移の大きさを低減させる。したがって、図6Cのグラフに関連する画像データの性能指数は、図6Aおよび図6Bのグラフに関連する性能指数よりも低い。本明細書に説明する性能指数は、グラフの傾きの大きさに比例することにも留意されたい。上記性能指数等式を用いることにより、図6Aのグラフの性能指数は16であり、図6Bのグラフの性能指数は8であり、図6Cのグラフの性能指数は5.6である。
【0059】上述したように、並進移動による動きによるぼけは、他のブレとは異なり、一方向においてのみ発生する。したがって、x方向Xにおける性能指数Fxが、y方向Yにおける性能指数Fyとは異なる場合には、画像データの生成中に動きによるぼけが発生した可能性が高い。この性能指数の差は、Fyに対するFxの比、またはFxに対するFyの比をとり、この比を予め選択される値と比較することによって計算することができる。非限定的な例として、比が1.4よりも大きい場合には、動きによるぼけが発生したと仮定することができる。これは、動きによるぼけ方向は、この方向における遷移の大きさがより低いため、より低い性能指数を有する方向になることに従っている。また、比の値が動きによるぼけの量を決定することにも従っている。たとえば、より大きな比の値は、画像が、より多くの数の感光素子138(図2)にわたってブレたことを意味する。比の値は、動きによるぼけを最小化する量の決定に使用される。本明細書に説明する、動きによるぼけ方向を決定する非限定的な方法は、予め選択された方向に最も近い動きによるぼけ方向を決定することに留意されたい。たとえば、本明細書に説明する方法は、x方向X、y方向Y、a方向A、またはb方向Bに最も近い動きによるぼけ方向を決定することができる。同様の方法を用いて、動きによるぼけを解析することのできる方向の可能な数を増やすことができる。
【0060】画像がブレた、またはより具体的には多くの画像がブレたという決定がなされると、画像データが処理され、多くの画像のブレを最小化する。動きによるぼけの最小化には、ブレの方向における周波数領域変換された画像データの特定の空間周波数における正弦波信号の振幅の大きさを増大することを含む。非限定的な例は、対応する画像データ値をより高い空間周波数に増幅することによって達成することができる。たとえば、動きによるぼけがx方向Xで発生する場合には、感光素子138の個々の行140(図2)によって生成される画像データが、空間周波数の振幅の大きさを増大するように処理される。後述する他のスケーリングおよび処理技術を画像データに適用することもできる。
【0061】動きによるぼけの作用が、すべてのカラープレーンに等しく生じることに留意されたい。したがって、1つのカラープレーンからの画像データを解析して、動きによるぼけ方向および量を決定することができる。合成画像全体における動きによるぼけの影響を最小化するために、カラープレーンの周波数領域変換された画像の特定の空間周波数における正弦波信号の振幅の大きさを、等しく増大することができる。さらに、動きによるぼけを最小化するように画像データを処理することは、上記で参照したTaubmanの米国特許出願に開示されるように、画像データに対してモザイク解除を行うプロセス中に実行できることにも留意されたい。これは、例として、動きによるぼけ方向におけるモザイク解除係数を基準化して、動きによるぼけ方向における周波数領域変換された画像の特定の空間周波数における正弦波信号の振幅の大きさを増大することを含みうる。動きによるぼけの低減に、方向性鮮鋭化カーネル(sharpening kernel)、ウィンドウ化された方向性鮮鋭化カーネル(windowed directional sharpening kernel)、および方向性デコンボルーション補正(directional deconvolution correction)のような他の技術も使用することができる。
【0062】上記手順は、動きによるぼけの量および方向を決定する。上記手順は、任意の直交方向に沿った動きによるぼけの検出および最小化に適用可能なことに留意されたい。説明目的のため、x方向Xおよびy方向Yに斜めのさらなる方向における動きによるぼけを検出して最小化する例を提供する。斜めの方向は、図3において、a方向Aおよびb方向Bと参照され、これらは互いに垂直である。この状況では、性能指数が、x方向Xおよびy方向Yを参照して上述したように、性能指数の比と共に、a方向Aおよびb方向Bにおいて計算される。この時点では2つの比が存在し、一方の比はx方向Xおよびy方向Yにおける性能指数についてのものであり、他方はa方向Aおよびb方向Bにおける性能指数についてのものである。最も大きな値を有する比は動きによるぼけに関連する垂直方向を表す。動きによるぼけの実際の方向は、最も大きな値を有する比に関連する最も低い性能指数によって決定される。この方向における動きによるぼけは、この方向における周波数領域変換された画像の特定の空間周波数における正弦波信号の大きさの振幅の大きさを増大することにより、本明細書に説明する方法で最小化される。
【0063】画像に動きによるぼけが存在するかどうかを決定する方法と、動きによるぼけを最小化する方法とについて説明したが、次に、動きによるぼけを低減する詳細な例を提供する。
【0064】以下の例は、図6A〜図6Cのイメージングされた光点に基づく。上述したように、ぼけフィルタを使用しない光点は、8番目の空間位置にのみ現れ、8の大きさを有する画像データを生成する。2ピクセルのぼけフィルタを有し、2.5個分のピクセルの動きによるぼけを受けるカメラによって生成される光点は、図6Cのグラフを参照して上述した画像データを生成する。図6Cのグラフの空間周波数の値は、図6Aのグラフの空間周波数の値よりも大幅に低い。参照目的のために、図6A〜図6Cのグラフの空間周波数の値が、図7A〜図7Cの棒グラフに示される。図7A〜図7Cのグラフは、位相情報を含まないことに留意されたい。図7Aのグラフによって示されるように、図6Aの単一光点は、インパルス関数と同様に、周波数スペクトルにわたって1つの正規化された振幅を有する。図7Bのグラフは、カメラに追加されたぼけフィルタにより低減された空間周波数値を示す。図7Cは、空間周波数の値が動きによるぼけによりさらに低減されることも示す。ぼけフィルタおよび動きによるぼけによる空間周波数の値を表1に詳述する。空間周波数8は最も高く、空間周波数0および15は最も低いことに留意されたい。
【0065】
【表1】

【0066】表1のデータによって示されるように、動きによるぼけは、変換された画像の高空間周波数コンテンツを減衰した。より具体的には、5と6と7と8との高空間周波数の値が減衰された。動きによるぼけは、低空間周波数の値を減衰しなかった。
【0067】高空間周波数コンテンツの振幅の大きさを増大するために、様々な画像鮮鋭化カーネルを動きによるぼけ方向において画像データに適用することができる。高空間周波数コンテンツの振幅増大により、より鮮鋭な画像になり、これは移動に起因するブレの低減である。より具体的には、明るいエリアと暗いエリアとの間の遷移が強調される。
【0068】表1は、動きによるぼけを低減するように、動きによるぼけ方向において特定の空間周波数における信号に適用されるウィーナ補正係数(Weiner correctionfactor)を示す。本明細書に用いられるウィーナ補正係数は、高空間周波数コンテンツには最小の影響しか有しないことに留意されたい。表1に示されるように、周波数7および8は、本明細書において適用されるウィーナ補正係数による影響を最小限にしか受けない。これは、画像データの非常に高い空間周波数コンテンツは、多くのノイズを含む傾向があるためである。したがって、非常に高い空間周波数コンテンツが増幅される場合には、ノイズは信号よりも増幅される傾向がある。
【0069】ウィーナ補正係数を適用した後の結果として得られる画像を図9に示す。図9は、動きによるぼけ状況下でイメージングされたが、ウィーナ補正係数が適用された図6Cの光点のグラフである。図6Cの元の動きによるぼけ画像は、参照目的のために図9では破線で示される。図6Cのブレた画像の値と、表2のウィーナ補正後画像と題する部分の下にある図9の補正後画像の値とを比較する。ウィーナ補正画像係数が、2ピクセルまたは感光素子138(図2)の動きによるぼけの画像を補正したことに留意されたい。ウィーナ補正アルゴリズムは、任意の数のピクセルの動きによるぼけを補正するように変更することが可能である。
【0070】
【表2】

【0071】表2によって示されるように、ウィーナ補正後画像は、画像をぼけフィルタ列によって表される画像にほぼ近くなるように回復させる。空間位置9において最も高い振幅の値は、値4に理想的に回復されるが、本明細書に説明するウィーナ補正係数は、動きによるぼけ値2.8から値3.37に回復することに留意されたい。また、本明細書に示されるウィーナ補正係数は、非常に小さな大きさである非常に少ない負の数を有することにも留意されたい。大きい負の数は、画質に有害なギブス効果(Gibbs effect)を増大する傾向がある。−1、3、−1の鮮鋭化カーネルは、最も高い空間周波数の値を増大した。しかし、値4.4は理想的な値4.0よりもはるかに大きく、ノイズを増大させ、実際に画質を劣化する。
【0072】上述したように、動きによるぼけを低減するために、異なる鮮鋭化アルゴリズムを画像データの動きによるぼけ方向に適用することができる。表2には、鮮鋭化アルゴリズムまたはカーネルの2つの代替例が提供されている。より具体的には、−1、3、−1および−0.5、2、−0.5の鮮鋭化カーネルの結果が表2に示されている。
【0073】動きによるぼけの検出方法および最小化方法の実施形態について説明したが、次に、他の実施形態について説明する。
【0074】本明細書に説明する方法は、2ピクセルの動きによるぼけを補正する。しかし、本方法は、異なる量の動きによるぼけを補正するように変更できることを理解されたい。一実施形態では、画像における動きによるぼけの量について決定がなされる。そして、画像が画像におけるブレの量に基づいた量「ブレ除去(deblur)」される。たとえば、本方法は、2ピクセルまたは4ピクセルの動きによるぼけを補正することができる。画像が1ピクセルよりも多く3ピクセル未満の動きによるぼけを有すると決定される場合には、画像は、2ピクセルの動きによるぼけについて補正することができる。画像が3〜5ピクセルの動きによるぼけを有すると決定される場合には、画像は、4ピクセルの動きによるぼけについて補正される。
【0075】動きによるぼけの検出については、被写体を表す画像データを解析することによって達成されるものとして説明した。動きによるぼけは、画像データ生成期間中に、カメラの移動の量および方向を検出する、カメラ100(図1)に搭載された1つ以上のセンサを使用することによって検出することもできる。そして、動きによるぼけ方向および量により、動きによるぼけを低減するために画像鮮鋭化アルゴリズムについての係数が確立される。
【0076】図1を参照して、動きによるぼけの検出および最小化について、カメラ100内にあるプロセッサ132によって実行されるものとして本明細書に説明した。別の実施形態では、プロセッサ132は、動きによるぼけを検出して最小化することのできる周辺プロセッサに画像データを転送することを容易にすることができる。たとえば、ブレた写真を取り込むか、あるいはスキャンして、その被写体を表す画像データを生成することができる。
【0077】再び図7を参照して、性能指数を、互いに隣接して配置された、または所与のカラープレーンにおいて互いに隣接して配置された感光素子138(図2)によって生成される画像データに基づいて計算した。上記方法の一実施形態は、互いに離間された感光素子138によって生成される画像データに基づいて性能指数を計算する。これは、異なる空間周波数において性能指数を測定することになる。たとえば、性能指数は、1つおき、または3つごとの感光素子138によって生成される画像データに基づいて計算することができる。この実施形態は、多数の感光素子138を備えたデジタルカメラからの情報を処理する場合に用いることが可能である。感光素子138によって生成される画像データをすべては処理しないことにより、動きによるぼけの決定に必要な時間が短縮される。いくつかの空間周波数におけるいくつかの性能指数は、重み付け係数を用いて組み合わせることができ、全体の性能指数計算を画像またはシーン内容に対してより免疫のあるものとすることができる。さらに、いくつかのカラープレーンを同様に重み付けすることができる。同様に、カラープレーンおよび空間周波数の組み合わせを重み付けることもできる。
【0078】別の実施形態では、画像の小部分が解析されて、画像の小部分に動きによるぼけが存在するかどうかを決定する。そして、動きによるぼけが、その小さな区画において最小化される。たとえば、画像データが生成されているときに、カメラを背景に相対して固定して保持することができる。しかし、画像データ生成中に、イメージングされている被写体が、カメラおよび背景に相対して移動することがある。上記方法は、背景にブレを生じさせることなく、被写体画像の動きによるぼけを低減する。
【0079】動きによるぼけを最小化する上記の方法は、2次元感光センサアレイに配置される感光素子の密度が増大するにつれて有用になる。感光素子の密度を増大する目的は、より確定された、つまり、より鮮鋭な画像を提供することである。しかし、動きによるぼけの影響度(susceptibility)は、感光素子の密度が増大するにつれて増大する。感光素子が画像データを生成している期間中、被写体の画像は、感光素子の密度が高い場合に感光素子間でよりシフトしやすい。このシフトは、動きによるぼけとして検出され、よって最小化される。
【0080】動きによるぼけを最小化する上記方法は、比較的に暗い環境において画像データを生成する際により有用になる。感光素子が画像データを生成するために必要な期間は、イメージング中の被写体から反射される光の量に反比例する。したがって、イメージングが比較的に暗い環境で行われる場合、画像データの生成に必要な期間が増大する。この期間の増大は、画像データ生成中に、カメラのユーザがカメラを動かしてしまう可能性を増大させ、これが動きによるぼけを引き起こすことになる。上記手順を実施することにより、動きによるぼけを最小化することができる。
【0081】本明細書に説明した方法を用いて、動きによるぼけを決定して最小化する他の実施形態を採用することができる。一実施形態では、いくつかのカラープレーンが解析されて、動きによるぼけが決定される。これらのカラープレーンは、緑と赤と青とのカラープレーンを含む。別の実施形態では、5方向以上が、動きによるぼけの存在について解析される。たとえば、8つの方向を解析することも可能であり、これは、動きによるぼけ方向のより正確な決定を提供する。さらに別の実施形態では、画像データが解析されて、異なる量の動きによるぼけが存在するかどうかが決定される。たとえば、画像データを解析して、動きによるぼけが存在しないかどうか、2ピクセル動きによるぼけが存在するかどうか、4ピクセル動きによるぼけが存在するかどうか等を決定することができる。
【0082】本発明の説明的および好ましい実施形態について詳細に本明細書に説明したが、本発明の概念は、その他様々に実現および適用が可能であり、特許請求の範囲は、従来技術によって制限される範囲を除き、そのような変形を包むものと解釈されるように意図されることを理解されたい。




 

 


     NEWS
会社検索順位 特許の出願数の順位が発表

URL変更
平成6年
平成7年
平成8年
平成9年
平成10年
平成11年
平成12年
平成13年


 
   お問い合わせ info@patentjp.com patentjp.com   Copyright 2007-2013