米国特許情報 | 欧州特許情報 | 国際公開(PCT)情報 | Google の米国特許検索
 
     特許分類
A 農業
B 衣類
C 家具
D 医学
E スポ−ツ;娯楽
F 加工処理操作
G 机上付属具
H 装飾
I 車両
J 包装;運搬
L 化学;冶金
M 繊維;紙;印刷
N 固定構造物
O 機械工学
P 武器
Q 照明
R 測定; 光学
S 写真;映画
T 計算機;電気通信
U 核技術
V 電気素子
W 発電
X 楽器;音響


  ホーム -> 計算機;電気通信 -> 松下電器産業株式会社

発明の名称 撮像装置
発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開2007−6031(P2007−6031A)
公開日 平成19年1月11日(2007.1.11)
出願番号 特願2005−182388(P2005−182388)
出願日 平成17年6月22日(2005.6.22)
代理人 【識別番号】110000040
【氏名又は名称】特許業務法人池内・佐藤アンドパートナーズ
発明者 平澤 拓 / 熊谷 裕典
要約 課題
撮像素子で撮影した画像を用いて、画素ずらし手段による被写体のずらし量を調整することができる撮像装置を提供する。

解決手段
撮像光学系103と、撮像素子104と、撮像光学系103の光軸と撮像素子104とを相対変位させる画素ずらし手段102と、画像メモリ105と、画像合成手段106とを備え、時系列的に撮影され撮像素子104から画像メモリ105に転送された複数の画像を、画像合成手段106により合成して画像を出力する撮像装置であって、画素ずらし手段102による画素ずらし量を決定する画素ずらしゲインの設定の変更が可能であり、画素ずらしゲインを保持する画素ずらしゲイン保持手段101をさらに備えたことを特徴とする。
特許請求の範囲
【請求項1】
撮像光学系と、撮像素子と、前記撮像光学系の光軸と前記撮像素子とを相対変位させる画素ずらし手段と、画像メモリと、画像合成手段とを備え、
時系列的に撮影され前記撮像素子から前記画像メモリに転送された複数の画像を、前記画像合成手段により合成して画像を出力する撮像装置であって、
前記画素ずらし手段による画素ずらし量を決定する画素ずらしゲインの設定の変更が可能であり、前記画素ずらしゲインを保持する画素ずらしゲイン保持手段をさらに備えたことを特徴とする撮像装置。
【請求項2】
前記撮像装置の起動後に、前記画素ずらしゲインを、撮影した画像に基づいて導出する画素ずらしゲイン導出手段をさらに備えた請求項1に記載の撮像装置。
【請求項3】
前記画素ずらし手段による画素ずらしを行って撮影した画像を含む複数の画像を、前記画像合成手段により合成した合成画像に基づいて設定した前記画素ずらしゲインが、前記画素ずらしゲイン保持手段に保持されている請求項1に記載の撮像装置。
【請求項4】
前記画素ずらしゲイン保持手段に保持されている画素ずらしゲインは、前記画素ずらし手段による画素ずらし量を変化させながら、前記各画素ずらし量毎に前記合成画像を作成し、前記各合成画像を評価して設定したものである請求項3に記載の撮像装置。
【請求項5】
前記合成画像の評価は、前記合成画像の解像度に基づいたものである請求項4に記載の撮像装置。
【請求項6】
撮影した画像の画素間の情報を計算により補完処理する画素間補完手段をさらに備えており、
撮影した画像を前記画素間補完手段により補完処理した画像を基準画像とし、
前記画素ずらし手段による画素ずらしを行って撮影した画像を比較画像とし、
前記画素ずらしゲインの導出は、前記基準画像と前記比較画像との相関に基づいて行う請求項2に記載の撮像装置。
【請求項7】
前記比較画像は、前記画素ずらし手段による画素ずらし量を変化させながら、前記各画素ずらし量毎に作成した画像であり、
前記画素ずらしゲインの導出は、前記基準画像と前記各比較画像との相関に基づいて行う請求項6に記載の撮像装置。
【請求項8】
撮影した画像の画素間の情報を計算により補完処理する画素間補完手段をさらに備えており、
前記画素ずらし手段による画素ずらしを行って撮影した画像を基準画像とし、
前記画素ずらし手段による画素ずらしを行わずに撮影した画像を、前記画素間補完手段により補完位置を変化させながら、前記各補完位置に対応して作成した画像を比較画像とし、
前記画素ずらしゲインの導出は、前記基準画像と前記各比較画像との相関に基づいて行う請求項2に記載の撮像装置。
発明の詳細な説明
【技術分野】
【0001】
本発明は、画素ずらしにより、高精細画像を撮影する撮像装置及び撮像方法に関する。
【背景技術】
【0002】
高精細(高解像度)画像を撮影する技術の一つに、画素ずらしと呼ばれる技術がある。画素ずらしは、撮像光学系によって撮像素子上に結像する被写体像の位置を空間的、時系列的にずらして、互いに画素の間を補完するように、複数フレームの画像を取り込み、それらの画像を合成し、画素を擬似的に増やすことにより、高精細画像を合成するというものである。
【0003】
図12に画素ずらし機能を有する撮像装置の機能ブロック図を示す。画素ずらし手段1201は、撮像光学系1202によって撮像素子1203上に結像する被写体像の位置をずらすものである。画素ずらし手段1201としては、様々な方式が開発されている。例えば、撮影レンズ前面に取り付けられた可変頂角プリズムの角度を変える方式、レンズ群をシフトする方式、又は撮像素子を圧電体などで移動する方式などがある(特許文献1参照)。
【0004】
このように画素ずらし手段には多数の方式があるが、十分な応答速度で、再現性よく、正確に被写体像と撮像素子との相対位置をずらすことができれば、どの方式を用いても同様の効果を得ることができる。
【0005】
撮影した複数フレームの画像は画像メモリ1204に蓄積し、画像合成手段1205によって合成し、高精細画像を出力する。これらの機能は、全体制御手段1206によって制御される。
【0006】
この画素ずらしを用いた高精細画像の合成の手順を図13のフローチャートで示す。まず、撮影装置の起動指令により、ステップ1301では、撮像素子に通電を行ったり、画像メモリを初期化したりするなど、撮影装置の起動が行われる。
【0007】
ステップ1302では、撮影開始が指示されるまで待機し、撮影が開始されるとステップ1303では、露光時間の調整など撮影の前処理を行う。そして、ステップ1304で、撮影と画素ずらしを交互に行うことによって複数フレームの画像を撮影する。
【0008】
ステップ1304は、露光するステップ1305と、画像情報を撮像素子から画像メモリに転送するステップ1306と、画像ずらしを行うステップ1307とを備えている。複数フレームの画像の撮影が終了した後、ステップ1308では、画像の合成を行う。最後にステップ1309で画像が出力され、一連の撮影が終了し、続けて撮影を行う場合は、ステップ1302に戻り撮影開始指示が入力されるまで待機する。
【0009】
例えば、4枚の画像を合成する場合は、ステップ1304では、撮影開始指令により、最初の画像を取り込み画像メモリに蓄積する。そして、画素ずらし手段1201により、撮像素子1203上に結像した被写体像をX方向(撮像素子面内の水平方向)に画素ピッチの1/2移動し、2フレーム目の画像を取り込む、
次に、Y方向(撮像素子面内の垂直方向)に結像した被写体像を画素ピッチの1/2移動させて、3フレーム目の画像を取り込む、さらに、2フレーム目の画像を取り込んだときとは逆のX方向に結像した被写体像を画素ピッチの1/2移動させて、4フレーム目の画像を取り込む。
【0010】
このようにして取り込んだ4フレームの画像は、それぞれ水平方向、垂直方向に1/2ピッチずれており、互いの画素の間を補完することになる。したがって、これらの画像を合成することにより、1フレーム目のオリジナル画像に対して、水平・垂直方向ともに2倍の画素を持つ高精細画像を合成することができる(たとえば、特許文献2参照)。
【特許文献1】特開平7-240932公報
【特許文献2】特開平10-304235号公報
【発明の開示】
【発明が解決しようとする課題】
【0011】
しかしながら、動作環境の変化や経時劣化により、画素ずらし手段の駆動特性が変化するなど、所定の入力に対して、常に画素ずらし手段が同じ応答をするとは限らない。例えば、画素ずらし手段が、圧電材料を用いたアクチュエータの場合、周辺温度によって、圧電特性が変化するため、所定の入力電圧を印加しても、温度によって変位量が異なることになる。画素ずらしを行う際に、被写体像のずらし量に誤差があると、本来、画素間を補完すべき複数フレームの画像が、重なり合い画質が劣化する。
【0012】
このように、動作温度が変化すると圧電特性が変化するため、圧電体を用いた動作機構は、静電容量式の変位計などのセンサーを取り付け、変位量をフィードバックして制御するのが一般的である。
【0013】
一方、撮像装置を携帯機器や自動車などの移動体に搭載するために、撮像装置の小型化、薄型化が必要とされており、センサーの取り付けスペースを確保するのは困難である。
【0014】
また、量産において、製造ばらつきや組立て実装のばらつきなどを小さくするために、高精度の加工を要求すると、歩留まりの低下や製造時間の増大など、量産効果を阻害することになる。
【0015】
本発明は、前記のような従来の問題を解決するものであり、装置の精度や動作環境等に応じた最適な画素ずらしゲインで撮影が可能になる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【0016】
前記目的を達成するために、本発明の撮像装置は、撮像光学系と、撮像素子と、前記撮像光学系の光軸と前記撮像素子とを相対変位させる画素ずらし手段と、画像メモリと、画像合成手段とを備え、時系列的に撮影され前記撮像素子から前記画像メモリに転送された複数の画像を、前記画像合成手段により合成して画像を出力する撮像装置であって、前記画素ずらし手段による画素ずらし量を決定する画素ずらしゲインの設定の変更が可能であり、前記画素ずらしゲインを保持する画素ずらしゲイン保持手段をさらに備えたことを特徴とする
【発明の効果】
【0017】
本発明によれば、装置の精度や動作環境等に応じた最適な画素ずらしゲインで撮影が可能になる。
【発明を実施するための最良の形態】
【0018】
本発明によれば、画素ずらしゲインの設定の変更が可能であり、画素ずらしゲインを保持する画素ずらしゲイン保持手段を備えているので、装置の精度や動作環境等に応じた最適な画素ずらしゲインで撮影が可能になる。特に、製造工程において、個々の撮像装置に合わせて最適な画素ずらし量を調整することができ、部品の形状精度や組立精度等の製造時の要求精度を緩和することができる。このため、短いリードタイム、高い歩留まりで製造でき量産効果も高まることになる。
【0019】
前記本発明の撮像装置においては、前記撮像装置の起動後に、前記画素ずらしゲインを、撮影した画像に基づいて導出する画素ずらしゲイン導出手段をさらに備えたことが好ましい。この構成によれば、新たにセンサーを設けずに、撮像素子で撮影した画像を用いて、画素ずらし手段による被写体のずらし量を調整することができる。このことにより、小型、薄型で高精細画像の合成が可能な撮像装置を実現できる。また、動作環境の変化や経時劣化による動作特性の劣化による誤差をフィードバックし、調整することが可能となるので、動作環境や経時劣化に関係なく、高精細な画像の合成が可能となる。
【0020】
また、前記画素ずらし手段による画素ずらしを行って撮影した画像を含む複数の画像を、前記画像合成手段により合成した合成画像に基づいて設定した前記画素ずらしゲインが、前記画素ずらしゲイン保持手段に保持されていることが好ましい。この構成によれば、画像合成した後の画像に基づいて画素ずらし量を決定しているので、画像の高精細化により有利である。
【0021】
また、前記画素ずらしゲイン保持手段に保持されている画素ずらしゲインは、前記画素ずらし手段による画素ずらし量を変化させながら、前記各画素ずらし量毎に前記合成画像を作成し、前記各合成画像を評価して設定したものであることが好ましい。この構成によれば、画像の解像度が向上する画素ずらしゲインを直接導出しているので、画像の高精細化がより確実になる。
【0022】
また、前記合成画像の評価は、前記合成画像の解像度に基づいたものであることが好ましい。
【0023】
また、撮影した画像の画素間の情報を計算により補完処理する画素間補完手段をさらに備えており、撮影した画像を前記画素間補完手段により補完処理した画像を基準画像とし、前記画素ずらし手段による画素ずらしを行って撮影した画像を比較画像とし、前記画素ずらしゲインの導出は、前記基準画像と前記比較画像との相関に基づいて行うことが好ましい。
【0024】
この構成によれば、画像処理計算により画素間の情報を補完したものと、画素ずらし手段により画素間を補完したものの相関を調べることにより、画素ずらしゲインを導出することができる。
【0025】
また、前記比較画像は、前記画素ずらし手段による画素ずらし量を変化させながら、前記各画素ずらし量毎に作成した画像であり、前記画素ずらしゲインの導出は、前記基準画像と前記各比較画像との相関に基づいて行うことが好ましい。
【0026】
この構成によれば、所定の画像補完位置を実現する画素ずらしゲインを導出することができるので、その所定の画像補完位置を組み合わせて、さまざまなパターンの合成方法に適用ができる。
【0027】
一方、合成画像を評価して画素ずらしゲインを導出する構成では、高精細画像を合成する工程を繰り返すことになる。例えば、4枚の画像を合成する場合における画素ずらしゲインを導出しても、汎用性がなく、別の合成パターン(画素の1/3づつ移動して9枚を合成するなど)の場合は、別途、画素ずらしゲインを求める必要があった。
【0028】
また、撮影した画像の画素間の情報を計算により補完処理する画素間補完手段をさらに備えており、前記画素ずらし手段による画素ずらしを行って撮影した画像を基準画像とし、前記画素ずらし手段による画素ずらしを行わずに撮影した画像を、前記画素間補完手段により補完位置を変化させながら、前記各補完位置に対応して作成した画像を比較画像とし、前記画素ずらしゲインの導出は、前記基準画像と前記各比較画像との相関に基づいて行うことが好ましい。この構成によれば、比較画像を画像処理により取得するので、画像取得時間の短縮に有利になり、画素ずらしゲイン導出の高速化に適している。
【0029】
以下、本発明の一実施の形態について、図面を参照しながら詳細に説明する。
【0030】
(実施の形態1)
図1は、実施の形態1に係る撮像装置の機能ブロック図である。全体制御手段100は、撮像装置全体を制御するものである。全体制御手段100は、画素ずらしゲイン保持手段101によって保持されている画素ずらしゲインに従って、ずらす量を調整しながら、撮像光学系103の光軸に対して撮像素子104を画素ずらし手段102によってずらし、複数のフレームを撮影する。
【0031】
画素ずらしゲインは、画素ずらし手段102による画素ずらし量を決定するものであり、画素ずらしゲインに対応して画素ずらし量が定まることになる。より具体的には、撮像装置は、設定値通りの画素ずらし量を付与するように、画素ずらし手段102を駆動させる入力値が設計されている。画素ずらしゲインは、この入力値の設計値に対する倍率である。すなわち、後に具体的に説明するように、撮影の際に画素ずらし手段102を駆動する入力値を設計値(例えば30V)通りとするときは、画素ずらしゲインは1になる。図1に示した撮像装置は、画素ずらしゲインの設定の変更が可能であり、画素ずらしゲインの変更値は、画素ずらしゲイン保持手段101に保持することができる。
【0032】
撮影した複数のフレームの画像は、画像メモリ105に蓄積し、画像合成手段106によって合成され、高精細画像として出力される。また、これらの画素ずらし撮影手段とは別に、画素ずらしゲイン導出手段107が組み込まれている。画素ずらしゲイン導出手段107は、高精細画像を合成するのに最適な画素ずらしをした画像を得るために、画素ずらしゲインを求めるものである。
【0033】
次に、本実施の形態における画素ずらしゲイン導出方法を説明する。まず、画像がどれだけ高精細か(解像度の高い情報をもっているか)を判定する方法について説明する。図2は、解像度判定の原理を説明する図であり、解像度チャートを撮影して解像度判定を行う例を示している。実際に解像度チャートを撮影したものは、図2の図示に比べぼやけたものになるが、解像度判定の原理を分かり易くするために、図2では撮影画像を模式的に図示している。
【0034】
図2に示した解像度チャートは、白と黒の間隔が徐々に小さくなっている。解像度は、解像度チャートを撮影し、どの程度まで、白と黒とが判別できるかによって決定する。このようにして求めた解像度を限界解像度と呼ぶ。
【0035】
図2Aに示した画像301は、画素ずらしを行う前の画像である。AA′線付近までは、白と黒とのラインが明確に判別できることから、限界解像度は、330lp(ラインペア)である。
【0036】
一方、図2Bに示した画像302は、画素ずらしにより2枚の画像を合成したものであり、BB′線付近までは白と黒とのラインが判別できることから、限界解像度は410lpである。
【0037】
このような方法により、画素ずらしによる解像度の向上を的確に評価することができる。本実施の形態は、画素ずらし手段102による画素ずらしの量を変化させながら、画素ずらし合成を行い、各合成画像の限界解像度を順次評価しながら、限界解像度と画素ずらしゲインとの関係を調べるというものである。最後に、限界解像度が最大となる場合に対応する画素ずらしゲインを選択し、最適な画素ずらしゲインを決定する。
【0038】
図3に、画素ずらしゲイン導出方法の処理の流れを示すフローチャートを示す。本図の画素ずらしゲイン導出は、撮像装置の製造工程時における画素ずらしゲイン導出を前提にしたものであり、撮像装置のみで画素ずらしゲインを導出するというものではない。例えば、ステップ405における解像度測定や、ステップ406における解像度の最大値探索は、撮像装置から画像データを取り込んだ別個の機器で行うことになる。
【0039】
まず、ステップ400では、所定範囲の画素ずらしゲインに対する限界解像度を求める。このステップ400は、画素ずらしゲインを変化させながら画素ずらし撮影を行うステップ401と、画素ずらし撮影した画像を合成するステップ404と、限界解像度を求めるステップ405とを繰り返す。
【0040】
ステップ401の画素ずらし撮影は、設定した画素ずらしゲインに従い、画素ずらし手段であるアクチュエータを移動させて画素ずらしを行うステップ402と、露光及び画像情報の転送を含む画像撮像を行うステップ403とを備えている。ステップ401では、ステップ402、403を、合成する画像フレームの数だけ繰り返し行うことになる。
【0041】
ステップ404では、ステップ401で撮像した画像を合成する。ステップ404で順次得られる各合成画像間においては、画素ずらし量が異なっていることになる。しかしながら、ステップ404の画像合成においては、理想的に画素ずらしが行なわれたとして、画素の間を補完するように画像合成を行う。すなわち、合成時には画素ずらし量の変化に伴う画像補正は行わない。
【0042】
そして、ステップ405では、前記のように解像度チャートから、画像の限界解像度を求める。ステップ400が終了後、ステップ406では、限界解像度が最大となる場合を探索し、ステップ407で、最適な画素ずらしゲインを決定する。最後に、この新たに設定した画素ずらしゲインを、画素ずらし保持手段101に保持する。
【0043】
本実施の形態によれば、製造時にそれぞれの撮像装置に合わせて、最適な画素ずらし量を調整することができる。このため、部品の形状精度や組立精度等の製造時の要求精度を緩和することができる。このため、短いリードタイム、高い歩留まりで製造でき量産効果も高まることになる。
【0044】
なお、図1の構成は、画素ずらしゲイン導出手段107を備えている。この画素ずらしゲイン導出手段107は、実施の形態2、3で説明するように、使用時に動作させて、画素ずらしゲインを求めるためのものである。このため、製造工程時における画素ずらしゲイン導出を前提にした本実施の形態においては、必ずしも画素ずらしゲイン導出手段107を備えている必要はない。
【0045】
また、本実施の形態では、ステップ401で、画素ずらしによる複数フレームの画像を撮影し、その直後にステップ404で画像の合成を行い、ステップ405で限界解像度を求めているが、この段階で行う必要はなく、所定の範囲で画素ずらしゲインを変化させて画像を取り込んだ後、すなわち、ステップ406の直前に、画像を合成し、限界解像度を求めてもよい。
【0046】
また、画素ずらしゲインの所定範囲のすべての組み合わせを調べる必要はなく、各画像の限界解像度に基づき、遺伝的アルゴリズムなどの最適化手法を組み合わせることにより、探索時間を短縮することができる。
【0047】
以下、実施例を参照ながら本実施の形態について具体的に説明する。
【0048】
(実施例1)
本実施例の撮像系は、撮像素子104に画素ピッチ3μmの白黒100万画素のCCDを用いた。撮像光学系103として、非球面レンズを2枚組み合わせた構成とした。
【0049】
図4に画素ずらし手段の平面図を示している。画素ずらし手段502は、図1の画素ずらし手段102に相当する。本図に示した画素ずらし手段502は、積層圧電圧電素子501a、501bによって可動部500に設置した撮像素子を固定部502に対して、対角方向(図中C方向)に移動し、撮影した2枚の画像を合成する構成とした。
【0050】
対角方向の画素ピッチは、4.2μmとなるので、その半分に相当する2.1μm画素ずらしを行うことによって、画素数が2倍の画像を得ることができる。そこで、積層型圧電素子501a、501bに30V印加した際に、変位2.1μmを発生するように設計をした。このときの、画素ずらしゲインを1と設定した。すなわち、印加電圧30Vが画素ずらしゲイン1に相当する。
【0051】
本実施例では、画素ずらし量が、画素ずらしゲイン1の画素ずらし量に比べて±20%の範囲で変化するように、画素ずらしゲインを0.8から1.2まで変化させた。各画素ずらしゲイン毎に撮像した画像を合成し、各合成画像毎に限界解像度を評価した。画素ずらしゲインの調整は、印加電圧の調整により行なった。
【0052】
図5に室温(25℃)で測定した画像ずらしゲインと限界解像度関係を示す。画素ずらしゲインが0.93のとき、合成した画像の限界解像度が400lpとなり、最大になっていた。
【0053】
すなわち、30V印加時に2.1μm変位するように設計しているが、組み立てや製造のばらつきにより、30V印加時における変位が2.1μmより大きくなり過ぎていることになる。この場合、画素ずらしゲインを小さくし、変位が小さくなるように調整することにより、最適な画素ずらし量にすることができる。このように、製造時の組み立てばらつきや部品精度のばらつきを、画素ずらしゲインの調整により補正することが可能である。
【0054】
すなわち、画素ずらしゲイン調整を行うことで、組み立て等のばらつきがあっても、常に最適な画素ずらしを行い、高精細画像を得ることが可能となる。
【0055】
なお、本実施例では、2枚の画像を合成する場合について説明したが、2枚に限る必要はなく、4枚やそれ以上の画像を合成する場合についても、画素ずらしを行う際のずらし量それぞれに対して、合成画像を評価することで、画素ずらしゲインを求めることが可能である。
【0056】
また、白黒CCDを用いる場合に限る必要はなく、カラー撮像素子を用いて、画素ずらしを行う場合にも、本実施の形態の方法を用いて、最適な画素ずらしゲインを導出することが出来る。
【0057】
さらに、本実施例では、画素ずらし手段として、積層圧電体を用いたが、これに限る必要はなく、薄膜圧電体や静電気力、電磁気力、熱応力、形状記憶合金などを用いて、撮像素子を移動させてもよい。
【0058】
また、本実施例では、撮像素子を移動させることによって、画素ずらしを行ったが、撮像レンズを移動させることによっても、画素ずらしを行うことができる。例えば、撮像素子と撮像レンズの間に透明な平行平板を挿入し、それを傾けることによっても、画素ずらしが可能である。以上のような、さまざまな方法の画素ずらし手段において、本発明のように撮影した画像を用いて、画素ずらしゲインを調整することにより、常に最適な画素ずらし動作を実現することができる。
【0059】
(実施の形態2)
実施の形態2は、画素ずらしゲイン導出方法が実施の形態1と異なっている。撮像装置の基本構成は、図1と同様であるので、重複説明は省略する。実施の形態2は、使用時における画素ずらしゲイン導出を前提としている。本実施の形態においては、別個の機器は必要とせず、図1に示した画素ずらしゲイン導出手段107を動作させることにより、撮像装置自体で、最適な画素ずらしゲインを導出することができる。このことは、実施の形態3においても同様である。
【0060】
図6に本実施の形態の画素ずらしゲイン導出の原理を示す。画像700、703、705は、画像の一部を拡大したもので、画像701で示す四角の枠は、画像の1画素である。画像700は、ある時間に撮像素子で撮影した画像であり、702は、撮影した十字のマークを示す。
【0061】
本実施の形態に係る撮像装置は、撮影した画像の画素間の情報を計算により補完処理する画素間補完手段を備えている。画像703は、画素間補完手段により、画像700の画素の間を線形補完(画像処理)することにより、画像を右下方向に0.5画素ずつずらしたものである。元の画像700では、マークの境界部分は、2つの画素に分かれていた。すなわち、マークの境界部分が、ちょうど画素の区切り部分と一致していた。
【0062】
0.5画素ずらしたために、704で示すように、境界部分が二つの画素にまたがり平均化されている。例えば、白と黒の境界が画素の中央部分になると、平均されて灰色になる。
【0063】
一方、画素ずらし手段より、被写体像を右下方向にずらして撮影した画像も、画像705で示すように、画素ずらし量に対応して、画像がずれることになる。そこで、画像処理により画素ずらしした画像703と、画素ずらし手段で画素ずらし撮影した画像705を比べることにより、最適な画像ずらしゲインを導出することが出来る。
【0064】
図7は、本実施の形態に係る撮像装置の処理の流れを示すフローチャートである。ステップ1301において撮像装置を起動した後に、ステップ1000で、画素ずらしゲイン導出を行うことと、ステップ1307において、画素ずらしゲインによって画素ずらし量を調整すること以外は、前記の従来技術と同様である。このため、図13の構成と同様のものは同一番号を付して、重複部分については、説明を省略する。
【0065】
図8に、図7のステップ1000を詳細に示したフローチャートを示す。このフローチャートにおける各処理は、画素ずらしゲイン導出手段107の指令、演算等による処理である。図8において、ステップ800では、基準画像を生成する。ステップ801では、基準となる画像の元になる画像を撮影する、次に、ステップ802では、ステップ801で撮影した画像を、画素ずらし手段で移動したい理想位置(例えば、画素と画素との中央に来るように0.5画素づつ面内のX、Y方向にずらした位置)に、画像処理により移動する。この画像処理により元画像を画素ずらしした画像が、基準画像となる。
【0066】
そして、ステップ803では、基準画像と比較するための画像を生成する。ステップ804では、画素ずらしゲインの探索範囲の中から、一つの画素ずらしゲインを選び、そのゲインにしたがって、画素ずらし手段であるアクチュエータを移動させて、撮像素子と被写体像の相対位置を変化させる。
【0067】
次に、画素ずらしゲイン導出手段107は、ステップ805において、そのときの撮影画像を比較画像として取り込む。さらに、画素ずらしゲイン導出手段107は、ステップ806において、基準画像と比較画像を比べるために、2つの画像の相関を求める。画素ずらしゲインを変化させながらステップ804、ステップ805、ステップ806を繰り返すことにより、画素ずらしゲインの探索範囲に対応する比較画像が多数生成できる。
【0068】
基準画像は画像処理により理想的な位置に移動した画像であるので、比較画像の中で、この基準画像とできるだけ同じになるもの(相関が高いもの)が、理想的な画素ずらしを実現したものになる。
【0069】
そこで、画素ずらしゲイン導出手段107は、比較画像を取り込んだ後、ステップ807で、相関の最大値を探索し、ステップ808で相関が最大になる場合に対応する画素ずらしゲインを最適値として決定した。この新たに設定した画素ずらしゲインは、画素ずらし保持手段101に保持される。このため、図7のステップ1307における画素ずらし量は、新たな画素ずらしゲインにしたがった画素ずらし量になる。
【0070】
ここで、アクチュエータの出力が、入力信号(電圧や電流)にほぼ比例する関係にあれば、画素ずらし量が異なっても、画素ずらしゲインは同じであるといえる。このため、一旦画素ずらしゲインを設定しておけば、画素ずらし量が異なる場合、例えば1/2画素ピッチ(4枚合成)及び1/3画素ピッチ(9枚合成)の双方の場合に対応できる。このため、画素ずらし量毎に前記の画素ずらしゲイン導出のステップを経る必要はなくなる。
【0071】
なお、本実施の形態では、ステップ805で比較画像を撮影し、その直後にステップ806の相関の計算を行っているが、この段階で行う必要はなく、画素ずらしした画像を先に撮影した後、まとめて、相関を計算しても良い。すなわち、ステップ807の直前に、相関の計算を行ってもよい。
【0072】
また、画素ずらしゲインの設定範囲のすべてを調べる必要はなく、画素ずらしゲインと比較画像の相関の関係を考慮しながら、遺伝的アルゴリズムなどの最適化手法を組み合わせることにより、探索時間を短縮することができる。
【0073】
以下、実施例を参照ながら本実施の形態について具体的に説明する。
【0074】
(実施例2)
本実施例の撮像系は、撮像素子に画素ピッチ3μmの白黒100万画素のCCDを用いた。撮像光学系は、非球面レンズを2枚組み合わせた構成とした。画素ずらし手段は、後に図9を用いて説明するように、積層圧電素子によって撮像素子を面内のX方向(水平方向)、Y方向(垂直方向)に移動できる構成とした。本実施例は、画素ずらしを行わない画像と、それぞれ異なる位置に画素ずらしを行った3枚の画像とを加えた合計4枚の画像を取り込み、これらを合成する構成とした。なお、前記の通り、比較画像については、画像合成は行わない。
【0075】
画素ピッチ3μmの半分に相当する1.5μmの画素ずらしを3回行うことによって、画素数が4倍の画像を得ることができる。図9に本実施例に係る画素ずらし手段を示す。撮像素子を設置する可動部900は、積層型圧電素子902a及び902bを介して内部固定枠901に接続されており、内部固定枠901に対してX方向に移動する。
【0076】
内部固定枠901は、積層型圧電素子903a、903b、903c及び903dにより固定枠904に接続されており、Y方向に移動する。積層型圧電素子に、30V印加した際に、X軸方向、Y軸方向にそれぞれ1.5μm移動するように設計した。
【0077】
基準画像の元になる画像を撮影したのち、画像処理により、X方向とY方向にそれぞれ0.5画素ずつずらした(図8のステップ800)。画像は輝度情報の集合として表され、X方向のk番目、Y方向のl番目の輝度をI(k、l)と表わすことができる。画素は、有限であるので、k、lは整数である。
【0078】
画素が存在しない位置(k、lが整数以外の位置)は、周辺の画素の輝度を基に内挿することで、任意の位置の輝度情報を求めるこことができる。この内挿方法には、共1次内挿法、共3次内挿法、3次たたみ込み内挿法など、多くの方法がある。本実施例では、共1次内挿法を用い、画素上にないu、vの位置における輝度I(u、v)を、次式によって求め、画像をずらした。
【0079】
【数1】


【0080】
圧電素子に印加する電圧が30Vのときの、X軸、Y軸に対する画素ずらしゲインを1と設定し、画素ずらし量を±20%の範囲で変化するように、X方向画素ずらしゲインとY方向画素ずらしゲインを0.8から1.2まで変化させ、各ゲインを与えた場合の、比較画像を撮影し、基準画像と比較画像の相関を求める。基準画像の各画素の輝度をI1(k、l)、比較画像の各画素の輝度をI2(k、l)とし、各画素の輝度の相関Rを次式により求めた。
【0081】
【数2】


【0082】
基準画像と比較画像が近い場合、Rの値は1に近づき、逆に、両画像の近似の程度が異なっているほど、Rの値は小さくなる。なお、本実施例では、画像全体の相関を求めたが、必ずしも全体について相関を求める必要は無く、画像の中の一部分について、相関を求めてもよい。
【0083】
図10に室温(25℃)で測定した画像ずらしゲインと相関との関係を示す。図10Aは、Y方向画素ずらしゲインを1とし、X方向画素ずらしゲインを変化させたものであり、X方向画素ずらしゲインが、0.97のとき、相関が一番大きくなっていた。
【0084】
図10Bは、X方向画素ずらしゲイン、Y方向画素ずらしゲインを変化させた場合の相関の大きさを等高線で示している。この等高線は、内側にあるほど相関が大きくなっており、中央部において相関が最大になる。具体的には、X方向の画素ずらしゲインが0.97、Y方向の画素ずらしゲインが1.0のときが最大であった。
【0085】
同様に、基準画像をX方向にのみ0.5画素ずらした場合と、Y方向にのみ0.5画素ずらした場合について、前記のような画像ずらしゲインと相関との関係を求めると、X方向に画像ずらしする場合は、X方向画素ずらしゲインが0.95のときに相関が最大になり、Y方向に0.5画素ずらしする場合は、Y方向画素ずらしゲインが1.01のときに相関が最大であった。
【0086】
したがって、4枚の画像を合成する場合において、画像ずらしを行う3枚の各画像の撮影時における最適な画像ずらしゲインが求まり、各画像の撮影時には撮像素子を最適な位置に移動させた状態で撮影をすることができるようになる。このようにして合成した画像の限界解像度を求めると500lpであり、合成前の画像の限界解像度300lpに比べて大きく向上していた。
【0087】
次に、室温を40℃にして、同様に前記のような画像ずらしゲインと相関との関係を求め、最適な画素ずらしゲインを求めたところ、X方向に0.5画素ずらしする場合のX方向画素ずらしゲインは、0.92であった。また、Y方向に0.5画素ずらしする場合は、Y方向画素ずらしゲインは、0.98であった。さらに、X、Y方向に0.5画素ずらしする場合は、X方向画素ずらしゲインが、0.95、Y方向画素ずらしゲインが、0.98であった。
【0088】
これは、圧電体の温度が上昇したために、圧電特性が大きくなり、一定電圧を与えた場合の変位が温度上昇前に比べ大きくなったためと考えられる。すなわち、温度が上昇すると、温度上昇前に比べより小さい電圧で同等の変位が得られることになり、最適な画素ずらしゲインも小さくなる。
【0089】
このように、室温が変化し、画素ずらし手段の特性が変化しても、画素ずらしゲイン調整を行うことで、常に最適な画素ずらしゲインを導出することができる。
【0090】
なお、本実施例では、4枚の画像を合成する場合について説明したが、4枚に限る必要はなく、2枚を合成する場合や、4枚以上の画像を合成する場合についても、適切な基準画像を設定し、画素ずらしゲインを求めることで、高精細画像を得ることが可能である。
【0091】
また、白黒CCDを用いる場合に限る必要はなく、カラー撮像素子を用いて、画素ずらしを行う場合にも、本実施の形態の方法を用いて、最適な画素ずらしゲインを導出することが出来る。
【0092】
(実施の形態3)
本実施の形態と実施の形態2との違いは、画素ずらしゲインを探索する際の基準画像と比較画像の取得方法である。実施の形態2は、基準画像を画素間補間手段による画像処理により取得し、比較画像を画素ずらし手段によるずらし量を変化させて取得するものであった。本実施の形態は、画素間補間手段による画像処理によって撮影した画像をずらし、これを比較画像とするものである。
【0093】
すなわち、基準画像は、画素ずらし手段を、画素ずらしゲインが1となるように駆動したときに撮影した画像とし、比較画像は、画素ずらし手段による駆動を行わずに撮影した画像を、画素間補間手段による画像処理によりずらしたものである。これにより、画素ずらしと撮影を繰り返す必要がなくなるため、高速で画素ずらしゲインを求めることが可能になる。
【0094】
図11に本実施の形態の処理の流れをフローチャートで示す。このフローチャートにおける各処理は、画素ずらしゲイン導出手段107(図1)の指令、演算等による処理である。まず、ステップ1100では、基準画像を生成する。ステップ1101では、画素ずらし手段により、画素ずらしゲインが1であるとして、画素ずらしを行う。次にステップ1102で、撮影を行い、その画像を基準画像とする。
【0095】
次に、ステップ1103では、比較画像の生成が行われる。まず、ステップ1104では、比較画像を生成する元となる画像を撮影する。このとき、画素ずらしは行わない状態で撮影する。そして、ステップ1105では、比較画像生成用の元画像を前記の実施の形態2の場合と同様の画像処理により微小な量だけ画像を移動させる。ステップ1106では、画素ずらしゲイン導出手段107は、基準画像と比較画像の相関を計算する。
【0096】
画像処理による画素ずらし量を変化させた比較画像の生成が終了した後、画素ずらしゲイン導出手段107は、ステップ1107では、相関の最大値を探索し、ステップ1108では、画素ずらしゲインを決定する。
【0097】
より具体的には、相関が最大値となる比較画像が基準画像と最も近似したものである。このため、この比較画像の画素ずらし量が、画素ずらしゲインが1の場合に、画素ずらし手段が発生する画素ずらし量であることになる。この画素ずらし量が、ゲイン1における画素ずらし量の設計値と一致していれば、画素ずらしゲインは1のままでよいことになる。一方、比較画像の画素ずらし量が、ゲイン1における画素ずらし量の設計値と異なっている場合は、設計値との差異に応じてゲインを設定し直すことになる。具体例は、以下の実施例を参照しながら説明する。
【0098】
(実施例3)
本実施例の装置構成は実施例1と同様であり、積層型圧電素子に30Vを印加したときに対角方向に2.1μm画素ずらしするように設計をし、このときの画素ずらしゲインを1と設定した。
【0099】
まず、積層型圧電素子に30Vを印加して、基準画像を取り込んだ。次に、積層型圧電素子に電圧を印加しない状態で、比較画像の元画像を取り込んだ。この元画像について画像処理により、撮像素子の対角方向に0.05画素ずつずらした比較画像を生成した。0.05画素のずらしとは、ゲイン1に相当するずらし量2.1μmに0.05を乗じた量(0.105μm)のずらしのことである。
【0100】
順次得られる比較画像について、それぞれ基準画像との相関を求めた。その結果、画像処理によって1.05画素ずらした比較画像との相関が最大となっていた。設計通りの動作をすれば、基準画像との相関は、画像処理によって1.00画素ずらした比較画像との間で最大となる。画像処理によって1.05画素ずらした比較画像との相関が最大となっているということは、30Vに印加時の画像は、ゲイン1.05の画素ずらしをしたものと同等のものであるといえる。したがって、ゲイン1の設計通りの画素ずらしとする画素ずらしゲインは、1/1.05より、0.95となる。
【0101】
なお、本実施例では、2枚の画像を合成する場合について説明したが、2枚に限る必要はなく、4枚やそれ以上の画像を合成する場合についても、画素ずらしを行う際のずらし量それぞれに対して、基準画像と比較画像との相関に基づいて、画素ずらしゲインを求めることが可能である。
【0102】
また、白黒CCDを用いる場合に限る必要はなく、カラー撮像素子を用いて、画素ずらしを行う場合にも、本実施の形態の方法を用いて、最適な画素ずらしゲインを導出することが出来る。
【産業上の利用可能性】
【0103】
以上のように、本発明によれば、装置の精度や動作環境等に応じた最適な画素ずらしゲインで撮影が可能になるので、本発明は、例えばデジタルスチルカメラ、携帯電話などにおける撮像装置に有用である。
【図面の簡単な説明】
【0104】
【図1】本発明の実施の形態1に係る撮層装置の機能ブロック図。
【図2】本発明の実施の形態1に係る撮層装置の処理の流れを示すフローチャート。
【図3】本発明の一実施の形態に係る解像度判定の原理を説明する図。
【図4】本発明の実施の形態1に係る画素ずらしゲイン導出手段のフローチャート。
【図5】本発明の実施例1に係る画素ずらし機構の平面図。
【図6】本発明の実施例1に係る画素ずらしゲインと解像度の関係を示す図。
【図7】本発明の実施の形態2に係る画素ずらしゲイン導出方法の原理を説明する図。
【図8】本発明の実施の形態2に係る画素ずらしゲイン導出手段のフローチャート。
【図9】本発明の実施例2に係る画素ずらし機構の平面図。
【図10】本発明の実施例2に係る画素ずらしゲインと相関の大きさを示す図。
【図11】本発明の実施の形態3に係る画素ずらしゲイン導出手段のフローチャート。
【図12】従来の画素ずらし機能付き撮像装置の一例のブロック図。
【図13】従来の画素ずらし機能付き撮像装置の動作の一例を示すフローチャート。
【符号の説明】
【0105】
101 画素ずらしゲイン保持手段
102 画素ずらし手段
103 撮影光学系
104 撮像素子
105 画像メモリ
106 画像合成手段
107 画像すらしゲイン導出手段




 

 


     NEWS
会社検索順位 特許の出願数の順位が発表

URL変更
平成6年
平成7年
平成8年
平成9年
平成10年
平成11年
平成12年
平成13年


 
   お問い合わせ info@patentjp.com patentjp.com   Copyright 2007-2013