米国特許情報 | 欧州特許情報 | 国際公開(PCT)情報 | Google の米国特許検索
 
     特許分類
A 農業
B 衣類
C 家具
D 医学
E スポ−ツ;娯楽
F 加工処理操作
G 机上付属具
H 装飾
I 車両
J 包装;運搬
L 化学;冶金
M 繊維;紙;印刷
N 固定構造物
O 機械工学
P 武器
Q 照明
R 測定; 光学
S 写真;映画
T 計算機;電気通信
U 核技術
V 電気素子
W 発電
X 楽器;音響


  ホーム -> 計算機;電気通信 -> カシオ計算機株式会社

発明の名称 画像処理装置及び画像処理方法
発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開2007−49301(P2007−49301A)
公開日 平成19年2月22日(2007.2.22)
出願番号 特願2005−229811(P2005−229811)
出願日 平成17年8月8日(2005.8.8)
代理人 【識別番号】100096699
【弁理士】
【氏名又は名称】鹿嶋 英實
発明者 佐々木 雅昭 / 浜田 玲 / 松井 紳一
要約 課題
情報欠落画素を除外した元画像に対してそのまま所要の処理を行うことができ、画像処理の負担を軽減して動作速度の向上を図る。

解決手段
カラー撮像デバイスで作られた画像を取り込む取り込み工程(S1)と、前記取り込み工程で取り込まれた画像を所定方向に45度回転させて新たな座標系の回転画像を生成する第一の座標変換工程(S2)と、前記回転画像に対して画像処理を行う画像処理工程(S3)と、前記画像処理後の画像を前記所定方向の逆方向に45度回転させて元の座標系の画像に反映させる第二の座標変換工程(S4)とを含む。単板式のカラー撮像デバイスで作られた画像に含まれる情報欠落画素の補間処理を必要とせずに、所要の画像処理を実行できる。
特許請求の範囲
【請求項1】
カラー撮像デバイスで作られた画像を取り込む取り込み手段と、
前記取り込み手段で取り込まれた画像を所定方向に45度回転させて新たな座標系の回転画像を生成する第一の座標変換手段と、
前記回転画像に対して画像処理を行う画像処理手段と、
前記画像処理後の画像を前記所定方向の逆方向に45度回転させて元の座標系の画像に反映させる第二の座標変換手段と
を備えたことを特徴とする画像処理装置。
【請求項2】
前記取り込み手段はベイヤー配列のG信号を取り込む
ことを特徴とする請求項1記載の画像処理装置。
【請求項3】
前記画像処理手段で行われる画像処理は、前記カラー撮像デバイスで同一の被写体を連続して撮影した複数の画像間のオプティカルフロー推定処理を含むことを特徴とする請求項1記載の画像処理装置。
【請求項4】
カラー撮像デバイスで作られた画像を取り込む取り込み工程と、
前記取り込み工程で取り込まれた画像を所定方向に45度回転させて新たな座標系の回転画像を生成する第一の座標変換工程と、
前記回転画像に対して画像処理を行う画像処理工程と、
前記画像処理後の画像を前記所定方向の逆方向に45度回転させて元の座標系の画像に反映させる第二の座標変換工程と
を含むことを特徴とする画像処理方法。
【請求項5】
前記取り込み工程はベイヤー配列のG信号を取り込む
ことを特徴とする請求項4記載の画像処理方法。
【請求項6】
前記画像処理工程で行われる画像処理は、前記カラー撮像デバイスで同一の被写体を連続して撮影した複数の画像間のオプティカルフロー推定処理を含むことを特徴とする請求項4記載の画像処理方法。
発明の詳細な説明
【技術分野】
【0001】
本発明は、画像処理装置及び画像処理方法に関し、詳しくは、単板式のカラー撮像デバイスで作られた画像の合成処理に適用する画像処理装置及び画像処理方法に関する。
【背景技術】
【0002】
デジタルカメラ等の撮影感度(撮像デバイスの信号増幅ゲイン)を高めると、夜景等の暗い被写体の撮影性能が向上する反面、画像にノイズが乗って見苦しくなることがある。画像のフィルタ処理はノイズ対策手法の一つであるが、ノイズと一緒に画像情報の一部(高域成分)も失われてしまうため、画質の劣化を招きやすい。
【0003】
そこで、例えば、特許文献1には、同一の被写体を連続して撮影した複数の画像を重ね合わせて合成すると、その合成画像内の被写体部分は画像枚数分だけ倍加されるのに対して、ランダムなノイズ成分は平均化されるという知見の元、連続して撮影された複数の画像を合成することによってノイズの抑制を図るようにした技術(以下、従来技術という)が記載されている。これによれば、画像の高域成分を失うことなく、ノイズを抑えて撮影感度を高めることができ、暗い被写体の撮影性能を向上できる。
【0004】
ところで、暗い被写体を撮影する際のシャッター速度は一般的に遅いため、手ブレや被写体ブレの可能性があるし、また、同一の被写体を連続して撮影する際には、各々の撮影時点で構図(フレーミング)の微妙なズレが生じる可能性もある。
【0005】
したがって、単に「同一の被写体を連続して撮影した複数の画像を重ね合わせて合成する」だけでは不十分であり、画像各部の重ね合わせの精度向上、すなわち、画像合成の対象となる各画像間のオプティカルフローを計算(推定)し、そのオプティカルフローに基づいて画像各部の位置合わせ(トラック処理等)を厳密に行う必要がある。
【0006】
図8は、オプティカルフロー推定の説明図である。オプティカルフローの推定は、例えば、特許文献2に記載されたテンプレートマッチング法(ブロックマッチング法ともいう)によって行うことができる。この図に示すように、テンプレートマッチング法とは、画像1内の動きベクトルを推定したい小ブロック2(16×16画素程度のブロック)と最も似ている参照画像のブロック3を探索する方法のことである。探索範囲4は、例えば、小ブロック2の上下方向に±16画素程度、左右方向に±16画素程度の大きさであり、その探索範囲4の内部で画素総当たりの探索(全探索)を行い、予測誤差が最小となるときの動きベクトル5を求める。
【0007】
【特許文献1】特開2004−357040号公報
【特許文献2】特開2002−369222号公報
【発明の開示】
【発明が解決しようとする課題】
【0008】
しかしながら、上記の特許文献1や特許文献2などに記載された従来技術を、単板式のカラー撮像デバイスを備えたデジタルカメラ等の撮像装置に適用する場合、以下の不都合がある。
【0009】
まず、多数の光電変換素子を二次元に配列し、被写体からの光に応じた画像信号を出力するCCD(Charge Coupled Device)に代表される撮像デバイスは、そのままでは色情報を含む画像信号を出力できない。光電変換素子が単に光の明暗強度に対応した信号しか発生しないからである。
【0010】
色情報を得るために、3個の撮像デバイスを用い、その各々に赤、緑、青の色フィルタを装着して、それぞれの撮像デバイスから赤色、緑色、青色の画像信号を取り出すようにした3板式のカラー撮像デバイスが知られている。この撮像デバイスは専ら色再現性を重視するスタジオ用テレビカメラなどに用いられているが、家庭用のビデオカメラや普及型のデジタルカメラなどにあっては、サイズや重さ、価格及び電力消費の点から、1個の撮像デバイスとモザイク状の色フィルタとを組み合わせた単板式のカラー撮像デバイスが用いられることが一般的である。
【0011】
図9は、1個のCCD6とそのCCD6に取り付けられる色フィルタ7を示す図である。CCD6の桝目の一つ一つは各々1個の光電変換素子8を含む画素であり、各画素は色フィルタ7の桝目と一対一に対応している。色フィルタ7の桝目はそれぞれ特定の色を有しており、色の選び方や配列の仕方によって様々なタイプのものが使用されている。
【0012】
図10は、B.E.Bayerによって考え出されたベイヤー方式(又は緑市松方式)と呼ばれる色フィルタ7(以下、ベイヤー型フィルタという)の原理図である。ベイヤー型フィルタは、色信号と輝度信号のS/Nバランスがよく、被写体の明るさに依存せずに良好な色再現性が得られることから、広く用いられている。
【0013】
図示のベイヤー型フィルタにおいて、Yは輝度情報を得るためのフィルタ、C1、C2は色情報を得るためのフィルタである。ベイヤー型フィルタでは、Yフィルタを市松状に配置するとともに、奇数ラインの隙間にC1フィルタを配置し、偶数ラインの隙間にC2ラインを配置する。Yフィルタを多く配置する理由は、人間の視覚上、色情報よりも輝度情報の方が画像の解像度や輪郭のシャープさをよく知覚するからである。
【0014】
図11は、ベイヤー方式を用いた実際の色フィルタの構成図であり、Rは赤色のフィルタ、Gは緑色のフィルタ、Bは青色のフィルタである。赤(R)、緑(G)、青(B)は光の三原色であり、特に、緑色は被写体の明るさをよく表すから、Gフィルタは輝度情報を得るためのフィルタとしても用いられる。すなわち、Gフィルタは図10のYフィルタに相当し、RフィルタとBフィルタは図10のC1、C2フィルタに相当する。
【0015】
図12は、Gフィルタだけを抜き出したフィルタの構成図である。既述のとおり、ベイヤー方式の色フィルタはGフィルタを市松状に配列して構成するので、この図(図12)は、G画素信号で構成されたG画像を示す図でもある。このように、G画像は、縦横各々一つの「情報欠落画素」を間に挟みながら市松状に配列されたG画素信号で構成されている。
【0016】
かかる情報欠落画素を含むG画像に対して前記のオプティカルフローの推定を行う場合は、まず、情報欠落画素の情報の補間、すなわち、例えば、対象となる情報欠落画素の周囲の4つの画素(G画素)の平均値を求め、その平均値を情報欠落画素の情報とする処理を全ての情報欠落画素に行って補間画像を生成した後、その補間画像に対して前記のオプティカルフローの推定を行っている。
【0017】
しかしながら、そのようにすると、補間処理の負担により、とりわけ、高精細で且つ高解像度な画像を取り扱う撮像装置の動作遅れを招き、例えば、シャッターチャンスを逃したり、あるいは、連写撮影時の撮影枚数が減少したりするなどといった不都合をもたらすから、この点において、早急に解決しなければならない技術課題がある。
【0018】
そこで、本発明の目的は、情報欠落画素を除外した元画像に対してそのまま所要の処理を行うことができ、画像処理の負担を軽減して、動作速度の向上を図ることができる画像処理装置及び画像処理方法を提供することにある。
【課題を解決するための手段】
【0019】
請求項1記載の発明は、カラー撮像デバイスで作られた画像を取り込む取り込み手段と、前記取り込み手段で取り込まれた画像を所定方向に45度回転させて新たな座標系の回転画像を生成する第一の座標変換手段と、前記回転画像に対して画像処理を行う画像処理手段と、前記画像処理後の画像を前記所定方向の逆方向に45度回転させて元の座標系の画像に反映させる第二の座標変換手段とを備えたことを特徴とする画像処理装置である。
請求項2記載の発明は、前記取り込み手段はベイヤー配列のG信号を取り込むことを特徴とする請求項1記載の画像処理装置である。
請求項3記載の発明は、前記画像処理手段で行われる画像処理は、前記カラー撮像デバイスで同一の被写体を連続して撮影した複数の画像間のオプティカルフロー推定処理を含むことを特徴とする請求項1記載の画像処理装置である。
請求項4記載の発明は、カラー撮像デバイスで作られた画像を取り込む取り込み工程と、前記取り込み工程で取り込まれた画像を所定方向に45度回転させて新たな座標系の回転画像を生成する第一の座標変換工程と、前記回転画像に対して画像処理を行う画像処理工程と、前記画像処理後の画像を前記所定方向の逆方向に45度回転させて元の座標系の画像に反映させる第二の座標変換工程とを含むことを特徴とする画像処理方法である。
請求項5記載の発明は、前記取り込み工程はベイヤー配列のG信号を取り込むことを特徴とする請求項4記載の画像処理方法である。
請求項6記載の発明は、前記画像処理工程で行われる画像処理は、前記カラー撮像デバイスで同一の被写体を連続して撮影した複数の画像間のオプティカルフロー推定処理を含むことを特徴とする請求項4記載の画像処理方法である。
【発明の効果】
【0020】
本発明によれば、単板式のカラー撮像デバイスで作られた画像に含まれる情報欠落画素の補間処理を必要とせずに、所要の画像処理、例えば、前記単板式のカラー撮像デバイスで同一の被写体を連続して撮影した複数の画像を重ね合わせる画像合成処理に必要なオプティカルフロー推定処理を行うことができる。このため、画像処理の負担を軽減して、動作速度の向上を図ることができ、シャッターチャンスを逃したり、あるいは、連写撮影時の撮影枚数が減少したりするなどといった不都合の回避を図ることができる。
【発明を実施するための最良の形態】
【0021】
以下、本発明の実施形態を、図面を参照しながら説明する。なお、以下の説明における様々な細部の特定ないし実例および数値や文字列その他の記号の例示は、本発明の思想を明瞭にするための、あくまでも参考であって、それらのすべてまたは一部によって本発明の思想が限定されないことは明らかである。また、周知の手法、周知の手順、周知のアーキテクチャおよび周知の回路構成等(以下「周知事項」)についてはその細部にわたる説明を避けるが、これも説明を簡潔にするためであって、これら周知事項のすべてまたは一部を意図的に排除するものではない。かかる周知事項は本発明の出願時点で当業者の知り得るところであるので、以下の説明に当然含まれている。
【0022】
図1は、本発明の実施形態の全体構成図である。この図において、撮像面にベイヤー方式の色フィルタ10(図9の色フィルタ7参照)が装着された、例えば、CCDで構成される単板式のカラー撮像デバイス11は、撮影レンズ等の光学系12を介して入力された被写体13の像を電気信号に変換して出力する。カラー撮像デバイス11の駆動制御は駆動回路14によって行われ、カラー撮像デバイス11から出力された電気的な画像信号はA/D変換器15によりディジタル信号に変換された後、メモリコントローラ16の制御の下でメモリ部17の画像メモリ18に記憶される。
【0023】
メモリ部17はさらに赤色専用メモリ(以下、R用メモリ)19、緑色専用メモリ(以下、G用メモリ)20、青色専用メモリ(以下、B用メモリ)21、回転画像用メモリ22及び作業用メモリ23を含み、これらのメモリ18〜23の入出力はCPU24によって制御される。
【0024】
CPU24は、プログラムROM25にあらかじめ格納された処理プログラムに従って、画像メモリ10、R用メモリ19、G用メモリ20、B用メモリ21及び作業用メモリ23の間のデータ入出力を制御しつつ、画像メモリ10から光の三原色画像(R画像、G画像及びB画像)を順次に取り出して、それらの画像をR用メモリ19、G用メモリ20及びB用メモリ21に展開するとともに、回転画像用メモリ22や作業用メモリ23を使用して所要の画像処理、例えば、冒頭で説明したオプティカルフローの推定、トラック処理及び合成画像(同一の被写体を連続して撮影した複数の画像を重ね合わせて合成した画像)の生成処理を実行する。
【0025】
なお、データROM26は色フィルタ10の画素配置情報を保持しており、この情報はCPU24からのアクセスで適宜に利用される。
【0026】
図2は、Gメモリ20に展開されるG画像の簡略図である。この図において、横(行)方向をx軸、縦(列)方向をy軸とすると、被写体の情報画素はGxyで表すことができる。前記のとおり、ベイヤー方式の撮像デバイスで撮影された画像は、情報画素Gxyの間に1個の情報欠落画素(ハッチングの画素)を含むので、情報画素Gxyは、行方向及び列方向に一つおきに配列されることになる。
【0027】
図3は、G画像を所定方向(図では時計回り方向)に45度回転させた回転画像の図であり、図4は、その回転画像に対して回転前の座標軸を重ねて表示した図である。図4において、点線で示す升目は、回転前の座標軸の各画素を表しており、この升目の縦横の間隔Daは、回転前の座標軸の各画素の間隔Db(図2参照)の√2倍である。
【0028】
今、図4に示すように、回転前の座標軸の各画素と、回転画像の情報画素Gxyとを重ね合わせると、回転前の座標軸の各画素に情報画素Gxyが含まれることになる。つまり、情報画素G00がx=2,y=0に位置し、情報画素G02がx=1,y=1に位置し、情報画素G11がx=2,y=1に位置し、情報画素G20がx=3,y=1に位置し、情報画素G04がx=0,y=2に位置し、情報画素G13がx=1,y=2に位置し、情報画素G22がx=2,y=2に位置し、情報画素G31がx=3,y=2に位置し、情報画素G40がx=4,y=2に位置し、情報画素G15がx=0,y=3に位置し、情報画素G24がx=1,y=3に位置し、情報画素G33がx=2,y=3に位置し、情報画素G42がx=3,y=3に位置し、情報画素G51がx=4,y=3に位置し、情報画素G35がx=1,y=4に位置し、情報画素G44がx=2,y=4に位置し、情報画素G53がx=3,y=4に位置し、情報画素G55がx=2,y=5に位置することになる。
【0029】
図5は、回転画像用メモリ22に格納される回転画像の簡略図であり、G00〜G55までの情報画素は、図4の座標軸に従って並べ替えられたものである。すなわち、x=2,y=0の位置にG00を配置し、x=1,y=1の位置にG02を配置し、x=2,y=1の位置にG11を配置し、x=3,y=1の位置にG20を配置し、x=0,y=2の位置にG04を配置し、x=1,y=2の位置にG13を配置し、x=2,y=2の位置にG22を配置し、x=3,y=2の位置にG31を配置し、x=4,y=2の位置にG40を配置し、x=0,y=3の位置にG15を配置し、x=1,y=3の位置にG24を配置し、x=2,y=3の位置にG33を配置し、x=3,y=3の位置にG42を配置し、x=4,y=3の位置にG51を配置し、x=1,y=4の位置にG35を配置し、x=2,y=4の位置にG44を配置し、x=3,y=4の位置にG53を配置し、x=2,y=5の位置にG55を配置し直したものである。
【0030】
なお、図示の回転画像において、G00〜G55までの情報画素に該当しない画素(ハッチングの画素)には、黒レベルに相当する暫定画素値“0”を格納する。
【0031】
図6は、回転画像を対象にしたオプティカルフロー推定の概念図、図7は、そのオプティカルフロー推定処理を含む動作フローチャートを示す図である。これらの図において、単板式のカラー撮像デバイス11で撮影され、Gメモリ20に展開されたG画像27は、所定方向(ここでは時計回り方向)に45度回転させられた回転画像28として回転画像メモリ22に格納される。この回転画像28は、図5の回転画像と同様に、G画像27から情報欠陥画素を除外して座標変換したものである。特徴点抽出画像29は、この回転画像28からオプティカルフロー推定によって取り出された特徴点(黒丸印)を含む画像であり、この特徴点画像29は、最終的に、元のG画像27の座標系に対応させるために逆方向(ここでは反時計回り方向)に45度回転させられ、元の座標系の特徴点抽出画像30となる。
【0032】
このように、本実施形態においては、単板式のカラー撮像デバイス11で被写体を撮影し(ステップS1)、その撮影画像のG画像27を45度回転させて新しい座標系の画像(回転画像28)に変換し(ステップS2)、その回転画像28に対してオプティカルフローの推定やトラック処理等を実行して特徴点抽出画像29を生成し(ステップS3)、その特徴点抽出画像29の対応特徴点の位置を元の座標系に戻して元画素(G画像27)の座標系に対応させた特徴点抽出画像30を生成した後(ステップS4)、その特徴点抽出画像30の情報に基づいて画像合成処理を行う(ステップS5)ので、ステップS3におけるオプティカルフローの推定やトラック処理に際しては、情報欠陥画素を含まないG画素のみを対象にした処理が可能になる。したがって、情報欠落画素の補間処理を不要とすることができる。その結果、従来の補間処理に相当する負担を軽減することができる。さらには、図2に示したような元のベイヤー配列を斜めにアクセスした場合には1画素毎に不連続なアドレスを参照するためにRAM読み出しの速度劣化という現象が生ずるが、本実施形態では45度回転処理によりRAMのアクセスは順次となるためRAMアクセスは最高速を保てる。これらによりオプティカルフローの推定やトラック処理の動作速度を向上して、例えば、シャッターチャンスを逃したり、あるいは、連写撮影時の撮影枚数が減少したりするなどといった不都合の回避を図ることができるのである。
【図面の簡単な説明】
【0033】
【図1】本発明の実施形態の全体構成図である。
【図2】Gメモリ20に展開されるG画像の簡略図である。
【図3】G画像を所定方向(図では時計回り方向)に45度回転させた回転画像の図である。
【図4】その回転画像に対して回転前の座標軸を重ねて表示した図である。
【図5】回転画像用メモリ22に格納される回転画像の簡略図である。
【図6】回転画像を対象にしたオプティカルフロー推定の概念図である。
【図7】オプティカルフロー推定処理を含む動作フローチャートを示す図である。
【図8】オプティカルフロー推定の説明図である。
【図9】1個のCCD6とそのCCD6に取り付けられる色フィルタ7を示す図である。
【図10】ベイヤー型フィルタの原理図である。
【図11】ベイヤー方式を用いた実際の色フィルタの構成図である。
【図12】G画素信号で構成されたG画像を示す図である。
【符号の説明】
【0034】
S1 ステップ(取り込み工程)
S2 ステップ(第一の座標変換工程)
S3 ステップ(画像処理工程)
S4 ステップ(第二の座標変換工程)
11 カラー撮像デバイス
16 メモリコントローラ(取り込み手段)
24 CPU(第一の座標変換手段、画像処理手段、第二の座標変換手段)




 

 


     NEWS
会社検索順位 特許の出願数の順位が発表

URL変更
平成6年
平成7年
平成8年
平成9年
平成10年
平成11年
平成12年
平成13年


 
   お問い合わせ info@patentjp.com patentjp.com   Copyright 2007-2013