Warning: fopen(.htaccess): failed to open stream: No such file or directory in /home/jp321/public_html/header.php on line 47

Warning: filesize(): stat failed for .htaccess in /home/jp321/public_html/header.php on line 48

Warning: fread() expects parameter 1 to be resource, boolean given in /home/jp321/public_html/header.php on line 48

Warning: fclose() expects parameter 1 to be resource, boolean given in /home/jp321/public_html/header.php on line 49

Warning: fopen(.htaccess): failed to open stream: Permission denied in /home/jp321/public_html/header.php on line 54

Warning: flock() expects parameter 1 to be resource, boolean given in /home/jp321/public_html/header.php on line 56

Warning: fclose() expects parameter 1 to be resource, boolean given in /home/jp321/public_html/header.php on line 63
撮像装置及び撮像方法 - カシオ計算機株式会社
米国特許情報 | 欧州特許情報 | 国際公開(PCT)情報 | Google の米国特許検索
 
     特許分類
A 農業
B 衣類
C 家具
D 医学
E スポ−ツ;娯楽
F 加工処理操作
G 机上付属具
H 装飾
I 車両
J 包装;運搬
L 化学;冶金
M 繊維;紙;印刷
N 固定構造物
O 機械工学
P 武器
Q 照明
R 測定; 光学
S 写真;映画
T 計算機;電気通信
U 核技術
V 電気素子
W 発電
X 楽器;音響


  ホーム -> 計算機;電気通信 -> カシオ計算機株式会社

発明の名称 撮像装置及び撮像方法
発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開2007−20087(P2007−20087A)
公開日 平成19年1月25日(2007.1.25)
出願番号 特願2005−201819(P2005−201819)
出願日 平成17年7月11日(2005.7.11)
代理人 【識別番号】100090033
【弁理士】
【氏名又は名称】荒船 博司
発明者 手島 義裕
要約 課題
画像中の物体の境界の不連続性を軽減する。

解決手段
露出の異なる複数の画像を合成する撮像装置1において、制御部20は、露出の短い画像における画素が輝度閾値th0以下である場合、又は、露出の短い画像における画素が輝度閾値th0よりも大きくかつ輝度差Saが上限輝度閾値th2よりも大きい場合には、露出の短い画像の画素データPsに露出補正値kを乗じた値とし、露出の短い画像における画素が輝度閾値th0以下であり、輝度差Saが下限輝度閾値th1以下である場合には、露出の長い画像の画素データPlの値とし、露出の短い画像における画素が輝度閾値th0以下であり、輝度差Saが下限輝度閾値th1より大きく上限輝度閾値th2以下である場合には、露出の短い画像における画素データPsに露出補正値kを乗じた値と露出の長い画像における画素データPlの値に基づいて決定された画素データの値とする。
特許請求の範囲
【請求項1】
露出の異なる複数の画像を撮像する撮像手段と、
前記撮像手段により撮像された画像から被写体の画像内における位置の変化を抽出する位置変化抽出手段と、
各画像を合成して一つの合成画像を作成する画像合成手段と、
を備え、
前記画像合成手段は、
各画像の画素の輝度値を算出する輝度算出手段と、
前記輝度算出手段により算出された各画像の同じ位置における画素の輝度値を比較して露出補正値を算出する補正値算出手段と、
前記画像合成手段により合成される第1の画像の輝度値と前記第1の画像よりも露出の短い第2の画像の輝度値に前記露出補正値を乗じた値との輝度差を算出する輝度差算出手段と、
前記第2の画像における輝度値が所定の輝度閾値以下である画素の合成後の画素データ、又は、前記第2の画像における輝度値が所定の輝度閾値よりも大きくかつ前記輝度差が所定の上限輝度閾値よりも大きい画素の合成後の画素データは、前記第2の画像の画素データに前記露出補正値を乗じた値とし、
前記第2の画像における輝度値が所定の輝度閾値以下であり、かつ前記輝度差が所定の下限輝度閾値以下である画素の合成後の画素データは、前記第1の画像の画素データの値とし、
前記第2の画像における輝度値が所定の輝度閾値以下であり、かつ前記輝度差が前記下限輝度閾値より大きく前記上限輝度閾値以下である画素の合成後の画素データは、前記第1の画像の画素データと前記第2の画像の画素データに前記露出補正値を乗じた値との間を補間する値とする画素データ決定手段と、
を備えることを特徴とする撮像装置。
【請求項2】
露出の異なる複数の画像を撮像する撮像手段と、
前記撮像手段により撮像された画像から被写体の画像内における位置の変化を抽出する位置変化抽出手段と、
各画像を合成して一つの合成画像を作成する画像合成手段と、
前記画像合成手段により合成された合成画像を圧縮する画像圧縮手段と、
を備え、
前記画像合成手段は、
各画像の画素の輝度値を算出する輝度算出手段と、
前記輝度算出手段により算出された各画像の同じ位置における画素の輝度値を比較して露出補正値を算出する補正値算出手段と、
前記画像合成手段により合成される第1の画像と前記第1の画像よりも露出の短い第2の画像のうち、前記第2の画像における画素の周辺画素の輝度値の全てが所定の輝度閾値より大きい場合には、合成後の画素データは、前記第2の画像の画素データに前記露出補正値を乗じた値とし、
前記第2の画像における画素の周辺画素の輝度値の全てが所定の輝度閾値以下である場合には、合成後の所定位置の画素データは、前記第1の画像の画素データの値とし、
前記第2の画像における画素の周辺画素の輝度値の少なくとも一つが所定の輝度閾値以下であり、前記第2の画像における画素の周辺画素の輝度値の少なくとも一つが所定の輝度閾値よりも大きい場合には、合成後の画素データは、前記第1の画像の画素データと前記第2の画像の画素データに前記露出補正値を乗じた値との間を補間する値とする画素データ決定手段と、
を備えることを特徴とする撮像装置。
【請求項3】
前記画素データ決定手段により決定される前記第1の画像の画素データと前記第2の画像の画素データに前記露出補正値を乗じた値との間を補間する値は、
画素データの補間に用いる重み係数をn(0<n<1)、第1の画像の画素データをPl、第2の画像の画素データをPs、露出補正値をkとすると、
n×Pl+(1−n)×k×Ps
であることを特徴とする請求項1又は2に記載の撮像装置。
【請求項4】
露出の異なる複数の画像を撮像する撮像工程と、
前記撮像工程により撮像された画像から被写体の画像内における位置の変化を抽出する位置変化抽出工程と、
各画像を合成して一つの合成画像を作成する画像合成工程と、
を備え、
前記画像合成工程は、
各画像の画素の輝度値を算出する輝度算出工程と、
前記輝度算出工程により算出された各画像の同じ位置における画素の輝度値を比較して露出補正値を算出する補正値算出工程と、
前記画像合成手段により合成される第1の画像の輝度値と前記第1の画像よりも露出の短い第2の画像の輝度値に前記露出補正値を乗じた値との輝度差を算出する輝度差算出工程と、
前記第2の画像における輝度値が所定の輝度閾値以下である画素の合成後の画素データ、又は、前記第2の画像における輝度値が所定の輝度閾値よりも大きくかつ前記輝度差が所定の上限輝度閾値よりも大きい画素の合成後の画素データは、前記第2の画像の画素データに前記露出補正値を乗じた値とし、
前記第2の画像における輝度値が所定の輝度閾値以下であり、かつ前記輝度差が所定の下限輝度閾値以下である画素の合成後の画素データは、前記第1の画像の画素データの値とし、
前記第2の画像における輝度値が所定の輝度閾値以下であり、かつ前記輝度差が前記下限輝度閾値より大きく前記上限輝度閾値以下である画素の合成後の画素データは、前記第1の画像の画素データと前記第2の画像の画素データに前記露出補正値を乗じた値との間を補間する値とする画素データ決定工程と、
を備えることを特徴とする撮像方法。
【請求項5】
露出の異なる複数の画像を撮像する撮像工程と、
前記撮像工程により撮像された画像から被写体の画像内における位置の変化を抽出する位置変化抽出工程と、
各画像を合成して一つの合成画像を作成する画像合成工程と、
前記画像合成工程により合成された合成画像を圧縮する画像圧縮工程と、
を備え、
前記画像合成工程は、
各画像の画素の輝度値を算出する輝度算出工程と、
前記輝度算出工程により算出された各画像の同じ位置における画素の輝度値を比較して露出補正値を算出する補正値算出工程と、
前記画像合成手段により合成される第1の画像と前記第1の画像よりも露出の短い第2の画像のうち、前記第2の画像における画素の周辺画素の輝度値の全てが所定の輝度閾値より大きい場合には、合成後の画素データは、前記第2の画像の画素データに前記露出補正値を乗じた値とし、
前記第2の画像における画素の周辺画素の輝度値の全てが所定の輝度閾値以下である場合には、合成後の所定位置の画素データは、前記第1の画像の画素データの値とし、
前記第2の画像における画素の周辺画素の輝度値の少なくとも一つが所定の輝度閾値以下であり、前記第2の画像における画素の周辺画素の輝度値の少なくとも一つが所定の輝度閾値よりも大きい場合には、合成後の画素データは、前記第1の画像の画素データと前記第2の画像の画素データに前記露出補正値を乗じた値との間を補間する値とする画素データ決定工程と、
を備えることを特徴とする撮像方法。
発明の詳細な説明
【技術分野】
【0001】
本発明は、撮像装置及び撮像方法に関する。
【背景技術】
【0002】
従来から、互いに異なる露出で複数の画像を撮像し、各画像を合成することによりダイナミックレンジを拡大した合成画像を作成することができる撮像装置としてのデジタルカメラがある。
このようなデジタルカメラとして、撮像器により互いに異なる露出で撮像することにより、複数の撮像画像を取得し、レベル補正器により複数の撮像画像のそれぞれに対応する露出条件に基づいて複数の撮像画像のそれぞれのレベルを補正して複数の補正画像を取得し、画像合成器により複数の補正画像を合成してダイナミックレンジの広い単一の合成画像を作成し、ダイナミックレンジ圧縮器により出力先の性能に応じて、合成画像を圧縮して圧縮画像を取得するものがある。ここで、レベル補正器は、撮像画像信号のそれぞれについて、各撮像画像信号からその撮像画像信号に対応する正の値を減算するものであり、正の値は、対応する撮像画像信号の平均値と対応する係数との乗算から求められるものであり、係数は、対応する撮像画像信号の露出条件に基づき、撮像画像信号毎に定められるようになっている(例えば、特許文献1参照。)。
【特許文献1】特許第3458741号公報
【発明の開示】
【発明が解決しようとする課題】
【0003】
ところで、上記特許文献1においては、黒が浮いたような不自然な画像が作成されるという問題を解決するために、各画像を撮像画像信号の平均値と露出条件に基づく係数との乗算から得た値を各画像から引いた後に合成を行っている。
しかし、光の回折や反射、散乱により物体の境界が画像によって異なり、露出の異なる画像の境界では物体の境界が二重になる等、不連続な部分が生じるという問題があった。
【0004】
そこで、本発明は、上記課題を解決するためになされたものであり、画像中の物体の境界の不連続性を軽減することができる撮像装置及び撮像方法を提供することを目的とする。
【課題を解決するための手段】
【0005】
請求項1に記載の発明は、撮像装置において、露出の異なる複数の画像を撮像する撮像手段と、前記撮像手段により撮像された画像から被写体の画像内における位置の変化を抽出する位置変化抽出手段と、各画像を合成して一つの合成画像を作成する画像合成手段と、を備え、前記画像合成手段は、各画像の画素の輝度値を算出する輝度算出手段と、前記輝度算出手段により算出された各画像の同じ位置における画素の輝度値を比較して露出補正値を算出する補正値算出手段と、前記画像合成手段により合成される第1の画像の輝度値と前記第1の画像よりも露出の短い第2の画像の輝度値に前記露出補正値を乗じた値との輝度差を算出する輝度差算出手段と、前記第2の画像における輝度値が所定の輝度閾値以下である画素の合成後の画素データ、又は、前記第2の画像における輝度値が所定の輝度閾値よりも大きくかつ前記輝度差が所定の上限輝度閾値よりも大きい画素の合成後の画素データは、前記第2の画像の画素データに前記露出補正値を乗じた値とし、前記第2の画像における輝度値が所定の輝度閾値以下であり、かつ前記輝度差が所定の下限輝度閾値以下である画素の合成後の画素データは、前記第1の画像の画素データの値とし、前記第2の画像における輝度値が所定の輝度閾値以下であり、かつ前記輝度差が前記下限輝度閾値より大きく前記上限輝度閾値以下である画素の合成後の画素データは、前記第1の画像の画素データと前記第2の画像の画素データに前記露出補正値を乗じた値との間を補間する値とする画素データ決定手段と、を備えることを特徴とする。
ここで、第1の画像の画素データと第2の画像の画素データに露出補正値を乗じた値との間を補間する値とは、各画素データ間を直線補間、曲線補間して求められる値をいう。
【0006】
請求項2に記載の発明は、撮像装置において、露出の異なる複数の画像を撮像する撮像手段と、前記撮像手段により撮像された画像から被写体の画像内における位置の変化を抽出する位置変化抽出手段と、各画像を合成して一つの合成画像を作成する画像合成手段と、前記画像合成手段により合成された合成画像を圧縮する画像圧縮手段と、を備え、前記画像合成手段は、各画像の画素の輝度値を算出する輝度算出手段と、前記輝度算出手段により算出された各画像の同じ位置における画素の輝度値を比較して露出補正値を算出する補正値算出手段と、前記画像合成手段により合成される第1の画像と前記第1の画像よりも露出の短い第2の画像のうち、前記第2の画像における画素の周辺画素の輝度値の全てが所定の輝度閾値より大きい場合には、合成後の画素データは、前記第2の画像の画素データに前記露出補正値を乗じた値とし、前記第2の画像における画素の周辺画素の輝度値の全てが所定の輝度閾値以下である場合には、合成後の所定位置の画素データは、前記第1の画像の画素データの値とし、前記第2の画像における画素の周辺画素の輝度値の少なくとも一つが所定の輝度閾値以下であり、前記第2の画像における画素の周辺画素の輝度値の少なくとも一つが所定の輝度閾値よりも大きい場合には、合成後の画素データは、前記第1の画像の画素データと前記第2の画像の画素データに前記露出補正値を乗じた値との間を補間する値とする画素データ決定手段と、を備えることを特徴とする。
【0007】
請求項3に記載の発明は、請求項1又は2に記載の撮像装置において、前記画素データ決定手段により決定される前記第1の画像の画素データと前記第2の画像の画素データに前記露出補正値を乗じた値との間を補間する値は、画素データの補間に用いる重み係数をn(0<n<1)、第1の画像の画素データをPl、第2の画像の画素データをPs、露出補正値をkとすると、n×Pl+(1−n)×k×Psであることを特徴とする。
【0008】
請求項4に記載の発明は、撮像方法において、露出の異なる複数の画像を撮像する撮像工程と、前記撮像工程により撮像された画像から被写体の画像内における位置の変化を抽出する位置変化抽出工程と、各画像を合成して一つの合成画像を作成する画像合成工程と、を備え、前記画像合成工程は、各画像の画素の輝度値を算出する輝度算出工程と、前記輝度算出工程により算出された各画像の同じ位置における画素の輝度値を比較して露出補正値を算出する補正値算出工程と、前記画像合成手段により合成される第1の画像の輝度値と前記第1の画像よりも露出の短い第2の画像の輝度値に前記露出補正値を乗じた値との輝度差を算出する輝度差算出工程と、前記第2の画像における輝度値が所定の輝度閾値以下である画素の合成後の画素データ、又は、前記第2の画像における輝度値が所定の輝度閾値よりも大きくかつ前記輝度差が所定の上限輝度閾値よりも大きい画素の合成後の画素データは、前記第2の画像の画素データに前記露出補正値を乗じた値とし、前記第2の画像における輝度値が所定の輝度閾値以下であり、かつ前記輝度差が所定の下限輝度閾値以下である画素の合成後の画素データは、前記第1の画像の画素データの値とし、前記第2の画像における輝度値が所定の輝度閾値以下であり、かつ前記輝度差が前記下限輝度閾値より大きく前記上限輝度閾値以下である画素の合成後の画素データは、前記第1の画像の画素データと前記第2の画像の画素データに前記露出補正値を乗じた値との間を補間する値とする画素データ決定工程と、を備えることを特徴とする。
【0009】
請求項5に記載の発明は、撮像方法において、露出の異なる複数の画像を撮像する撮像工程と、前記撮像工程により撮像された画像から被写体の画像内における位置の変化を抽出する位置変化抽出工程と、各画像を合成して一つの合成画像を作成する画像合成工程と、前記画像合成工程により合成された合成画像を圧縮する画像圧縮工程と、を備え、前記画像合成工程は、各画像の画素の輝度値を算出する輝度算出工程と、前記輝度算出工程により算出された各画像の同じ位置における画素の輝度値を比較して露出補正値を算出する補正値算出工程と、前記画像合成手段により合成される第1の画像と前記第1の画像よりも露出の短い第2の画像のうち、前記第2の画像における画素の周辺画素の輝度値の全てが所定の輝度閾値より大きい場合には、合成後の画素データは、前記第2の画像の画素データに前記露出補正値を乗じた値とし、前記第2の画像における画素の周辺画素の輝度値の全てが所定の輝度閾値以下である場合には、合成後の所定位置の画素データは、前記第1の画像の画素データの値とし、前記第2の画像における画素の周辺画素の輝度値の少なくとも一つが所定の輝度閾値以下であり、前記第2の画像における画素の周辺画素の輝度値の少なくとも一つが所定の輝度閾値よりも大きい場合には、合成後の画素データは、前記第1の画像の画素データと前記第2の画像の画素データに前記露出補正値を乗じた値との間を補間する値とする画素データ決定工程と、を備えることを特徴とする。
【発明の効果】
【0010】
請求項1記載の発明によれば、撮像手段により露出の異なる複数の画像を撮像し、位置変化抽出手段により撮像手段により撮像された画像から被写体の画像内における位置の変化を抽出し、画像合成手段により各画像を一つの合成画像に合成する。画像を合成する際においては、輝度算出手段により各画像の画素の輝度値を算出する。補正値算出手段は、輝度算出手段により算出された各画像の同じ位置における画素の輝度値を比較して露出補正値を算出し、輝度差算出手段は、第1の画像の輝度値と第2の画像の輝度値に露出補正値を乗じた値との輝度差を算出する。
【0011】
画素データ決定手段は、合成される画像のうち、第2の画像における輝度値が所定の輝度閾値以下である画素の合成後の画素データ、又は、第2の画像における輝度値が所定の輝度閾値よりも大きくかつ輝度差が所定の上限輝度閾値よりも大きい画素の合成後の画素データは、第2の画像の画素データに露出補正値を乗じた値とする。
また、画素データ決定手段は、合成される画像のうち、第2の画像における輝度値が所定の輝度閾値以下であり、かつ輝度差が所定の下限輝度閾値以下である画素の合成後の画素データは、第1の画像の画素データの値とする。
また、画素データ決定手段は、合成される画像のうち、第2の画像における輝度値が所定の輝度閾値以下であり、かつ輝度差が下限輝度閾値より大きく上限輝度閾値以下である画素の合成後の画素データは、第1の画像の画素データと第2の画像の画素データに露出補正値を乗じた値との間を補間する値とする。
そして、画像圧縮手段は、画像合成手段により合成された合成画像を圧縮する。
【0012】
これにより、従来は露出の異なる画像を合成する際に、輝度の閾値の部分で第1の画像の画素データを採用するか第2の画像の画素データを採用するかの境界となっていたため、両画像の輝度差が大きすぎると合成画像の境界が不連続になる問題があったが、画素データ決定手段により第1の画像の画素データと第2の画像の画素データに露出補正値を乗じた値との間を補間する値を採用することで、撮像画像中の物体の境界の不連続性を軽減することができる。また、撮像時に撮像装置が動くことにより生じる視差により、画像間で異なるものが写って合成画像が不自然となる不具合を解決することができる。
【0013】
請求項2に記載の発明によれば、撮像手段により露出の異なる複数の画像を撮像し、位置変化抽出手段により撮像手段により撮像された画像から被写体の画像内における位置の変化を抽出し、画像合成手段により各画像を一つの撮像画像に合成する。画像を合成する際においては、輝度算出手段により各画像の画素の輝度値を算出する。補正値算出手段は、輝度算出手段により算出された各画像の同じ位置における画素の輝度値を比較して露出補正値を算出する。
【0014】
ここで、画素データ決定手段は、合成される第1の画像と第1の画像よりも露出の短い第2の画像のうち、第2の画像における画素の周辺画素の輝度値の全てが所定の輝度閾値より大きい場合には、合成後の画素データは、第2の画像の画素データに露出補正値を乗じた値とする。
また、画素データ決定手段は、合成される画像のうち、第2の画像における画素の周辺画素の輝度値の全てが所定の輝度閾値以下である場合には、合成後の所定位置の画素データは、第1の画像の画素データの値とする。
また、画素データ決定手段は、合成される画像のうち、第2の画像における画素の周辺画素の輝度値の少なくとも一つが所定の輝度閾値以下であり、第2の画像における画素の周辺画素の輝度値の少なくとも一つが所定の輝度閾値よりも大きい場合には、合成後の画素データは、第1の画像の画素データと第2の画像の画素データに露出補正値を乗じた値との間を補間する値とする。
そして、画像圧縮手段は、画像合成手段により合成された合成画像を圧縮する。
【0015】
これにより、従来は露出の異なる画像を合成する際に、輝度の閾値の部分で第1の画像の画素データを採用するか第2の画像の画素データを採用するかの境界となっていたため、両画像の輝度差が大きすぎると合成画像の境界が不連続になる問題があったが、画素データ決定手段により第1の画像の画素データと第2の画像の画素データに露出補正値を乗じた値との間を補間する値を採用することで、撮像画像中の物体の境界の不連続性を軽減することができる。また、撮像時に撮像装置が動くことにより生じる視差により、画像間で異なるものが写って合成画像が不自然となる不具合を解決することができる。
【0016】
請求項3に記載の発明によれば、簡単な計算式で第1の画像の画素データと第2の画像の画素データに露出補正値を乗じた値との間を補間する値を算出することができるので、撮像装置への処理負担を軽減できる。
【0017】
請求項4に記載の発明によれば、撮像工程により露出の異なる複数の画像を撮像し、位置変化抽出工程により撮像工程により撮像された画像から被写体の画像内における位置の変化を抽出し、画像合成工程により各画像を一つの撮像画像に合成する。画像を合成する際においては、輝度算出工程により各画像の画素の輝度値を算出する。補正値算出工程は、輝度算出工程により算出された各画像の同じ位置における画素の輝度値を比較して露出補正値を算出し、輝度差算出工程は、最も露出の長い画像の輝度値と最も露出の短い画像の輝度値に露出補正値を乗じた値との輝度差を算出する。
【0018】
画素データ決定工程は、合成される画像のうち、第2の画像における輝度値が所定の輝度閾値以下である画素の合成後の画素データ、又は、第2の画像における輝度値が所定の輝度閾値よりも大きくかつ輝度差が所定の上限輝度閾値よりも大きい画素の合成後の画素データは、第2の画像の画素データに露出補正値を乗じた値とする。
また、画素データ決定工程は、合成される画像のうち、第2の画像における輝度値が所定の輝度閾値以下であり、かつ輝度差が所定の下限輝度閾値以下である画素の合成後の画素データは、第1の画像の画素データの値とする。
また、画素データ決定工程は、合成される画像のうち、第2の画像における輝度値が所定の輝度閾値以下であり、かつ輝度差が下限輝度閾値より大きく上限輝度閾値以下である画素の合成後の画素データは、第1の画像の画素データと第2の画像の画素データに露出補正値を乗じた値との間を補間する値とする。
そして、画像圧縮工程は、画像合成工程により合成された合成画像を圧縮する。
【0019】
これにより、従来は露出の異なる画像を合成する際に、輝度の閾値の部分で第1の画像の画素データを採用するか第2の画像の画素データを採用するかの境界となっていたため、両画像の輝度差が大きすぎると合成画像の境界が不連続になる問題があったが、画素データ決定手段により第1の画像の画素データと第2の画像の画素データに露出補正値を乗じた値との間を補間する値を採用することで、撮像画像中の物体の境界の不連続性を軽減することができる。また、撮像時に撮像装置が動くことにより生じる視差により、画像間で異なるものが写って合成画像が不自然となる不具合を解決することができる。
【0020】
請求項5記載の発明によれば、撮像工程により露出の異なる複数の画像を撮像し、位置変化抽出工程により撮像工程により撮像された画像から被写体の画像内における位置の変化を抽出し、画像合成工程により各画像を一つの撮像画像に合成する。画像を合成する際においては、輝度算出工程により各画像の画素の輝度値を算出する。補正値算出工程は、輝度算出工程により算出された各画像の同じ位置における画素の輝度値を比較して露出補正値を算出する。
【0021】
ここで、画素データ決定工程は、合成される第1の画像と第1の画像よりも露出の短い第2の画像のうち、第2の画像における画素の周辺画素の輝度値の全てが所定の輝度閾値より大きい場合には、合成後の画素データは、第2の画像の画素データに露出補正値を乗じた値とする。
また、画素データ決定工程は、合成される画像のうち、第2の画像における画素の周辺画素の輝度値の全てが所定の輝度閾値以下である場合には、合成後の所定位置の画素データは、第1の画像の画素データの値とする。
また、画素データ決定工程は、合成される画像のうち、第2の画像における画素の周辺画素の輝度値の少なくとも一つが所定の輝度閾値以下であり、第2の画像における画素の周辺画素の輝度値の少なくとも一つが所定の輝度閾値よりも大きい場合には、合成後の画素データは、第1の画像の画素データと第2の画像の画素データに露出補正値を乗じた値との間を補間する値とする。
そして、画像圧縮工程は、画像合成工程により合成された合成画像を圧縮する。
【0022】
これにより、従来は露出の異なる画像を合成する際に、輝度の閾値の部分で第1の画像の画素データを採用するか第2の画像の画素データを採用するかの境界となっていたため、両画像の輝度差が大きすぎると合成画像の境界が不連続になる問題があったが、画素データ決定手段により第1の画像の画素データと第2の画像の画素データに露出補正値を乗じた値との間を補間する値を採用することで、撮像画像中の物体の境界の不連続性を軽減することができる。また、撮像時に撮像装置が動くことにより生じる視差により、画像間で異なるものが写って合成画像が不自然となる不具合を解決することができる。
【発明を実施するための最良の形態】
【0023】
以下、図面を参照して、本発明に係る撮像装置及び撮像方法の最良の形態について詳細に説明する。
(実施形態1)
<撮像装置の構成>
図1は、撮像装置1の構成を示すブロック図である。
撮像装置1は、集光して被写体の画像を結像するための光学系11と、光学系11により結像された画像を取り込むためにデジタル化する光電変換部12と、ストロボ発光させるストロボ発光部13と、ズーム調節を行うズーム駆動部14と、焦点を調節するフォーカス駆動部15と、光学系11により結像された画像を表示させる表示部16と、操作入力を行う操作入力部17と、各部の動作制御を行う制御部20と、を備えている。
制御部20は、各部の動作制御に関する処理プログラムに従って各処理を実行するCPU21と、各処理を実行するための処理プログラムや画素データ等が記憶されるメモリ22と、を備えている。
メモリ22には、処理プログラムが展開され、当該プログラムに基づく処理を行う作業エリア23と、各部の動作制御に関する処理プログラムが記憶されたプログラムエリア24と、光学系11により結像され、光電変換部12によりデジタル化された画像の画像データを記憶する画像データエリア25が形成されている。
【0024】
図2は、プログラムエリア24を示す構成ブロック図である。
プログラムエリア24には、異なる露出で撮像された、例えば、シャッタースピードの異なる二つの画像データを比較して被写体の画像内における位置の変化を抽出する位置変化抽出プログラム24aが記憶されている。すなわち、CPU21が位置変化抽出プログラム24aを実行することにより、制御部20は位置変化抽出手段として機能する。
また、プログラムエリア24には、各画像を合成して一つの撮像画像を作成する画像合成プログラム24bが記憶されている。すなわち、CPU21が画像合成プログラム24bを実行することにより、制御部20は画像合成手段として機能する。
この画像合成プログラム24bは、例えば、さらに複数のプログラムにより構成されている。具体的に、画像合成プログラム24bは、二つの画像の画素の輝度値Yl,Ysを算出する輝度算出プログラム24cを有する。すなわち、CPU21が輝度算出プログラム24cを実行することにより、制御部20は輝度算出手段として機能する。
また、画像合成プログラム24bは、輝度算出プログラム24cにより算出された二つの画像の同じ座標位置における画素の輝度値Yl,Ysを比較して露出補正値kを算出する補正値算出プログラム24dを有する。すなわち、CPU21が補正値算出プログラム24dを実行することにより、制御部20は補正値算出手段として機能する。
また、画像合成プログラム24bは、露出の長い画像の輝度値Ylと露出の短い画像の輝度値Ysに露出補正値kを乗じた値との輝度差Saを算出する輝度差算出プログラム24eを有する。すなわち、CPU21が輝度差算出プログラム24eを実行することにより、制御部20は輝度差算出手段として機能する。ここで、輝度差Saは以下の式(1)で算出される。
Sa=|Yl−k×Ys|・・・・・・・(1)
また、画像合成プログラム24bは、合成後の合成画像の画素データを決定するための画素データ決定プログラム24fを有する。すなわち、CPU21が画素データ決定プログラム24fを実行することにより、制御部20は画素データ決定手段として機能する。
【0025】
具体的に、画素データ決定プログラム24fは、合成される二つの画像のうち、露出の短い画像における所定位置の画素が所定の輝度閾値th0以下である場合、又は、露出の短い画像における所定位置の画素が所定の輝度閾値th0よりも大きく、かつ、輝度差Saが所定の上限輝度閾値th2よりも大きい場合には、合成後の所定位置の画素データPcは、露出の短い画像の画素データPsに露出補正値kを乗じた値とする。
また、画素データ決定プログラム24fは、合成される二つの画像のうち、露出の短い画像における所定位置の画素の輝度値が所定の輝度閾値th0以下であり、輝度差Saが所定の下限輝度閾値th1以下である場合には、合成後の所定位置の画素データは、露出の長い画像の画素データPlの値とする。
また、画素データ決定プログラム24fは、合成される二つの画像のうち、露出の短い画像における所定位置の画素が所定の輝度閾値th0以下であり、輝度差Saが下限輝度閾値th1より大きく上限閾値th2以下である場合には、合成後の所定位置の画素データは、露出の短い画像における画素データPsに露出補正値kを乗じた値と露出の長い画像における画素データPlの値とに基づいて定められた画素データの値とする。なお、本実施形態において、合成される二つの画像のうち、露出の短い画像における所定位置の画素が所定の輝度閾値th0以下であり、輝度差Saが下限輝度閾値th1より大きく上限輝度閾値th2以下である場合には、合成される二つの画素データの重み平均を採用する。すなわち、重みづけをするための重み係数n(0<n<1)を設定し、合成画素の画素データPcを以下の式(2)で算出された値としている。
Pc=n×Pl+(1−n)×k×Ps・・・・・・・(2)
【0026】
また、プログラムエリア24には、画像合成プログラム24bにより合成された合成画像を圧縮する画像圧縮プログラム24gが記憶されている。
また、プログラムエリア24には、画像圧縮プログラム24gにより圧縮された圧縮画像に画像処理を施す画像処理プログラム24hが記憶されている。
【0027】
<撮像方法>
撮像装置1による撮像方法について説明する。
図3に示すように、ユーザが操作入力部17を構成する撮像ボタン(図示略)を押下すると、光学系11が捉えているシーンが光電変換部12に集光され、光電変換部12はデジタル画像を作成する。このとき、光電変換部12が有する電子シャッタや光学系11が有する機械式シャッタにより露出時間を変化させて二つの画像の撮像が行われる。光電変換部12で作成されたデジタル画像はメモリ22の画像データエリア25に一時的に記憶される(ステップS1:撮像工程)。
次いで、CPU21は、位置変化抽出プログラム24aを実行することにより、露出の異なる二つの画像から被写体の画像内における位置の変化を抽出する(ステップS2:位置変化抽出工程)。被写体の位置の変化を抽出するには、撮像された画像の特徴点を抽出する。特徴点の抽出に当たっては、KLT法等の方法で画像の固有値を有限個抽出して特徴点とする。そして、抽出された特徴点が次の画像においてどこに移動したかを知るため、特徴点に最も近い点を探す。これを複数の特徴点で行い、二つの画像間で特徴点の位置座標を対応させ画像の変換行列を求める。
【0028】
次いで、CPU21は、画像合成プログラム24bを実行することにより、二つの画像を合成して一つの撮像画像を作成する(ステップS3〜ステップS6:画像合成工程)。
図4に示すように、CPU21が輝度算出プログラム24cを実行すると、CPU21は撮像された二つの画像のうち、露出が長い方の画像Plの輝度値Ylと露出が短い方の画像Psの輝度値Ysを算出する(ステップS3:輝度算出工程)。
次いで、CPU21が補正値算出プログラム24dを実行することにより、CPU21は撮像された両画像の同じ座標位置にある輝度値Ylと輝度値Ysとの比を全ての画素について算出し、これらの比の平均を露出補正値kとして算出する(ステップS4:補正値算出工程)。このとき、輝度値Ylが一定の範囲内にあるときのみ露出補正値kを算出する。一定の範囲を大きく外れた輝度値を考慮すると、適切な露出補正値kが得られないからである。また、二つの画像の同じ位置とは、ステップS2で算出された変換行列により両画像の位置合わせを行った後の同じ位置をいう。
次いで、CPU21は、輝度差算出プログラム24eを実行することにより、露出の長い画像の輝度値Ylの値と露出の短い画像の輝度値Ysに露出補正値kを乗じた値との輝度差Saの絶対値を算出する(ステップS5:輝度差算出工程)。
【0029】
次いで、CPU21が画素データ決定プログラム24fを実行することにより、合成画像の画素データを決定する(ステップS6:画素データ決定工程)。
図5に示すように、ステップS6において、輝度閾値th0を200とした場合、CPU21は露出の短い方の画像の輝度値Ysが輝度閾値th0である200以下であるか否かを判断する(ステップS61)。ここで、CPU21が、輝度値Ysが200よりも大きいと判断した場合(ステップS61:NO)、CPU21は合成画像の画素データPcを露出の短い画像の画素データPsに露出補正値kを乗じた値(k×Ps)に決定し(ステップS62)、本処理を終了させる。一方、CPU21が、輝度値Ysが200以下であると判断した場合(ステップS61:YES)、CPU21は輝度差Saが上限輝度閾値th2よりも大きいか否かを判断する(ステップS63)。
ステップS63において、CPU21が、輝度差Saが上限輝度閾値th2よりも大きいと判断した場合(ステップS63:YES)、CPU21は合成画像の画素データPcを露出の短い画像の画素データPsに露出補正値kを乗じた値(k×Ps)に決定し(ステップS62)、本処理を終了させる。一方、CPU21が、輝度差Saが上限輝度閾値th2以下であると判断した場合(ステップS63:NO)、CPU21は輝度差Saが下限輝度閾値th1以下であるか否かを判断する(ステップS64)。
ステップS64において、CPU21が、輝度差Saが下限輝度閾値th1以下であると判断した場合(ステップS64:YES)、CPU21は合成画像の画素データPcを露出の長い画像の画素データPlの値に決定し(ステップS65)、本処理を終了させる。一方、CPU21が、輝度差Saが下限輝度閾値th1よりも大きいと判断した場合(ステップS64:NO)、CPU21は、合成される二つの画素データの重み平均を採用する。すなわち、式(2)により算出された値を合成画像の画素データPcとし(ステップS66)、本処理を終了させる。
【0030】
ステップS3〜ステップS6により、画像の合成が終了すると、CPU21は、画像圧縮プログラム24gを実行することにより、合成画像を出力に合わせてガンマ変換による圧縮方法により圧縮する(ステップS7:画像圧縮工程)。合成画像を圧縮した後、CPU21は、画像処理プログラム24hを実行することにより、圧縮画像のガンマ補正、色補正等を行って画像処理を施し、その画像をメモリ22の画像データエリア25に出力する。なお、画像の出力先は画像データエリア25に限らず、外付けの外部メモリ26であってもよい。
【0031】
<画像合成の具体例>
ここで、上述した画像合成処理について従来の画像合成処理と比較しながら具体例をあげて説明する。
図6及び図7に示すように、例えば、シャッタースピード1秒で撮像した画像を露出の長い画素データPlとし、シャッタースピード0.5秒で撮像した画像を露出の短い画素データPsとする。露出量の比を補正するため、画素データPsの各画素を2倍した画素データをPs’とする。画素データPsのデータの範囲は、例えば、0〜255であるとした場合、画素データPs’のデータの範囲は0〜511となる。
このとき、図6(a)(b)中の領域Aに注目すると、図6(c)の画像の位置と輝度値との関係を示すグラフにも表れているように、画素データPlと画素データPsでは、輝度が変化する位置が異なる。
このような場合に、単に輝度閾値を境界として画素データを決定すると、例えば、th0≦200であれば画素データPlを用い、th0>200であれば画素データPs’を用いて画像を合成すると、境界が二重になることがある。
ところが、画素データPlと画素データPs’の差の上限輝度閾値th1=30とすると、輝度がth0≦200のときには、上限輝度閾値th1≧30となったときに式(2)の重み平均により画素データを決定するので、図8に示すように、境界付近における輝度の変化を緩やかにすることができ、境界が二重になることを防止できる。
【0032】
<撮像装置の作用効果>
実施形態1における撮像装置1によれば、ユーザによる操作入力部17の入力操作により露出の異なる複数の画像を撮像し、制御部20は、撮像された画像から被写体の位置の変化を抽出し、各画像を一つの撮像画像に合成する。画像を合成する際においては、制御部20は、各画像の画素の輝度値Yl,Ysを算出し、各画像の同じ位置における画素の輝度値Yl,Ysを比較して露出補正値kを算出し、最も露出の長い画像の輝度値Ylの値と最も露出の短い画像の輝度値Ysに露出補正値kを乗じた値との輝度差Saを算出する。
【0033】
制御部20は、合成される画像のうち、最も露出の短い画像における所定位置の輝度値Ysが輝度閾値th0以下である場合、又は、最も露出の短い画像における所定位置の輝度値Ysが輝度閾値th0よりも大きくかつ輝度差Saが上限輝度閾値th2よりも大きい場合には、合成後の画素データPcは、最も露出の短い画像の画素データPsに露出補正値kを乗じた値に決定する。また、制御部20は、合成される画像のうち、最も露出の短い画像における所定位置の輝度値Ysが輝度閾値th0以下であり、輝度差Saが下限輝度閾値th1以下である場合には、合成後の画素データPcは、最も露出の長い画像の画素データPlの値に決定する。また、制御部20は、合成される画像のうち、最も露出の短い画像における所定位置の輝度値Ysが輝度閾値th0以下であり、輝度差Saが下限輝度閾値th1より大きく上限輝度閾値th2以下である場合には、合成後の画素データPcは、式(2)により算出された画素データの値として決定する。
そして、制御部20は、合成された合成画像を圧縮し、その圧縮画像に画像処理を施して処理後の画像をメモリ22に記憶させる。
【0034】
これにより、実際に撮像した画像の画素の輝度値Yl,Ysから露出補正値kを算出し、この露出補正値kと各画素の輝度の差により合成画像の画素データPcを決定しているので、撮像画像中の物体の境界の不連続性を軽減することができる。また、撮像時に撮像装置1が動くことにより生じる視差により、画像間で異なるものが写って合成画像が不自然となる不具合を解決することができる。
【0035】
(実施形態2)
次に、本発明の実施形態2について説明する。実施形態2が実施形態1と異なる点は、撮像画像を合成する際の画素データの決定方法であるため、画素データの決定方法について説明し、その他の共通部分は同一符号を付して説明を省略する。
<撮像装置の構成>
図9及び図10に示すように、実施形態2における撮像装置2の制御部30のメモリ32内に形成されているプログラムエリア34には、異なる露出で撮像された、例えば、二つの画像データを比較して被写体の位置の変化を抽出する位置変化抽出プログラム34aが記憶されている。すなわち、CPU21が位置変化抽出プログラム34aを実行することにより、制御部20は位置変化抽出手段として機能する。
また、プログラムエリア34には、各画像を合成して一つの撮像画像を作成する画像合成プログラム34bが記憶されている。すなわち、CPU21が画像合成プログラム34bを実行することにより、制御部30は画像合成手段として機能する。
この画像合成プログラム34bは、複数のプログラムにより構成されている。具体的に、画像合成プログラム34bは、二つの画像の画素の輝度値Yl,Ysを算出する輝度算出プログラム34cを有する。すなわち、CPU21が輝度算出プログラム34cを実行することにより、制御部30は輝度算出手段として機能する。
また、画像合成プログラム34bは、輝度算出プログラム34cにより算出された二つの画像の同じ座標位置における画素の輝度値を比較して露出補正値kを算出する補正値算出プログラム34dを有する。すなわち、CPU21が補正値算出プログラム34dを実行することにより、制御部30は補正値算出手段として機能する。
また、画像合成プログラム34bは、合成後の合成画像の画素データPcを決定するための画素データ決定プログラム34eを有する。すなわち、CPU21が画素データ決定プログラム34eを実行することにより、制御部30は画素データ決定手段として機能する。
【0036】
具体的に、画素データ決定プログラム34eは、合成される画像のうち、第2の画像における画素の周辺画素の輝度値の全てが所定の輝度閾値th0より大きい場合には、合成後の画素データPcは、第2の画像の画素データPsに露出補正値kを乗じた値とする。
また、画素データ決定プログラム34eは、合成される画像のうち、第2の画像における所定位置の画素の周辺画素の輝度値の全てが所定の輝度閾値th0以下である場合には、合成後の所定位置の画素データPcは、第1の画像の画素データPlの値とする。
また、画素データ決定プログラム34eは、合成される画像のうち、第2の画像における所定位置の画素の周辺画素の輝度値の少なくとも一つが所定の輝度閾値th0以下であり、第2の画像における所定位置の画素の周辺画素の輝度値の少なくとも一つが所定の輝度閾値th0よりも大きい場合には、合成後の画素データPcは、第2の画像における画素データPsに露出補正値kを乗じた値と第1の画像における画素データPlの値とに基づいて定められた画素データの値とする。この場合には、合成される二つの画素データの重み平均を採用する。すなわち、任意の係数n(0<n<1)を設定し、合成画素の画素データPcを以下の式(3)で算出された値としている。ここで、任意の係数nは、周辺画素のうち、所定の輝度閾値th0よりも輝度の高い画素数から決定される。具体的には、周辺画素数に対する輝度閾値th0よりも輝度の高い画素数の割合により決定される。
Pc=n×Pl+(1−n)×k×Ps・・・・・・・(3)
【0037】
また、プログラムエリア34には、画像合成プログラム34bにより合成された合成画像を圧縮する画像圧縮プログラム34fが記憶されている。
また、プログラムエリア34には、画像圧縮プログラム34fにより圧縮された圧縮画像に画像処理を施す画像処理プログラム24gが記憶されている。
【0038】
<撮像方法>
撮像装置による撮像方法について説明する。
図11に示すように、ユーザが操作入力部17を構成する撮像ボタン(図示略)を押下すると、光学系11が捉えているシーンが光電変換部12に集光され、光電変換部12はデジタル画像を作成する。このとき、光電変換部12が有する電子シャッタや光学系11が有する機械式シャッタにより露出時間を変化させて二つの画像の撮像が行われる。光電変換部12で作成されたデジタル画像はメモリ22の画像データエリア25に一時的に記憶される(ステップS21:撮像工程)。
次いで、CPU21は、位置変化抽出プログラム34aを実行することにより、露出の異なる二つの画像から被写体の位置の変化を抽出する(ステップS22:位置変化抽出工程)。被写体の位置の変化を抽出するには、撮像された画像の特徴点を抽出する。特徴点の抽出に当たっては、KLT法等の方法で画像の固有値を有限個抽出して特徴点とする。そして、抽出された特徴点が次の画像においてどこに移動したかを知るため、特徴点に最も近い点を探す。これを複数の特徴点で行い、二つの画像間で特徴点の位置座標を対応させ画像の変換行列を求める。
【0039】
次いで、CPU21は、画像合成プログラム34bを実行することにより、二つの画像を合成して一つの撮像画像を作成する(ステップS23〜ステップS25:画像合成工程)。
CPU21が輝度算出プログラム34cを実行すると、CPU21は撮像された二つの画像のうち、第1の画像の輝度値Ylと第2の画像の輝度値Ysが算出される(ステップS23:輝度算出工程)。
次いで、CPU21が補正値算出プログラム34dを実行することにより、CPU21は撮像された両画像の同じ座標位置にある輝度値Ylと輝度値Ysとの比を全ての画素について算出し、これらの比の平均を露出補正値kとして算出する(ステップS24:補正値算出工程)。このとき、輝度値Ylが一定の範囲内にあるときのみ露出補正値kを算出する。一定の範囲を大きく外れた輝度値を考慮すると、適切な露出補正値kが得られないからである。また、二つの画像の同じ位置とは、ステップS22で算出された変換行列により両画像の位置合わせを行った後の同じ位置をいう。
【0040】
次いで、CPU21が画素データ決定プログラム34eを実行することにより、合成画像の画素データを決定する(ステップS25:画素データ決定工程)。
図12に示すように、ステップS25において、CPU21は第2の画像の周辺画素の輝度値Ysが全て輝度閾値th0である200よりも大きいか否かを判断する(ステップS51)。ここで、CPU21が、周辺画素の全ての輝度値Ysが200よりも大きいと判断した場合(ステップS51:YES)、CPU21は合成画像の画素データPcを第2の画像の画素データPsに露出補正値kを乗じた値(k×Ps)に決定し(ステップS52)、本処理を終了させる。一方、CPU21が、少なくとも一つの輝度値Ysが200以下であると判断した場合(ステップS51:NO)、CPU21は第2の画像の周辺画素の輝度値Ysが全て輝度閾値th0である200以下であるか否かを判断する(ステップS53)。
【0041】
ステップS53において、CPU21が、第2の画像の周辺画素の輝度値Ysが全て閾値th0である200以下であると判断した場合(ステップS53:YES)、CPU21は合成画像の画素データPcを第1の画像の画素データPlの値に決定し(ステップS54)、本処理を終了させる。一方、CPU21が、少なくとも一つの輝度値Ysが200よりも大きいと判断した場合(ステップS53:NO)、CPU21は、周辺画素のうち、輝度値が200以上の画素数からnを決定する(ステップS55)。このnは、周辺画素数全体に占める輝度値が200以上の画素数の割合で表される。
次いで、CPU21によりnが算出されると、CPU21は、合成される二つの画素データの重み平均を採用する。すなわち、式(3)により算出された値を合成画像の画素データとし(ステップS56)、本処理を終了させる。
【0042】
ステップS23〜ステップS25により、画像の合成が終了すると、CPU21は、画像圧縮プログラム34fを実行することにより、合成画像を出力に合わせてガンマ変換による圧縮方法により圧縮する(ステップS26:画像圧縮工程)。合成画像を圧縮した後、CPU21は、画像処理プログラム34gを実行することにより、圧縮画像のガンマ補正、色補正等を行って画像処理を施し、その画像をメモリ22の画像データエリア25に出力する。なお、画像の出力先は画像データエリア25に限らず、外付けの外部メモリ26であってもよい。
【0043】
<画像合成の具体例>
ここで、上述した画像合成処理について具体例をあげて説明する。
図13に示すように、シャッタースピード1秒で撮像した画像を露出の長い第1の画素データPlとし、シャッタースピード0.5秒で撮像した画像を露出の短い第2の画素データPsとする。露出量の比を補正するため、画素データPsの各画素を2倍した画素データをPs’とする。画素データPsのデータの範囲は0〜255であるため、画素データPs’のデータの範囲は0〜511となる。
このとき、図13中の領域Aに注目すると、グラフにも表れているように、画素データPlと画素データPsでは、輝度が変化する位置が異なる。
このような場合に、ある画素の周辺画素をみて、輝度閾値th0よりも輝度の大きな画素と輝度閾値th0以下の輝度の画素とが併存している場合には、画素データPlと画素データPs’の重み平均により画素データを決定するので、図13に示すように、境界付近における輝度の変化を緩やかにすることができ、境界が二重になることを防止できる。
【0044】
<撮像装置の作用効果>
実施形態2における撮像装置によれば、ユーザによる操作入力部17の入力操作により露出の異なる複数の画像を撮像し、制御部30は、撮像された画像から被写体の画像内における位置の変化を抽出し、画像合成手段により各画像を一つの撮像画像に合成する。画像を合成する際においては、制御部30は、各画像の画素の輝度値Yl,Ysを算出する。制御部30は、算出された各画像の同じ位置における画素の輝度値Yl,Ysを比較して露出補正値kを算出する。
【0045】
制御部30は、合成される画像のうち、第2の画像における画素の周辺画素の輝度値の全てが所定の輝度閾値th0より大きい場合には、合成後の画素データPcは、第2の画像の画素データPsに露出補正値kを乗じた値に決定する。また、合成される画像のうち、第2の画像における画素の周辺画素の輝度値の全てが所定の輝度閾値th0以下である場合には、合成後の画素データPcは、第1の画像の画素データPlの値に決定する。また、合成される画像のうち、第2の画像における画素の周辺画素の輝度値の少なくとも一つが所定の輝度閾値th0以下であり、第2の画像における画素の周辺画素の輝度値の少なくとも一つが所定の輝度閾値th0よりも大きい場合には、合成後の画素データPcは、第2の画像における画素データPsに露出補正値kを乗じた値と第1の画像における画素データPlの値とに基づいて定められた画素データの値とする。
そして、制御部30は、合成された合成画像を圧縮するとともに、その圧縮画像に画像処理を施す。
【0046】
これにより、実際に撮像した画像の画素の輝度値Yl,Ysから露出補正値kを算出し、この露出補正値kと各画素の輝度値Yl,Ysの差により合成画像の画素データを決定しているので、撮像画像中の物体の境界の不連続性を軽減することができる。
【0047】
(変形例)
なお、本発明は上記実施形態に限られるものではない。実施形態1及び実施形態2においては、異なる露出で撮像され、合成される画像を二つとしたが、三つ以上の画像を合成するものであってもよい。その場合、露出補正値は、最も露出の長い画像を基準として、他の画像の露出補正値を算出すればよい。
具体的には、図14に示すように、例えば、シャッタースピード1秒で撮像した画像を露出の長い画素データPlとし、シャッタースピード0.25秒で撮像した画像を露出の短い画素データPsとし、シャッタースピード0.5秒で撮像した画像を適正な露出の画素データPとする。
露出量の比を補正するため、画像Psの各画素を4倍した画素データをPs’、画像Pの各画素を2倍した画素データをP’とする。データの範囲は、Ps’が、例えば、0〜1023とした場合、P’が0〜511となる。
ここで、画素データPlと画素データPs’を合成する場合には、閾値th0≦200であれば、画素データPlを用いて画像を合成し、閾値th0>200であれば、画素データPs’を用いて画素データPl_s’を作成する。
画素データPl_s’に対して、周辺画素を用いた輝度調整を行い、画素データPbを作成する。
画素データPbの輝度値が、適正な露出の画素データP’のもつデータ範囲0〜511であれば、PbとP’の平均を出力とし、それ以外のデータ範囲511〜1023は画素データPbを出力として、画素データPoutを作成する。
そして、Poutは、一般の画素データのデータ範囲0〜255にするため、4で割り、出力画像データとする。
このような方法により、画像を三枚撮っても画像を合成することができる。
その他、発明の範囲内で自由に設計変更が可能である。
【図面の簡単な説明】
【0048】
【図1】撮像装置の構成を示すブロック図である。
【図2】図1におけるプログラムエリアの構成を示すブロック図である。
【図3】実施形態1における撮像方法を示すフローチャートである。
【図4】露出補正値を算出するプロセスを説明する図である。
【図5】実施形態1における画素データの決定方法を示すフローチャートである。
【図6】露出の異なる二枚の撮像画像であり、(a)は露出が長い撮像画像、(b)は露出が短い撮像画像である。
【図7】境界が二重となる場合の画素データの決定方法について説明する図であり、(a)は撮像画像、(b)は合成前と合成後の輝度の変化を示す図である。
【図8】実施形態1における画素データの決定方法について説明する図であり、(a)は撮像画像、(b)は合成前と合成後の輝度の変化を示す図である。
【図9】実施形態2における撮像装置の構成を示すブロック図である。
【図10】実施形態2におけるプログラムエリアの構成を示すブロック図である。
【図11】実施形態2における撮像方法を示すフローチャートである。
【図12】実施形態2における画素データの決定方法を示すフローチャートである。
【図13】実施形態2における画素データの決定方法について説明する図であり、(a)は撮像画像、(b)は合成前と合成後の輝度の変化を示す図である。
【図14】三枚の撮像画像の合成方法を説明する図である。
【符号の説明】
【0049】
1 撮像装置
17 操作入力部(撮像手段)
20 制御部(位置変化抽出手段、画像合成手段、画像圧縮手段、輝度算出手段、補正値算出手段、輝度差算出手段、画素データ決定手段)




 

 


     NEWS
会社検索順位 特許の出願数の順位が発表

URL変更
平成6年
平成7年
平成8年
平成9年
平成10年
平成11年
平成12年
平成13年


 
   お問い合わせ info@patentjp.com patentjp.com   Copyright 2007-2013