米国特許情報 | 欧州特許情報 | 国際公開(PCT)情報 | Google の米国特許検索
 
     特許分類
A 農業
B 衣類
C 家具
D 医学
E スポ−ツ;娯楽
F 加工処理操作
G 机上付属具
H 装飾
I 車両
J 包装;運搬
L 化学;冶金
M 繊維;紙;印刷
N 固定構造物
O 機械工学
P 武器
Q 照明
R 測定; 光学
S 写真;映画
T 計算機;電気通信
U 核技術
V 電気素子
W 発電
X 楽器;音響


  ホーム -> 計算機;電気通信 -> ミノルタ株式会社

発明の名称 画像処理装置、画像処理方法、及びプログラム
発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開2003−30647(P2003−30647A)
公開日 平成15年1月31日(2003.1.31)
出願番号 特願2001−210743(P2001−210743)
出願日 平成13年7月11日(2001.7.11)
代理人 【識別番号】100089233
【弁理士】
【氏名又は名称】吉田 茂明 (外2名)
【テーマコード(参考)】
5B057
5C022
5C066
5C079
5L096
【Fターム(参考)】
5B057 AA01 CA01 CA08 CA12 CB01 CB08 CB12 CC03 CE16 CH01 CH11 DA08 DB02 DB06 DB09 DC16 DC25 
5C022 AA13 AC42 AC69
5C066 AA01 GA01 GA02 GB03
5C079 HB01 JA17 JA25 LA02 MA01 MA11 NA11
5L096 AA02 AA06 BA20 CA02 DA01 FA15 GA41 HA08 LA05 MA03
発明者 岸田 直高
要約 課題
画像中から人物領域のみを検出することのできる技術を提供する。

解決手段
デジタルカメラ1の赤目検出部281は、フラッシュを発光しないで撮影された非フラッシュ画像と、フラッシュを発光して撮影されたフラッシュ画像との赤目領域の候補となる赤目候補領域を抽出する。赤目現象はフラッシュを発光した場合のみ発生するため、両画像を比較してフラッシュ画像のみにある赤目候補領域を赤目領域として検出する。そして、人物検出部282が、検出された赤目領域の近傍にある肌色領域を抽出し、当該肌色領域を人物領域として検出する。これにより、高速に人物領域のみを検出することができる。
特許請求の範囲
【請求項1】 画像処理装置であって、同一の被写体に対して、フラッシュを発光しないで撮影された第1画像と、フラッシュを発光して撮影された第2画像とを用いて、前記第2画像中の赤目領域を検出する赤目領域検出手段と、前記第2画像中の前記赤目領域の近傍の肌色領域を人物領域として検出する人物領域検出手段と、を備えることを特徴とする画像処理装置。
【請求項2】 請求項1に記載の画像処理装置において、前記赤目領域検出手段は、前記第1画像及び前記第2画像それぞれの前記赤目領域の候補となる赤目候補領域を抽出する候補領域抽出手段と、前記第1画像の赤目候補領域と前記第2画像の赤目候補領域とを比較し、前記第2画像のみにある赤目候補領域を前記赤目領域とする候補領域比較手段と、を備えることを特徴とする画像処理装置。
【請求項3】 請求項2に記載の画像処理装置において、前記赤目領域検出手段は、前記被写体の赤目現象が発生する赤目発生率を算出する発生率算出手段と、前記候補領域抽出手段が前記赤目候補領域を抽出するための判定基準を、前記赤目発生率に応じて変更する判定基準変更手段と、をさらに備えることを特徴とする画像処理装置。
【請求項4】 請求項1ないし3のいずれかに記載の画像処理装置において、前記被写体を撮像する撮像手段と、前記人物領域検出手段によって検出された前記人物領域に基づいて画像処理の条件及び/または前記撮像手段の撮像条件を設定する画像処理条件設定手段と、をさらに備えることを特徴とする画像処理装置。
【請求項5】 同一の被写体に対して、フラッシュを発光しないで撮影された第1画像と、フラッシュを発光して撮影された第2画像とを用いて、前記第2画像中の赤目領域を検出する赤目領域検出工程と、前記第2画像中の前記赤目領域の近傍の肌色領域を人物領域として検出する人物領域検出工程と、を備えることを特徴とする画像処理方法。
【請求項6】 コンピュータを、同一の被写体に対して、フラッシュを発光しないで撮影された第1画像と、フラッシュを発光して撮影された第2画像とを用いて、前記第2画像中の赤目領域を検出する赤目領域検出手段と、前記第2画像中の前記赤目領域の近傍の肌色領域を人物領域として検出する人物領域検出手段と、を備える画像処理装置として機能させるためのプログラム。
発明の詳細な説明
【0001】
【発明の属する技術分野】本発明は、画像中の人物を検出する技術に関する。
【0002】
【従来の技術】従来より、デジタルスチルカメラ(以下、「デジタルカメラ」という。)等にて撮影することにより、あるいは、出力された画像をスキャナ等にて取り込むことにより取得されたデジタル画像に対して処理を施し、主被写体となる画像中の人物を検出する技術が提案されている。
【0003】画像中の人物を検出する一般的な技術としては、画像中における人間の肌の色に近似する領域(以下、「肌色領域」という。)を抽出し、当該肌色領域を人物の領域(以下、「人物領域」という。)として検出するといった処理が知られている。ところが、画像に対してこのように単純に肌色領域を抽出しただけは、肌色に近い色を持つ物体や建造物までもが人物領域として検出されてしまうおそれがある。
【0004】これに対応するため、抽出された肌色領域の形状が人物の顔等の形状に酷似するかの形状判定処理を行い、酷似した場合にのみ当該肌色領域を人物領域として検出する技術が知られている。
【0005】また、フラッシュ発光時の画像であれば主被写体(人物)には赤目現象が発生すると想定し、抽出された肌色領域内から赤色の領域を検出し、赤色の領域が存在すれば当該肌色領域を人物領域として検出する技術が知られている。
【0006】
【発明が解決しようとする課題】しかしながら、上記のように形状判定を行う場合は、複雑な処理となるため多大な処理時間を要してしまうといった問題がある。特に、画像処理時間の短縮の要望が強いデジタルカメラなどにおいては、このような形状判定処理を適用することは困難である。
【0007】また、上記のように赤色の領域を検出する場合は、例えば、肌色に近い色を持つ建造物の領域内に赤色の照明光源等があるときは当該建造物の領域までも人物領域として検出してしまう可能性があり、十分な精度で人物領域を検出できるわけではなかった。
【0008】本発明は、上記課題に鑑みてなされたものであり、比較的短時間の処理速度を実現しつつ、画像中から人物領域のみを検出することのできる技術を提供することを目的とする。
【0009】
【課題を解決するための手段】上記課題を解決するため、請求項1の発明は、画像処理装置であって、同一の被写体に対して、フラッシュを発光しないで撮影された第1画像と、フラッシュを発光して撮影された第2画像とを用いて、前記第2画像中の赤目領域を検出する赤目領域検出手段と、前記第2画像中の前記赤目領域の近傍の肌色領域を人物領域として検出する人物領域検出手段と、を備えている。
【0010】また、請求項2の発明は、請求項1に記載の画像処理装置において、前記赤目領域検出手段は、前記第1画像及び前記第2画像それぞれの前記赤目領域の候補となる赤目候補領域を抽出する候補領域抽出手段と、前記第1画像の赤目候補領域と前記第2画像の赤目候補領域とを比較し、前記第2画像のみにある赤目候補領域を前記赤目領域とする候補領域比較手段と、を備えている。
【0011】また、請求項3の発明は、請求項2に記載の画像処理装置において、前記赤目領域検出手段は、前記被写体の赤目現象が発生する赤目発生率を算出する発生率算出手段と、前記候補領域抽出手段が前記赤目候補領域を抽出するための判定基準を、前記赤目発生率に応じて変更する判定基準変更手段と、をさらに備えている。
【0012】また、請求項4の発明は、請求項1ないし3のいずれかに記載の画像処理装置において、前記被写体を撮像する撮像手段と、前記人物領域検出手段によって検出された前記人物領域に基づいて画像処理の条件及び/または前記撮像手段の撮像条件を設定する画像処理条件設定手段と、をさらに備えている。
【0013】また、請求項5の発明は、画像処理方法であって、同一の被写体に対して、フラッシュを発光しないで撮影された第1画像と、フラッシュを発光して撮影された第2画像とを用いて、前記第2画像中の赤目領域を検出する赤目領域検出工程と、前記第2画像中の前記赤目領域の近傍の肌色領域を人物領域として検出する人物領域検出工程と、を備えている。
【0014】また、請求項6の発明は、プログラムであって、コンピュータを、同一の被写体に対して、フラッシュを発光しないで撮影された第1画像と、フラッシュを発光して撮影された第2画像とを用いて、前記第2画像中の赤目領域を検出する赤目領域検出手段と、前記第2画像中の前記赤目領域の近傍の肌色領域を人物領域として検出する人物領域検出手段と、を備える画像処理装置として機能させる。
【0015】
【発明の実施の形態】以下、図面を参照しつつ本発明の実施の形態について説明する。
【0016】<1.第1の実施の形態><1−1.デジタルカメラの構成>図1ないし図3は、画像をデジタルデータとして取得する画像処理装置であるデジタルカメラ1の外観構成の一例を示す図であり、図1は正面図、図2は背面図、図3は底面図である。図1に示すように、デジタルカメラ1は、箱型のカメラ本体部2と直方体状の撮像部3とから構成されている。
【0017】撮像部3の前面側には、撮影レンズであるマクロ機能付きズームレンズ301が設けられるとともに、銀塩レンズシャッターカメラと同様に、被写体からのフラッシュ光の反射光を受光する調光センサ305が設けられる。
【0018】カメラ本体部2の前面側には左端部にグリップ部4、中央上部に内蔵フラッシュ5、および上面側にはシャッタボタン8が設けられている。シャッタボタン8は、銀塩カメラで採用されているような半押し状態(S1)と全押し状態(S2)とが検出可能な2段階スイッチになっている。
【0019】一方、図2に示すように、カメラ本体部2の背面側には、略中央に撮影画像のモニタ表示、記録画像の再生表示等を行うための液晶ディスプレイ(LCD:Liquid Crystal Display)10が設けられている。また、LCD10の下方に、デジタルカメラ1の操作を行うキースイッチ群221〜226および電源スイッチ227が設けられる。
【0020】さらに、カメラ本体部2の背面側には、「撮影」と「再生」との間でカメラの動作モードを切り替える動作切替スイッチ14が設けられる。動作モードが「撮影」に設定されると写真撮影を行って被写体に関する画像を生成することが可能とされ、動作モードが「再生」に設定されるとメモリカードに記録された画像が読み出されてLCD10に再生される。動作切替スイッチ14は2接点のスライドスイッチであり、下方位置にスライドセットすると動作モードが「撮影」となり、上方位置にスライドセットすると動作モードが「再生」となる。
【0021】また、カメラ背面右側には、4連スイッチ230が設けられ、各種操作を行うことが可能となっている。例えば、動作モードが「撮影」の際にはボタン231,232を押すことによりズーミング倍率の変更が行われる。
【0022】撮像部3の背面には、図2に示すように、電子ビューファインダ(EVF:Electric View Finder)31が設けられている。EVF31は、接眼レンズを介して電子的に被写体の表示が可能となっている。撮影者は、LCD10またはEVF31のいずれかにより被写体を確認しつつ撮影を行うことが可能となっている。
【0023】また、EVF31の下部には、LCD10をオン/オフさせるためのLCDボタン321とともに、人物検出モード切替ボタン322が設けられる。デジタルカメラ1の撮影モードには、標準的な制御によって通常の撮影を行う通常撮影モードとともに、画像中の人物を検出する人物検出モードが含まれている。人物検出モード切替ボタン322を押下することにより、撮影モードを通常撮影モードと人物検出モードとを切り替えることが可能となっている。
【0024】カメラ本体部2の底面には、図3に示すように、カードスロット17が設けられる。カードスロット17は、撮影された画像等を記録するための着脱自在なメモリカード91等を装填することができる。
【0025】<1−2.デジタルカメラの内部構成>次に、デジタルカメラ1の内部構成について説明する。図4は撮像部3における各構成の配置の概略を示す図である。また、図5はデジタルカメラ1の構成を示すブロック図である。
【0026】図4に示すように、撮像部3におけるズームレンズ301の後方位置の適所にはCCD303を備えた撮像回路が設けられている。また、撮像部3の内部には、ズームレンズ301のズーム比の変更と収容位置、撮像位置間のレンズ移動を行うためのズームモータM1、フォーカスの調整を行うためにズームレンズ301内のフォーカスレンズ311を移動させるフォーカスモータM2、ズームレンズ301内に設けられた絞り302の開口径を調整するための絞りモータM3とが設けられている。
【0027】図5に示すように、ズームモータM1、フォーカスモータM2、絞りモータM3は、カメラ本体部2に設けられたズームモータ駆動回路215、フォーカスモータ駆動回路214、絞りモータ駆動回路216によってそれぞれ駆動される。また、各駆動回路214〜216はカメラ本体部2の全体制御部270から与えられる制御信号に基づいて各モータM1〜M3を駆動する。
【0028】CCD303は、ズームレンズ301によって結像された被写体の光像を、R(赤)、G(緑)、B(青)の色成分の画像信号(各画素で受光された画素信号の信号列からなる信号)に光電変換して出力する。
【0029】タイミングジェネレータ314は、カメラ本体部2のタイミング制御回路202から送信される基準クロックに基づきCCD303の駆動制御信号を生成するものである。タイミングジェネレータ314は、例えば、積分開始/終了(露出開始/終了)のタイミング信号、各画素の受光信号の読出制御信号(水平同期信号、垂直同期信号、転送信号等)等のクロック信号を生成し、CCD303に出力する。
【0030】信号処理回路313は、CCD303から出力される画像信号(アナログ信号)に所定のアナログ信号処理を施すものである。信号処理回路313は、CDS(相関二重サンプリング)回路とAGC(オートゲインコントロール)回路とを有し、CDS回路により画像信号のノイズの低減を行い、AGC回路でゲインを調整することにより画像信号のレベル調整を行う。
【0031】調光回路304は、フラッシュ撮影における内蔵フラッシュ5の発光量を全体制御部270により設定された所定の発光量に制御するものである。フラッシュ撮影時には、露出開始と同時に被写体からのフラッシュ光の反射光が調光センサ305により受光され、この受光量が所定の発光量に達すると、調光回路304から発光停止信号が出力される。発光停止信号はカメラ本体部2に設けられた全体制御部270を介してフラッシュ制御回路217に導かれ、フラッシュ制御回路217はこの発光停止信号に応答して内蔵フラッシュ5の発光を強制的に停止し、これにより内蔵フラッシュ5の発光量が所定の発光量に制御される。
【0032】カメラ本体部2内において、A/D変換器205は、画像の各画素の信号を例えば10ビットのデジタル信号に変換(A/D変換)するものである。A/D変換器205は、タイミング制御回路202から入力されるA/D変換用の基準クロックに基づいて各画素信号(アナログ信号)をデジタル信号に変換する。
【0033】タイミング制御回路202は、基準クロック、タイミングジェネレータ314、A/D変換器205に対するクロックを生成するように構成されている。タイミング制御回路202は、全体制御部270によって制御される。
【0034】A/D変換器205によって変換されたデジタル信号は、第1画像処理部240及び全体制御部270にそれぞれ入力される。第1画像処理部240に入力されるデジタル信号は、第1画像処理部240において各種画像処理が施され、撮影画像としてメモリカード91へ記憶されたり、ライブビュー表示画像として利用される。一方、全体制御部270に入力されるデジタル信号は、全体制御部270が被写体の輝度、コントラスト、色バランス等を演算するために利用される。
【0035】第1画像処理部240は、例えば1チップのIC(Integrated Circuit)として実現されており、A/D変換器205によってデジタル信号とされた画像に対して、黒レベル補正処理、ホワイトバランス補正処理、ガンマ補正処理、画素補間処理等の複数種類の画像処理を施す。これらの画像処理の処理内容は、全体制御部270によって画像ごとに設定される。例えば、ホワイトバランス補正処理に関しては、全体制御部270から画像ごとに設定されたホワイトバランス調整値が入力される。画像の各画素データは、第1画像処理部240の画素補間処理により欠落色画素の補間が行われRGB3色のデータを有することとなる。
【0036】画像メモリ209は、第1画像処理部240から出力される画像のデータを記憶するメモリである。画像メモリ209は、少なくとも2フレーム分の画像を記憶し得る容量を有している。
【0037】VRAM(ビデオRAM)210は、LCD10に再生表示される画像のバッファメモリである。また、VRAM211は、EVF31に表示される画像のバッファメモリである。VRAM210はLCD10の画素数に対応した画像データを、VRAM211はEVF31の画素数に対応した画像データをそれぞれ格納することが可能な記憶容量を有している。
【0038】動作モードが「撮影」の際の撮影待機状態においては、撮像部3により例えば1/30秒毎に画像が撮影され、A/D変換器205によってデジタル信号に変換される。そして、第1画像処理部240により所定の信号処理を施された後に、画像メモリ209に一時記憶されるとともに、全体制御部270を介してVRAM210、210に転送され、LCD10およびEVF20に表示される(ライブビュー表示)。これによって、ユーザは被写体像を視認することができる。
【0039】また、動作モードが「再生」の場合、メモリカード91から読み出された画像が全体制御部270で所定の信号処理が施された後、LCDVRAM210に転送され、LCD10に再生表示される。EVF20でも同様の表示が行われる。
【0040】カードインターフェース212は、カードスロット17を介してメモリカード91への画像の書き込みおよび読み出しを行うためのインターフェイスである。
【0041】フラッシュ制御回路217は、内蔵フラッシュ5の発光を制御する回路であり、全体制御部270からの制御信号に基づいて内蔵フラッシュ5を発光させる一方、既述の発光停止信号に基づいて内蔵フラッシュ5の発光を停止させる。
【0042】操作部250は、上述した、各種スイッチ、ボタンを包括するものであり、ユーザによって操作入力される情報は、操作部250を介して全体制御部270に伝達される。
【0043】全体制御部270は、CPUを備えたマイクロコンピュータから構成され、撮影機能及び再生機能を集中制御するものである。全体制御部270には、デジタルカメラ1の上述した各部材の駆動を制御したり取得された画像を処理するための制御プログラムが記憶されたROM261と、制御プログラムに従って数々の演算作業を行うための作業領域となるRAM262とが電気的に接続されている。なお、記録媒体であるメモリカード91に記録されているプログラムデータをカードインターフェース212を介して読み出しROM261に格納することができる。すなわち、制御プログラムは、メモリカード91からデジタルカメラ1中にインストールされることが可能となっている。
【0044】図5において、AF制御部271、露出制御部272、画像処理制御部273および画像記録部274は、ROM261に記憶された制御プログラムに従って全体制御部270のCPU等によって演算処理されることにより実現される機能を示す。
【0045】AF制御部271は、いわゆるAF(オートフォーカス)制御を行うものである。AF制御部271は、A/D変換器205から入力された画像信号のコントラストを評価し、このコントラストが最も高くなるようにフォーカスレンズ311の位置を駆動させる。これにより、ズームレンズ301により形成される像の位置がCCD303の撮像面に一致される。
【0046】露出制御部272は、露出条件の設定および露出制御を行うものである。具体的には、A/D変換器205から入力された画像信号から被写体の輝度を算出し、絞り値と、シャッタースピード(正確にはCCD303の電荷蓄積時間)とを設定する。また、絞り値とシャッタースピードとの調整によっても適切な露光量が得られない場合などは、内蔵フラッシュ5を発光させる設定を行う。設定した露出条件に従って、タイミング制御回路202、絞りモータ駆動回路216およびフラッシュ制御回路217に制御信号を送信して露出制御を行う。
【0047】画像処理制御部273は、A/D変換器205から出力された画像に対して画像処理を行う第1画像処理部240、および、画像メモリ209に記憶された画像に対してソフトウェア的に画像処理を行う第2画像処理部283(図6参照)に関する画像処理条件の設定を行う。例えば、A/D変換器205から入力された画像信号の色バランスを算出し、算出された色バランスに応じてホワイトバランス調整値を設定する。
【0048】画像記録部274は、動作モードが「撮影」の際にシャッタボタン8により撮影が指示されると、画像メモリ209に取り込まれた画像のサムネイル画像と操作部250に含まれるスイッチから設定入力された圧縮率によりJPEG方式で圧縮された圧縮画像とを生成し、撮影画像に関するタグ情報(コマ番号、露出値、シャッタスピード、圧縮率、撮影日、撮影時のフラッシュのオンオフのデータ、撮影距離、シーン情報等の情報)とともに両画像をメモリカード91に記憶する。
【0049】<1−3.デジタルカメラの動作>さらに、全体制御部270は、撮影モードが人物検出モードである場合は、撮影時において画像中の人物領域を検出する人物検出処理を行うようになっている。図6は、人物検出処理に係るデジタルカメラ1の機能を示すブロック図である。図6において、赤目検出部281、人物検出部282、第2画像処理部283及び距離演算部284は、ROM261に記憶された制御プログラムに従って全体制御部270のCPU等によって演算処理されることにより実現される機能を示す。
【0050】赤目検出部281は、画像メモリ209に記憶された画像中の赤目領域を検出する。赤目領域を検出する際には、内蔵フラッシュ5を発光しないで撮影された第1画像(以下、「非フラッシュ発光画像」という。)と、フラッシュを発光して撮影された第2画像(以下、「フラッシュ発光画像」という。)とを用いる。
【0051】人物検出部282は、赤目検出部281によって検出された赤目領域の近傍の肌色領域を、画像中の人物領域として検出する。第2画像処理部283は、検出された画像中の赤目領域の補正などの画像処理をソフトウェア的に実現する。また、距離演算部284は、AF制御部271からフォーカスレンズ311の合焦する位置情報を取得し、当該位置情報から主被写体(人物)までの距離を撮影距離として算出する。
【0052】図7は、赤目検出部281の機能構成を示すブロック図である。発生率算出部291は、画像中の被写体の赤目現象が発生する確率を赤目発生率として算出する。候補領域抽出部293は、非フラッシュ画像及びフラッシュ画像それぞれの画素値を用いて、赤色の領域を赤目領域の候補となる領域(以下、「赤目候補領域」という。)として抽出する。判定基準変更部292は、候補領域抽出部293が赤目候補領域を抽出するための判定基準を、発生率算出部291によって算出された赤目発生率に応じて変更する。また、候補領域比較部294は、非フラッシュ画像とのフラッシュ画像との赤目候補領域を比較し、フラッシュ画像のみにある赤目候補領域を赤目領域として検出する。これらの機能の詳細については後述する。
【0053】図8および図9は、人物検出モードにおけるデジタルカメラ1の撮影時の動作の流れを示す図である。以下、図6ないし図9を参照してデジタルカメラ1の人物検出モードにおける撮影動作について説明する。
【0054】まず、シャッタボタン8が半押し(S1状態)される(ステップST11)と画像撮影のための準備がなされる。すなわち、AF制御部271によりフォーカスレンズ311が駆動され、ズームレンズ301により形成される像の位置がCCD303の撮像面に一致される。(ステップST12)。
【0055】次に、露出制御部272が、被写体の輝度に基づいて露出条件の設定を行う。すなわち、絞り値、シャッタースピードおよび内蔵フラッシュ5を発光する(発光設定)か否か(非発光設定)の設定がなされる(ステップST13)。さらに、画像処理制御部273が、被写体の色バランスに基づいてホワイトバランス調整値の設定を行う(ステップST14)。
【0056】以上のようにして撮影のための準備が終了するとレリーズ許可がなされる。すなわちシャッタボタン8のロックが外れ、全押し(S2状態)することが可能な状態となる(ステップST15)。この状態でシャッタボタン8が所定時間操作されない場合(ステップST16にてNo)は、ステップST11に戻ることとなる。一方、シャッタボタン8が全押しされた場合(ステップST16にてYes)は図9のステップST21に進む。
【0057】内蔵フラッシュ5の発光設定時(ステップST21にてYes)は、続いて、内蔵フラッシュ5を発光せずにCCD303が設定された露光時間だけ露光して被写体の画像が非フラッシュ画像として取り込まれる。露光の後、CCD303から出力される画像信号は、信号処理回路313、A/D変換器205および第1画像処理部240において所定の処理が施されて画像メモリ209に記憶される。この非フラッシュ画像は、内蔵フラッシュ5を発光しないで撮影された画像であるため、輝度の比較的低い画像となる(ステップST22)。
【0058】次に、内蔵フラッシュ5を発光して(ステップST23)、CCD303が設定された露光時間だけ露光して、上記非フラッシュ画像と同一の被写体の画像がフラッシュ画像として取り込まれる。露光の後、CCD303から出力される画像信号は、信号処理回路313、A/D変換器205及び第1画像処理部240において所定の処理が施されて画像メモリ209に同様に記憶される。このフラッシュ画像は、内蔵フラッシュ5を発光して撮影されたであるため輝度が比較的高い(適正露光)画像となる(ステップST24)。
【0059】図10は非フラッシュ画像の一例を示す図であり、図11は図10と同一の被写体に対するフラッシュ画像の一例を示す図である。これらの図に示すように非フラッシュ画像P1はフラッシュ画像P2と比較して暗い画像となる。
【0060】画像P1,P2中には、被写体として二人の人物PS1,PS2と、肌色に近似する色を有する建造物PS3とが含まれている。また、人物PS1は赤色のアクセサリーR1を身につけ、人物PS2の衣服は赤色のボタンR2を有している。また、建造物PS3には赤色の照明光源R3が存在している。なお、図11のフラッシュ画像における人物PS1,PS2の目領域E1,E2には、赤目現象が発生している。
【0061】次に、赤目検出部281が、上記のようにして画像メモリ209に記憶された二枚の画像を用いて、フラッシュ画像中の赤目領域を検出する赤目検出処理を行う(ステップST25)。
【0062】図12は、赤目検出部281の赤目検出処理の流れを示す図である。まず、発生率算出部291が、赤目発生率Pを算出する(ステップST101)。赤目発生率Pは、撮影距離D、フラッシュ画像と非フラッシュ画像との輝度差Brdおよび所定の定数Aを用いて、次の数1によって算出することができる。
【0063】
【数1】

【0064】ここで、撮影距離Dは距離演算部284によって算出される。また、輝度差Brdはフラッシュ画像の輝度Br2と非フラッシュ画像の輝度Br1との差分であり、輝度Br1,Br2は画像中の画素データのRGB値の平均値を使用する。なお、輝度Br1,Br2は、Gの値のみの平均値や、YCrCbへ変換しYの値の平均値などを使用してもよい。さらに、輝度差Brdの算出に当たっては、内蔵フラッシュ5の発光量に基づいて算出されてもよい。
【0065】次に、フラッシュ画像と非フラッシュ画像の赤目候補領域を抽出する前処理として、判定基準変更部292が赤目候補領域として判定するための判定基準を赤目発生率Pに応じて変更設定する(ステップST102)。
【0066】本実施の形態においては、フラッシュ画像と非フラッシュ画像とには輝度の差があるため、画素データのRGB値から輝度の影響を受けない色度u’,v’を算出し、色度u’,v’が「CIE 1976 UCS色度図」の特定領域内にあるか否かで赤目候補領域が判定される。なお、色度u’,v’は以下の数2,数3で算出することができる。
【0067】
【数2】

【0068】
【数3】

【0069】図13は「CIE 1976 UCS色度図」の簡略図である。図13において符号RPで示す点は、予め計測などによって設定された赤目現象時の理想の赤色となる赤色基準点を示している。また、赤色基準点RPからプラスおよびマイナスu’方向にそれぞれLu、プラスおよびマイナスv’方向にそれぞれLvの幅を持たせた矩形領域を赤色判定基準領域RAとして示している。画素データの色度u’,v’が上記赤色判定基準領域RA内にあれば、当該画素データは赤目候補領域であると判定する。つまり、赤色判定基準領域RAの大きさ(面積)を変更すれば、赤目候補領域を抽出するための判定基準を変更することとなる。
【0070】ここで、赤色判定基準領域RAの面積はLuの2倍とLvの2倍との乗算で算出できる。そして、赤色判定基準領域RAの幅Lu,Lvを予め設定された初期値Lu0,Lv0と赤目発生率Pとに基づいて、以下の数4および数5のように設定する。
【0071】
【数4】

【0072】
【数5】

【0073】これにより、赤目発生率Pが高いほど赤色判定基準領域RAの大きさは狭く、赤目発生率Pが低いほど赤色判定基準領域RAの大きさは広く設定することができる。すなわち、赤目発生率Pに応じて赤色判定基準領域RAの大きさを変更するため、赤目領域として確率の高い領域のみを赤目候補領域として抽出することができる。
【0074】続いて、候補領域抽出部293が、上記のように各画素データの色度u’,V’が赤色判定基準領域RA内に含まれるか否かを判定して、フラッシュ画像中の赤目候補領域を抽出する(ステップST103)。このとき、フラッシュ画像中に赤目候補領域が1つも抽出されない場合(ステップST104にてNo)は、赤目領域無し(ステップST109)と判断される。
【0075】一方、フラッシュ画像中に少なくとも1つの赤目候補領域が抽出された場合(ステップST104にてYes)は、同様に非フラッシュ画像中の赤目候補領域を抽出する(ステップST105)。
【0076】図14は図10の非フラッシュ画像P1中の抽出された赤目候補領域を示す図であり、図15は図11のフラッシュ画像P2中の抽出された赤目候補領域を示す図である。非フラッシュ画像P1においては、図14に示すように、アクセサリーR1、ボタンR2および照明光源R3が赤目候補領域として抽出されている。一方、フラッシュ画像P2においては、図15に示すように、アクセサリーR1、ボタンR2および照明光源R3に加え、人物PS1,PS2の目領域E1,E2が赤目候補領域として抽出されている。つまり、赤目領域はフラッシュ画像P2においてのみ赤目候補領域として抽出されている。
【0077】次に、候補領域比較部294が、非フラッシュ画像およびフラッシュ画像それぞれにおいて抽出された赤目候補領域の比較を行う(ステップST106)。そして、フラッシュ画像にのみ存在する赤目候補領域が存在した場合(ステップST107でYes)は、フラッシュ画像中の当該赤目候補領域を赤目領域として検出する(ステップST108)。これは、赤目現象は内蔵フラッシュ5を発光した場合にのみ発生するため、フラッシュ画像のみにある赤目候補領域を赤目領域と判断することができるためである。これにより、他の赤目候補領域は赤目領域として検出されることはなく、確実に赤目領域のみを検出することができる。
【0078】図16は、非フラッシュ画像P1(図14参照)およびフラッシュ画像P2(図15参照)を比較することにより赤目領域として検出された領域を示している。図に示すように、人物の目領域E1,E2のみが赤目領域として検出される。
【0079】なお、フラッシュ画像にのみ存在する赤目候補領域が存在しない場合(ステップST107でNo)は、赤目領域無し(ステップST109)と判断される。
【0080】以上のようにしてフラッシュ画像中の赤目領域の検出を行うと、次に、人物検出部282が、人物領域を検出するためにフラッシュ画像中の肌色領域を抽出する(図9、ステップST26)。肌色領域の抽出は、赤目候補領域の抽出と同様に、フラッシュ画像中の画素データの色度u’,v’が「CIE 1976 UCS色度図」の人物の肌色として判定するための予め設定された領域内に含まれているか否かで判定する。
【0081】このとき、上記赤目領域の近傍の画素データから上記肌色領域の判定を行うことにより、赤目領域の近傍の肌色領域のみを抽出する。そして、抽出された肌色領域を人物領域として検出する。これは、赤目領域は人物の顔の領域に必ず含まれるため、赤目領域の近傍の肌色領域は人物領域(顔領域)であると判断できるためである。これにより、肌色に近似する色を有する建築物などは肌色領域として抽出されることはなく、確実に人物領域となる肌色領域のみを抽出することができる。また、フラッシュ画像中の全ての画素データに対して肌色領域の判定を行う必要がなく、処理速度を向上させることができる。
【0082】図17は、フラッシュ画像P2(図15)において人物領域として検出された領域を示している。図に示すように、赤目領域E1,E2近傍の肌色領域のみが人物領域PAとして検出されており、肌色に近似する色を有する建造物PS3は人物領域PAとして検出されることはない。
【0083】なお、上記赤目検出処理において、赤目領域無し(図12、ステップST109)と判断された場合は画像中に人物は無いとみなし、人物領域の検出は行われない。
【0084】次に、検出された人物領域および赤目領域の情報に基づいて画像処理制御部273は第2画像処理部283による画像処理条件を設定する。そして、第2画像処理部283は、設定された条件に基づいてフラッシュ画像に対して画像処理を行う。これにより、人物領域および赤目領域に基づいた画像処理をフラッシュ画像に対して行うことができる(ステップST27)。
【0085】例えば、人物領域が特定されているため、人物領域(顔領域)のみに対して輝度や彩度を最適に調整する処理や、人物領域以外の領域をぼけさせて人物のみを美しく引き立たせる処理など、人物領域と人物領域以外の領域とで処理内容を相違させて画像処理を行うことができる。また、赤目領域が特定されているため、赤目領域をグレーなどの色に置換する赤目補正処理を容易に行うことができる。さらに、人物領域の数から「風景」「ポートレート」などの撮影シーンを判定し、撮影シーンに応じた画像処理を行うことも可能となる。
【0086】画像処理の施されたフラッシュ画像は、画像記録部274によってその圧縮画像とサムネイル画像とが生成され、タグ情報とともにメモリカード91に記憶される(ステップST28)。
【0087】ところで、内蔵フラッシュ5の非発光設定時(ステップST21にてNo)は、内蔵フラッシュ5を発光しなくても適正露光の画像が取得できるため、内蔵フラッシュ5を使用せずに被写体の画像が取り込まれ、所定の処理が施されて画像メモリ209に記憶される(ステップST31)。このとき取り込まれた画像においては赤目現象は発生しないため赤目検出処理は行われず、赤目領域とは無関係に肌色領域を抽出して、該肌色領域を人物領域として検出する(ステップST32)。そして、ステップST27と同様に検出された人物領域に基づいた画像処理が施される(ステップST33)。なお、赤目現象は発生しないため赤目補正処理は行われない。画像処理が行われると、上記と同様にメモリカード91に記憶されることとなる(ステップST28)。
【0088】なお、本実施の形態においては、被写体の輝度に基づいて内蔵フラッシュ5の発光及び非発光の設定が自動的になされていたが、ユーザによりこれらを設定できるようになっていてもよい。
【0089】以上、第1の実施の形態について説明を行ったが、本実施の形態においては、非フラッシュ画像とフラッシュ画像とを用いて、赤目現象はフラッシュを発光した場合のみ発生するものであるためフラッシュ画像のみにある赤目候補領域を赤目領域として検出することから、赤目領域を確実に検出することが可能となる。
【0090】また、検出された赤目領域の近傍の肌色領域を人物領域として検出するため、人物領域のみを確実に検出することができる。さらに、肌色領域の形状判定などの複雑な処理を行う必要がないため、比較的高速に人物領域を検出することができる。
【0091】また、人物領域に基づいて画像処理の条件が設定されるため、人物領域と人物領域以外の領域とで処理内容を相違させて画像処理を行うことや、人物領域に最適な画像処理を行うことができる。また、赤目領域が特定されているため赤目補正処理を容易に行うことができる。
【0092】<2.第2の実施の形態>次に、本発明の第2の実施の形態について説明する。第1の実施の形態においては、人物領域を検出して当該人物領域に基づいて画像処理条件の設定を行っていたが、本実施の形態ではさらに人物領域に基づいて撮像条件の設定を行うようになっている。本実施の形態における画像処理装置であるデジタルカメラ1は、図1ないし図5に示す構成と同様の構成である。
【0093】また、図18は本実施の形態における人物検出処理に係るデジタルカメラ1の機能を示すブロック図である。赤目検出部281の機能構成は図7に示す構成と同様である。第1の実施の形態と同様の機能を有するものに関しては、同一の符号を付しているため詳細な説明は省略する。図18において、赤目発生判定部285は、ROM261に記憶された制御プログラムに従って全体制御部270のCPU等によって演算処理されることにより実現される機能を示す。赤目発生判定部285は撮影動作前に被写体の輝度と撮影距離とから、赤目現象が発生するか否かを判定する。赤目発生判定部285の機能の詳細については後述する。
【0094】図19ないし図21は、本実施の形態の人物検出モードにおけるデジタルカメラ1の撮影時の動作の流れを示す図である。以下、図18ないし図21を参照して本実施の形態におけるデジタルカメラ1の人物検出モードにおける撮影動作について説明する。
【0095】まず、シャッタボタン8が半押し(S1状態)される(ステップST51)と、赤目発生判定部285が、A/D変換器205から入力される画像信号から被写体輝度Brを算出し、算出した被写体輝度Brと距離演算部284から入力される撮影距離Dとに基づいて、内蔵フラッシュ5を発光した場合に赤目現象が発生するか否かを判定する赤目発生判定処理を行う(ステップST52)。
【0096】図22は、赤目発生判定処理に使用する判定関数を示す図である。図において、横軸は被写体輝度Brを、縦軸は撮影距離Dを示している。符号FAで示す領域は内蔵フラッシュ5を発光すれば赤目現象が発生する赤目発生領域であり、赤目発生領域FA以外の領域は内蔵フラッシュ5を発光しても赤目現象が発生しない領域である。この赤目発生領域FAは予め計測などによって設定されている。赤目発生判定部285は、被写体輝度Brと撮影距離Dとで決定される点が赤目発生領域FA内であれば赤目現象が発生すると判定することとなる。
【0097】赤目現象が発生すると判定された場合(ステップST52においてYes)は、ステップST53へ進む。ステップST53〜ST57における処理は、図9のステップST22〜ST26の処理と同様である。すなわち、非フラッシュ画像とフラッシュ画像とを取込み(ステップST53〜ST55)、両画像を使用しての赤目検出処理により赤目領域を検出し(ステップST56)、該赤目領域の近傍の肌色領域を抽出して該肌色領域を人物領域として検出する(ステップST57)。
【0098】一方、赤目現象が発生しないと判定された場合(ステップST52においてNo)は、ステップST58へ進む。ステップST58,ST59における処理は、図9のステップST31,ST32と同様である。すなわち、内蔵フラッシュ5を使用せずに被写体の画像を取込み(ステップST31)、赤目検出処理を行わずに肌色領域を抽出して該肌色領域を人物領域として検出する(ステップST59)。
【0099】次に、人物検出部282は、上記のようにして検出された人物領域を囲む制御領域を設定する(図20、ステップST61)。図23は、設定された制御領域CAの一例を示す図である。図に示すように制御領域CAは、検出された人物領域PAを囲む最小面積の矩形領域が設定される。
【0100】制御領域CAは、以降の処理において被写体の輝度、コントラスト、色バランス等を演算するための領域として使用される。すなわち、人物領域を含む制御領域CAに基づいて、露出条件を含む撮像条件や、ホワイトバランス調整値などの画像処理条件の設定がなされることとなる。
【0101】制御領域CAが設定されると、図24の如く制御領域CAに相当する領域CA1がEVF31に表示される(ステップST62)。領域CA1は、図24に示すようにライブビュー表示されている被写体像と同一画面上に表示される。これにより、ユーザに撮像条件や画像処理条件の設定に利用する領域を確認させることができ、ユーザに対して安心感を与えることができる。なお、LCD10においても、EVF31と同様の表示がなされるようになっていてもよい。
【0102】次に、AF制御部271が制御領域CAに基づいてAF制御を行いフォーカスレンズ311の駆動を行う(ステップST63)。具体的には、A/D変換器205から入力された画像信号のうち制御領域CAに相当する領域のみのコントラストが評価され、このコントラストが最も高くなるようにフォーカスレンズ311の位置を駆動させる。これにより、主被写体となる人物領域に最もピントが合った状態とすることができる。
【0103】次に、露出制御部272が制御領域CAに基づいて露出条件の設定を行う。具体的には、A/D変換器205から入力された画像信号のうち制御領域CAに相当する領域のみの輝度に基づいて、絞り値、シャッタースピードおよび内蔵フラッシュ5を発光する(発光設定)か否か(非発光設定)の設定がなされる(ステップST64)。
【0104】次に、画像処理制御部273が制御領域CAに基づいてホワイトバランス調整値の設定を行う。具体的には、A/D変換器205から入力された画像信号のうち制御領域CAに相当する領域のみの色バランスに基づいて、ホワイトバランス調整値の設定がなされる(ステップST65)。
【0105】以上のようにして制御領域CAに基づいた撮像条件および画像処理条件の設定が終了するとレリーズ許可がなされる(ステップST66)。この状態でシャッタボタン8が所定時間操作されない場合(ステップST67にてNo)は、図19のステップST11に戻ることとなる。
【0106】一方、シャッタボタン8が全押しされた場合(ステップST67にてYes)は図21のステップST71に進む。そして、内蔵フラッシュ5の発光設定時(ステップST71にてYes)は、内蔵フラッシュ5が発光されて(ステップST72)撮影画像が取り込まれる(ステップST73)。一方、内蔵フラッシュ5の非発光設定時(ステップST71にてNo)は、内蔵フラッシュ5を発光せずに撮影画像が取り込まれる(ステップST73)。撮影画像の取込時の露出条件は制御領域CAに基づいて設定されているため、主被写体となる人物領域に対して適正露出とすることができる。
【0107】なお、内蔵フラッシュ5を発光した場合であっても、撮影画像中の被写体には赤目現象は発生しない。これは、赤目現象が発生すると判定された場合は、図19のステップST54において内蔵フラッシュ5が発光されており、この発光が赤目現象防止のプリ発光として機能するためである。
【0108】次に、取り込まれた撮影画像は信号処理回路313およびA/D変換器205において所定の処理が施され、さらに第1画像処理部240においてホワイトバランス補正処理を含む画像処理が施される(ステップST74)。このとき、ホワイトバランス調整値は制御領域CAに基づいて設定されているため、主被写体となる人物領域が適切なホワイトバランスとなるように画像処理が行われる。
【0109】第1画像処理部240によって画像処理が施された撮影画像は、画像メモリ209に記憶される。このとき、第1の実施の形態と同様に、画像メモリ209に記憶された撮影画像に対して人物領域と人物領域以外の領域とで処理内容を相違させるような画像処理を第2画像処理部283が行うことも可能である。
【0110】画像処理の施された撮影画像は、画像記録部274によってその圧縮画像とサムネイル画像とが生成され、タグ情報とともにメモリカード91に記憶される(ステップST75)。
【0111】以上、第2の実施の形態について説明を行ったが、本実施の形態においては、検出された人物領域を含む制御領域CAに基づいて撮像条件や画像処理条件の設定がなされるため、主被写体となる人物領域に最適な制御で撮影された画像を取得することができる。
【0112】<3.第3の実施の形態>次に、本発明の第3の実施の形態について説明する。第1の実施の形態においては、デジタルカメラ1内部にて赤目領域の検出や人物領域の検出を行っていたが、このような画像の取得以外の処理はコンピュータにより行われてもよい。
【0113】図25はこのような場合の画像処理システム7の構成を示す図である。画像処理システム7は、非フラッシュ画像およびフラッシュ画像を取得するデジタルカメラ71、および、デジタルカメラ71にて得られた画像を処理するコンピュータ72を有する。
【0114】デジタルカメラ71は、上記実施の形態のデジタルカメラ1と同様の構成のものを使用することができる。デジタルカメラ71は、図8および図9に示す処理のうちステップST11〜ST16、ST21〜ST24およびST28の処理を行う。すなわち、非フラッシュ画像とフラッシュ画像を撮影し、赤目検出処理、人物検出処理および人物領域に基づく画像処理を行わずにそのまま両画像をメモリカードに保存する。メモリカード保存時に生成されるタグ情報には、少なくとも非フラッシュ画像とフラッシュ画像とのいずれであるかの情報と、撮影距離の情報が含まれるようにする。
【0115】デジタルカメラ71によって取得された非フラッシュ画像およびフラッシュ画像は、メモリカードを介してコンピュータ72に転送される。なお、コンピュータ72に伝送ケーブル等を介して転送するようになっていてもよい。
【0116】コンピュータ72は、CPU、ROM、RAM、記憶装置、ディスプレイ、メモリカード読取装置等を備えた汎用のコンピュータで構成される。コンピュータ72には、予め磁気ディスク、光ディスク、光磁気ディスク等の記録媒体73を介してプログラムが内部にインストールされている。これにより、汎用のコンピュータ72が本発明に係る処理を行う画像処理装置として利用することが可能となる。
【0117】すなわち、コンピュータ72のCPU等が図6に示す赤目検出部281、人物検出部282、画像処理制御部273および第2画像処理部283として動作することにより非フラッシュ画像およびフラッシュ画像から、フラッシュ画像中の赤目領域を検出し当該赤目領域に基づいて人物領域を検出する。さらに、検出された人物領域に基づいて、人物領域と人物領域以外の領域とで処理内容を相違させるような画像処理を第2画像処理部283が行う。
【0118】以上のようにすれば、赤目検出処理、人物検出処理および人物領域に基づく画像処理はコンピュータ72により行うことも可能であり、この場合、デジタルカメラ71における処理の負担が大幅に軽減される。
【0119】<4.変形例>以上、本発明の実施の形態について説明したが、この発明は上記実施の形態に限定されるものではない。
【0120】例えば、上記第1および第2の実施の形態のデジタルカメラ1の全体制御部270によるソフトウェア処理で実現されている機能のうちの一部または全部を専用の回路により実現されてもよい。また逆に、デジタルカメラ1の第1画像処理部240等の専用の回路によって実現されている機能のうち一部または全部を全体制御部270によるソフトウェア処理で実現されてもよい。
【0121】また、画素データの色度u’,v’を用いて赤目候補領域を判定していたが、XYZ表色系における色度や、HLS表色系における色相や彩度など、色度u’,v’以外の値を赤目候補領域の判定に利用してもよい。このような場合においても、利用する表色系における判定基準を予め設定しておき、赤目発生率Pに応じて当該判定基準を変更するようにすれば、赤目領域として確率の高い領域のみを赤目候補領域として抽出することができる。
【0122】また、赤色判定基準領域RAの形状は、矩形領域であるとして説明を行ったがこれに限定されるものではなく、例えば、赤色基準点RPからプラスおよびマイナスu’方向にそれぞれLu、プラスおよびマイナスv’方向にそれぞれLvの幅を持たせた楕円形状等であってもよい。また、u’,v’の両方向に幅を持たせる必要はなく、いずれか一方にのみ幅を持たせた直線であってもよい。
【0123】また、上記第2の実施の形態において、人物領域を囲む矩形の制御領域CAを設定していたが、人物領域をそのまま制御領域として利用してもよい。このように、人物領域をそのまま制御領域とすることで、さらに人物領域に応じて最適な制御で撮影された画像を取得することが可能となる。
【0124】
【発明の効果】以上、説明したように、請求項1ないし6の発明によれば、フラッシュを発光しないで撮影された第1画像と、フラッシュを発光して撮影された第2画像とを用いることにより、第2画像中の赤目領域の検出確率が向上する。また、赤目領域を検出してから人物領域を検出するために、人物領域のみを検出することができるとともに、形状判定などの複雑な処理が必要なく処理速度を向上させることができる。
【0125】また、請求項2の発明によれば、赤目現象はフラッシュを発光した場合のみ発生するものであるため、フラッシュ発光時の第2画像のみにある赤目候補領域を赤目領域として検出することによって、容易かつ確実に赤目領域を検出することができる。
【0126】また、請求項3の発明によれば、赤目発生率に応じて判定基準を変更するため、赤目領域として確率の高い領域のみを赤目候補領域として検出することができる。
【0127】また、請求項4の発明によれば、人物領域に基づいて画像処理の条件が設定されるため、人物領域と人物領域以外の領域とで処理内容を相違させて画像処理を行うことや、人物領域に最適な画像処理を行うことができる。また、人物領域に応じて撮像条件を設定できるため、人物領域に応じて最適な撮影を行うことができる。




 

 


     NEWS
会社検索順位 特許の出願数の順位が発表

URL変更
平成6年
平成7年
平成8年
平成9年
平成10年
平成11年
平成12年
平成13年


 
   お問い合わせ info@patentjp.com patentjp.com   Copyright 2007-2013