米国特許情報 | 欧州特許情報 | 国際公開(PCT)情報 | Google の米国特許検索
 
     特許分類
A 農業
B 衣類
C 家具
D 医学
E スポ−ツ;娯楽
F 加工処理操作
G 机上付属具
H 装飾
I 車両
J 包装;運搬
L 化学;冶金
M 繊維;紙;印刷
N 固定構造物
O 機械工学
P 武器
Q 照明
R 測定; 光学
S 写真;映画
T 計算機;電気通信
U 核技術
V 電気素子
W 発電
X 楽器;音響


  ホーム -> 計算機;電気通信 -> イーストマン コダック カンパニー

発明の名称 イメージ内で目を自動的に位置決めする方法
発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開2003−30667(P2003−30667A)
公開日 平成15年1月31日(2003.1.31)
出願番号 特願2002−162530(P2002−162530)
出願日 平成14年6月4日(2002.6.4)
代理人 【識別番号】100075258
【弁理士】
【氏名又は名称】吉田 研二 (外1名)
【テーマコード(参考)】
5B057
5L096
【Fターム(参考)】
5B057 DA07 DB02 DC03 DC05 DC08 DC19 DC25 
5L096 FA18 FA32 FA33 FA34 FA35 FA62 FA66 FA67 FA69 GA17 GA30 GA38 GA51 JA09
発明者 ショウプ チャン / ジエボ ルオ
要約 課題
人間の目を完全に自動的に、しかしながら計算上は効率的な方法で位置決めする改良された方法を提供する。

解決手段
イメージ内の肌色領域を検出するステップ202と、肌色領域における人間の虹彩色画素を検出するステップ206と、肌色領域において検出された虹彩色画素の位置を使用して、目の位置の初期推定値を形成するステップ214と、推定された初期の目の位置の間の距離に基づいて、各々の目のサイズを推定し、一方の目に対する第1のサーチウインドウを、ウインドウの中心が一方の目に対する推定された初期位置であり且つウインドウのサイズが一方の目の推定されたサイズに比例するように形成し、テンプレートを利用して第1のサーチウインドウ内で目を位置決めするステップ216と、を包含する方法。
特許請求の範囲
【請求項1】 デジタルイメージにおいて人間の目を位置決めするデジタルイメージ処理方法であって、a)前記イメージ内の肌色領域を検出するステップと、b)前記肌色領域における人間の虹彩色画素を検出するステップと、c)前記肌色領域における前記検出された虹彩色画素の位置を使用して、目の位置の初期推定値を形成するステップと、d)前記推定された初期の目の位置の間の距離に基づいて、各々の目のサイズを推定するステップと、e)一方の目に対する第1のサーチウインドウを、前記ウインドウの中心が前記一方の目に対する前記推定された初期位置であり且つ前記ウインドウのサイズが前記一方の目の前記推定されたサイズに比例するように形成するステップと、f)テンプレートを利用して、前期第1のサーチウインドウ内で目を位置決めするステップと、を包むことを特徴とする方法。
発明の詳細な説明
【0001】
【発明の属する技術分野】本発明は、対象物を自動的に位置決めするデジタルイメージ処理方法に関しており、より具体的には、人間の目を位置決めする方法に関する。
【0002】
【従来の技術】デジタルイメージ処理において、人間の目である領域をイメージ内に検出することがしばしば有用である。この情報は、例えば目に関連するイメージ内の他の特徴を位置決めしたりイメージ内の人間の顔の方向を見出したりするために使用される。2000年6月6日付でキム(Kim)に対して発行された米国特許第6,072,892号は、イメージの強度ヒストグラムに対して単純なしきい値法を使用してヒストグラム中で皮膚、白目、及び虹彩孔を表す3つのピークを見出すことにより、顔のイメージ内における目の位置を検出する方法を開示している。
【0003】
【発明が解決しようとする課題】このアプローチにおける問題の一つは、この方法ではイメージ全体を画素毎に走査して各画素にサーチウインドウを配置する必要がある点である。これは膨大な計算パワーを消費する必要があるだけではなく、目の領域以外の場所に生じる同様のヒストグラムパターンのために、誤った検出結果を高い確率で生成し得ることである。
【0004】人間の目を位置決めするニューラルネットワーク法が、カー・ケイ・ソン(Kah-Kay Sung)による「オブジェクト及びパターン検出のための学習及び例の選択(Learning and Example Selection for Object and Pattern Detection)」、A.I.T.R. No.1572(MIT、1996年)に開示されている。この方法は、ニューラルネットワークをトレーニングして、あらかじめ選択された目のテンプレートから許容可能な歪みを有する目を認識することを開示している。オペレータは、オリジナルの目のテンプレートを繰り返し歪ませて、目を歪ませることで作成されるすべての変化に、許容可能または許容外とラベルする。歪んだ例、すなわちトレーニングイメージと関連するラべリング情報とが、ニューラルネットワークに与えられる。このトレーニングプロセスは、ニューラルネットワークがそのトレーニングイメージに対して満足する認識結果を達成するまで繰り返される。トレーニングされたニューラルネットワークは、可能性のある目の複数の変化を効果的に記憶する。目の位置決めは、イメージ内のある領域をニューラルネットワークに供給して、所望の出力、すなわちマッチが生じるかどうかを決定することによって実行される。全てのマッチが、目として特定される。
【0005】現在知られていて且つ使用されている目の特定方法は満足のいくものであるが、欠点が無いわけではない。タッチスクリーン法は、タッチスクリーンに繰り返しタッチして目にズームインするという一定の人間の関与を必要とし、その結果として労力がかかる。さらに、ニューラルネットワーク法は多大なトレーニングを必要とし、且つ可能性のある全ての目のサイズ及び方向についての多大なサーチを実行する必要がある。ルオら(Luo et al.)によって開示された方法(1999年4月6日付けで発行された米国特許第5,892,837号を参照のこと)は、上述の短所を克服するようにイメージ内の目の位置決め方法を改良する。ルオの方法では、目の位置のサーチを、ユーザによって提供された2つの概略位置から開始する。あるアプリケーションでは、完全に自動化された目の位置決めメカニズムが望まれる。
【0006】したがって、デジタルの顔イメージ内に埋め込まれた他の情報を利用して、人間の目を完全に自動的に、しかしながら計算上は効率的な方法で位置決めする改良された方法が必要とされている。
【0007】
【課題を解決するための手段】上記の必要性は、本発明によれば、前記イメージ内の肌色領域を検出するステップと、前記肌色領域における人間の虹彩色画素を検出するステップと、前記肌色領域における前記検出された虹彩色画素の位置を使用して、目の位置の初期推定値を形成するステップと、前記推定された初期の目の位置の間の距離に基づいて、各々の目のサイズを推定するステップと、一方の目に対する第1のサーチウインドウを、前記ウインドウの中心が前記一方の目に対する前記推定された初期位置であり且つ前記ウインドウのサイズが前記一方の目の前記推定されたサイズに比例するように形成するステップと、テンプレートを利用して、前期第1のサーチウインドウ内で目を位置決めするステップと、を包含する、デジタルイメージにおいて人間の目を位置決めするデジタルイメージ処理方法を提供することによって、満足される。
【0008】本発明は、前を向いた顔イメージ内における目の位置を自動的に得るために効果的であり、サーチされなければならないイメージの領域を減らし、これによって目を位置決めするために必要とされた計算量を非常に削減し、誤った目の検出結果の発生を減らすという効果がある。
【0009】
【発明の実施の形態】図1は、本発明を実行するにあたって有用なイメージ処理システムを示しており、このシステムは、フィルムスキャナ、デジタルカメラのようなカラーデジタルイメージソース100、またはピクチュアCDを有するコンパクトディスクドライブのようなデジタルイメージ記憶装置を含む。デジタルイメージソース100からのデジタルイメージは、プログラマブルパーソナルコンピュータのようなイメージプロセッサ102、またはサン・スパーク(Sun Sparc)ワークステーションのようなデジタルイメージ処理ワークステーションに供給される。イメージプロセッサ102は、CRTディスプレー104、キーボード106及びマウス108のようなオペレータインターフェースに接続され得る。イメージプロセッサ102はまた、コンピュータ読み取り可能記憶媒体107にも接続される。イメージプロセッサ102は、処理されたデジタルイメージを出力装置109に伝送する。出力装置109は、ハードコピープリンタ、長期イメージ記憶装置、他のプロセッサ又は例えばインターネットに接続されたイメージ通信装置への接続を備えることができる。
【0010】以下の記述では、本発明の好適な実施形態が、ある方法として説明される。しかし、他の好適な実施形態では、本発明は、説明される方法に従ってデジタルイメージ内の人間の目及び虹彩を検出するためのコンピュータプログラム製品を備えている。本発明を説明するにあたって、本発明のコンピュータプログラムを、図1に示されるタイプのパーソナルコンピュータのような任意のよく知られたコンピュータシステムによって利用できることは明らかである。しかし、多くの他のタイプのコンピュータシステムを使用して、本発明のコンピュータプログラムを実行することができる。したがって、コンピュータシステムはここでは詳細には説明されない。
【0011】本発明のコンピュータプログラム製品が、よく知られたイメージ操作アルゴリズム及びプロセスを使用し得ることが理解されるであろう。したがって、本願明細書は特に、本発明の方法の一部を形成するか、又はそれと直接的に協同するアルゴリズム及びプロセスに関したものになっている。これより、本発明のコンピュータプログラム製品の実施形態は、実現に有用であるが本願明細書の中では特に示されたり説明されたりしていないアルゴリズム及びプロセスを具現化し得ることが理解されるであろう。そのようなアルゴリズム及びプロセスは従来のものであって、そのような技術における一般的な技術の範囲内にある。
【0012】そのようなアルゴリズム及びシステム、ならびに本発明のコンピュータプログラム製品に関与するか又は協同してイメージを生成するか或いは処理するハードウエア及び/又はソフトウエアは、本願明細書の中では特に示されたり説明されたりせず、当該技術において既知であるようなアルゴリズム、システム、ハードウエア、コンポーネント、及び要素から選択され得る。
【0013】本発明の方法を実行するためのコンピュータプログラムは、コンピュータ読み取り可能記憶媒体に記憶され得る。この媒体は、例えば、(ハードドライブ又はフレキシブルディスクのような)磁気ディスク又は磁気テープのような磁気記憶媒体、光ディスク、光テープ、又は機械読み取り可能バーコードのような光記憶媒体、ランダムアクセスメモリ(RAM)又はリードオンリーメモリ(ROM)のような固体電子記憶装置、あるいはコンピュータプログラムを記憶するために使用される任意の他の物理装置又は媒体であり得る。本発明の方法を実行するためのコンピュータプログラムはまた、インターネット又は他の通信媒体によってイメージプロセッサに接続されたコンピュータ読み取り可能記憶媒体に記憶されても良い。当業者は、そのようなコンピュータプログラム製品の等価物がハードウエアとしても構成され得ることを、容易に認識するであろう。
【0014】ここで図2を参照すると、本発明の方法が更に詳細に説明されている。図2は、本発明の虹彩色画素検出方法の一つの実施形態を描いたフローチャートである。図2に示された実施形態において、虹彩色画素検出200は、最初にイメージ内の肌色領域を検出し、それからその肌色領域から虹彩画素を特定することによって達成される。
【0015】肌色検出における第1のステップは、図2にブロック201として示される色ヒストグラムイコライゼーションである。色ヒストグラムイコライゼーションブロック201は、処理対象のイメージを受け取り、そのイメージが肌色検出を可能にする形式であることを確認する。このステップは、人間の目が、照明条件、フラッシュの設定、又はその他の状況のためにイメージ内で任意の数の色になってしまうために必要とされている。これが、イメージ内の皮膚を自動的に検出することを困難にしている。色ヒストグラムイコライゼーションブロック201において、各イメージの統計的分析が実行される。イメージ内における任意の一つの色チャンネルの平均強度が所定の値よりも低ければ、そのときには色ヒストグラムイコライゼーションがそのイメージに対して実行される。そのような場合、統計的分析によってそのイメージが照明条件、フラッシュの設定、又はその他の状況のために外見が改変されている皮膚領域を含み得ることが示唆されると、そのときには、そのようなイメージは肌色領域が検出できるように改変される。色ヒストグラムイコライゼーションブロックの後に、イメージにおける肌色領域のサーチが肌色検出ブロック202にて行われる。デジタルイメージ内の皮膚は多くの方法で検出することが可能であるが、デジタルイメージ内の皮膚検出の好適な方法は、共通して譲渡されて同時係属中の米国特許出願第09/692,930号に説明されている方法である。この方法では、肌色画素は、イメージの十分にバランスが取れた大きな母集団から収集された肌色の可能性のある範囲を含む作業カラー空間を定義することによって、他の画素から分離される。画素が作業カラー空間内にてある色を有していると、その画素は肌色画素と特定される。
【0016】肌色検出ブロック202は、イメージ内の肌色画素の領域を特定する。この領域は、多くの方法で定義されることができる。ある実施形態では、肌色領域は、イメージ内で肌色を有する画素を特定する画素位置セットを生成することによって定義される。他の実施形態では、肌色画素のみを含む改変イメージが生成される。さらに他の実施形態では、肌色検出ブロック202は、そのイメージ内で肌色領域の輪郭となる境界を定義する。一つより多くの肌色領域がイメージ内で定義できることが、わかるであろう。
【0017】楕円領域抽出ブロック204は、肌色検出ブロック202によって検出された肌色領域を調べ、顔を示し得る肌色領域の位置を決める。人間の顔はほぼ楕円形であるので、肌色領域を調べて楕円形の肌色領域の位置を求める。楕円形の肌色領域が見つかると、楕円領域抽出ブロック204がその楕円形肌色領域の形状的特性を測定する。楕円領域抽出ブロック204は、これらの測定結果を使用して、そのイメージ内の顔のサイズ及び顔の位置を記述するパラメータを定義する。
【0018】図3は、イメージ内の楕円形肌色領域を定義するために使用される形状パラメータの間の関係を描いた図である。形状パラメータは、肌色領域のモーメントを計算し、そのモーメントを使用して楕円パラメータを推定することによって決定される。図3に示されているように、これらのパラメータには、楕円頂部300、楕円底部302、楕円左端304、楕円右端306、楕円中心行308、楕円中心列310が含まれる。これらのパラメータは、引き続くイメージの処理にて使用されることができる。本発明の方法を楕円形以外の形状を有する肌色検出領域を使用して実行できること、及び他の形状パラメータをそのような形状に関連して設定できることがわかるであろう。
【0019】楕円領域の抽出が実行された後に、虹彩色画素検出ブロック206がその楕円形肌色領域内の画素を調べて、虹彩色画素を検出する。本発明の方法では、虹彩色画素検出ブロック206は、画素の赤色強度を測定することによって、その画素が虹彩であるかどうかを判定する。赤色強度レベルが測定されるのは、人間の皮膚が比較的高い赤色強度レベルを有しているのに比べて、人間の虹彩が有する赤色強度レベルが低いからである。しかし、本発明の好適な方法は、ある画素が虹彩と分類されるか又は非虹彩と分類されるかを決定するために、赤色レベルしきい値方法を使用しない。
【0020】その代わりに、本発明の好適な方法では、画素が虹彩か非虹彩かを確率分析に基づいて分類する。この確率分析は、虹彩統計モデル及び非虹彩統計モデルを適用する。虹彩統計モデルは、所与の画素が虹彩画素である確率を、その画素の赤色強度レベルに基づいて定義する。同様に、非虹彩統計モデルは、所与の画素が非虹彩画素である確率を、その画素の赤色強度レベルに基づいて定義する。これらのモデル間の関係は、図4に例として示されているように非線形である。図4は、所与の画素が虹彩画素であることを比赤色強度の関数として記述する条件付き確率402と、所与の画素が非虹彩画素であることを比赤色強度Iの関数として記述する条件付き確率404との図である。
【0021】確率分析は、多くの形態をとることができる。例えば、確率は、これらの確率間の関係に基づいて虹彩又は非虹彩と分類された画素と、多くの方法で結び付けられることができる。しかし、好適な実施形態では、ベイズモデルとして知られる数学的構成を使用して確率を結びつけて、ある画素が虹彩に属する所与の赤色強度を有していることに対する条件付き確率を生成する。
【0022】この実施形態では、ベイズモデルは以下のように適用される。
【0023】
【数1】

ここで、P(虹彩|I)は、所与の画素強度が虹彩に属することの条件付き確率であり、P(I|虹彩)は、所与の虹彩画素が比強度Iを有することの条件付き確率であり、P(虹彩)は、楕円顔領域内に虹彩が存在する確率であり、P(I|非虹彩)は、所与の非虹彩画素が比強度Iを有することの条件付き確率であり、P(非虹彩)は、楕円顔領域内に非虹彩画素が存在する確率である。ベイズモデルは更に、楕円顔領域内に虹彩が存在する確率と楕円顔領域内に非虹彩画素が存在する確率とを与える。ベイズモデルに基づく確率分析を使用して、ある画素が虹彩に属する所与の赤色強度を有する確率が例えば0.05よりも大きいと、その画素は虹彩と分類される。
【0024】上述の実施形態では、楕円頂部300、楕円底部302、楕円左端304、及び楕円右端306によって定義された楕円形肌色領域内の画素のみが調べられる。調べる対象の画素を楕円形肌色領域内の画素に限定することによって、調査対象の画素数を低減し、虹彩ではない画素を虹彩と分類してしまう可能性を減らしている。楕円以外の形状を使用して人間の顔をモデル化できること、及びそのような形状に適したパラメータをそのイメージの引き続く処理にて使用できることが、理解されるであろう。
【0025】さらに、最初に楕円又はその他の形状の領域を検出することなくイメージ内の肌色領域から虹彩画素を検出できることが、理解されるであろう。そのような場合には、肌色領域の各画素を調べて虹彩色画素を検出し、且つ肌色領域を定義するパラメータがその後の目の検出プロセスで使用される。
【0026】図5は、画素を分類するために使用される統計モデルを発展させるための、図2の虹彩色/ベイズモデルトレーニングブロック226にて使用されるプロセスを描いたフローチャートである。このステップは、虹彩を検出するための方法を使用して虹彩画素を検出する前に使用される。図示されているように、前を向いた顔イメージの多くのサンプルが収集されて調べられる。各イメージ内の顔領域における全ての虹彩画素及び非虹彩画素が、それから手作業で特定502、504される。次に、所与の虹彩画素が比赤色強度Iを有する条件付き確率P(I|虹彩)が計算され、楕円顔領域内に虹彩が存在する確率P(虹彩)506が計算され、それから所与の非虹彩画素が比赤色強度Iを有する条件付き確率P(I|非虹彩)が計算され、最後に楕円顔領域内に非虹彩画素が存在する確率P(非虹彩)508が計算される。計算された虹彩及び非虹彩の統計的モデルがベイズ公式にて使用され、所与の画素強度が虹彩に属することの条件付き確率P(虹彩|I)510が作成される。アプリケーションでは、ベイズモデルを使用して、虹彩色画素検出ブロック206にて使用されるルックアップテーブルを生成することができる。
【0027】虹彩色画素検出ブロック206は、イメージ内の虹彩色画素の位置を特定する。ある場合には、検出される虹彩色画素が目に関連していることを確認することが望まれる。これは、目の検出ステップを実行することによって行われる。目の位置の初期推定ブロック214を使用して、目の位置が推定される。虹彩画素がイメージ内の目に関連しているかどうかを決定するために、多くの方法があることが理解される。本発明のある好適な実施形態では、虹彩色画素の位置を使用して、虹彩画素がイメージ内の目に関連しているかどうかの決定プロセスを促進している。
【0028】検出された虹彩色画素は、クラスタ208にグループ化される。一つのクラスタは虹彩色画素の非空セットであって、そのクラスタ内の任意の画素が、そのクラスタ内の他の画素から所定の距離内にもあるという特徴を有している。所定の距離としての一例は、デジタルイメージ高さの1/30である。虹彩色画素グループ化プロセス208は、このクラスタの定義に基づいて、虹彩色画素をクラスタにグループ化する。しかし、画素が他の基準に基づいてクラスタ化されてもよいことが理解されるであろう。
【0029】ある状況下では、画素クラスタが有効ではないことがあり得る。クラスタは、例えば、含まれる虹彩色画素が多すぎるため、又はクラスタ内の画素の形状的関係からクラスタが虹彩を表していないことが示唆されるために、無効になり得る。例えば、高さ対幅の比率が2.0よりも大きいと、そのときにはこのクラスタは無効である。さらに例えば、クラスタ内の画素数がそのイメージ内の全画素数の10%よりも多いと、そのときにはこのクラスタは無効になる。無効の虹彩画素クラスタは、本発明の方法による更なる考慮の対象から除外される。さらに、虹彩色画素クラスタ有効化プロセスが、以下のステップにて実行される。
【0030】クラスタ化処理の後、各クラスタの中心が、クラスタ中心発見ブロック210にて計算される。クラスタの中心は、クラスタの「重心」として決定される。クラスタの中心位置は、イメージ座標系の原点に関して計算される。あるデジタルイメージに対するイメージ座標系の原点は、イメージ境界の左上角として定義され得る。虹彩色画素クラスタ有効化プロセスは、ブロック210に進む。クラスタ中心の垂直座標が楕円中心行308+マージンMよりも大きいと、そのときにはこのクラスタは無効であり、その後の考慮対象から除外される。マージンMの値の例は、(楕円底部302−楕円頂部300)の5%である。
【0031】楕円区分ブロック212は、楕円中心列310パラメータを使用して楕円形肌色領域を左半分領域と右半分領域とに分割する。図6に示されているように、虹彩画素クラスタ602とこの虹彩画素クラスタ602の中心位置600とは、楕円中心列310によって分離される左半分領域又は右半分領域604,606のいずれか一方に存在する。
【0032】ブロック214において、目の位置の初期推定値形成プロセスが、左半分領域にある各クラスタと右半分領域にある各クラスタとのペアを、クラスタ中心位置に基づいて形成する。ペアとなる2つのクラスタの中心間の距離が楕円右端306と楕円左端304との間の距離のK倍よりも小さく、且つペアとなる2つのクラスタの中心間の垂直距離が楕円頂部300と楕円底部302との間の距離のN倍よりも小さいと、このクラスタペアの中心位置が2つの目の初期推定値として使用される。Kの値の例は0.4であり、Nの値の例は0.1である。目の位置のペアの初期推定値を形成するプロセスにより、目の位置の推定値ペアが1対より多く見出されて、これらがブロック216にて使用されて最終的な目の位置を決定するために使用されることがある。目の位置決定プロセスは、次に詳しく説明される。
【0033】ここで、図7を参照すると、目の位置決定プロセスのフローチャートが描かれている。このプロセスは、図13のように、S2において、ブロック214から位置データを受領して開始される。プロセスはそれから、S4にて、以下の等式によって目の推定サイズを決定する。この等式は図14にグラフィック的に描かれており、ここでdは目の位置の初期推定値ペアの間の画素距離であり、sは目の推定画素サイズ又は長さである。本発明では、s=d/1.618である。
【0034】目の推定角度方向もまた、S4にて、図14に描かれているように眼の位置の初期推定値ペアから生成される。ここでは、2つの目は一列に並んでおり、したがって各々の目の方向は2つの目を結ぶ線の方向とほぼ同じであるとする。この推定された角度をここではθとすると、このθは目の位置の初期推定値ペアを結ぶ線と、目の位置の初期推定値の一つ、好ましくは左の目の位置を通る水平線との間である。
【0035】この推定された目のサイズから、ステップS6において、イメージ内の目が目のテンプレートとほぼ同じサイズを有するように入力イメージの解像度が変更されることを指摘しておくことは、有益である。図13に示されているように、本発明の好適な目のテンプレートは、水平方向に19画素、垂直方向に13画素の解像度を有する。この解像度の変更又はサイズ変化により、イメージ内の目が、テンプレートの同じ解像度で同様の構造上のディテールと合致することを可能にする。このことは、以下に詳細に説明される。代替案は、異なるディテール量を有するテンプレートのセットをデザインして、イメージの解像度を変更させずに保つことである。そのような代替的なデザインは、当業者によって容易に達成される。
【0036】図7に戻ると、ステップS8において、方形状のサーチウインドウが、目の位置の初期推定値の一つの周囲に形成される。そのウインドウの側辺は、以前に決定された目の推定サイズの重み付けされた積として定義されている。これは、図15にグラフィック的に描かれている以下の等式によって描かれている。ここで、wは画素幅であり、hは画素高さであり、sは目の推定サイズ(s=d/1.618)である。目の位置の初期推定値は、サーチウインドウの中心として使用される。サーチウインドウの他のデザインは、当業者によって容易に達成される。
【0037】ステップS10において、テンプレートの中心画素を定義されたサーチウインドウ内の各画素に連続的に移動し、特定のタイプのゾーンベース相互相関を各画素位置について実行して目の中心画素を決定することによって、テンプレートとイメージとの間の相互相関が計算される。これは、以下に詳細に説明される。
【0038】簡単に図10を参照すると、ステップS10のゾーンベース相互相関が開始されると処理はステップS10a(図11)に移行する。テンプレートが既に規格化された状態で記憶されていないと、ステップS10bにおいて、そのときには検索されて規格化される。簡単に図13を参照すると、テンプレートは好ましくは、複数の目をサンプリングしてこれらの対応する画素値を、例えば各画素位置における平均値を取ることによって関連付けすることから生成される。このテンプレートはそれから4つの副領域に区分される。これらの副領域は、まぶた、虹彩、及び目の2つの角を表す。テンプレートを規格化するために、テンプレートイメージ全体に対する平均画素値を各画素値から差し引いて、その結果として得られる画素値をテンプレートイメージ全体の標準偏差によって割り算して、規格化された画素値を得る。したがって、この結果として得られるテンプレートは、零と単位分散との平均値を有している。
【0039】再び図11を参照すると、テンプレートの中心を対象の画素位置に置いた上で、ゾーンベース相互相関は、第1にステップS10cにおいて、その中心が現在の画素にあって且つそのサイズ/方向がテンプレートと同じであるブロックをイメージから抽出し、ステップS10dにおいて、抽出されたイメージブロックを規格化することを含む。ステップS20eにおいて、抽出されたブロックの各副領域とテンプレート内のその対応物との間の相互相関を、イメージの画素を副領域の中心に置いて計算する。これをここでは、ゾーンベース相関と称する。各副領域に対する相互相関が所定のしきいレベル、好ましくは0.5を満たすか又はこれを超えると、ステップS10fにおいて、同じ対象イメージ画素に対するテンプレート全体の相互相関が実行され、これをここでは完全相関と称する。しきいレベル、好ましくは0.7が再び満たされると、図12のステップS10hにおいて、プログラムは一時的に相関値及びテンプレートのサイズ/方向をバッファに記憶する。一つ又はそれ以上の副ゾーンに対する相互相関がしきいレベルを満たさないか、又はテンプレート全体に対する相互相関がしきいレベルを満たさないと、ステップS10iにおいて、対象画素における相互相関は「0」に設定されて、関連するサイズ/方向が「N/A」に設定される。プログラムはそれから、ステップS101において、ウインドウ内の最後の画素でなければ次の画素位置に対して続行され、上述の区分された相互相関及び完全相互相関を反復する。
【0040】上述のゾーンベース相関と完全相関とが、目のサイズ及び方向を改善(リファイン)させるために、ステップS10jにおいて、推定サイズ近傍の複数のサイズ(増加及び減少させる)と推定方向近傍の複数の方向とについてテンプレートを変更することによって反復される。テンプレートのサイズ/方向のそのような増減は、当業者によって容易に達成される。この改善には、先に説明した同じステップS10c〜S10iが関与する。対象の画素位置における一つ又はそれ以上の完全相関スコアがしきい値を越える値をもたらしたら、プログラムは、ステップS10kにおいて、一時バッファにおける最高の相関値とその最高値を得るために使用されたその対応するテンプレートサイズ/方向とを選択して、それらをメモリに配置する。上述のテンプレートサイズの変更が目の推定サイズをさらに改善するためのものであること、及び最も合致するテンプレートの変化が今度は実際の目の正確なサイズ/方向を示すという指摘が、理解を促進する。
【0041】例えば、テンプレートサイズは10%増加し且つ10%減少する。最高の相関値が19×13の解像度のテンプレートから得られたら、目の推定サイズは調節されない。他のいずれかの解像度が最高相関値を作り出したら、目の推定サイズは、最高相関スコアを作り出すテンプレートサイズに合致するように調節される。同様に、テンプレートの方向は10度増加し且つ10度減少する。対象の画素位置における一つ又はそれ以上の完全相関スコアがしきい値を越える値をもたらすと、プログラムは、一時バッファにおける最高の相関値とその最高値を得るために使用されたその対応するテンプレート方向とを選択して、それをメモリに配置する。最高相関値が元々の推定方向に由来するものであると、目の推定方向は調節されない。他のいずれかの方向が最高相関値を作り出したら、目の推定方向は、最高相関値を作り出すテンプレート方向に合致するように調節される。
【0042】プロセスはそれから次の画素位置に続き、ステップS10kにおいて、サイズ及び方向が対象画素に対して改善された後に、ステップS101において、上述のゾーンベース相関及び完全相関が反復される。サーチウインドウがそれから他方の目に対して定義され、第1の目に対する上述のプロセスがそれから、このサーチウインドウ内の画素に対して反復される。
【0043】図9を再び参照すると、この時点でプロセスは、ステップS12において、各ウインドウ内の最高相関スコアを含む位置における画素を選択してもよく、又は、プロセスを続行して、ステップS14〜S20において、各ウインドウ内における複数のピーク相関点の中の最も可能性のある候補を目の中心画素として検証してもよい。ピーク点は、ステップS14において、局所的な最大完全相関スコアを有する点として位置決めされる。これらのピークの位置は、ステップS16において、バッファに記憶される。
【0044】図16を参照すると、複数の検証ステップが使用される。これらのステップでは、目のペアについての既知の特性を相関中に選択された全ての画素の組み合わせにマッチングさせて、スコアリング技術(フィギュア・オブ・メリット)を使用して目の中心として最も可能性のある位置のペアを選択する。第1のステップは、ステップS18において、選択された画素の全ての組み合わせを、2つのウインドウ内における可能性のある候補として形成することである。言い換えると、図16に描かれているように、一つのウインドウからの各ピーク画素は、他方のウインドウにおける他のピーク画素とペアになる。角度方向がそれから決定される(すなわち、対象の2つの画素間に形成された線と、それらの点の一方、好ましくは左の画素を通る水平線との間の角度)。角度方向が、ステップS10cで推定された角度方向の5度以内になければ、このペアは、両方の目の中心に対する可能性のある候補から除外される。角度方向が推定角度方向の5度以内にあれば、このペアは、それに対する特定のスコアと共に記憶される。
【0045】また、2つの目の候補間の距離が決定される。この距離が、人間の顔の知識に従って目のサイズに比例しなければ、このペアは、両方の目の中心に対する可能性のある候補から除外される。比例関係が通常の比例関係の20%以内であれば、このペアは、それに対する特定のスコアと共に記憶される。
【0046】図18を参照すると、次のステップでは、可能性のある組み合わせにおける2つの画素を通る水平線に沿って画素を取る。各組み合わせに対するコード値対画素位置のグラフは、図18に描かれている形状を有するであろう。この形状から実質的にずれていたら、このペアは、目の中心に対する可能性のある候補から除外される。形状が実質的にずれていなければ、このペアは、それに対する特定のスコアと共に記憶される。このずれは、好ましくは中央ピーク点と2つのバレイ点の平均との比として決定されるが、当業者であれば、ずれのその他の適切な測定値を決定することができる。
【0047】図20を参照すると、それから全ての組み合わせの対称性が調べられる。ここでは、全組み合わせの間の距離を取り、それらの中間の距離で、この中間点を通って垂直方向に画素を通るイメージの両側で対称性を探す。顔を含む対象領域は、好ましくは、目の間の距離の2倍の幅を有し且つ目の間の距離の3倍の高さを有する。顔領域は、目の位置に従って2つの半面、左側と右側とに区分される。対称性は、好ましくは左側と右側の鏡像との間の相関によって決定されるが、当業者であれば、対称性のその他の適切な測定値を決定することができる。2つの半面に対して対称性が存在すれば、このペアとその特定のスコアとが再び記憶される。対称性が存在しなければ、このペアは、可能性のある候補ペアから除外される。
【0048】さらに、図20を参照すると、次に、イメージは推定位置に口が存在するかを調べられる。プロセスは、目の間の距離に等しい幅を有し且つ分析されている画素ペアから所定の距離にある長方形のボックス内で、3つ又は4つの線(端)をサーチする。この所定の距離は、候補ペアの間の距離の1.2倍であるが、当業者であれば、その他の距離値又は同様の基準を決定し得る。線(端)が存在すれば、このペアとその特定のスコアとが記憶される。存在しなければ、このペアは可能性のある候補ペアから除外される。
【0049】組み合わせは、次に、画素位置が初期入力位置に近接しているかを調べられる。近接さは、画素の距離によって測定される。近接していれば、そのペア及びそのスコアが記憶される。近接していなければ、このペアは可能性のある候補から除外される。組み合わせはそれから、2つの候補の合成相関を調べられる。合成相関は、2つの候補位置における完全相関スコアの和である。合成相関が所定のしきい値を越えていると、そのペア及びそのスコアが記憶される。越えていなければ、このペアは可能性のある候補から除外される。ステップS20において、最も可能性のあるペアは、最高累積スコアを有するペアである。目の最終的な位置が、ステップS22において、このペアによって決定される。
【0050】各々の上述のフィギュア・オブ・メリットに対するスコアリング関数の形状は、図19に描かれている。このスコアリング関数によって、もしある組み合わせが特定のフィギュア・オブ・メリットのしきい値を満たさなくても、大きな削減を受けるが、依然として更なる考慮の対象として保持されることができる。フィギュア・オブ・メリットxがしきい値T0に関して満たされれば、スコア累積器への入力となるスコアリング関数の出力は、最大正規化値である1.0に近くなる。xがしきい値を満たさないと、xが満足しない度合いに応じて、削減の増加量が評価される。そのようなスコアリング関数を使用することの効果は、候補がしきい値を僅かに満たさないが最高の累積スコアを有する結果となったときに、ロバスト性(エラー強さ)が改良されることである。
【0051】本発明の主題はデジタルイメージを理解する技術に関しており、これは、デジタルイメージをデジタル的に処理して認識し、これによって人間が理解可能なオブジェクト、属性又は条件に対して有用な意味を割り当て、それから、得られた結果をそのデジタルイメージの更なる処理にて利用する技術を意味するものと、理解される。




 

 


     NEWS
会社検索順位 特許の出願数の順位が発表

URL変更
平成6年
平成7年
平成8年
平成9年
平成10年
平成11年
平成12年
平成13年


 
   お問い合わせ info@patentjp.com patentjp.com   Copyright 2007-2013