Warning: copy(.htaccess): failed to open stream: Permission denied in /home/jp321/public_html/header.php on line 8
画像中で素材の領域を検出する方法 - イーストマン コダック カンパニー
米国特許情報 | 欧州特許情報 | 国際公開(PCT)情報 | Google の米国特許検索
 
     特許分類
A 農業
B 衣類
C 家具
D 医学
E スポ−ツ;娯楽
F 加工処理操作
G 机上付属具
H 装飾
I 車両
J 包装;運搬
L 化学;冶金
M 繊維;紙;印刷
N 固定構造物
O 機械工学
P 武器
Q 照明
R 測定; 光学
S 写真;映画
T 計算機;電気通信
U 核技術
V 電気素子
W 発電
X 楽器;音響


  ホーム -> 計算機;電気通信 -> イーストマン コダック カンパニー

発明の名称 画像中で素材の領域を検出する方法
発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開2003−157438(P2003−157438A)
公開日 平成15年5月30日(2003.5.30)
出願番号 特願2002−257998(P2002−257998)
出願日 平成14年9月3日(2002.9.3)
代理人 【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦 (外2名)
【テーマコード(参考)】
5B057
5C066
5L096
【Fターム(参考)】
5B057 CE09 CE16 DA08 DC01 DC23 DC25 
5C066 BA17 DC06 DD06 EF02 GA02 GA05 GA32
5L096 AA02 AA06 CA02 FA01 FA15 FA22 FA37 FA41 GA51 HA11 MA03
発明者 ジエボ ルオ / アミット シンガル
要約 課題
本発明は、エラー強い、主要な素材を検出する方法を提供することを目的とする。

解決手段
本発明は、(赤、緑、青)値のピクセルを有するディジタル色画像中の素材領域を検出する方法を開示し、この方法は、色及びテクスチャ特徴に基づいて素材領域に属するとして信頼値を各ピクセルに割当てる段階と、信頼値を閾値処理することで空間的に隣接する素材領域候補を作る段階と、素材に領域が属する確率を決定するために素材の一つ以上の特有の特徴に基づいて空間的に隣接する領域を解析する段階と、検出された素材領域と素材に領域が属する関連する確率とのマップを生成する段階とを有する。
特許請求の範囲
【請求項1】 (赤、緑、青)値のピクセルを有するディジタル色画像中の素材領域を検出する方法であって、a)色及びテクスチャ特徴に基づいて上記素材領域に属するとして信頼値を各ピクセルに割当てる段階と、b)上記信頼値を閾値処理することで空間的に隣接する素材領域候補を作る段階と、c)上記素材に領域が属する確率を決定するために上記素材の一つ以上の特有の特徴に基づいて上記空間的に隣接する領域を解析する段階と、d)検出された素材領域と上記素材に上記領域が属する関連する確率とのマップを生成する段階とを有する方法。
発明の詳細な説明
【0001】
【発明の属する技術分野】本発明は、ディジタル画像処理及びディジタル画像理解の分野に一般的に係わり、より特定的には、写真及び他の同様の画像において曇った或いは雲に覆われた空、芝生、砂、雪、及び、静止状態の水のような素材領域を検出するシステムに関わる。
【0002】
【従来の技術】写真は、幅広い種類の、シーンを構成する要素である素材を含む。主要な、最も頻繁に見られる素材の例として、空、芝生、砂、雪等がある。空は、写真画像で頻繁に見られる最も重要な素材である。空の検出は、しばしば様々な画像理解、向上、及び、操作タスクを容易にする。空は、シーンのカテゴリー化(例えば、アウトドアシーン対インドアシーン、ピクニックシーン対会議シーン、都市対風景等)に対するアウトドア画像の強いインジケータである。例えば、Proc.IEEE Intl.Workshop on Content‐based Access of Image and Video database, 1998におけるSzummer外による“Indoor‐Outdoor Image Classification”、及び、Proc.IEEE Intl.Workshop on Content‐based Accessof Image and Video database, 1998におけるVailaya外による“On Image Classification:City vs. Landscape”を参照したい(これらは両方とも本願で参照として組み込む)。空に関する情報を用いて、「空を大部分含むアウトドア画像」又は「夕焼けの画像」等のような質問を作ることが可能になる。(例えば、本願で参照として組み込むProc.IEEE Intl.Workshop on Content‐based Access of Image and Video database, 1998におけるSmith外による“Decoding Image Semantics Using Composite Region Templates”を参照する)。従って、空の検出は、より効果的なコンテンツベースの画像引出しにつながる。
【0003】空の最も重要な特徴はその色であり、空の色は晴れていると通常水色である。曇った又は雲に覆われた空の場合、空の色はより大きい変化を有する。しかしながら、曇った及び雲に覆われた空であっても、空の領域は画像中で最も明るい領域になりがちである。晴れた空に対して、曇った或いは雲に覆われた空は、比較的高いレベルのテクスチャ情報を含む。空の色は、画像で晴れた空を検出するために使用される。例えば、Jamzadehに対して1999年3月30日に発行された米国特許第5,889,578号(本願で参照として組み込む)は、更なる説明を提供することなく色のキュー(「水色」)を使用して空を検出することを開示する。
【0004】Goodwinに対して1997年6月24日に発行された米国特許第5,642,443号(本願で参照として組み込む)は、画像中の空と関連するピクセルを示すために色及びテクスチャ(の不足)を用いる。特に、Goodwinは、色度によってドメインをセクタに区分することを利用する。方向付けられていない画像の2つの長辺の方向にサンプリング域があるピクセルが検査される。空の色の非対称的な分布が見つかった場合、画像の向きは推定される。写真全体のオーダーの向きは、オーダーにおける個々の画像に対する推定に基づいて決定される。Goodwinによる全体的なオーダーの方向付け方法が成功するためには、(少なくとも80%の成功率のものが略全ての画像においてみつかるよう)十分に大きい群の特徴、又は、(全ての画像の約40%において特徴が見つけられる、90%以上の成功率を有する)比較的小さい群の特徴が必要である。従って、Goodwinによる方法を用いると、非常にエラー強い空検出方法は必要なくなる。
【0005】Saber外による仕事(本願で参照として組み込む“Automatic Image Annotation Using Adapative Color Classification”,CVGIP:Graphical Modelsand Image Processing,vol.58,pp.115‐126,1996)では、空を検出するために色の分類が使用される。空のピクセルは、2Dガウス確率密度関数(PDF)に従うと仮定する。従って、空のピクセルを決定するために、所与の画像に対する適応的に決定される閾値と共に、マハロノビス(Mahalonobis)距離に類似するメトリックが使用される。最後に、上述の色分類にだけ基づいて画像から抽出される空、芝生、及び、肌の存在に関する情報は、画像のカテゴリー化及びアノテーション(例えば、「アウトドア」「人」)を決定するために使用される。
【0006】全体的な類似性にだけ基づいてナチュラル画像を適合することはこの程度までであることを認識する。従って、上記したSmithは、コンテンツベースの画像引出しの情況において合成領域テンプレート(CRT)を用いて画像の意味をデコードする方法を展開した。Smithによる処理を用いて、色領域セグメンテーションを手段として画像が区分された後、典型的な5×5グリッドで垂直及び水平走査が実施され、本質的には領域間での空間的関係を示す5×5マトリクスであるCRTが形成される。公知の画像の向きを仮定して、画像の上部にある青く延在するパッチは、晴れた空を表わす可能性が高く、空及び雲に対応する領域は芝生及び木に対応する領域よりも上にある可能性が高い。これらの仮定は必ずしも有効的でないが、上記のSmithによって、CRT、色ヒストグラム、及び、テクスチャを用いて実施される質問が「夕焼け」及び「自然」のようなカテゴリーに対してより効果的であることが示された。
【0007】素材の検出に対する従来の技法の主な欠点は、素材特有の特徴が考慮されないため、曇った及び雲に覆われた空のような主要な素材を確実に識別することができない点である。更に、幾つかのこれら技法は、画像の方向付けの先験的な知識に頼らなくてはならない。主要な素材の存在の確実な検出、特に、偽陽性検出における失敗は、下流での適用において失敗をもたらす場合もある(例えば、誤って検出された空領域は画像の方向付けの推測を不正確にさせる。)従って、よりエラー強い主要な素材を検出する方法が必要である。
【0008】
【発明が解決しようとする課題】本発明は、エラー強く、主要な素材を検出する方法を提供することを目的とする。
【0009】
【課題を解決するための手段】上記必要性は、(赤、緑、青)値のピクセルを有するディジタル色画像中の素材領域を検出する方法を提供することで満たされる。これは、色及びテクスチャ特徴に基づいて素材領域に属するとして信頼度を各ピクセルに割り当てる段階と、信頼値を閾値処理することで空間的に隣接している素材領域候補を作る段階と、領域が素材に属する確率を決定するために素材の一つ以上の特有の特徴に基づいて空間的に隣接している領域を解析する段階と、検出された素材領域及び素材に領域が属する関連する確率のマップを生成する段階とによって実現される。
【0010】本発明の一つの利点は、色及びテクスチャ特徴に加えて主要の素材の物理的ベースの特有の特徴を利用する点である。空を検出する場合、色及びテクスチャ特徴、続いて、領域ベース解析を行うことによって本発明による方法は、壁及び衣類のような他の同様の色が付けられた素材にだまされる可能性が低くなる。更に、本発明の領域抽出処理は、素材信頼値に対して適当な閾値を自動的に決定する。色及びテクスチャフィルタと組み合わせて特有の特徴を利用することによって本発明は、従来のシステムよりも優れた結果を見出す。
【0011】
【発明の実施の形態】本発明の基本的な方法を示すフローチャートを図1に示す。同図では、(赤、緑、青)値のピクセルを有するディジタル色画像中の素材領域を検出する方法が示される。最初に、ディジタル画像が捕捉される(11)。次に、画像は、複数の色及びテクスチャ特徴に基づいて素材領域に属するとして信頼値を各ピクセルに割り当てる(12)分類器によって処理される。次に、所定の閾値を用いて信頼値を閾値処理し、続いて、関連する構成要素のラベル付けによって空間的に隣接している素材領域候補が作られる(13)。任意の領域が素材に属する確率を決定するために、素材の一つ以上の特有の特徴に基づいて、空間的に隣接している領域候補が解析される(14)。最後に、検出された素材領域と、領域が素材に属するとする関連する確率とを示すためにマップが生成される(15)。本発明の好ましい実施例では、低空信頼値の空領域候補を認めないよう適応閾値処理方法が利用される。
【0012】段階(12)で得られた全てのピクセルに対する素材信頼値の集まりは、入力画像に対する素材信頼マップを形成するために使用される。素材信頼マップは、各ピクセルが素材に属する、又は、素材に属さないのいずれか一方に指定されるよう2値マップを形成するために閾値処理される。この2値マップを用いて、空間的に隣接する素材領域候補を作ることが可能となる。本発明の好ましい実施例では、閾値処理は、素材信頼閾値が特定の画像に対してカスタマイズされるよう、画像依存型の適応閾値処理アルゴリズムを用いて実現される。従来では、全ての入力画像に対して固定の閾値が使用された。固定の閾値の主な欠点は、画像コンテンツ及び撮像状態の変化による個々の画像に対する統計値の変化が分からない点である。
【0013】適応閾値の決定は、図2で完全に説明する。画像中の各ピクセルに対して素材信頼値が割り当てられた(12)後、各ピクセルの値が対応する素材信頼値を表示する素材信頼マップが生成される(310)。素材信頼マップの勾配が計算される(320)。位置(x、y)における画像の勾配f(x、y)は、【0014】
【数1】

として定義され、そのディジタル形態は2つの分離形開核【0015】
【数2】

である。
【0016】勾配ベクトルの大きさは、【0017】
【数3】

である。
【0018】勾配の大きさの値が400よりも大きいピクセルを示すためにマスクが生成される(330)。次に、高勾配のピクセルだけを用いて素材信頼値のヒストグラムが構成される(340)。高勾配のピクセルだけを用いることの主な利点は、それらが一般的に素材領域の境界線の周りのピクセルに対応するといった点である。その結果、素材領域の境界線周りのピクセルは高い素材確率値か低い素材確率値のいずれかを有し、ヒストグラムは、特有の山谷を一般的に示す。ノイズの効果を減少するために円滑化がヒストグラムに適用される(350)。次に、ヒストグラムの低値の端から始まって第1の特有の谷が2つの山の間で位置探しされる(360)。ヒストグラムの位置探しされた谷にある素材信頼値が閾値として選択される(370)。閾値よりも高い素材信頼値を有するピクセルは、素材ピクセルとされ、それ以外のピクセルは素材ピクセルでないとされる。
【0019】より特定的には、本発明は、画像中で曇った及び雲に覆われた空を検出し、画像中にある潜在的な空ピクセルを分類することを含む方法、画像認識システム、コンピュータプログラム等の形態を取り得る。本発明の好ましい実施例では、空検出は、空の遮られていない部分に対応する画像中の全てのピクセルを識別することを含む。更に、空検出は、各個々のセグメント化された領域に対して、その領域が空を含む確率を割り当てる。確率表示を利用するか、確率表示を明瞭な判断に変換するかは、画像理解システムの後の従来の処理に依存する。
【0020】図3は、曇り空検出に対する本発明の好ましい実施例を示す図である。最初に、入力色ディジタル画像(11)は、適切に訓練された多層ニューラルネットワークによる色及びテクスチャ特徴に基づいて色及びテクスチャピクセル分類段階(21)で処理される。ピクセル分類段階の結果、曇り空に属するとして信頼値が各ピクセルに割り当てられる。次に、領域抽出段階(23)を使用して、幾つかの曇り空領域候補が生成される(25)。同時に、入力画像は、オープンスペース検出段階(22)で処理され、オープンスペースマップが生成される(24)。オープンスペースマップの領域とオーバーラップする領域候補は、オープンスペースマップの領域とオーバーラップしない領域とは別に処理される。処理の一つのブランチでは、オープンスペースでない空領域候補が選択され(27)、これら領域候補はテクスチャされた曇り空領域としてラベル付けされる(29)。処理の別のブランチでは、オープンスペースマプの任意の領域と著しく(例えば、80%より多く)オーバーラップする領域候補だけが更なる処理のために保有される(26)。これら保有された領域候補は、特有の特徴に関して解析される(28)。これら特有の特徴を示す領域候補だけが円滑な曇り空領域としてラベル付けされる(30)。
【0021】図1と図3との類似部分は、次の通りである。図3の段階11は、図1の段階11と同じである。図3の段階21は、図1の段階12に対応する。図3の段階23及び25は、図1の段階13に対応する。図3の段階22、24、26、27、及び、28は、図1の段階14に対応する。図3の段階29乃至32は、図1の段階15に対応する。
【0022】色及びテクスチャピクセル分類段階21は、図4により詳細に示す。最初に、入力色ディジタル画像が捕捉され(11)、輝度−クロミナンス色空間(例えば、周知の標準化されたCIE−LUV色空間)に変換される(41)。アウトドアシーンにおいて空が殆ど常に照明の主源であるため、(青、又は、曇った/雲に覆われた)空領域が画像中で最も明るい領域となりがちであることが分かる。LUV色空間によりこの観察を利用することが可能となる。1画像毎に正規化される輝度特徴l’【0023】
【数4】

を定義するために正規化段階(42)が用いられ、このときlは生輝度値である。この物理的−動機付けられた特徴抽出段階は、道路及び壁のような他の灰色に色付けされた素材の偽陽性検出を著しく減少させる。各ピクセルに対する正規化されたLUVトリプレット(44)は、ニューラルネットワーク分類器のための三色特徴を供給する。テクスチャ特徴は、多解像度解析に基づくウェーブレット変換を用いて生輝度値から計算される(43)。
【0024】多解像度解析(MRA)は、信号を粗近似及びディテール係数の階層に分解する処理のことである。信号は、スケーリング及びフィルタリング動作を組合すことで粗近似及びディテール関数から完全に再構成され得る。フィルタリング動作は、低域フィルタh(n)及び高域フィルタg(n)を含み、これらは、【0025】
【数5】

によって関係付けられる。
【0026】h(n)及びg(n)が更なる数学的条件を満たすよう選択された場合、MRAは、ウェーブレット分解である。h(n)及びg(n)を用いて、二次元分離形ウェーブレット実施が【0027】
【数6】

に従って得られ、このときLL(i、j)は粗近似係数、LH(i、j)、HL(i,j)及びHH(i,j)はディテール係数であり、i及びjは画像座標を示す。マルチレベルの場合、分解はLL係数に対して繰り返される。
【0028】本発明の好ましい実施例では、h(n)及びg(n)は、Daubechies’4タップウェーブレットフィルタ係数を用いて実行される。図5に示すように、2レベルウェーブレット分解は、輝度チャネルに対して実施される。最初に、生輝度チャネルが入力ディジタル画像から得られる(501)。次に、第1のレベルのウェーブレット係数が生成される(502)。これら係数はc1、c2、c3、及び、c4によって表示される(503)。次に、第2のウェーブレット係数がc1ウェーブレットバンドから生成される(504)。これにより、係数c5、c6、c7、及び、c8が得られる(505)。
【0029】元の画像にある全てのピクセルに関して全てのウェーブレットサブバンドに対応するピクセルがあることを確実にするために、第1のレベルの係数は2だけアンサンプリングされ、第2のレベルの係数は4だけアンサンプリングされる(506)。アンサンプリングは、線形補間によって実施され、係数の絶対値がアンサンプリングされる。一旦1対1対応が確立されると、ローカルウェーブレット係数の平均が7×7窓にわたって計算される(507)。全体的な処理は、全てのウェーブレット係数Ckに関して各ピクセル位置(x、y)において7×7といったローカルなLlノルムを計算することに類似する。
【0030】
【数7】

当業者は、標準のオクターブウェーブレット分解から得られるサブバンド係数をアンサンプリングする代わりに全体に対するウェーブレット分解を使用することも可能であることを認識する。信号のローカル平均の測定値である係数c5は、その特性が輝度色特徴を用いて捕捉されるため無視される。係数c2、c3、c4、c6、c7、及び、c8は、曇った/雲に覆われた空のテクスチャ予測として使用される。これにより各ピクセルに対して合計で6のテクスチャ特徴が得られる(508)。
【0031】図4を再び参照するに、色及びテクスチャ特徴が計算された後、ピクセル分類21に対する分類器として訓練されたニューラルネットワーク(45)が用いられ、各ピクセルに対する信頼値が生成される(46)。ニューラルネットワークは、50の曇り空、10の青空、及び、40の空以外(主にインドアの壁、雪、及び、水)画像の混合を用いて訓練され得る。偽陽性及び偽陰性(過ち)の数を減らすためにネットワークを再訓練するようブートストラップ段(47)が使用される。ニューラルネットワークは、ピクセルが曇った/雲に覆われた空のピクセルであることに関して信頼値と各ピクセル関連付けるピクセルレベルマップを生成する(46)。このピクセルレベル信頼マップ(46)は、次に説明する(図3参照)発明の適応閾値処理及び関連する構成要素の処理(23)を用いて領域ベースの信頼マップに変換される(25)。
【0032】領域抽出段階(23)をより詳細に説明する。より特定的には、発明の領域抽出処理は、信頼ヒストグラムにおいて低信頼値から高信頼値へ移行する際に第1の谷を探すことで空色信頼マップに対する適当な閾値を自動的に決定し、関連する構成要素の解析を実施する。更に、本発明を用いて、関連する構成要素は、曇り空領域候補を生成するために純化され、これは、ピクセルレベルでは不可能な特有の特徴を確認することを容易にする。
【0033】各ピクセル値が、空の色及びテクスチャを有するそのピクセルの信頼値に比例する信頼マップに関して、前述の通り、グローバル閾値が適応的に決定される。2値マップは、この閾値を用いて形成され、このとき、「1」ピクセルは空ピクセル候補として考えられ、「0」ピクセルは、空ピクセルでないと考えられる。空間的に隣接する「1」ピクセルの領域である関連する構成要素は、空の色及びテクスチャの空間的に分離した零以外の領域を生成するために固有にラベル付けされる。空以外のピクセルはその関連性に関わらず「0」とラベル付けされる(本願では「未ラベル付け」と呼ぶ)。空の色及びテクスチャの関連する構成要素は、更なる解析のための曇り空領域候補である(25)。
【0034】本発明の好ましい実施例では、発明の領域成長処理は、穴を埋め、曇り空領域候補の境界線を延長させるために使用される。これは、「限界」ピクセルが、グローバル閾値を辛うじて満たすが最初のグローバルな閾値を通過した隣接するピクセルの信頼値に十分に近い、空の色及びテクスチャ信頼値を有する場合に特に有用となり得る。本発明を用いて、「成長閾値」は、「未ラベル付け」ピクセルとその隣接する「ラベル付け」ピクセルとの間の信頼値における差が領域成長に対する第2の閾値よりも小さい場合に、関連する構成要素にこのような限界ピクセルを再ラベル付けするよう使用される。より特定的には、上記閾値信頼値を有するピクセルとオープンスペースマップの関連する構成要素との間の交点を取ることでシード領域が形成される。サブ閾値信頼値を有するピクセルに対して、領域成長は、信頼値における連続性並びに色値における連続性によって案内される。小さい隔離された空領域は無視される。
【0035】本発明の好ましい実施例において、(本願で参照として組み込む、Warnick外に1999年5月4日に発行された米国特許第5,901,245号に記載する)オープンスペース検出段階(22)は、低アクティビティの領域を選択するために使用される。自動オープンスペース検出処理は、動作の2つの別個の段に基づく。最初に、正しい色空間変換が実施された後、勾配ベースのアクティビティマップが計算され、正しい閾値が多領域ヒストグラム解析に従って決定される。第2の段において、関連する構成要素の解析が、空隙を埋めるために2値アクティビティマップに対して実施され、小さい領域が除かれる。オープンスペース検出は、(1)異なるオブジェクトに属する関連する領域候補を分離し、(2)空領域候補内の曇り空特有の特徴の確認を可能にするために含まれる。
【0036】色及び空間的特性が視覚的に均一に見える画像の、一つ以上の完全に境界が付けられたサブ領域を典型的に含むオープンスペースマップ24が生成される(24)。これらサブ領域境界線は、規則的、又は、不規則的な形状を有し得る。
【0037】処理の一つのブランチでは、オープンスペースマップの任意の領域と著しく(例えば、80%より多く)オーバーラップする領域候補だけが更なる処理のために保有される(26)。一般的に、雲に覆われた空の領域、芝生、雪原、砂地、又は、静止状態の水の塊は、画像で低アクティビティ領域として現われる。オープンスペースマップと色及びテクスチャ分類段階において生成されるピクセル信頼マップとの交点は、低アクティビティ領域における信頼値の不均一な分布に対応するピクセルを認めないために用いられる。
【0038】保有された領域候補は、特有の特徴に関して更に解析される(28)。これら特有の特徴を示す曇り空領域候補(25)だけが円滑な曇り空領域(30)としてラベル付けされる。このような特有の特徴の一つの好ましい例は、深い青から比較的明るい青(又は同時係属出願米国出願第09/450,190に詳細に記載するように、完全に白)への色階調度として現われる、地平線の方への晴れた青空の彩度効果が減じることである。曇り空の特徴はそれほど固有でないが、一般的に、円滑性、特定の位置(画像の上近く、及び、画像境界線と接触している)等を含む。
【0039】その間、適当な量のテクスチャを含む曇り空領域候補(25)は、テクスチャされた曇り空領域(29)としてラベル付けされる。これは、オープンスペースにない空領域候補(27)をラベル付けすることで実現される。
【0040】上記した通り、エラー強い、曇った及び雲に覆われた空を検出する処理は、色及びテクチャ分類、続いて、オープンスペースマップに基づいて結果となる領域を解析することで形成され、偽陽性領域が排除され、真の曇った及び雲に覆われた空領域だけが抽出される。特に、可能であれば、真の空領域を他の同様に色付けされテクスチャされた素材から区別するために曇った及び雲に覆われた空のオープンスペースモデルが望ましい。更に、曇り空がテクスチャコンテンツを有し得るため、曇り空領域がオープンスペースモデルを有しないことも可能である。従って、オープンスペースマップは、水の集まり、壁、及び、衣類のような偽陽性を排除するために主に使用される。最終的な空信頼マップは、まばらでないオープンスペース領域(低テクスチャコンテンツの曇った及び雲に覆われた空を表示する)と、対応するオープンスペースモデルがない空領域候補(テクスチャコンテンツを有する曇り空領域を表示する)とを組合すことで生成される。以下に説明する実施例は、真の空領域を、他の同様に色付けされテクスチャされた素材から区別するエラー強い空検出処理を提供する。
【0041】曇った/雲に覆われた処理における最終段階は、テクスチャされた曇り空領域(29)を曇り空領域候補として検出し、真の曇り空に対するモデルと適合する信頼分布を示すオープンスペース領域(30)と組合す(31)ことを含む。最終的な曇り空マップ(32)は、検出された空領域の位置、程度、及び、関連する確率を示すために生成される。
【0042】発明の空識別特性確認処理の効果が与えられて、夕焼け又は朝焼けのシェードのような空の他のシェードを含むために色及びテクスチャ分類段を緩和させてもよい。日中の雲に覆われた空に対して、夕焼け又は朝焼けの雲のない空は、日中の対の部分として同様の散乱効果を示す。主な差は、太陽が昇る又は落ちることによる暖かい色合いである。
【0043】前記の通り、本発明は、(真の曇った/雲に覆われた空領域における均一性から生ずる)対応するオープンスペースマップにおける信頼値分布の完全性に基づく曇り空の物理的モデルから結果として得られる特有の特徴を利用する。(真の色又はテクスチャ特徴に対して)特有の特徴を用いることにより本発明の方法は、水の塊、壁、及び、衣服のような他の同様に色付けられた素材によってだまされる可能性が高くなくなる。更に、発明の領域形成処理は、曇り空信頼値に対する適当な閾値を自動的に決定する。本発明による結果は、従来のシステムよりも優れている。
【0044】より特定的には、本発明は、画像中で芝生領域を検出し、色及びテクスチャによって画像中の潜在的な芝生のピクセルを分類することを含み、潜在的な芝生のピクセルの関連する構成要素を抽出し空間的に隣接する領域候補を作り、低アクティビティ(オープンスペース)の領域と不充分にオーバーラップ又は交差する領域候補を排除する方法、画像認識システム、コンピュータプログラム等の形態をとり得る。
【0045】図6を参照するに、曇り空検出(図3)の方法に類似するが同一ではない芝生を検出する方法のブロック図である。第1に、入力色ディジタル画像(11)は、色及びテクスチャ特徴に基づいてニューラル/ネットワークを用いてピクセル分類段階61によって処理される。本発明の好ましい実施例では、色及びテクスチャ特徴は、曇り空検出に対して計算された色及びテクスチャ特徴と同様に計算される。ピクセル分類段階の結果、芝生に属するとして信頼値が各ピクセルに割当てられる。次に、幾つかの芝生領域候補を生成するために領域抽出段階(63)が使用される。同時に、入力画像(11)は、オープンスペース検出段階(62)によって処理され、オープンスペースマップが生成される(64)。オープンスペースマップ中の任意の領域と著しく(例えば、80%より多く)オーバーラップする領域候補が選択され(66)、芝生領域候補のリストが生成される(67)。これら保有される領域候補は、特有の特徴に対して解析される(68)。芝生の特徴は、さほど固有でないが、一般的に、光及び等方性テクスチャを有し、特定の位置(画像の下近く及び画像境界線と接触している)等を含む。これら特有の特徴を示す領域候補だけが円滑な芝生領域としてラベル付けされる(70)。検出された芝生領域の位置及び程度、並びに、関連する信頼値を示す芝生信頼マップが生成される(72)。
【0046】当業者は、本発明の方法が本発明の教授の範囲から逸脱することなく広げられることを認識するであろう。例えば、本発明は、雪、砂、静止状態の水等を含む他の主要な素材を検出するために容易に広げることができる。
【0047】画像の向きを認識するために、空の知識及びその向きがアウトドア画像における画像の向きを示してもよい(一般的な考えに対して空の領域は必ずしも画像の上部にあることはない)。更に、画像中で主な素材を検出することに関して、空領域は背景の一部である可能性が、高いため通常排除され得る。
【0048】更に、画像分類(例えば、インドア又はアウトドア、都市又は田舎)、アルバムページ作成(例えば、ピクニック、海等)、画像引き出し(例えば、類似する空又は類似する芝生を有する画像)が、画像内で見つけられる素材に従って実施され得る。
【0049】本発明の技術的内容は、ディジタル画像理解技術、即ち、人間が理解できるオブジェクト、属性、或いは、状況を認識しこれらに有用な意味を割当て、更に、得た結果をディジタル画像の更なる処理で利用するためにディジタル画像をディジタル式に処理する技術に関わる。
【0050】本発明は、コンピュータプログラムプロダクトとして提供されてもよい。コンピュータプログラムプロダクトは、一つ以上の記憶媒体、例えば、(フレキシブルディスクのような)磁気ディスク又は磁気テープのような磁気記憶媒体、光ディスク、光学テープ、又は、機械読み取り可能バーコードのような光学記憶媒体、ランダムアクセスメモリ(RAM)又は読み取り専用メモリ(ROM)のようなソリッド−ステート電子記憶装置、又は、本発明による方法を実施するために一つ以上のコンピュータを制御する命令を有するコンピュータプログラムを記憶するために使用される任意の他の物理的な装置又は媒体を含んでもよい。




 

 


     NEWS
会社検索順位 特許の出願数の順位が発表

URL変更
平成6年
平成7年
平成8年
平成9年
平成10年
平成11年
平成12年
平成13年


 
   お問い合わせ info@patentjp.com patentjp.com   Copyright 2007-2013