米国特許情報 | 欧州特許情報 | 国際公開(PCT)情報 | Google の米国特許検索
 
     特許分類
A 農業
B 衣類
C 家具
D 医学
E スポ−ツ;娯楽
F 加工処理操作
G 机上付属具
H 装飾
I 車両
J 包装;運搬
L 化学;冶金
M 繊維;紙;印刷
N 固定構造物
O 機械工学
P 武器
Q 照明
R 測定; 光学
S 写真;映画
T 計算機;電気通信
U 核技術
V 電気素子
W 発電
X 楽器;音響


  ホーム -> 計算機;電気通信 -> イーストマン コダック カンパニー

発明の名称 デジタルカラー画像処理方法
発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開2003−198850(P2003−198850A)
公開日 平成15年7月11日(2003.7.11)
出願番号 特願2002−358087(P2002−358087)
出願日 平成14年12月10日(2002.12.10)
代理人 【識別番号】100062144
【弁理士】
【氏名又は名称】青山 葆 (外1名)
【テーマコード(参考)】
5C021
5C077
5L096
【Fターム(参考)】
5C021 XB03 YA02 
5C077 LL02 LL19 MP01 MP08 PP03 PP27 PP28 PP32 PP43 PP68
5L096 AA02 FA01 FA15 GA40 MA03
発明者 ルオ・ジェボ / アンドリュー・シー・ギャラガー / アミット・シンガル / ロバート・テリー・グレイ
要約 課題
画像内に含まれる異なる対象または主題を検出し、それにより画像の各部分の品質(例えば、シャープネスおよび色)が改善され得る、特定の画像に対するエンハンスメントの種類および量の決定。

解決手段
以下のステップを有するデジタルカラー画像処理方法である。それらは、標的および背景主題を識別するため、主題検出器を用意するステップ、画像の画素が標的主題に属しているとする信頼度を示すビリーフマップを作成するために画像を主題検出器を適用するステップ、画像エンハンスメントの程度を制御するための制御信号に応答する、画像エンハンスメント操作の準備をするステップ、およびエンハンスメントされた画像を生成するため、ビリーフマップに従って制御信号を変化させてデジタル画像に画像エンハンスメントを加えるステップ、である。
特許請求の範囲
【請求項1】 a)標的および背景主題を識別する主題検出器を準備するステップ、b)主題検出器を画像に適用して画像内の画素が標的主題に属する信頼度を示すビリーフマップを生成するステップ、c)画像エンハンスメントの程度を制御している制御信号に応答する画像エンハンスメント操作を準備するステップ、d)ビリーフマップによって制御信号を変化させて、デジタル画像に画像エンハンスメント操作を適用し、エンハンス画像を生成するステップ、を有するデジタルカラー画像処理方法。
発明の詳細な説明
【0001】
【発明の属する技術分野】本発明は一般にデジタル画像処理の分野に属し、特に画像の主題に基づいて画像に適用されるエンハンスメントの量を決定する方法に関する。
【0002】
【従来の技術】一般に、画像のエンハンスメントには、少なくとも一つの画像に対する画質改善操作が含まれ、例えば、尖鋭化は画像の細部を改善し、ノイズリダクションは画像のノイズを除去し、デブロッキングは、例えばJPEG画像圧縮によって発生するブロッキングアーティファクトを除去し、シーンバランスアジャストメントは画像のコントラストおよび描写(rendering)を改善する。
【0003】実際にこれらの方法によりエンハンス画像(enhanced image)を生成する場合、結果得られる画像の質はしばしば画像の内容によって変化する。例えば、建物の画像には、ぼけマスクアルゴリズム(unsharp mask algorithm)を使用することで満足のいく結果が得られるかもしれない。しかしながら、人面の画像に同一のアルゴリズムを使用すると、好ましくないほどに過度に鮮明な見栄えに映るかもしれない(例えば、しわ、染みが不愉快なほどに「エンハンス」され、つまり、よりよく見えるようになる。)。別の例として、平滑化アルゴリズムは、ノイズおよび/またはブロッキングアーティファクトの量を取り除くのに役立ち、人面または晴天の画像を感じの良いものに仕上げる。しかし、同一の操作を同じ量だけ行っても、芝生、布地のきめ、または獣毛の細部を期せずして除去してしまう。従来、尖鋭化する量、またはその他の種類のエンハンスメントの量は、オペレータが各画像ごとに個別に調整する必要があり、費用の嵩む処理である。従来の取り扱いでは、同一画像における領域ごとでの尖鋭化の量の調整が容易ではなく、その結果として、画像内の異なる主題または対象から要求される異なるエンハンスメント量と相殺関係を持つエンハンスメント量を適用しなければならなくなってしまう。
【0004】先行技術においては、画素の色に基づいて画像エンハンスメント操作を修正する技術例が存在する。例えば、グーチらは画素ごとにぼけマスクに関するパラメータを修正する方法を記している(特許文献1参照)。ぼけマスクによる画像の尖鋭化は以下の式によって記述される。
【数1】

ここで、【数2】

である。
【0005】通常、不鮮明(unsharp)な画像は、ローパスフィルタとのコンボリューション(、つまり不鮮明画像はi(x,y)**b(x,y)で得られる。)によって生成される。次に、ハイパス、またはフリンジデータはオリジナル画像から不鮮明画像を差し引くことで生成される(ハイパスデータは、i(x,y)-i(x,y)**b(x,y)で得られる。)。そして、ハイパスデータはスケール係数(scale factor)βもしくはフリンジ関数f()またはその両方によって修正される。最終的には尖鋭化画像を生成するために、修正ハイパスデータをオリジナル画像または不鮮明画像と足し合わせる。
【0006】グーチら(Gouch et al.)の言によれば、フリンジ関数は画素i(x,y)の色に従属的であってよい。この特徴により、例えば、肌の色と似ている画素のために前もって尖鋭化(sharpening)を仕立てておくことが可能である。しかしこの方法は、ある特定の画素が人肌を表していることの信頼度または確率に基づいてはおらず、その為に、レンガまたは木といった人肌に似た色を有する領域の画像をおそらくいたずらに控えめな尖鋭化を行う。グーチらの方法では、専ら画像の色のみを使用し、研究により画像領域を効率的にに分類することが示されている、質感(texture)または形状の特徴といった他の特徴を使用することはできない。特許文献2において、シュバルツ(Schwartz)は、パターン認識技術を用いた自動画像補正の概念を開示しており、そこではパターン認識サブシステムが色に特徴のある物体(color significant object)の存在および位置を検出している。にて、カナタら(Cannata et al.)は、類似した別の画像データの選択的エンハンスメントの方法について記している。ある実施形態においては、空間的処理変換(spatial processing transformations)によって悪影響を及ぼすことが知られている範囲に含まれる色コード値を有する画素に対し、尖鋭化のような空間的処理変換を減縮またはバイパスしている。別の実施形態においては、中間色の範囲にある色コード値を有する画素に対しては、色補正処理変換(color correction processing transformations)をバイパスさせている。明らかだが、選択的エンハンスメントを実行するために用いている特性が色のみなので、類似した色を有する他の主題が望ましくない効果を受けるおそれがある。
【0007】
【特許文献1】米国特許第5682443号明細書【特許文献2】欧州特許出願公開第681268号明細書【特許文献3】米国特許出願公開第09/728365号明細書【0008】
【発明が解決しようとする課題】従って、画像内に含まれる異なる対象または主題を検出し、それにより画像の各部分の品質(例えば、シャープネスおよび色)が改善され得るような、特定の画像に対するエンハンスメントの種類および量の決定に関するニーズが存在する。
【0009】
【課題を解決するための手段】上記ニーズは本発明により満足される。本発明は標的(target)および背景(background)主題(subject matter)を識別する主題検出器の提供を含むデジタルカラー画像を処理する方法を提供し、該主題検出器を画像に適用することで、画素が標的主題に属しているとする信頼度を示すビリーフマップを作成し、画像へのエンハンスメントの度合いを制御する制御信号に応答できる画像エンハンスメント操作(image enhancement operation)を供し、またエンハンス画像を生成するため、ビリーフマップに従って制御信号を変化させながら画像エンハンスメントをデジタル画像に適用する。
【0010】本発明は画像内において検出された主題物に従って画像に施す画像エンハンスメント操作の量を場所ごとに変化させることができるという利点を有する。幾つかの画像または画像における幾つかの領域においてエンハンスメントアーティファクトが生成されることを恐れて、あらゆる画像または画像全体に控えめな(conservative)レベルで画像エンハンスメントを施すようにシステムを調整するよりむしろ、本発明は各領域における主題内容に基づく画像エンハンスメント量の決定を各領域について自動的に行っている。さらに、画像における特定の領域に対し、その領域には特定の標的主題が存在するという強い信念に基づいてエンハンスメント操作を全く行わない(つまりエンハンスメント量はゼロである。)。
【0011】
【発明の実施の形態】以下の記述においては本発明をソフトウェアプログラムにて実行される方法として記す。当然ながら、当業者ならばこのようなソフトウェアの均等物はまた、ハードウェアとして構成することも可能である。画像エンハンスメントアルゴリズムおよび方法は周知なので、本記述では特に本発明による方法の一部であるかまたはより直接的に協同するアルゴリズムおよび方法について記す。本明細書では特に図示または記述していないアルゴリズムおよび方法の別の部分、ならびに、画像信号を生成、さもなくば処理をするための、ハードウェアおよび/もしくはソフトウェアは、当業者が知るところの主題、構成(component)および要素(element)から選択してよい。以下に示す記述により、全てのソフトウェアの実施自体は従来的で、当該技術分野の通常の技術範囲に属する。
【0012】図1は、エンハンス出力画像(enhanced output image)を得るための、特定の画像処理経路による画像処理に用いる本発明の好ましい実施形態を示している。一般に、本発明は画像に対してエンハンスメント操作を行い、そのエンハンスメントの量は画像内の主題または対象によって決定される。つまり、個々の画像または特定の画像における個々の領域に適用されるエンハンスメントの量は画像の内容によって変化する。いかなる特定の画像または画像内の特定の領域においてもエンハンスメントの量は、特定の画像の内容にとって適切となる様に選択される。
【0013】本発明の好ましい実施形態においては、x行y列を有する画像i(x,y)は、先ず、興味を引く主題および対応する画像エンハンスメントの制御信号を検出する本発明が必要とする時間を短縮するため、その低解像度バージョンが作成される。好ましくは、画像i(x,y)は高解像度で、例えばx=1024行の画素とy=1536列の画素である。低解像度画像は、m行およびn列を有し、好ましくはm=256およびn=384画素である。大きな画像から小さな画像を生成するための多くの方法が、画像処理の分野において知られており、それらを利用することができる(テキストを参照:ゴンザレスら、デジタルイメージプロセッシング、アジソン−ウェスレイ、1992(Gonzalez et al., DigitalImage Processing, Addison-Wesley, 1992))。あるいは、このステップを省いてもよい。
【0014】図1を参照すると、本発明のブロック図が示されている。デジタル画像を獲得する10。次に、主題検出器22の集合体から主題が選択され20、そしてデジタル画像に適用される24。結果は主題ビリーフマップとなり30、それは与えられた標的主題に特定の画素または画素領域が属しているかどうかに関する信頼性を示している。標的主題とは、特定の画像エンハンスメント操作に対して敏感に反応する(sensitive)主題である。標的主題群は、所定の(pre-determined)ものでもよい。ステップ20において選択された主題検出器は主題ビリーフマップM(m,n)を出力し30、該マップは主題検出器に入力された画像と行数および列数において同一の寸法を有することが望ましい。もし、入力デジタル画像がサイズを減縮され、オリジナル入力画像の大きさとビリーフマップの大きさが一致しないならば、それ相応にビリーフマップを補間することもできる。ビリーフマップは特定の画素が標的主題を表していることに関する信頼性を示している。信頼性は確率で表されることが望ましい。例えば、各画素値M(m,n)は100×P(低解像度画像の画素(m,n)が標的主題を表していること)に等しく、ここでP(A)とは事象Aの起こる確率である。各画素値M(m,n)は、(予め決定されている閾値で信頼値を分けた後、)信頼性を示す二値分類(binaryclassification)で表してもよい。例えば、ビリーフマップにおいて、1なる画素値は、高確率で該画素が標的主題を表している信頼性を示しており、0なる画素値は、高確率で該画素が標的主題を表していないことに対する信頼性を示している。また、信頼性を距離で、例えば一般に長距離が低信頼値に、および短距離が高信頼値に対応している特性空間(feature space)における距離で示してもよい。
【0015】好ましい実施形態においては、標的主題の一つは人肌である。デュピンらによる米国特許出願公開第09/904366号明細書は肌についての標的主題に関する信頼性を示すビリーフマップを作成する方法を開示している。
【0016】図9を参照すれば、主題検出器22を実施するために本発明で使用することができる方法が示されている。先ず、入力デジタル画像獲得ステップ951により、入力されたデジタル画像を獲得する。この入力デジタル画像は、従来式のシーンバランスアルゴリズムを用いて画像の適切なカラーバランスの推定値を得るために、シーンバランス適用ステップ952を用いて処理される。次に、初期シーンバランスデジタル画像(initial scene balanced digital images)生成ステップ952を用いてあらゆる必要な補正を入力デジタル画像に対して適用する。それから肌色画素確率値取得ステップ954により、シーンバランスデジタル画像は処理される。規定閾値適用ステップ955が確率値に適用され、続いて肌色領域取得ステップ956に進む。
【0017】肌色画素領域取得ステップ954に利用できる一つの方法については以下に、より完全な記述を設ける。画素のRGB値は以下の式を用いて「Lst」系に変換される。
【数3】

【0018】入力カラーデジタル画像の各画素に関し、肌色画素である確率が計算される。規定の肌色確率関数に基づいて、Lst空間における座標から確率が得られる。これらの確率関数は、シーンバランス画像の膨大なコレクションにおける肌色領域および非肌色領域の色空間分布に関するデータのコレクションに基づいて構成されている。与えられたLst座標における画素が肌色画素である条件付確率は、【数4】

であり、ここでの条件付分布Pr(Skin|L)、Pr(Skin|s)、およびPr(Skin|t)のそれぞれは、肌色および非肌色画素に関する原始トレーニング分布(original training distribution)にベイズ理論を適用して構成する。相対的に、他の従来的肌色画素の検出方法では、P(color|Skin)の尤度確率を用いている(タカハシら(Takahashi et al.)による米国特許第4203671号およびザーンら(Zahn et al.)による米国特許第5781276号参照。)。従来的な尤度確率を用いる一つの欠点は非肌色画素の確率分布を明らかにしていない点である。結果、誤った検出の尤度が高い。
【0019】全ての画素に対する確率の収集で入力画像に対する肌色確率分布を形成している。肌色確率分布は、閾値で分類され(thresholded)、各画素が肌色または非肌色かを指定されている二値マップが作成される。代わりに、入力カラー画像における人面領域を検出するために顔検出アルゴリズム(face detection algorithm)を使用することも可能である。そして検出された顔領域から肌色領域が抽出される。顔検出方法に関しては、モハダムら(Moghaddam et al.)による米国特許第5710833号を参照されたい。
【0020】加えて、人肌を標的主題とするビリーフマップの作成方法について以下の論文が記されている。チョウら(Cho et al.)による、Adaptive Skin-Color Filter,Pattern Recognition, 34 (2001) 第1067−1073頁、およびフレックら(Fleck et al.)による、Finding Naked People, Proceedings of the European Conference on Computer Vision, Vol. 2, 1996、第592−602頁である。
【0021】また、標的主題は人面、空、芝生、雪、水、または自動的に画像から主題であることの信頼性を決定する方法が存在するあらゆる主題であってもよい。人面の検出については多くの論文がある。例えば、ヘイセルら(Heisele et al.)による、Face Detection in Still Gray Images, MIT Artificial Intelligence Lab,A. I. Memo 1687, C.B.C.L. Paper 187号2000年5月。ルオら(Luo et al.)による米国特許出願公開第09/450190号は標的主題が青空である場合にビリーフマップの作成に関し記述している。
【0022】主題検出の従来技術の主な欠点は、主題に固有の特性を考慮していないので、主な主題を確実に識別できない点にある。例えば、セーバーら(Saber et al.)による、Automatic Image Annotation Using Adaptive Color Classification, Graphical Models and Image Processing、58巻、5号では、空を検出するために色の類別のみを用いている。結果としてしばしば、衣類、人工物の表面、および水のような多くの種類の空色の主題が空と間違われる。さらには、これらの技術のいくつかは画像の指向性(image orientation)に関する演繹的知識(a prioriknowledge)を頼みとしなければならないのである。主要な主題の存在を確実に検出するすることに失敗すれば、特に誤って積極的な(positive)検出をすれば、後のアプリケーション(downstream application)において失敗を導く(例えば、誤った空領域の検出により不正確な画像指向性の推定を導く。)。従い、より強固な主要主題検出方法を必要としている。
【0023】この必要性を満足させるために、値(赤、緑、青)を有する画素からなるデジタルカラー画像の主題領域検出方法を提供する。この方法は、色およびテクスチャの特徴から、各画素が主題に含まれているかについての信頼値を与えるステップ、信頼値を閾値で分類することで空間的に隣接候補主題を形成するステップ、領域が主題に含まれている確率を決定するために、空間的に隣接する領域を一つまたはそれよりも多くの固有の主題特性に基づいて分析するステップ、ならびに検出された主題領域および対応した、領域が主題に含まれる確率のマップを作成するステップで達成される。
【0024】図10は、晴天または芝生のような主題を検出するための本発明による方法を示している。先ず、入力カラーデジタル画像を取得する1011。次に、色およびテクスチャによって画素を分類するステップにおいて、色とテクスチャの特徴に基づき、適度に学習された(suitably trained)多層ニューラルネットワークによって各画素に主題信頼値が割り当てられる。次に、数多くの候補主題領域を作成するため、領域抽出ステップ1023が用いられる。同時に入力画像は開空間検出ステップ1022により処理され、開空間マップが生成される1024(ワーニックら(Warnick)による米国特許第5901245号に記載の内容。本明細書に参照として収録。)。開空間マップにおける領域との顕著なオーバーラップ(例えば80%以上)を有する候補領域のみが「滑らか(smooth)」であり、さらなる処理に向けて選択される1026。これら選択された候補領域は、その固有の特性について分析される1028。青空の場合、これの固有の特性とは彩度減少効果、つまりは水平線に向かって徐々に青味の程度が減少していくことである。この青空の固有の特性を用いて真の青空領域と他の青色主題とを区別する。特に、二次の多項式を用い、赤、緑、および青のチャンネルのそれぞれにおいて、得られた滑らかな空色の候補領域を近似する。多項式の係数は学習後のニューラルネットワークにより分類され、候補領域が青空固有の特性と一致しているのかが決定される。これらの固有の特性を示している候補領域のみが滑らかな青空領域と呼ばれる。芝生の場合、その固有の特性とは光および当方的テクスチャ、特定の位置(画像の底辺近傍であり、画像境界に接している。)である。このような固有の特性を示す候補領域のみが滑らかな芝生領域と呼ばれる。分析の結果、検出された主題領域に関連した信頼値、それと同様に、位置および量が示された、主題ビリーフマップが作成される1030。他の一般的主題(例えば雪や水)の検出は同様のアプローチで可能である。
【0025】図1に戻ると、複数主題検出器が選択され20、並列的にまたは連続的に、一組のビリーフマップM(x,y)を作成し、ここでiは1からNまでの範囲である。別の場合、主題検出器の一つがビリーフマップM(x、y)を作成するのに用いられ、このM(x,y)は、与えられている画素が、選択されているどの主題検出器もが、いかなる標的主題とも判断しないことに関する信頼性を示している。このようなビリーフマップが高い値(例えば1.0に近い確率)を有するのは、全てのビリーフマップM(x,y)が低い値(例えば0.0に近い確率)である画素においてのみである。実質的にM(x,y)は、与えられた画素位置が全ての選択されている主題検出器に背景であるとみなす信頼性を示している。
【0026】図1にて、規定の画像エンハンスメント操作の集合体44から画像エンハンスメント操作が選択される。選択されている画像エンハンスメント操作に基づき、適切な量の選択されているエンハンスメントが標的主題および背景主題になされるようにエンハンスメント制御信号50が生成される。選択されている画像エンハンスメントが制御信号に従い、入力画像10に適用され60、エンハンス画像70が作成される。
【0027】本発明によって様々な種類の標的主題を検出可能であり、また様々な画像操作が可能である。例えば本発明では、人肌が検出されている画像領域を控えめに尖鋭化して人肌が検出されていない画像領域を積極的に尖鋭化したり、晴天が検出されている画像領域を控えめに尖鋭化して晴天が検出されていない画像領域を積極的に尖鋭化することができる。複数の標的主題を選択的画像エンハンスメントの規準に用いることができる。例えば本発明では、人肌または晴天が検出されている画像領域を控えめに尖鋭化して人肌および晴天が検出されていない画像領域を積極的に尖鋭化することができる。
【0028】代わりに、または、それに加えて本発明では、芝生が検出されている画像領域に控えめにノイズ除去を行い、芝生が検出されていない画像領域には積極的なノイズ除去を行うことや、人肌が検出されている画像領域に積極的なノイズ除去を行い、人肌が検出されていない画像領域には控えめなノイズ除去を行うこと、また水(bodies of water)が検出されている画像領域に控えめなノイズ除去を行い、水が検出されていない画像領域には積極的なノイズ除去を行うことができる。
【0029】代わりに、または、さらに加えて本発明では、人肌が検出されている画像領域に積極的にデブロッキングを行い、人肌が検出されていない画像領域には控えめにデブロッキングを行うことや、晴天が検出されている画像領域に積極的なデブロッキングを行い、晴天が検出されていない画像領域には控えめにデブロッキングを行うことができる。
【0030】代わりに、または、さらに加えて本発明では、特定の標的主題の色を選択的に修正(色再配置(color re-mapping))できる。例えば画像内の空の領域の色を所定の「好ましい(preferred)」または「記憶の(memory)」空の色に修正したり、画像内の草の領域の色を所定の「好ましい」または「記憶の」芝生の色に(例えばゴルフコースの色に)修正したり、また画像内の肌領域の色を所定の「好ましい」または「記憶の」肌の色(例えば日焼けした肌の色)へ向かう方向性で修正できる。色再配置には、色相、明度、および彩度の修正が挙げられる。主題の彩度を増加させることは、色再配置の一例である。
【0031】代わりに、または、さらに加えて本発明では、特定の標的主題の色および輝度に基準を置いてシーンバランス(輝度およびカラーバランス)を選択的に調整できる。例えば、複数の光源が存在するのならば雪の領域の色および輝度を用いて全体または部分のシーンバランスを決められ、また、複数の光源が存在するのならば肌(顔)の領域の色および輝度を用いても全体または部分のシーンバランスを決めることができる。
【0032】代わりに、または、さらに加えて本発明では、特定の標的主題の色調を選択的に調整できる。例えば、画像内の空領域の色の階調度(color gradient)を所定の「好ましい」または「記憶の」空の色調(色の階調度)に修正でき、また画像内の顔領域のコントラストおよび色調を所定の「好ましい」または「記憶の」顔の色調(例えば、スタジオ肖像写真)へ向かう方向性で修正できる。
【0033】代わりに、または、さらに加えて本発明では、標的主題に基づいて画像を補間(interpolate)できる。画像の補間とは、存在する画像の大きな、拡大バージョンを作成することである。標準では、双線形インターポレーションまたは三次スプラインを基にしたインターポレーションを用いる。異なる主題範囲に対して異なるインターポレーション技術を適用するのが望ましい。一般に、例えば青空といった画像の平面的な領域には、周知の双線形インターポレーションのような平面モデルを扱うインターポレーションアルゴリズムが首尾よく機能する。例えば、芝生、群葉(foliage)、および波立つ水(bodies of rippled water)といった別の標的主題には、平面モデルでは上手く働かず、キュビロら(Cubillo et al.)らによる米国特許第6141017号によって開示されているフラクタルを基にした、より複雑なモデルを必要とするかもしれない。
【0034】デジタル画像処理において、尖鋭化アルゴリズムで画像を尖鋭化し、細部を際立たせることはよく知られている。標準として、コンボリューション処理でこの尖鋭化を行う。その例としては、ジェーンの教科書(Jain's textbook)、Fundamentals of Digital Image Processing、1989年、プレンタイス−ホール(Prentice-Hall)、第249−250頁を参照されたい。ぼけマスク処理は、コンボリューションを基にした尖鋭化処理の例である。
【0035】例えば、ぼけマスクを用いる画像の尖鋭化は以下の式で表される。
【数5】

ここで、【数6】

である。
【0036】標準として、ぼけた画像(unsharp image)は画像とローパスフィルタとのコンボリューションによって、(つまり、ぼけた画像はi(x,y)**b(m,n)によって、)生成される。次に、オリジナル画像からぼけた画像を引いて、ハイパス信号を生成する(つまり、ハイパス信号はi(x,y)-i(x,y)**b(m,n)で与えられる。)。そして、このハイパス信号がフリンジ関数f(x,y)およびぼけマスクスケール係数として機能する制御信号関数で修正される。注意すべきは、f()は好ましくは一致演算(identity operation)である(つまりは、何も行わない。)という点である。最後に、修正されたハイパス信号が、オリジナル画像またはぼけた画像に加算されて、尖鋭化画像を生成する。本発明の好ましい実施形態においては、ぼけマスクスケール係数β(x,y)のコレクションで制御信号を表している。いかなる特定の場所(x,y)においても制御信号β(x,y)の値は、対応する画像の位置における様々なビリーフマップの値M(x、y)と関係がある。(行および列に関し)ビリーフマップのサイズが画像サイズと同一であると仮定すれば、制御信号β(x,y)およびビリーフマップの値M(x、y)の関係性は以下の式で表され、【数7】

ここで、iは主題検出器を指す。例えば、M(x、y)は人肌に関する信頼性を示すビリーフマップで、M(x、y)は青空に関する信頼性を示すビリーフマップ、M(x,y)は草に関する信頼性を示すビリーフマップ、等々、でよい。
【0037】Tiは、対応する標的主題に関して高い信頼性を有する画素に対する制御信号を示す。上記の例を継続するなら、人肌には、T=1.5、青空には、T=1.5、緑の草にはT=6.0、等々、でよい。
【0038】Tは、全ての主題検出器に関し背景(「純」背景)と一般にみなされる画素に対する制御信号を示している。
【0039】本実施形態では、主題検出器は互いに排反するものとは想定されていない。換言すれば、幾つかの画素位置(x、y)においては、Σ(M(x,y))は1.0よりも大きくなるかもしれないということである。
【0040】別の実施形態においては、【数8】

としている。
【0041】この例においては、主題検出器は互いに排反するものと想定されてる。換言すれば、Σ(M(x,y))はいかなる画素位置(x,y)においても1.0よりも大きいことはない。
【0042】ビリーフマップM(x,y)の集積体に対する制御信号には多くの別の式が利用できることは、画像処理に関する技術分野の技能を有する者であれば理解するところである。例えば、さらに別の場合において、M(x,y)がいかなる選択されている主題検出器が標的主題であるとみなさない画素であることの信頼性を示すのであれば、以下の関係式が成立する。
【数9】

【0043】デジタル信号処理の技術分野において周知である、周波数領域(例えば、FFT領域)における画像の修正によって同様の尖鋭化効果は可能であるが、一般に周波数領域において空間的に変化する尖鋭化を行うことはさらに困難である。換言すれば、周波数領域を用いる技術は一般的に本発明での利用には適さないのである。
【0044】先の例においては、特定の位置における制御信号の値は、対応する少なくとも一つのビリーフマップの値M(x,y)の値にのみ従属することが示されている。その代わりに、図8に示されているように、制御信号は、ビリーフマップ解析器32による解析から得られる別の特性に従属している。ビリーフマップ解析器32はビリーフマップを入力とし、ビリーフマップに関連した様々な信号を出力可能である。ビリーフマップ解析器から出力される信号はビリーフマップの平均値、最小値、最大値、または分散値といったスカラー量であってよい。代わりに、または、加えて、ビリーフマップ解析器の出力信号は、別のマップも可能であり、そのマップは一または複数のビリーフマップと同一の寸法を有することが好ましい。例えば、ビリーフマップ解析器32はロケーションマップL(x,y)を生成してもよく、そのロケーションマップは、各画素の画像の中心からの距離、またはその他の適当な距離を示している。加えて、上記マップ解析器32がサイズマップS(x,y)を生成してもよく、該サイズマップの各画素の値はその画素に対応する領域のサイズを示すものである。画像処理の技術分野において周知の連結構成要素アルゴリズム(connected component algorithm)を用いて、非ゼロの信頼性を有する信頼性領域のサイズをビリーフマップから抽出できる。そのサイズは各信頼性領域に属する画素数(または総画素に占めるパーセンテージ)を計数して求めてよい。ビリーフマップ解析器からの出力信号は、ビリーフマップに加えてエンハンスメント制御信号生成器34に入力される。そしてエンハンスメント制御信号生成器34はエンハンスメント制御信号を生成し、それは、対応するビリーフマップ値M(x,y)、ロケーションマップL(x,y)、およびサイズマップS(x,y)に従属する、各位置に関する制御値である。
【0045】ビリーフマップ解析器32により、標的主題に対する選択した画像エンハンスメント操作の調整に柔軟性を与えている。例として、再度画像の尖鋭化について考察する。一般に、人肌を表している画素には僅かな尖鋭化が理想的である。しかしながら、小さな人肌領域(例えば画像に含まれる小さな顔)は大きな人肌領域よりも、視覚的に望ましくない染みや皺の顕在化なしで高レベルの尖鋭化に耐え得るという認識で、さらなる尖鋭化を行ってもよい。サイズマップS(x,y)は、エンハンスメント制御信号生成器34を、信頼値およびそれのサイズマップにおける値に基づいた制御信号に適応可能にしている。従って小さな顔は大きな顔よりも控えめに尖鋭化され、両顔は顔ではない領域よりも控えめに尖鋭化される。
【0046】例えば、以下の関係式は、エンハンスメント制御信号生成器34によって制御信号を生成するために実施されるものであり、【数10】

ここで、k()は尖鋭化のパラメータへ及ぶ領域サイズの影響を制御する関数である。k()の値は、S(x,y)の小さな値に対する0から、S(x,y)の大きな値に対する1.0まで単調に変化する。
【0047】図2を参照すると、典型的なスナップショット画像が示されており、そこには、(顔領域が肌領域100としてマークされている)人、群葉101、曇天102、晴天103および芝生104がある。そのような画像には、雪の積もった地面(図示せず)および水(図示せず)があってもよい。図3ないし図8には、標的主題がそれぞれ人肌、空、芝生、雪の積もった地面、水とする場合の、それに対応するビリーフマップが示されている。ゼロ値のビリーフマップは、信頼値がゼロである画素のみからなり、それは対応する主題が画像に存在しないこと(例えば図7において水の領域は検出されていないこと)を示している。与えられている一つのビリーフマップは一種類の主題にのみ関連していることに注意すべきである。換言すれば、空領域が、人肌ビリーフマップにおいては背景領域とされており、その逆の場合も同様である。画像の「純」背景領域110はいかなる標的主題に対しても信頼性ゼロの画素から構成されている。画素または領域が一よりも多いビリーフマップにおいて非ゼロの信頼値を持つことは可能であり、それはその画素が一よりも多い種類の主題に属しているかもしれないことを示している(例えば、図2における領域101は草に属している確率が0.3であり緑色の群葉に属している確立が0.7である。)。図3は、標的主題を人肌とした場合における、主題検出器が生成するビリーフマップの例であり、画像内の異なる主題に信頼値が付されている。例えば、顔領域は、0から100のスケールで人肌に対する信頼値95が付され、木の幹には信頼値30が、背景領域には信頼値0が付されている。図4には、標的主題を空とした場合の主題検出器が生成するビリーフマップの例が示されており、そこでは信頼値100が付されている。図5には、標的主題を草とした場合の主題検出器が生成するビリーフマップの例が示されており、草には信頼値100が付され、木の葉には信頼値30が付されている。図6には、標的主題を雲および雪とした場合の主題検出器が生成するビリーフマップの例が示されており、雲には信頼値80が付されている。図7には、標的主題を水とした場合の主題検出器が生成するビリーフマップの例が示されており、この光景には露に水は存在しない。
【0048】図1に戻り、上記の代わりにまたは上記に加え、画像エンハンスメント操作には、ノイズリダクション、デブロッキング、シーンバランスの調整、色調の調整、色の再配置、画像の補間、または少なくとも一つの画像の属性を強化することができるあらゆる他の操作を含めてもよい。
【0049】JPEGデブロッキングとは、JPEG画像圧縮の結果生じる視覚的に好ましからざるブロック状の人工的な境界を称している(ルオらによる、アーティファクト リダクション イン ロウ ビットレート DCTベースド イメージコンプレッション(Luo et al. Artifact Reduction in Low Bit Rate DCT-BasedImage Compression)IEEE トランザクションズ オン イメージ プロセッシング(Transactions on Image Processing)、5巻、9号、1996年9月、第1363−1368ページを参照。)。一般に、人面および晴天における滑らかな変化においては、積極的にブロッキングアーティファクトを除去することが望まれ、これらの場所はブロッキングアーティファクトが最も目に映りやすく、不快だからである。しかし、通常デブロッキングアルゴリズムは、ブロッキングアーティファクトが目立たない芝生、雪の積もった地面、および水のような領域の画像の細部を除去する傾向を有する。従って、異なる主題領域には異なる量のデブロッキングを適用することに利がある。なおその上に、高度なテクスチャ内容を有する主題領域には一切のデブロッキングの適用がないことが望まれる。なぜならば、そのような領域は自然とブロッキングアーティファクトを隠し、また細部の損失に対し許容性がないからである。
【0050】一般に、JPEG圧縮処理における量子化による失われた情報を回復することは不可能だが、いくつかのコーディングによるアーティファクトは、適当な先行する画像モデルを用い、画像平滑化の制約条件の合同で緩和させることができる。
【0051】画像平滑化の制約条件を実施するため、幾つかの凸ポテンシャル関数が存在する。しばしば凸関数が好まれるが、それは凸制約条件問題の収束性は、解が存在すれば保証されており、高速な集束によって効果的な最適化が可能だからである。さらに重要なことに、隣接画素の差分を変数とし、滑らかに推移する、つまり十分な連続性を有する凸ポテンシャル関数によって画像に望ましい連続性がもたらされる。
【0052】フーバー−マルコフのランダム場(HMRF)と呼ばれる、特定のギブスのランダム場が好ましい。そのポテンシャル関数Vc,T(x)は次の形式であり、【数11】

ここで、Tは閾値である。現下の画素Xm,nとそれに隣接する画素Nm,nとの階調の差分を次のように定義すれば、【数12】

これらの差分はフーバーのミニマックス関数の変数に代入することができる。フーバーのミニマックス関数の良い性質とは、稜線およびテクスチャ領域といった画像の細部を残しながら、ある種のアーティファクトを平滑化できる点である。局所的な変動が閾値Tよりも小さければ、関数の二次セグメントをアーティファクトの最小2乗平均による平滑化に用いる。他方、関数の線形セグメントが、画像内の大きな不連続性にはずっと軽いペナルティーにし、画像細部の保護を可能にしている。
【0053】性質を異にする不連続性を識別する上で、HMRFモデルのスイッチング機能が非常に重要である。しかし、我々が画像の細部とアーティファクトを識別する必要がある場合には、このスイッチング特性ではまだ不十分である。意味論を持ちこまずに、単一の閾値Tでは、あらゆる不連続性を説明できず、真の画像稜線とアーティファクトとを識別するのに十分ではない。検出された主題に関する知識で、異なる主題それぞれに適切な閾値Tを選び出すことができる。例えば、肌および青空に関する領域の画素に対してアーティファクトを平滑化するために、HMRFモデルの閾値T(T1=10)は大きな値が選ばれ、芝生および波立った水に関する領域には中間的な閾値T(T2=5)が選ばれ、また群葉のように高度なテクスチャを有する領域には閾値Tをゼロ(T=0)とする。
【0054】デノイジングとは、画像のノイズ低減を意味する。リー(Lee)によるDigital Image Smoothing and the Sigma Filter, Computer Vision, Graphics, Image Processing、24巻、第189−198ページ、1983年4月に記載の非線形フィルタを参照されたい。現下の画素値との差がσ内である隣接する画素値の局所的平均を用いて現下の画素値の値を置き換えている。明らかなことだが、これにより、大きな値を有する稜線部は保護される一方、小さな値であるノイズ成分は除去される。
【0055】本発明の主題は、デジタル画像理解技術に関し、この技術はデジタル的にデジタル画像を認識し、それによって人間が理解できる対象、属性、または状態に有用な意味を与え、後続のデジタル画像処理によって得られる結果を利用する技術を意味すると解される。
【0056】本発明は、例えばコンピュータプログラム製品において実施されてもよい。コンピュータプログラム製品は少なくとも一つの記憶媒体に収録されてもよく、それら記憶媒体とは例えば、(フロッピィーディスクのような)磁気ディスクもしくは磁気テープといった磁気記憶媒体、光学ディスク、光学テープ、もしくは器械読み取り可能なバーコードといった光学記憶媒体、ランダムアクセスメモリ(RAM)もしくはリードオンリメモリ(ROM)といった固体電子記憶装置、または他のあらゆる物理装置もしくは少なくとも一つのコンピュータを制御して本発明による方法を実施するための命令を有するコンピュータプログラムを記憶するのに用いられる媒体、である。
【0057】
【発明の効果】本発明は画像内において検出された主題物に従って画像に施す画像エンハンスメント操作の量を場所ごとに変化させることができる。あらゆる画像または画像全体に控えめなレベルで画像エンハンスメントを施すようにシステムを調整するのではなくむしろ、本発明は各領域における主題内容に基づく画像エンハンスメント量の決定を各領域について自動的に行っている。




 

 


     NEWS
会社検索順位 特許の出願数の順位が発表

URL変更
平成6年
平成7年
平成8年
平成9年
平成10年
平成11年
平成12年
平成13年


 
   お問い合わせ info@patentjp.com patentjp.com   Copyright 2007-2013