Warning: copy(.htaccess): failed to open stream: Permission denied in /home/jp321/public_html/header.php on line 8
画像部品を検索する装置及びその方法 - 松下電器産業株式会社
米国特許情報 | 欧州特許情報 | 国際公開(PCT)情報 | Google の米国特許検索
 
     特許分類
A 農業
B 衣類
C 家具
D 医学
E スポ−ツ;娯楽
F 加工処理操作
G 机上付属具
H 装飾
I 車両
J 包装;運搬
L 化学;冶金
M 繊維;紙;印刷
N 固定構造物
O 機械工学
P 武器
Q 照明
R 測定; 光学
S 写真;映画
T 計算機;電気通信
U 核技術
V 電気素子
W 発電
X 楽器;音響


  ホーム -> 計算機;電気通信 -> 松下電器産業株式会社

発明の名称 画像部品を検索する装置及びその方法
発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開平7−219969
公開日 平成7年(1995)8月18日
出願番号 特願平6−298453
出願日 平成6年(1994)12月1日
代理人 【弁理士】
【氏名又は名称】山本 秀策
発明者 岡本 修作
要約 目的
使用者の検索意図が検索結果に反映され、所望の画像が容易に編集合成できる画像検索装置を提供することである。

構成
自然言語文に応じて、画像部品を検索する装置であって、自然言語文を受け取る入力部200と、言語解析辞書206を参照して、自然言語文を解析することにより、自然言語文の構文構造を得る言語解析部201と、状況要素分割辞書210を参照して、自然言語文の構文構造を意味構造に変換し、自然言語文の意味構造によって表される状況を少なくとも1つの状況要素に分割する状況要素分割部205と、状況要素に対応する画像部品を格納する画像データベース212と、状況要素を画像検索キーとして用いて、画像データベース212から画像部品を検索する画像検索部211とを備えた装置である。
特許請求の範囲
【請求項1】 自然言語文に応じて、画像部品を検索する装置であって、自然言語文を受け取る入力手段と、言語解析辞書を参照して、該自然言語文を解析することにより、該自然言語文の構文構造を得る言語解析手段と、状況要素分割辞書を参照して、該自然言語文の該構文構造を意味構造に変換し、該自然言語文の該意味構造によって表される状況を少なくとも1つの状況要素に分割する状況要素分割手段と、該状況要素に対応する画像部品を格納する画像データベースと、該状況要素を画像検索キーとして用いて、該画像データベースから該画像部品を検索する検索手段とを備えた装置。
【請求項2】 前記画像部品は、画像に含まれる少なくとも1つの領域に関連する画像属性データを含んでおり、前記検索手段は、該画像属性データに応じて該画像データベースから得られた画像部品をさらに絞り込む、請求項1に記載の装置。
【請求項3】 前記画像属性データは、前記画像に含まれる少なくとも1つの領域を定義する領域データと該少なくとも1つの領域の意味を表す情報とを含んでいる、請求項2に記載の装置。
【請求項4】 前記情報は、自然言語文によって表される、請求項3に記載の装置。
【請求項5】 前記検索手段は、前記画像検索キーと前記画像属性データとの類似度を計算する手段と、該類似度に応じて、前記画像属性データの利用の可/不可を規定する領域利用情報を提供する手段とを備えている、請求項2に記載の装置。
【請求項6】 前記装置は、前記領域利用情報に基づいて、前記検索手段によって検索された画像部品のうち少なくとも一部を表示する表示手段をさらに備えている、請求項5に記載の装置。
【請求項7】 前記状況要素分割辞書は、前記自然言語文の意味を定義するための複数の格フレームを含んでおり、該複数の格フレームのそれぞれは、前記自然言語文において述語となりうる単語と、該単語に関連する格要素の名称と該格要素が満たすべき制約条件との組を記述するスロットと、前記状況を少なくとも1つの状況要素に分割するための知識を記述する状況分割データとを含んでいる、請求項1に記載の装置。
【請求項8】 前記状況要素分割手段は、前記格フレームの前記状況分割データに基づいて、前記少なくとも1つの状況要素を背景に関連するグループと前景に関連するグループとに分類する、請求項1に記載の装置。
【請求項9】 前記言語解析辞書は、前記自然言語文から画像検索に必要とされない単語を削除するためのルールを含んでおり、前記言語解析手段は、該ルールに従って前記自然言語文から単語を削除する画像検索前処理手段を備えている、請求項1に記載の装置。
【請求項10】 自然言語文に応じて、画像部品を検索する装置であって、複数の画像部品を格納する画像データベースであって、該複数の画像部品のそれぞれは、画像に含まれる領域の意味を表す画像属性データと該領域に対応する画素データとを含む画像データベースと、自然言語文を受け取る入力手段と、該自然言語文を解析することにより、少なくとも1つの要素を含む解析フレームであって、該自然言語文の意味を表す解析フレームを得る解析手段と、該解析フレームに含まれる該少なくとも1つの要素を互いに対応付けることにより、該自然言語文の部分的な意味を表す画像検索キーを定義する対応付け手段と、該画像検索キーと該画像属性データとの意味における類似度に基づいて、該画像データベースから画像部品を検索する検索手段とを備えた装置。
【請求項11】 前記解析フレームは、述語と該述語に関連する格要素と該格要素の値とを含む、請求項10に記載の装置。
【請求項12】 前記対応付け手段は、該自然言語文の部分的な意味に応じて、背景に関連する画像検索キーと前景に関連する画像検索キーとのうち一方を定義する、請求項10に記載の装置。
【請求項13】 自然言語文に応じて、画像データベースから画像部品を検索する方法であって、該画像データベースは複数の画像部品を格納し、該複数の画像部品のそれぞれは、画像に含まれる領域の意味を表す画像属性データと該領域に対応する画素データとを含んでおり、該方法は、a)自然言語文を受け取るステップと、b)該自然言語文を解析することにより、少なくとも1つの要素を含む解析フレームであって、該自然言語文の意味を表す解析フレームを得るステップと、c)該解析フレームに含まれる該少なくとも1つの要素を互いに対応付けることにより、該自然言語文の部分的な意味を表す画像検索キーを定義するステップと、d)該画像検索キーと該画像属性データとの意味における類似度に基づいて、該画像データベースから画像部品を検索するステップとを包含する方法。
【請求項14】 前記解析フレームは、述語と該述語に関連する格要素と該格要素の値とを含む、請求項13に記載の方法。
【請求項15】 前記ステップc)は、該自然言語文の部分的な意味に応じて、背景に関連する画像検索キーと前景に関連する画像検索キーとのうち一方を定義するステップを包含する、請求項13に記載の方法。
発明の詳細な説明
【0001】
【産業上の利用分野】本発明は、画像データベースに蓄積する画像部品を自然言語を用いて検索する装置及び方法に関する。特に、ワードプロセッサやDTP(Desk TopPublishing、ディスク・トップ・パブリッシング)などの文書作成装置を用いて、パンフレットやマニュアル等の文書を作成する際に、前記文書の内容に関連する画像を容易に検索する装置及び方法に関する。
【0002】
【従来の技術】画像の持つ情報は、言語に比べて具体性が高くかつ情報量も多いため、パンフレット、雑誌、テレビのニュースなど日常生活の様々な部分においてに使われている。このため、大量に画像の蓄積されたデータベースから目的の画像を誰にでも容易に検索できるシステムの必要性が高まっている。これに対して、従来、開発されてきた画像検索方法として、例えば以下のようなものがある。
【0003】(1)キーワードを用いる方法蓄えているそれぞれの画像に対してあらかじめ幾つかのキーワードを割り当てておき、利用者が所望の画像に関連のある幾つかのキーワードを入力すると、入力キーワードと各画像に割り当てられているキーワードとの類似度を例えばキーワードベクトル間の距離を用いて計算し、類似度の高いものから順に利用者に提示する方法である。キーワードベクトルの使用は、例えば、文献 [柴田、中須、"画像データベースの連想検索方式"、電子情報通信学会論文誌、D-II、Vol.J73-D-II、No.4、pp.526-534、1990年] に開示されている。
【0004】(2)類似画像をたどる方法最初に検索の手がかりとなる画像を幾つか利用者に表示する。ただし(1)と同様に蓄えているそれぞれの画像に対してはあらかじめ幾つかのキーワードを割り当てておく。利用者は表示画像の中から所望の画像に最も類似しているものを選択すると、装置は、選択された画像に類似している画像を例えば(1)と同様にキーワードベクトル間の距離を用いて計算し、類似しているものから順に幾つかを表示する。このサイクルを繰り返し、最終的に利用者が所望の画像を得る方法である。
【0005】(3)手描き略画を用いる方法所望の画像内容を、利用者が覚えている範囲で手描きや略画作成ツールなどを用いて描くと、描かれた略画と各画像との類似度を例えば各画素の色彩の一致度によって計算し、類似度の高いものから順に利用者に提示する方法である。
【0006】以下、上記の3種類の画像検索の特徴について説明する。
【0007】まず、1番目のキーワードによる方法では、装置が予め用意しているキーワード辞書に登録されているキーワードであればどれでも検索に使えること、また、登録されていないキーワードがあっても、それを新たに辞書に登録することが容易であること、キーワード間に上位−下位などの簡単な関係を付けるだけでも比較的質の良い検索が行なえること、などのメリットがあるため、文書データベースなどでは良く利用されている方法である。
【0008】しかしながら、このキーワードによる検索方法を画像検索に適用した場合には、必ずしも利用者の意図に応じた検索結果が得られない場合がある。すなわち、キーワードだけでは画像の表す意味(例えば画像の状況を文章にして示したもの)を定量的に表現できないために、画像の登録作業を行なう人の主観によって割り当てられるキーワードが、必ずしも利用者にとっての最適はキーワードとはなりえないということが問題となる。
【0009】次に、2番目の類似画像による方法では、所望の画像を、提示された画像を見ながら検索することができるため、上記のキーワードによる方法に対して、検索の状況を捉え易いというメリットがある。
【0010】しかしながらこの方法でも、キーワードの場合と同様の問題を持ち合わせている。すなわちこの方法では、利用者が選択した1枚の画像に対して、装置は、蓄えられている全ての画像に対して選択された画像との類似度を計算するが、この類似度の計算において、あらかじめ画像に割り当てられているキーワードを用いているため、やはり、1番目のキーワードによる方法の場合と同様に、必ずしも利用者の意図に応じた検索結果が得られない場合が生じることが問題となる。
【0011】以上で述べたように、1番目と2番目の手法での問題は、画像の内容をいくつかのキーワードを用いて表現しているが、このキーワードと画像との対応関係が利用者によってまちまちであるために、必ずしも利用者が所望の画像を得られるわけではないという点にあった。
【0012】上記の問題を解決するために、画像そのものを装置に提示することによって検索する方法が3番目の手描き略画を用いる方法である。この方法では、例えばマウスを用いた作画プロセッサを用いて所望の画像の略画を描く。略画は2値の線画のみではなく色彩情報を入力することが可能な場合もある。作成された略画は、ただちに蓄積されている画像との類似度を計算するためにデータ変換が施される。続いて、略画の線情報や色彩情報などを用いて類似度が計算され、入力された略画と類似度の高いものから順に提示される。
【0013】この方法は、画像の輪郭情報や色彩情報といったあらかじめ定量化された情報を類似度の計算に用いているため、キーワード検索において問い合わせ用キーワードを辞書から探し求めるといった思考作業が必要でなくなり、使用者は所望の画像の内容を知っているだけで検索が行なえるという点にメリットがある。
【0014】しかしながら、上記に示した画像を提示する画像検索手法では、使用者が所望の画像の内容を知らない場合には略画を描くことができないため、この方法では必ずしも所望の画像を検索することはできない。また、画像の輪郭や色彩などを類似度を計算する際の情報として用いているため、類似度の計算コストが大きくなり、大規模なデータベースでは検索に多大な時間を要してしまう。
【0015】さらに、上記の3種類の方法においては、もし、所望の画像がデータベースに存在しない場合は、所望の画像を複数の画像の編集合成作業によって得る方法が一般的であり、まず所望の画像合成するのに必要な対象を含む画像をすべて検索し、必要な対象部分の切り出しや、切り出した対象部分と背景画像との合成を行なって所望の画像を得るという作業が必要となる。この場合、作業に非常に手間がかかることが問題であった。
【0016】なお、上記1番目のキーワードを用いる方法、2番目の類似画像をたどる方法を組み合わせた画像検索の方法として、例えば、文献 [井上、柴田、中須、"画像合成のための部品画像ファイルシステム"、電子情報通信学会論文誌、Vol.J72-D-II、No.11、pp.1824-1832、1989年11月] に開示の方法がある。また、上記3の画像検索の方法として、例えば、特開平2−51775号公報に開示の方法がある。
【0017】
【発明が解決しようとする課題】このような従来の画像検索技術においては、使用者が所望の画像を検索する際に、問い合わせにキーワードを用いた場合には画像の意味を定量的に表現できないために、使用者の検索意図が検索結果に反映されるとは限らないこと、また、問い合わせに略画を用いた場合には使用者の検索意図を装置に正確に伝える手段はあっても、使用者が所望の画像のイメージを知らない場合には検索が不可能なことが問題であった。
【0018】さらに従来の画像検索装置では、使用者の所望の画像が画像データベースに存在しないときは、所望の画像を編集合成作業によって作成することになるが、編集合成作業をすべて人手によって行なわければならなかったため、多大な手間がかかることが問題であった。
【0019】本発明は、上記問題点を解決するものであり、所望の画像のイメージを知らずとも所望の画像内容を正確に装置に伝え、かつ、所望の画像が画像データベースに存在しない場合でも、使用者の検索意図が検索結果に反映され、所望の画像が容易に編集合成できる画像検索装置を提供することを目的とする。
【0020】
【課題を解決するための手段】本発明の装置は、自然言語文に応じて、画像部品を検索する装置であって、自然言語文を受け取る入力手段と、言語解析辞書を参照して、該自然言語文を解析することにより、該自然言語文の構文構造を得る言語解析手段と、状況要素分割辞書を参照して、該自然言語文の該構文構造を意味構造に変換し、該自然言語文の該意味構造によって表される状況を少なくとも1つの状況要素に分割する状況要素分割手段と、該状況要素に対応する画像部品を格納する画像データベースと、該状況要素を画像検索キーとして用いて、該画像データベースから該画像部品を検索する検索手段とを備えており、これにより、上記目的が達成される。
【0021】前記画像部品は、画像に含まれる少なくとも1つの領域に関連する画像属性データを含んでおり、前記検索手段は、該画像属性データに応じて該画像データベースから得られた画像部品をさらに絞り込んでもよい。
【0022】前記画像属性データは、前記画像に含まれる少なくとも1つの領域を定義する領域データと該少なくとも1つの領域の意味を表す情報とを含んでいてもよい。前記情報は、自然言語文によって表されていてもよい。
【0023】前記検索手段は、前記画像検索キーと前記画像属性データとの類似度を計算する手段と、該類似度に応じて、前記画像属性データの利用の可/不可を規定する領域利用情報を提供する手段とを備えていてもよい。
【0024】前記装置は、前記領域利用情報に基づいて、前記検索手段によって検索された画像部品のうち少なくとも一部を表示する表示手段をさらに備えていてもよい。前記状況要素分割辞書は、前記自然言語文の意味を定義するための複数の格フレームを含んでおり、該複数の格フレームのそれぞれは、前記自然言語文において述語となりうる単語と、該単語に関連する格要素の名称と該格要素が満たすべき制約条件との組を記述するスロットと、前記状況を少なくとも1つの状況要素に分割するための知識を記述する状況分割データとを含んでいてもよい。
【0025】前記状況要素分割手段は、前記格フレームの前記状況分割データに基づいて、前記少なくとも1つの状況要素を背景に関連するグループと前景に関連するグループとに分類してもよい。
【0026】前記言語解析辞書は、前記自然言語文から画像検索に必要とされない単語を削除するためのルールを含んでおり、前記言語解析手段は、該ルールに従って前記自然言語文から単語を削除する画像検索前処理手段を備えていてもよい。
【0027】本発明の他の装置は、自然言語文に応じて、画像部品を検索する装置であって、複数の画像部品を格納する画像データベースであって、該複数の画像部品のそれぞれは、画像に含まれる領域の意味を表す画像属性データと該領域に対応する画素データとを含む画像データベースと、自然言語文を受け取る入力手段と、該自然言語文を解析することにより、少なくとも1つの要素を含む解析フレームであって、該自然言語文の意味を表す解析フレームを得る解析手段と、該解析フレームに含まれる該少なくとも1つの要素を互いに対応付けることにより、該自然言語文の部分的な意味を表す画像検索キーを定義する対応付け手段と、該画像検索キーと該画像属性データとの意味における類似度に基づいて、該画像データベースから画像部品を検索する検索手段とを備えており、これにより、上記目的が達成される。
【0028】前記解析フレームは、述語と該述語に関連する格要素と該格要素の値とを含んでいてもよい。
【0029】前記対応付け手段は、該自然言語文の部分的な意味に応じて、背景に関連する画像検索キーと前景に関連する画像検索キーとのうち一方を定義してもよい。
【0030】本発明の方法は、自然言語文に応じて、画像データベースから画像部品を検索する方法であって、該画像データベースは複数の画像部品を格納し、該複数の画像部品のそれぞれは、画像に含まれる領域の意味を表す画像属性データと該領域に対応する画素データとを含んでおり、該方法は、a)自然言語文を受け取るステップと、b)該自然言語文を解析することにより、少なくとも1つの要素を含む解析フレームであって、該自然言語文の意味を表す解析フレームを得るステップと、c)該解析フレームに含まれる該少なくとも1つの要素を互いに対応付けることにより、該自然言語文の部分的な意味を表す画像検索キーを定義するステップと、d)該画像検索キーと該画像属性データとの意味における類似度に基づいて、該画像データベースから画像部品を検索するステップとを包含しており、これにより、上記目的が達成される。
【0031】前記解析フレームは、述語と該述語に関連する格要素と該格要素の値とを含んでいてもよい。
【0032】前記ステップc)は、該自然言語文の部分的な意味に応じて、背景に関連する画像検索キーと前景に関連する画像検索キーとのうち一方を定義するステップを包含していてもよい。
【0033】
【作用】本発明では、画像部品を画像データベースに登録する際に、あらかじめ、画像の構成要素となる対象の領域を示す領域データを作成し、さらに、領域と領域の内容を表す画像内容情報との組を、画像部品の画像属性データとして記述しておく。
【0034】本発明による画像検索装置では、所望の画像の内容を表す自然言語文が入力部を介して入力される。言語解析部によって入力された自然言語文の構文構造が解析される。状況要素分割部によって自然言語文の構文構造が意味構造に変換される。すなわち、入力された自然言語文の表す状況は、それを構成する部分的な状況要素に分割され、分割されたそれぞれの状況要素に対応する画像検索キーが生成される。ここで、状況要素とは、状況を表す最小単位の文章のことである。
【0035】画像検索部では、分割された状況要素毎に、状況要素と関連のある画像部品が検索される。さらに、検索された画像部品を絞り込んでもよい。
【0036】入力文の意味構造と検索された画像部品の意味構造とが完全に一致した場合には、所望の画像部品が見つかったことを意味する。従って、表示部は、検索された画像部品を表示する。それらが完全に一致しない場合には、表示部は、入力文の意味構造を表すために必要な画像部品を、背景と前景とに分けて表示する。また、必要に応じて表示画像部品の編集も可能である。
【0037】
【実施例】以下、図面を参照して本発明を実施例について説明する。
【0038】図1(a)は、画像データベースに格納される画像の例を示す。この画像は、「木の生い茂る○○公園で、Bさんが自転車に乗って、A選手のコーチをしている」というシーンを表している。このように画像は特定の意味を有している。さらに、画像に含まれる個々の領域は、画像全体とは異なる意味を有していると解釈することができる。例えば、「Bさんが自転車に乗って、A選手のコーチをしている」というシーンを画像に含まれる領域ごとに個々に解釈すれば、「Bさんが自転車に乗っている」と「A選手が走っている」と解釈できる。また、「並木」というシーンを画像に含まれる領域ごと個々に解釈すれば、3本の「木」であると解釈することもできる。
【0039】本発明は、このような画像全体又は画像の一部の意味に基づいて、画像データベースを検索する装置を提供する。画像データベースに格納される画像は、他の画像を合成するために使用され得る。この意味で、本明細書では、画像データベースに格納された画像のことを「画像部品」という。画像部品は、画素データと領域データと画像属性データとを含む。画素データは、ピクセル値の集合である。例えば、640×480ドットの画像の場合、画素データは640×480個のピクセル値の集合である。領域データは、画像に含まれる少なくとも1つの領域の位置を特定するデータである。例えば、領域データは、領域の輪郭線を規定する座標の集合である。画素データと領域データとは、公知の方法で画像データベースに格納され得る。画像属性データは、画素データの表す意味と領域との関係を規定する。画素データの表す意味は1つの領域に対応するかもしれないし、複数の領域に対応するかもしれない。
【0040】図1(b)は、図1(a)の画像に含まれる領域の例を示す。図1(a)の画像には、領域X1〜X5が含まれている。領域データは、領域X1〜X5の位置を特定する。
【0041】図1(c)は、図1(a)の画像に対応する画像属性データの構造を示す。画像属性データは、画素データの全体又は一部の意味を示す情報101と画素データの全体又は一部の意味に関連する領域102とを含む。情報101は、例えば、自然言語文で記述される。自然言語文は、検索可能な他の任意の言語に置き換えられ得る。例えば、画素データの全体又は一部の意味は、自然言語の単語列によって表されてもよい。
【0042】図1(c)において、画像属性データ103は、領域X1に対応する画素データの意味が「A選手が走っている」であることを規定している。画像属性データ104は、領域X2に対応する画素データの意味が「Bさんが自転車に乗っている」であることを規定している。画像属性データ103及び104は、1つの領域と1つの画素データの意味とが対応している例である。しかし、2以上の領域と1つの画素データの意味とが対応していてもよい。例えば、画像属性データ105は、領域X1及びX2とからなる領域に対応する画素データの意味が「Bさんが自転車でA選手をコーチしている」であることを規定している。画像属性データ106は、領域X3〜X5からなる領域に対応する画素の意味が「並木」であることを規定している。このように、画像属性データは、複数の領域の組み合わせに対応する画素データの意味が、個々の領域に対応する画素データの意味と異なるように規定される。
【0043】画像属性データ107では、画素データの意味に対応する領域が規定されていない。これは、その画素データの意味に対応する領域を省略した表現である。この省略表現は、その画素データの意味が図1(b)に示す領域X1〜X5を含めた全体の領域(すなわち、画像の背景領域)に関連していることを意味する。従って、画像属性データ107は、画像の背景領域に対応する画素データの意味が「○○公園」であることを規定している。このように、画像属性データにおいて画素データの意味に対応する領域が規定されている場合には、その画素データの意味は画像の前景領域に関連し、画像属性データにおいて画素データの意味に対応する領域が規定されてない場合には、その画素データの意味は画像の背景領域に関連する。従って、画像属性データにおいて画素データの意味に対応する領域が規定されているか否かをチェックすることによって、その画素データの意味が画像の前景領域と背景領域のうちのいずれに関連しているかを判定することができる。
【0044】図2は、本発明による画像検索装置の実施例の構成を示す。画像検索装置は、自然言語文を入力するための入力部200と、言語解析辞書206を参照して自然言語文の構文構造を解析する言語解析部201と、状況要素分割辞書210を参照して自然言語文の構文構造を意味構造に変換し、自然言語文の意味構造によって表される状況を少なくとも1つの状況要素に分割し、分割された状況要素にそれぞれ対応する画像検索キーを生成する状況要素分割部205と、画像検索キーに基づいて画像データベース212から画像部品を検索する画像検索部211と、検索された画像部品を表示し、必要に応じてその画像部品を編集する表示部215とを含んでいる。
【0045】画像データベース212は、画像部品を検索するための画像部品検索辞書213と、画像部品を格納する画像部品データベース214とを含んでいる。
【0046】図3は、画像部品検索辞書213の構造を示す。画像部品検索辞書213は、複数の画像部品検索データを含んでいる。図3では、画像部品検索データのそれぞれは、画像部品検索辞書213の各行に対応している。画像部品検索データは、画像部品の内容を表すキーワード301と、この画像部品検索データ自身に関連する他の画像部品検索データへのポインタ302と、キーワード301に関連する画像部品へのポインタ303とを含んでいる。図3に示されるように、キーワード301とポインタ302とポインタ303とは、2重の縦線によって区切られている。
【0047】例えば、画像部品検索データの一例として図3の第1行に示される画像部品検索データ304を説明する。画像部品検索データ304は、キ−ワード301として「A選手」を有しており、ポインタ302として少なくとも「人物(上位)」を有しており、ポインタ303として少なくとも「画像1」と「画像2」とを有している。「人物(上位)」は、キーワード301として「人物」を有する画像部品検索データが画像部品検索データ304に対して「上位」の関係で位置付けられることを示している。「画像1」と「画像2」は、「A選手」に関連する画像部品へのポインタを画像部品の番号によって示したものである。「画像1」と「画像2」は、「A選手」に関連する画像部品として画像1と画像2とが画像部品データベース214に格納されていることを示している。
【0048】図2を再び参照して、言語解析部201は、言語解析辞書206を参照して入力された自然言語文の構文構造を解析する。言語解析辞書206は、画像検索前処理知識ベース207と単語辞書208と文法辞書209とを含む。言語解析部201は、単語辞書208を参照して形態素解析を行う形態素解析部202と、画像検索前処理知識ベース207を参照して入力された自然言語文に含まれる単語のうち不要な単語の削除と単語の修正を必要であれば行う画像検索前処理部203と、文法辞書209を参照して画像検索前処理部203によって処理された自然言語文の構文構造を解析する構文解析部204とを含んでいる。構文解析部204における構文解析の手法は、自然言語処理の分野における公知の技術である。例えば、形態素解析部202、単語辞書208、構文解析部204、文法辞書209の実現方法は、野村浩郷著、「自然言語処理の基礎技術」、電子情報通信学会、1988年に記載されている。本発明による画像検索装置における構文解析部204は、入力された自然言語文の構文解析の結果が構文解析部204から正しく出力される限り、任意の構文解析の手法を採用し得る。
【0049】以下、下記の自然言語文(1)が入力部200によって画像検索装置に入力された場合を例にとり、言語解析部201における処理を簡単に説明する。
【0050】
「A選手とC選手が××マラソンでトップを走っている」 (1)
入力部200によって入力された自然言語文(1)は、まず、形態素解析部202によって、単語辞書208を用いて文を構成する最小単位である形態素に分解される。形態素への分解結果は、例えば次のごとくとなる。
【0051】「C選手」「が」「A選手」「と」「××マラソン」「で」「トップ」「を」「走って」「いる」
画像検索前処理部203は、このような形態素列から画像の表現に不必要な単語を除去、修正する。例えば、接頭語や法情報、敬語表現などを表す形態素の除去、基本形以外の用言の基本形への変換などの画像検索前処理が画像検索前処理部203によって実行される。画像検索前処理は、画像検索前処理知識ベース207に格納される画像検索前処理知識を参照して実行される。
【0052】画像検索前処理知識は、自然言語の文章で記述すると、例えば、「動詞連用形の次に動詞性接尾辞『いる』もしくはその活用形が接続し文が終了する場合は、動詞連用形を基本形に変更し、動詞性接尾辞『いる』もしくはその活用形を取り除く。」というルールを含む。このルールは、入力された自然言語文が進行形という法情報を含んでいる場合には、進行形を表現している部分を除去し現在形に変更するという処理を行うことを規定したものである。例えば、上記の形態素解析の結果の例では、最後の2つの形態素「走って」と「いる」に着目すると、動詞の連用形「走って」に、動詞性接尾辞「いる」が接続しているため、最後の形態素である「いる」が除去され、「走って」は基本形「走る」に変更される。すなわち、本処理によって上記の形態素解析の結果は以下の自然言語文(1’)に変更される。
【0053】
「C選手」「が」「A選手」「と」「××マラソン」「で」「トップ」「を」
「走る」 (1’)
画像検索前処理部203による処理により、活用形を考慮した文法規則や接頭語を含む文法規則などを文法辞書209に記述する必要がないので、文法辞書209の文法規則の数を削減することができる。このことにより、構文解析部204における処理を高速化することが可能となる。しかしながら、画像検索前処理部203は省略されてもよい。その理由は、活用形などを考慮した方がより正確な画像検索を行える場合もあるからである。
【0054】画像検索前処理知識は、通常、プログラミング言語を用いて画像検索装置に組み込まれる。例えば、そのプログラミング言語が手続き型言語である場合には、画像検索前処理知識をif-then形式の条件分岐を用いて容易に表現することができる。上述のルールは例えば以下のように表現され得る。
【0055】if(動詞連用形の次に動詞性接尾辞『いる』もしくはその活用形が接続し文が終了する)
then{・動詞連用形を基本形に変形する。
【0056】・動詞性接尾辞『いる』もしくはその活用形を取り除く。
【0057】}
複数個の画像検索前処理知識は、複数個のif-then形式の条件分岐を列挙することによって以下のように表現され得る。これらのif-then形式の条件分岐は、画像検索前処理部203によって逐次処理される。
【0058】if(画像検索前処理を実行するための条件)
then{・画像検索前処理を実行する。
【0059】}
::if(画像検索前処理を実行するための条件)
then{・画像検索前処理を実行する。
【0060】}
構文解析部204は、文法辞書209を参照して自然言語文の構文構造を解析する。文法辞書209は、例えば、以下に示す日本語の文法に関するルールJR1)〜JR6)を含んでいる。
【0061】
JR1) 文 → 動詞句JR2) 動詞句 → 副詞句 動詞句JR3) 動詞句 → 動詞JR4) 副詞句 → 名詞句 格助詞JR5) 副詞句 → 副詞JR6) 名詞句 → 名詞各ルールは、「『→』 の左側の標識は、『→』 の右側の標識の列がその順に並んだものである」であることを規定する。例えば、ルールJR4)は、「副詞句は、名詞句と格助詞がこの順に並んだものである」ことを規定している。
【0062】図4は、上記の形態素解析の結果を構文解析部204によって構文解析した結果を構文木の形式で示したものである。構文木は、複数のノードを階層的に結合した構造を有している。あるノードを生成するために、ルールJR1)〜JR6)のうちのいずれか1つが適用される。例えば、図4の最上位のノード「文」には、ルールJR1)が適用される。これは、ノード「文」がルールJR1)の「→」の左側の標識「文」に一致し、ノード「文」の下位のノードの並びがルールJR1)の「→」の右側の標識の列の並びに一致するからである。その結果、ノード「文」の下位ノードとしてノード「動詞句」が生成される。
【0063】状況要素分割部205は、状況要素分割辞書210を参照して、自然言語文の構文構造を意味構造に変換し、自然言語文の意味構造によって表される状況を少なくとも1つの状況要素に分割し、分割された状況要素にそれぞれ対応する画像検索キーを生成する。状況要素分割辞書210は、複数の格フレームを含んでいる。格フレームは、自然言語文の意味構造を規定するために使用される。
【0064】図5は、状況要素分割辞書210に含まれる1つの格フレームの構造を示す。この格フレームは述語「走る」に関するものである。図5に示されるように、格フレームは、自然言語文の述語となりうる単語501と、その単語に関連する格要素の名称とその格要素が満たすべき制約条件との組を記述するスロット502と、自然言語文の意味構造によって表される状況を少なくとも1つの状況要素に分割するための知識を記述する状況分割データ503とを含んでいる。自然言語文の述語の種類としては、例えば、述語動詞、述語形容詞、及び述語形容動詞などがある。
【0065】述語「走る」の格フレームは、動作主体を表す動作主体格(AGENT)、動作の受け手を表す受け手格(PARTICIPANT)、動作が行われる場所を表す場所格(LOCATIVE)、動作が行われる目的を表す目的格(PURPOSE)の4つの格要素に対応するスロットを少なくとも有している。このことは、述語として「走る」を有する自然言語文は、「走る」という動作に対する動作主体、受け手、目的、場所をそれぞれ表す名詞句と格助詞からなる副詞句を含むことが可能であることを意味している。これらの4つのスロットの格要素が満たすべき制約条件は以下のとおりである。
【0066】・動作主体格(AGENT)は、動物(ANIMATE)を表す名詞句と格助詞「は」又は「が」とからなる副詞句でなければならない。
【0067】・受け手格(PARTICIPANT)は、動物(ANIMATE)を表す名詞句と格助詞「と」とからなる副詞句でなければならない。
【0068】・場所格(LOCATIVE)は、場所(LOC)又はレース(RACE)を表す名詞句と格助詞「で」とからなる副詞句でなければならない。
【0069】・目的格(PURPOSE)は、任意の名詞句と格助詞「を」とからなる副詞句でなければならない。(図5の格フレームにおいて「*」は、任意の名詞句でよいことを示す。)
図5に示される格フレームを用いて、図4に示される自然言語文の構文構造を意味構造に変換する処理を説明する。この処理は、状況要素分割部205によって実行される。
【0070】はじめに、構文解析の結果に基づいて、図4の構文木から名詞句と格助詞からなる副詞句が抽出される。この副詞句を名詞句と格助詞とに分解し、名詞句と格助詞のそれぞれに対応する単語を「+」で連結する記号を用いて、副詞句に対応する単語列を表すとすると、図4の構文木に含まれる副詞句は、「C選手+が」、「A選手+と」、「××マラソン+で」、「トップ+を」の4つであることが分かる。
【0071】次に、このようにして抽出された名詞句と格助詞とからなる副詞句が格フレームどのスロットの制約条件を満たすかが判定される。例えば、副詞句「C選手+が」が述語として「走る」を有する格フレーム(図5)の動作主体格に対応するスロットの制約条件「動作主体格は動物(ANIMATE)でなければならない」を満たすか否かは、以下のようにして判定される。上述した画像部品検索辞書213を参照して「C選手」と「動物」とが一致するか否かが判定される。「C選手」と「動物」とは文字列レベルで一致しないので、「動物」が「C選手」に対して「上位」の関係を有するか否かが以下のようにして判定される。
【0072】「C選手」をキーワードとして画像部品検索辞書213を検索することにより、「C選手」に関する画像部品検索データが得られる。その画像部品検索データに対して「上位」の関係を有する他の画像部品検索データへのポインタをたどることにより、「C選手」に対して「上位」の関係を有する画像部品検索データが得られる。このようにして得られた画像部品検索データが「動物」に関するものであれば、「C選手」は「動物」に属するので、上述の制約条件を満たすこととなる。また、他の画像部品検索データへのポインタを一度だけたどることにより「動物」に関する画像部品検索データが見つからない場合であっても、ポインタを繰り返したどることにより「動物」に関する画像部品検索データが見つかれば、やはり「C選手」は「動物」に属するので、上述の制約条件を満たすこととなる。さらに、ある画像部品検索データがその画像部品検索データに対して「上位」の関係を有する他の画像部品検索データへのポインタを2個以上有している場合に、一方のポインタを繰り返したどっても「動物」に関する画像部品検索データが見つからない場合には、ひとまずその画像部品検索データまで戻って、まだたどっていない他方のポインタを繰り返したどればよい。こうして「C選手」に関する画像部品検索データからたどることの可能な画像部品検索データをすべて調べても、「動物」に関する画像部品検索データが見つからなかった場合にのみ、「C選手」は「動物」に属さないと判断される。すなわち、「C選手」は上述の制約条件を満足しないと判断される。例えば、図3には示されていないが、「C選手」の「上位」の関係に「人間」があり、「人間」の「上位」の関係に「動物」があると仮定する。この場合、「C選手」から2度「上位」の関係をたどることによって「動物」にたどりつく。従って、「C選手」は、動作主体格に対応するスロットの制約条件「動作主体格は動物でなければならない」を満たす。
【0073】次に「C選手」に接続する格助詞を調べると、「が」であり、「動作主体に対応する名詞句に接続する格助詞は『は』又は『が』である」という条件を満たしている。従って、副詞句「C選手+が」は、述語「走る」の動作主体格に対応するスロットの制約条件を満たすので、副詞句「C選手+が」は、述語「走る」の動作主体格であることが確定する。同様に、「A選手+と」、「××マラソン+で」、「トップ+を」のそれぞれの副詞句が、どのスロットの条件を満たすかを調べると、「A選手+と」が受け手格、「××マラソン+で」が場所格、「トップ+を」が目的格にそれぞれ対応するスロットの制約条件を満たす。その結果、副詞句の格がそれぞれ確定する。
【0074】以上のようにして、自然言語文(1’)の意味構造を表す格フレームの構造が、図6に示されるように確定する。
【0075】図5を再び参照して、状況分割データ503は、格フレームの構造によって表される状況を少なくとも1つの状況要素に分割するための知識を記述するものである。ここで、状況要素とは、状況を表す最小単位の文章のことである。状況分割データ503におけるラベルP1、P2、BG1、BG2は、述語として「走る」を有する格フレームによって表される状況が、前景に対応する2種類の状況要素と背景に対応する2種類の状況要素とに少なくとも分割可能であることを示している。ラベルP1とP2とは前景に対応し、ラベルBG1とBG2とは背景に対応する。また、状況分割データ503におけるラベルP1、P2、BG1、BG2の下に示される「○」は、述語とその述語に関連する少なくとも1つの格要素との間の対応づけを規定する。
【0076】例えば、ラベルP1の下に示される2つの「○」は、述語「走る」と格要素「AGENT」の組み合わせが前景に対応する状況要素を規定することを示す。このことは、格要素「AGENT」が「走る」という動作をしているというシーンを状況要素とみなすという知識に基づいている。ラベルP2の下に示される2つの「○」は、述語「走る」と格要素「PARTICIPANT」との組み合わせが前景に対応する状況要素を規定することを示す。このことは、格要素「PARTICIPANT」が「走る」という動作をしているというシーンを状況要素とみなすという知識に基づいている。ラベルBG1の下に示される1つの「○」は、格要素「LOCATIVE」が背景に対応する状況要素を規定することを示す。このことは、場所を表すシーンを状況要素とみなすという知識に基づいている。ラベルBG2の下に示される1つの「○」は、格要素「PURPOSE」が背景に対応する状況要素を規定することを示す。このことは、目的を表すシーンを状況要素とみなすという知識に基づいている。
【0077】このように、状況分割データ503によれば、1つの格フレームにおいて、述語とその述語に関連する少なくとも1つの格要素とが互いに対応づけられる。単独の格要素、もしくは格要素の組み合わせは、状況要素を定義する。さらに状況要素は、P1、P2、BG1、BG2などのラベルにより、前景に対応する状況要素と背景に対応する状況要素とに分類される。
【0078】次に、状況分割データ503を参照して、自然言語文の意味構造によって表される状況を少なくとも1つの状況要素に分割し、状況要素に対応する画像検索キーを生成する処理を説明する。この処理は、状況要素分割部205によって実行される。上述したように、自然言語文の意味構造は格フレームによって表現される。以下、自然言語文(1’)の意味構造を表現する図6の格フレームを例にとり、この処理を説明する。説明の簡略化のため、図5に示される格フレームを辞書フレームといい、図6に示される格フレームを解析フレームという。辞書フレームは、状況要素分割辞書210に格納される。
【0079】上述したように、解析フレームにおいては、格要素「AGENT」の値は「C選手」であると確定し、格要素「PARTICIPANT」の値は「A選手」であると確定し、格要素「LOCATIVE」の値は「××マラソン」であると確定し、格要素「PURPOSE」の値は「トップ」であると確定している。このように、解析フレームは、述語と、その述語に関連する格要素と、その格要素の確定された値とを有している。解析フレームは、自然言語文(1’)の意味を表す。解析フレームに対応する状況要素を定義するためには、図6の辞書フレームの状況分割データ503を参照して、述語「走る」とその述語「走る」に関連する格要素たちを互いに対応づけてやればよい。例えば、状況分割データ503のラベルP1に関連して、「走る」と「C選手」との組み合わせである「C選手が走る」が前景に対応する状況要素として定義される。状況分割データ503のラベルP2に関連して、「走る」と「A選手」との組み合わせである「A選手が走る」が前景に対応する状況要素として定義される。同様にして、状況分割データ503のラベルBG1に関連して、「××マラソン」が背景に対応する状況要素として定義される。状況分割データ503のラベルBG2に関連して、「トップ」が背景に対応する状況要素として定義される。
【0080】このようにして、図6の解析フレームによって表される状況が4つの状況要素に分割される。状況要素は、辞書フレームの構造や解析フレームの構造とは異なる意味構造を有している。状況要素の意味構造は、以下の書式で表現される。
【0081】
((格要素(格要素の値)、…、格要素(格要素の値))、"背景"または"前景")
もしくは、((述語、格要素(格要素の値)、…、格要素(格要素の値))、"背景"または"前景")
本明細書では、上述の書式で表現された状況要素を特に「画像検索キー」という。画像検索キーは、入力された自然言語文の部分的な意味を表す。画像検索キーは、後述するように、画像データベース212から画像部品を検索するために使用される。例えば、図6の解析フレームから得られる画像検索キーは、以下に示す(2-1)〜(2-4)の4つである。以下、画像検索キーにおいて、「格要素(格要素の値)」の形式のデータを格要素データと呼ぶことにする。
【0082】
((走る、AGENT(C選手))、"前景") (2-1) ((走る、PARTICIPANT(A選手))、"前景") (2-2) (RACE(××マラソン)、"背景") (2-3) (*(トップ)、"背景") (2-4)画像検索部211は、画像検索キーに関連する画像部品を画像データベース212から検索する。
【0083】図7は、画像検索キーに関連する画像部品を画像データベース212から検索する処理の手順を示す。この検索処理は、画像検索部211によって実行される。以下、図7を参照して、この検索処理をステップごとに説明する。
【0084】ステップ701:状況要素分割部205によって生成された画像検索キーを画像検索部211に入力する。入力されたすべての画像検索キーに対して、画像部品検索ルーチンを実行する。画像部品検索ルーチンについては後述する。
【0085】ステップ702:画像検索キーと画像部品検索ルーチンによって得られた1以上の画像部品との組を画像部品選択ルーチンに入力する。入力されたすべての組に対して、画像部品選択ルーチンを実行する。画像部品選択ルーチンについては後述する。
【0086】ステップ703:背景グループに含まれる画像部品のうち、最も多くの組に含まれる画像部品を選択する。
【0087】ステップ704:前景グループに含まれる画像部品のうち、最も多くの組に含まれる画像部品を選択する。
【0088】ステップ705:ステップ703において選択された画像部品を背景に対応する画像部品として出力する。ステップ704において選択された画像部品を前景に対応する画像部品として出力する。
【0089】[画像部品検索ルーチン]図8は、画像部品検索ルーチンにおける処理の手順を示す。画像部品検索ルーチンは、画像検索キーを受け取り、その画像検索キーに関連する1以上の画像部品を画像データベース212から得るためのルーチンである。以下、図8を参照して、この処理をステップごとに説明する。
【0090】ステップ801:画像検索キーを画像部品検索ルーチンに入力する。
【0091】ステップ802:入力された画像検索キーに格要素の動作を表す述語が記述されているか否かを判定する。
【0092】ステップ803:もし、入力された画像検索キーに述語が記述されているならば、その述語をキーワードとして有する画像部品検索データを画像部品検索辞書213から得る。得られた画像部品検索データのポインタによって指された1以上の画像部品を得る。もし、入力された画像検索キーに述語が記述されていないならば、このステップ803はスキップされる。
【0093】ステップ804:入力された画像検索キーに含まれる格要素データのうちの1つを取り出す。その格要素データの格要素の値をキーワードとして有する画像部品検索データを画像部品検索辞書213から得る。得られた画像部品検索データのポインタによって指された1以上の画像部品を得る。
【0094】ステップ805:入力された画像検索キーに含まれるすべての格要素データについて、画像部品の検索がなされたか否かを判定する。もし、Noであれば、ステップ802に戻る。もし、Yesであれば、ステップ806に進む。
【0095】ステップ806:述語に基づいて得られた画像部品と、各格要素データに基づいて得られた画像部品との両方に共通する1以上の画像部品を選択する。選択された1以上の画像部品を画像部品検索ルーチンの検索結果として返す。
【0096】[画像部品選択ルーチン]図9は、画像部品選択ルーチンにおける処理の手順を示す。画像部品選択ルーチンは、画像部品検索ルーチンによって選択された1以上の画像部品をさらに絞り込むためのルーチンである。以下、図9を参照して、この処理をステップごとに説明する。
【0097】ステップ901:画像検索キーと、画像検索キーに対して画像部品検索ルーチンによって選択された1以上の画像部品との組を画像部品選択ルーチンに入力する。その組は、入力された画像検索キーに含まれる最後の項(”背景”又は”前景”)に応じて、背景グループと前景グループのいずれかに分類される。
【0098】ステップ902:その組に含まれる1以上の画像部品のそれぞれについて、その画像部品の画像属性データに含まれる情報であって、画素データの全体又は一部の意味を表す情報101を得る。図1(c)を参照して既に述べたように、画像属性データにおいて、情報101は自然言語文によって表されている。その画像属性データに含まれる自然言語文は、言語解析部201と状況要素分割部205によって、画像検索キーに変換される。この変換は、画像検索処理装置に入力された自然言語文を画像検索キーに変換する処理と同一の処理を実行することによって達成される。
【0099】この変換の効率を向上させるために、その組が属するグループと同一のグループに属する画像属性データの自然言語文のみを画像検索キーに変換することが好ましい。すなわち、その組が背景グループに属する場合には、背景グループに属する画像属性データの自然言語文のみを画像検索キーに変換し、その組が前景グループに属する場合には、前景グループに属する画像属性データの自然言語文のみを画像検索キーに変換することが好ましい。ある画像属性データが背景グループと前景グループのうちのいずれに属するかは、その画像属性データの領域102に領域データが記載されているか否かに依存する。その画像属性データの領域102に領域データが記載されている場合には、その画像属性データは前景グループに属し、その画像属性データの領域102に領域データが記載されていない場合には、その画像属性データは背景グループに属する。
【0100】さらに、この変換の効率を向上させるためには、画像検索データを画像部品データベース214に登録する際に、その画像検索データに含まれる自然言語文を画像検索キーに変換しておくことが好ましい。この場合には、画像部品検索ルーチンによって選択された画像部品の画像属性データは、予め変換された画像検索キーを有することとなる。従って、ステップ902における上記変換処理を省略することができる。その結果、検索処理が高速化される。
【0101】ステップ903:画像属性データから得られた画像検索キーのそれぞれと、入力された画像検索キーとの類似度を計算する。この計算は、例えば、以下の画像検索キー類似度計算アルゴリズムに従ってなされる。しかし、他のアルゴリスムを採用することも可能である。
【0102】[画像検索キー類似度計算アルゴリズム]・類似度を計算する前に、類似度を表す得点を0ポイントに初期化する。
【0103】・双方の画像検索キーの述語が一致すれば得点に1ポイントを加算する。
【0104】・双方の画像検索キーの格要素データで一致するものが見つかれば得点に1ポイントを加算する。
【0105】・双方の画像検索キーに含まれる格要素データの数がどちらも1つのみの場合には、格要素データの格要素の値のみが一致すれば得点に1ポイントを加算する。
【0106】なお、上記アルゴリズムにおいて、双方の画像検索キーの述語や格要素データが完全に一致しない場合でも、上位−下位の関係や類義の関係にある場合には、その関係に相当するポイントを加算するようにすれば、より正確な類似度を計算することができる。上位−下位の関係や類義の関係にあるか否かは、図3を参照して既に説明したように、画像部品検索データに関連する他の画像部品検索データへのポインタをたどることにより、容易に求めることが可能である。
【0107】ステップ904:所定の得点以上の得点を得た画像検索キーに対応する画像属性データの領域利用情報を利用可とし、それ以外の画像検索キーに対応する画像属性データの領域利用情報を利用不可とする。
【0108】ステップ905:入力されたすべての組について、上述のステップ902〜904の処理が終わっているか否かを判定する。もし、Noであれば、ステップ902に戻る。もし、Yesであれば、画像属性データを含む画像部品を画像部品選択ルーチンの結果として返し、本ルーチンを終了する。
【0109】表示部215は、画像検索部211によって得られた画像部品を、必要な場合には領域データを用いて表示する。また、表示部215は、画像部品を編集するのに必要な機能を有する。
【0110】図10は、画像検索部211によって得られた画像部品を受け取り、その画像部品の画素データのうち必要な部分を表示する処理の手順を示す。この処理は、表示部215によって実行される。以下、図10を参照して、この処理をステップごとに説明する。
【0111】ステップ1001:入力された画像部品が複数個存在するか否かを調べる。もし、Yesであれば、それぞれの画像部品について以下のステップ1003〜1007に従ってそれぞれの画像部品を表示する。もし、Noであれば、ステップ1002へ進む。
【0112】ステップ1002:入力された画像部品の画素データ全体を表示する。その後、ステップ1009に進む。
【0113】ステップ1003:複数の画像部品のうち未だ表示されていない画像部品を1つ選択する。選択された画像部品の画像属性データの領域利用情報を参照することによって、表示が可能である画像属性データを得る。
【0114】ステップ1004:画像属性データの領域部102を参照することにより、領域データを得る。
【0115】ステップ1005:もし、画像属性データの領域部102に領域データが記述されていなければ、その画像部品は背景に関連すると判断される。その後、ステップ1006に進む。もし、画像属性データの領域部102に領域データが記述されていれば、その画像部品は前景に関連すると判断される。その後、ステップ1007に進む。
【0116】ステップ1006:その画像部品の画素データ全体を背景として表示する。
【0117】ステップ1007:その画像部品の画素データのうち、画像属性データの領域データに対応した画素データのみを前景として表示する。
【0118】ステップ1008:入力されたすべての画像部品についての処理が終了したか否かを判定する。もし、Noであれば、ステップ1003に戻る。もし、Yesであれば、ステップ1009に進む。
【0119】ステップ1009:必要に応じて、表示された画像部品を編集する。その後、処理を終了する。
【0120】次に、本発明による画像検索装置を用いて、画像部品を検索する処理の手順をより具体的に説明する。以下、上述した自然言語文(1)が画像検索装置に入力されると仮定する。また、検索処理の説明において、以下の「画像1」と「画像2」とを画像部品の例として使用する。
【0121】画像1:図1(a)、(b)、(c)に対応する画像。
【0122】画像2:図11(a)、(b)、(c)に対応する画像。
【0123】自然言語文(1)は、入力部200によって画像検索装置に入力される。入力部200としては、典型的にはキーボードが使用される。しかし、キーボードの代わりにタブレットなどを使用することも可能である。
【0124】言語解析部201は、入力された自然言語文(1)の構文構造を解析する。言語解析部201における処理の詳細については、すでに説明したので、ここでは省略する。言語解析部201による構文解析の結果は、例えば、図4に示されるように、構文木の形式で表される。
【0125】状況要素分割部205は、自然言語文の構文構造を意味構造に変換し、自然言語文の意味構造によって表される状況を少なくとも1つの状況要素に分割し、状況要素に対応する画像検索キーを生成する。状況要素分割部205における処理の詳細についても、すでに説明したので、ここでは省略する。状況要素分割部205による意味解析の結果は、例えば、図6に示される解析フレームによって表される。図6の解析フレームに基づいて、4つの画像検索キー(2-1)〜(2-4)が得られる。画像検索キーは、状況要素の意味構造をそれぞれ表している。
【0126】画像検索部211は、画像検索キーに基づいて画像データベース212から画像部品を検索する。この検索処理は、画像部品検索ルーチンによる処理と画像部品選択ルーチンによる処理とを含む。画像部品検索ルーチンは、画像検索キー(2-1)〜(2-4)を用いて、自然言語文(1)に関連する画像部品を画像データベース212から得る。画像部品選択ルーチンは、画像検索キーと、画像部品検索ルーチンによって得られた画像部品の画像属性データとに基づいて検索された画像部品をさらに絞り込む。
【0127】はじめに、上述した画像検索キー(2-1)が画像部品検索ルーチンに入力された場合を例にとり、画像部品検索ルーチンの処理を説明する。
【0128】画像検索キー(2-1)は述語「走る」を含むので、図8のステップ803に従って、述語「走る」をキーワードとして有する画像部品検索データが図3の画像部品検索辞書213から得られる。この画像部品検索データは、図3に示されるように、関連する画像部品へのポインタとして「画像1」と「画像2」とを有している。以下、本明細書では、説明を簡単にするために、画像部品検索ルーチンによって選択され得る画像部品は、図3に明示的に示されている画像部品に限られると仮定する。従って、これらのポインタをたどることにより、「画像1」と「画像2」とが得られる。
【0129】画像検索キー(2-1)は格要素データ「AGENT(C選手)」を含むので、図8のステップ804に従って、格要素データの値「C選手」をキーワードとして有する画像部品検索データが図3の画像部品検索辞書213から得られる。この画像部品検索データは、図3に示されるように、関連する画像部品へのポインタとして「画像2」と「画像9」とを有している。従って、これらのポインタをたどることにより、「画像2」と「画像9」とが得られる。
【0130】次に、図8のステップ806に従って、述語「走る」に基づいて得られた画像部品(「画像1」と「画像2」)と格要素データ「AGENT(C選手)」に基づいて得られた画像部品(「画像2」と「画像9」)とに共通する画像部品を選択する。このようにして、共通する画像部品として、「画像2」が選択される。この選択結果は、画像部品検索ルーチンの結果として出力される。
【0131】同様にして、画像検索キー(2-2)〜(2-4)もまた、画像部品検索ルーチンに逐次入力される。その結果、入力される画像検索キーに応じて、画像部品検索ルーチンによって以下に示す画像部品が選択される。
【0132】画像検索キー(2-1):「画像2」
画像検索キー(2-2):「画像1」「画像2」
画像検索キー(2-3):「画像2」「画像10」
画像検索キー(2-4):「画像2」「画像12」
次に、画像部品検索ルーチンの処理を説明する。
【0133】上述したように、画像検索キー(2-1)に対して「画像2」が選択されので、画像検索キー(2-1)と画像部品「画像2」との組が画像部品検索ルーチンに入力される。画像検索キー(2-1)の最後の項は、”前景”である。従って、図9のステップ901に従って、画像検索キー(2-1)と画像部品「画像2」との組は、前景グループに分類される。
【0134】同様にして、画像検索キーと画像部品との組は、以下のように前景グループと背景グループとに分類される。
【0135】
前景グループ 画像検索キー(2-1)と画像部品「画像2」との組。 (3-1) 画像検索キー(2-2)と画像部品「画像1」、「画像2」との組。 (3−2)
背景グループ 画像検索キー(2−3)と画像部品「画像2」、「画像10」との組。 (3-3) 画像検索キー(2-4)と画像部品「画像2」、「画像12」との組。 (3-4)画像検索キー(2-1)と画像部品「画像2」との組(3-1)は、前景グループに属する。また、画像部品「画像2」は、図11(c)に示す構造を有する画像属性データを有する。図9のステップ902に従って、画像部品「画像2」の画像属性データのうち前景に対応する画像属性データの3つの自然言語文(「A選手が走っている」と「C選手が走っている」と「C選手はA選手と競争している」)のみが画像検索キーに変換される。その結果、以下の3つの画像検索キーが得られる。
【0136】
((走る、AGENT(A選手))、"前景") (4-1) ((走る、PARTICIPANT(C選手))、"前景") (4-2) ((競争する、AGENT(C選手)、PARTICIPANT(A選手))、"前景")(4-3)画像検索キー(2-1)と3つの画像検索キー(4-1)〜(4-3)のそれぞれとの類似度が図9のステップ903に従って計算される。例えば、上述した[画像検索キー類似度計算アルゴリズム]に従って類似度を計算すると、以下のようになる。
【0137】画像検索キー(2-1)と画像検索キー(4-1)との類似度:1ポイント。双方の画像検索キーの述語が一致するからである。
【0138】画像検索キー(2-1)と画像検索キー(4-2)との類似度:2ポイント。双方の画像検索キーの述語が一致し、双方の画像検索キーの格要素データの数が1であり、かつ、格要素データの値が一致するからである。
【0139】画像検索キー(2-1)と画像検索キー(4-3)との類似度:0ポイント。
【0140】ここで、0ポイント以外の得点を得た画像検索キーに対応する画像属性データの領域利用情報を利用可とすると仮定する。この場合、図9のステップ904に従って、画像検索キー(4-1)に対応する画像属性データ(すなわち、図11(c)の1行目の画像属性データ)の領域利用情報と、画像検索キー(4-2)に対応する画像属性データ(すなわち、図11(c)の2行目の画像属性データ)の領域利用情報とが利用可とされる。
【0141】図9のステップ902〜904の処理を、組(3-2)と組(3-3)と組(3-4)に対しても行う。画像部品「画像2」は全ての組(3-1)〜(3-4)に含まれている。画像部品「画像2」の画像属性データのうち、領域利用情報が利用可である画像属性データを類似度を示す得点の高い順に並べると以下のようになる。ここで、括弧内の1番目の項は、図11(c)における画像属性データに対応する行の番号を示し、括弧内の2番目の項は、類似度を示す得点のポイント数を示す。
【0142】前景グループ画像検索キー(2-1):(2、2)、(1、1)
画像検索キー(2-2):(1、2)、(2、1)
背景グループ画像検索キー(2-3):(4、1)
画像検索キー(2-4):(4、1)
同様に、各組に含まれる画像部品「画像2」以外の画像部品についても類似度を計算する。ここでは、簡単のため、各組に含まれる画像部品「画像2」以外の画像部品について類似度はいずれも0ポイントであったと仮定する。
【0143】図7のステップ703に従って、背景グループに含まれる画像部品のうち、最も多くの組に含まれる画像部品が選択される。この例では、画像部品「画像2」が背景グループに含まれる画像部品のうち、最も多くの組に含まれる画像部品である。画像部品「画像2」は、背景グループに含まれる組(3-3)と組(3-4)との両方に含まれているからである。従って、図7のステップ703では、画像部品「画像2」が選択される。
【0144】図7のステップ704に従って、前景グループに含まれる画像部品のうち、最も多くの組に含まれる画像部品が選択される。この例では、画像部品「画像2」が前景グループに含まれる画像部品のうち、最も多くの組に含まれる画像部品である。画像部品「画像2」は、前景グループに含まれる組(3-1)と組(3-2)との両方に含まれているからである。従って、図7のステップ704では、画像部品「画像2」が選択される。
【0145】図7のステップ705に従って、画像部品「画像2」が背景に対応する画像部品として出力され、画像部品「画像2」が前景に対応する画像部品として出力される。これらの出力が、画像検索キー(2-1)〜(2-4)に対する画像検索部211による検索結果である。
【0146】表示部215は、画像検索部211によって検索された画像部品を表示する。この例では、画像検索部211によって検索された画像部品は「画像2」の1つだけである。従って、図10のステップ1001と1002とに従って、「画像2」の画素データ全体(すなわち図11(a)の画素データ)が表示部215によって表示される。
【0147】上述した画像検索処理は、入力された自然言語文の内容に完全に一致した画像部品が見つかった場合の例である。しかし、本発明による画像検索処理によれば、入力された自然言語文の内容に完全に一致する画像部品が見つからない場合でも、入力された自然言語文の内容を表すために必要な複数個の画像部品を検索することが可能である。例えば、以下の自然言語文(5)に基づいて、画像データベース212から画像部品を検索する場合を説明する。
【0148】
「○○公園でA選手がC選手と走っている」 (5)
自然言語文(5)は、入力部200によって画像検索装置に入力される。言語解析部201と状況要素分割部205とによって、入力された自然言語文(5)の意味構造を表す解析フレーム(図12)が得られる。次に、状況要素分割部205によって解析フレーム(図12)によって表される状況が3つの状況要素に分割され、3つの状況要素に対応する画像検索キーが以下のように生成される。
((走る、AGENT(A選手))、"前景") (6-1) ((走る、PARTICIPANT(C選手))、"前景") (6-2) (LOCATIVE(○○公園)、"背景") (6-3)画像検索部211は、画像部品検索ルーチンと画像部品選択ルーチンとを用いて、画像検索処理を実行する。画像部品検索ルーチンでは、画像検索キー(6-1)〜(6-3)に基づいて、入力された自然言語文(5)に関連する画像部品が画像データベース212から得られる。画像部品選択ルーチンでは、画像検索キーと画像部品との組が背景グループと前景グループのいずれかに分類される。その結果は例えば次のようになる。
【0149】
前景グループ 画像検索キー(6-1)と画像部品「画像1」、「画像2」との組。 (7-1) 画像検索キー(6-2)と画像部品「画像2」、「画像9」との組。 (7-2) 背景グループ 画像検索キー(6-3)と画像部品「画像1」、「画像6」との組。 (7-3)上述した類似度の計算の結果、画像部品「画像1」では、画像検索キー(6-1)に対応する図1(c)の1行目の画像属性データ103の領域利用情報の値が利用可とされ、画像検索キー(6-3)に対応する図1(c)の8行目の画像属性データ107の領域利用情報の値が利用可とされると仮定する。また、画像部品「画像2」では、画像検索キー(6-2)に対応する図11(c)の2行目の画像属性データの領域利用情報の値が利用可とされると仮定する。その他の画像属性データの領域利用情報の値は利用不可とされると仮定する。
【0150】図7のステップ703では画像部品「画像1」と「画像6」とが背景として選択され、図7のステップ704では画像部品「画像2」が前景として選択される。図7のステップ705に従って、画像部品「画像1」と「画像6」とが背景に対応する画像部品として出力され、画像部品「画像2」が前景に対応する画像部品として出力される。これらの出力が、画像検索キー(6-1)〜(6-3)に対する画像検索部211による検索結果である。
【0151】画像検索部211によって検索された画像部品は「画像1」と「画像6」と「画像2」の3つである。図10のステップ1005と1006とに従って、画像部品「画像1」の画素データ全体(すなわち図1(a)の画素データ)が表示部215によって表示される。また、図10のステップ1005と1007とに従って、画像部品「画像2」の図11(c)の2行目の画像属性データに対応する領域X2の画素データ(すなわち図11(b)の領域X2の画素データ)が表示部215によって表示される。画像部品「画像6」に含まれる画像属性データの領域利用情報はすべて利用不可である。従って、画像部品「画像6」の表示部215への入力は省略されてもよい。
【0152】表示部215によって表示される画像部品は、必要に応じて編集される。例えば、画素データと画素データの合成は典型的な編集の一例である。
【0153】図13は、図1(a)の画素データと図11(b)の領域X2の画素データとの合成結果を示す例である。
【0154】
【発明の効果】本発明による画像検索装置は、従来のキーワードによる検索と異なり、画像データベースに対する問い合わせ言語として自然言語を用いている。このことは、所望の画像の意味を画像検索装置に正確に伝えることを可能にする。特に、操作者が所望の画像の内容を知らない場合であっても、その所望の画像の意味を画像検索装置に伝えることによって、その画像を画像データベースから検索可能とする点に本発明の大きな意義がある。
【0155】また、各画像部品は、画像全体又は画像の一部の意味を表す意味構造を有している。画像全体の意味は、画像全体によって表現される状況に相当する。画像の一部(すなわち画像に含まれる領域)の意味は、その状況を構成する状況要素のうちの1つに相当する。検索処理においては、入力された自然言語文の構文構造は意味構造に変換される。自然言語文の意味構造によって表される状況は、少なくとも1つの状況要素に分割され、分割されたそれぞれの状況要素に対応する画像検索キーが定義される。画像検索キーに基づいて、画像部品に対応する各状況要素を参照することにより、画像検索キーの意味に最も類似した意味を有する画像部品が画像部品データベースから検索される。従って、入力された自然言語文の意味に完全に一致した画像部品が画像部品データベースに存在しない場合であっても、入力された自然言語文の部分的な意味を示す状況要素毎に画像部品を検索することができる。このことは、画像部品を組み合わせて表示、編集することを容易にする。その結果、利用者は所望の画像を至極容易に得ることができる。




 

 


     NEWS
会社検索順位 特許の出願数の順位が発表

URL変更
平成6年
平成7年
平成8年
平成9年
平成10年
平成11年
平成12年
平成13年


 
   お問い合わせ info@patentjp.com patentjp.com   Copyright 2007-2013