米国特許情報 | 欧州特許情報 | 国際公開(PCT)情報 | Google の米国特許検索
 
     特許分類
A 農業
B 衣類
C 家具
D 医学
E スポ−ツ;娯楽
F 加工処理操作
G 机上付属具
H 装飾
I 車両
J 包装;運搬
L 化学;冶金
M 繊維;紙;印刷
N 固定構造物
O 機械工学
P 武器
Q 照明
R 測定; 光学
S 写真;映画
T 計算機;電気通信
U 核技術
V 電気素子
W 発電
X 楽器;音響


  ホーム -> 計算機;電気通信 -> 松下電器産業株式会社

発明の名称 ホロビジョン装置
発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開平7−93547
公開日 平成7年(1995)4月7日
出願番号 特願平5−237826
出願日 平成5年(1993)9月24日
代理人 【弁理士】
【氏名又は名称】小鍜治 明 (外2名)
発明者 岡本 茂
要約 目的
2階非線形微分方程式により生み出される非線形振動子を用いて、画像情報から特徴情報と輝度情報を抽出生成、情報圧縮、統合して図形と多階調の輝度を認識するホロビジョン装置を提供すること。

構成
画像の図形認識をする図形認識部102と並列に階調認識部103を設け、輝度情報入力部114により輝度情報を入力して振動に変え、コントラスト強調部105で前記振動の振動数を側抑制として用いて画像のエッジ部分の輝度を強調した振動を生成し階調記憶部106の輝度の階調の基準振動に結合させ、コヒーレントな振動パターンを生成し輝度の階調の認識が可能となるホロビジョン装置を提供する。
特許請求の範囲
【請求項1】2次元アレイ状に配置された受光部を有する画像入力部と、前記画像入力部の後段に設けられた階調認識部と、前記階調認識部に並列に設けられた図形認識部からなり、前記階調認識部は輝度情報入力部と後段に設けられたコントラスト強調部と、階調記憶部と、前記コントラスト強調部と前記階調記憶部を結合する結合部からなり、前記輝度情報入力部は前記画像入力部において得られた入力輝度を相当する振動数に変換し、前記コントラスト強調部は前記入力輝度の輝度変化部分に対応する振動数を変調することによりマッハ効果を生じさせ、前記階調記憶部は量子化された各輝度階調レベルに相当する標準振動数を与え、前記結合部は前記コントラスト強調部の輝度に応じた振動数を前記階調記憶部の相当する標準振動数に対応づけ、前記図形認識部は情報入力部と後段に設けられた情報生成部と、意味記憶部と、位置情報をもとに前記情報生成部と前記意味記憶部を結ぶ位置結合部と、図形の特徴情報をもとに前記意味記憶部と前記情報生成部を結ぶ特徴結合部とからなり、前記情報入力部は入力輝度情報を2値化し、前記情報生成部は前記情報入力部で得られた入力画像より線情報と線端情報を抽出し、前記意味記憶部は図形の線端情報を記憶し、前記位置結合部は前記情報生成部で得られた絶対位置の線端情報を相対位置での線端情報に変換し前記意味記憶部の相対位置での線端情報に結合させ、前記特徴結合部は前記意味記憶部の相対位置での線端情報を前記情報生成部の絶対位置での線端情報に結合させ、輝度の認識と図形の認識をするホロビジョン装置。
【請求項2】階調認識部の前記輝度情報部と前記コントラスト強調部と前記階調記憶部それぞれの構成要素に、前記図形認識部の情報生成部と前記意味記憶部を構成する非線形振動子と同じ基本式を持つ2階非線形微分方程式によって表される非線形振動子を採用する請求項1記載のホロビジョン装置。
【請求項3】請求項1の前記コントラスト強調部において、前記輝度情報入力部の構成要素である請求項2の2階非線形微分方程式で表される非線形振動子としてリミットサイクル型で、かつ、前記非線形振動子の入力部への入力信号Iinの値に対して出力部から得られる出力Ioutの振動数が正の相関関係を有する第1の非線形振動子を用い、前記第1の非線形振動子の出力Ioutの値が設定された閾値を越えたときに入力Jinとして時間積分し、前記第1の非線形振動子の出力Ioutの値が前記閾値以下の時に前記時間積分値を指数関数的に減衰させることにより、一定時間後に出力Joutを前記第1の非線形振動子の振動数に比例した一定の収束値に近づかせ、前記輝度情報入力部の構成要素である前記第1の非線形振動子の前記特徴と同じ特徴を持つ第2の非線形振動子を前記コントラスト強調部の構成要素とし、前記出力Joutを前記コントラスト強調部の構成要素である前記第2の非線形振動子の入力部への入力信号Kinに符号を反転して加算入力し、前記第2の非線形振動子の出力Koutの振動数を減らす抑制入力として用いるホロビジョン装置。
発明の詳細な説明
【0001】
【産業上の利用分野】本発明は、2階非線型微分方程式によって生み出される非線形振動子を用いて画像情報から特徴情報を抽出生成、情報圧縮、統合して図形と輝度を認識するホロビジョン装置に関する。
【0002】
【従来の技術】ホロビジョンは人間の脳で言うところの海馬を中心とした大脳辺縁系と大脳連合野をあわせた部分の認識機能を持ち合わせたイメージ認識装置であり、視覚野に入力された外界のイメージを関係子(ここでは、非線形振動子)により自己組織化し(非線形振動子が発生するリズムの相互引き込み現象を利用)、画像情報から図形を解釈しながら認識(意味付け)を行うため、図形の入力位置ずれや大きさの変化の影響を受けない図形認識が可能になるという特徴を持つ(参考文献、(1)山口陽子、清水博、「リズムの同期非同期により図と地を分離するパターン認識モデル」:信学技報NC90133pp127-132。福本彰、山田隆博、山口陽子、清水博、「ホロビジョン・モデルの実用化検討」:テレビジョン学会技報VOL.16,NO.8,pp7-12。(2)H.Shimizu and Y.Yamaguchi:"How Animals Understand the Indefinite Information from Environments?" Prog.Theor.Phys.Suppl.99,404-424,1990)。
【0003】以下、従来のホロビジョンについて、構成の概略、基本ユニットの性質について述べる。
【0004】ホロビジョンの全体構成を図7に示す。従来のホロビジョンは情報入力部であるR-plane:701、図形から線情報等を生成する情報生成部V-layer:702、意味記憶部であるS-layer:703、位置情報をもとにV-layer:702とS-layer:703をつなぐPosition-linker:705、図形の特徴情報をもとにS-layer:703とV-layer:702をつなぐFeature-linker:706からなる。
【0005】R-plane:701はCCD型あるいはMOS型2次元固体撮像素子に代表される画像入力装置により得られた画像の素情報を取り扱う情報入力部である。図面では、簡単のため、構成要素である画素:711を4×4単純正方格子配列で示している。
【0006】V-layer:702はR-plane:701において得られた入力画像から、線情報とその線端情報を抽出する。S-unit:712は入力画像から方位を有した線情報を生成する。ここでは、簡単のため、前記線情報として、縦、横、斜め2方位の合計4つの方位を取り扱う場合について述べるが、方位の種類はこれに限定されたものではない。T-unit:713は入力画像から方向を有した線端情報を生成する。ここで、方向を有した線端情報とは、前記4方位の線分の8つの各線端から各線分がどの方向に連続しているかを示す合計8つの方向と線端の位置情報を意味する。また、点線で囲んだ挿入図に示すように1つの方位のS-unit:712と同一線分から線端情報を生成するための2つの方向のT-unit:713a,713bの組み合わせをコラム(column):721と呼ぶ。また、R-plane:701上の1画素に対応する4種類のコラムの組をハイパーコラム(Hyper-column):722と呼ぶ。
【0007】図7に示すように図形を記憶する意味記憶部(S-layer):703は、記憶ユニット(M-unit):704から構成される。図7のM-unit:704内の矢印はM-unitが表現する線端情報を模式的に表している。ここでは、簡単のため、線端方向としてはT-unitと同じ8方向を考えている。M-unitでは図形の拡大、縮小、回転に捉らわれない認識が行われているため、各線端の関係は相対的位置で記憶されている。同じ線端の方向を表現するM-unit:704は相対位置(L1,L2,L3,L4,L5,L6,L7,L8)関係により円状に配置されており、8つの線端方向情報は積層(S1,S2,S3,S4,S5,S6,S7,S8)され意味記憶部(S-layer):703を構成している。
【0008】情報生成部(V-layer):702で生成された線端情報と意味記憶部(S-layer):703に記憶されている線端意味情報を位置の情報を基に対応付けるのがPosition-linker SW:715からなるPosition-linker(P-linker):705であり、特徴を基に対応付けるのがFeature-linker SW:716からなるFeature-linker(F-linker):706である。
【0009】次にホロビジョンで図形を認識する4つの概略過程(1)(2)(3)(4)を図8(a)(e)(f)を用いて説明する。
【0010】(1)図8(f)に示したように、情報入力部(R-plane):701に例えば四角形を入力すると、画素:711のうち、メッシュを施した8個の画素がhighレベルの情報をもつ。
【0011】(2)図8(e)に示したように、S-unit:712では、前記概略過程(1)で入力された画像情報から各4×4のセルアレイの上部に示す縦と横と斜め2方位の合計4つの線分の方位別に線情報の生成が行われる。例ではメッシュを施したS-unitが各線分ごとに同期して振動し、1102と1103の縦線2本と1100と1101の横線2本の線情報をR-planeと同じ座標系での絶対位置にて生成する様子が示されている。
【0012】(3)図8(e)に示したように、T-unit:713においては、前記概略過程(2)の処理と並列して前記概略過程(1)で入力された四角形の画像情報から上部に矢印で示す8個の方向ごとに線端情報を生成する。例では、四角形の画像入力の4隅に対応するメッシュを施した計8個のT-unit:713(1104と1105の2個の横線左端、2個の縦線下端、2個の横線右端、2個の縦線上端)が前記概略過程(2)で同期振動しているS-unitとの引き込みによりひとつの線分の両端に対応する線端の組ごとに同期して振動し(1100と1104と1107の組、1101と1105と1106の組、1102と1108と1110の組、1103と1109と1111の組)、線端情報を絶対位置にて生成している様子を示している。
【0013】(4)前記概略過程(3)で生成された線端情報と意味記憶部:703に記憶されている図8(a)に示した記憶図形の線端情報(相対位置:L2L4L6L8)との参照および照合はP-linker:705とF-linker:706により行われる。この2種類のリンカーの働きにより、線端情報を絶対位置で生成しているT-unitの振動と図形を線端情報の相対位置関係で表現しているM-unitの振動が互いに引き込み状態になり、入力された画像(四角形)を構成する線分情報を表現するS-unit、線端情報を表現するT-unit、線端の相対位置関係を表現するM-unitのすべてが同期して認識は成立する。
【0014】各S-unit:712と各S-unitに対応する2つの方向のT-unit:713a,713bとM-unit:704には非線形振動子として(数1)で記述される非線形振動子あるいは(数1)で記述される振動子を一般化して記述する(数2(a)、(b))の2階微分方程式に用いられる関数g(x)および関数f(x)を折れ線関数により近似する非線形振動子を用いている。
【0015】
【数1】

【0016】
【数2】

【0017】前記(数2)で記述される振動子は、(数4(c)、(d))の型に記述するとg(x)、f(x)は最高次数が3次の関数である。なお、前記(数1)で記述される振動子は文献(Kimura,Yano,Shimizu:"A self-organizing model of walking patterns of insects" Biological Cybernetics 69, 183-193. 1993)に記載されている。
【0018】次に認識過程を各過程ごとに振動子の動作と対応付けて図面と数式を用いて説明する。【0019】まず、前記概略過程(1)の図形を入力する過程を説明する。図9において画素:711は出力リミッタから構成されており閾値以上の入力に対してhighレベルの値を出力し、閾値以下の入力にたいして一定のLowレベルの値を出力する。図8に示す情報入力部:701への入力例では図9の画素:711のうち●印を施した位置23468101112の計8個の画素がhighレベルの値を出力し、他の画素は一定のLowレベルの値を出力する。
【0020】つづいて、前記概略過程(2)のS-unitにおける線情報生成過程を図10を用いて説明する。【0021】図10に、図7における横線の情報を生成するV1層のS-unitの概念図を示す。簡単のため4×4のS-unitから構成されている場合を考える。図では□が個々のS-unit:712を表し、□の右上の数は情報入力部の画素:711の位置に対応した絶対位置を表している。以下位置i=11、線分の方位k=V1(ここでは横線の情報を生成するものとする)のS-unitを例に説明する。
【0022】位置iにあり方位kを担当するS-unitは微分方程式(数3(a))(数3(b))により記述される。
【0023】
【数3】

【0024】(数3(a))(数3(b))は、基本的には(数2(a))(数2(b))の各式に対応している。ここで、(数3(a))の右辺第1項は第1の実施例に示した関数f(xSik)。第2項α0Iiは情報入力部の位置iの画素からの入力Iiにより前記S-unitの振動モードを切り換える値である。IiがHighレベルの値の時は、第2項α0Iiの効果により、第2の実施例で示した1リミットサイクルの振動モードとなる。なお、IiがLowレベルの値の時は、1安定モードとなる。(数3(a))の右辺第3、4項は、周辺ユニットとの結合関係を取り扱う。(数3(a))の右辺第3項GSikは(数3(c))で定義される。(数3(c))の第1項は、図10で模式的に示される。V1層(方位k=V1)内において、位置iにあるS-unitの出力とその近傍の位置jのS-unitからの入力との差分関係を取扱い、同一方向の線を表す線情報同士を強め合う働きをする。ここで位置iの近傍の位置を示す集合Jiは、図9においてi=11とした場合、Ji={j|j=67810121516}の周辺8つとなる。係数GSN0は結合の強度を決めるための正の任意値。係数GSNijkは(数3(d))で定義され、IiおよびIjは位置iとその近傍の位置jにおけるR-planeからの入力を示す。また、φkはR-planeをx-y平面上で考え、x軸の正方向の単位ベクトル方向と線方位kのなす角度、ψijは位置iから位置jに向かうベクトルと前記単位ベクトルのなす角度である。例えば位置iから見て位置jがk方向に位置する場合、2φk−2ψijの値が0となり、GSNijk>0の値を得る。この操作をすべてのiとその近傍Jiについて繰り返せば、k方位に結合された(図10では横方向の実線で表す)S-unitが互いに同期するような結合状態となる。この結合は神経細胞に例えると興奮結合に相当する。
【0025】一方、k方位以外の方位に位置するS-unitに対しては、ψijの持つ位置iから位置jへのベクトルの角度情報からGSNijk<0となり、図10に点線で示すように結合されている方位間の2つのS-unitは互いに非同期するように働く。
【0026】以下同様に、他のユニットからの入力は自分自身の出力値xiとの差分の形で取扱い、その係数が正のときは興奮結合に相当し2つの振動子を同期させるように働き、その係数が負のときは抑制結合に相当し2つの振動子を非同期させるように働く。
【0027】(数3(c))の右辺第2項は、位置iのハイパーコラムに属するV1、V2、V3、V4の4つの方位l={1234}を取り扱う各S-unitが同期して異なる方位の線分情報を生成しようとすれば結合係数−GSI0<0なる抑制結合をうけ、1つの位置で同時に多方位の線分情報が同期して生成されるという状態を防止する役割をはたしている。ここで、GSI0は任意の正の値である。
【0028】第4項GTikは(数3(e))で定義されるようにT-unitとの相互関係を示す。その役割を大まかに言えば、前記位置iの近傍j内に線端情報を有するT-unitが存在するか否かを判定、存在すれば、線情報を生成するS-unitをその線の線端を生成するT-unitに同期させる働きを持つ。
【0029】(数3(e))で定義されたGTikの働きを図11(横線の情報を生成するV1層のT-unitから同じV1層内のS-unitへの結合の概念図)を用いて説明する。ここで、2つの線端方向K、K#は方位kの線分の両端に対応する互いに逆の方向を意味する。図においては、DiKは線端方向Kにより(数3(f))で定義される位置iより右にあるT-unit群であり、DiK#は線端方向K#により(数3(f))で定義される位置iより左にあるT-unit群である。(数3(f))においてa,bは正の任意値である。GST0+ST0はそれぞれ正、および負の任意値をとる。(数3(e))において、GST0+の掛かった項ではV1のS-unitはT-unitと興奮結合(結合強度係数GST0+>0)により同期するように働く(この結合は、線の終端に矢印をつけて表示)。また、(数3(e))において、GST0-の掛かった項ではV1のS-unitはT-unitと抑制結合(結合係数(ST0)<0)により非同期するように働く(この結合は、線の終端にバーをつけて表示)。ここで、(数3(g))において、ui、ujはそれぞれ画素の場所を示す位置i、jのx方向における絶対位置、vi、vjはそれぞれ画素の場所を示す位置i、jのy方向における絶対位置を示すため、係数gij>0はユニット間の位置が遠くなればなるほど0に近づき、相互作用するユニット間の距離を制限する働きを示す。この様子を線の太さで示す。太いほど結合強度は大きい事を示している。
【0030】以上の演算の結果、情報入力部:701に図9に示すような四角形を入力した場合は、図10に示すV1層の黒塗りの□と●印のS-unit:712が情報入力部の画素:711からの入力IiとしてHighレベルの値を受ける。そして、水平方向に相互に興奮結合されている黒塗りの□印をつけたS-unit:712だけが引き込み振動状態となり、位相が同期する。しかしながら、位置101112の3個のS-unit(振動子)群と位置234の3個のS-unit(振動子)群の群間の同期は未だとれていない。これが、入力情報から水平方向の線分を検出し、V1層のS-unit:712の同期した振動として線情報を生成した状態である。同様にしてVn層(n=2,3,4)のS-unitが残り3方位の線情報を生成する。
【0031】次に、上記(3)のT-unitで線端情報を生成する過程について説明する。位置iの線端方向KのT-unitは微分方程式(数4(a))(数4(b))により記述される。
【0032】
【数4】

【0033】また、基本的には(数4(a))、(数4(b))の各式に対応している。(数4(a))の右辺第1項は第1の実施例に示した関数f(xTiK)、第2項α0Iiは情報入力部のi番目の画素からの入力に依存する。ここでα0はIiが閾値以上の時、第1の実施例で示した1リミットサイクルの振動モードとなり、閾値以下では単安定モードとなるように設定した係数である。第3項GTI0(xTiK−xTiK#)は同じ位置iにおけるコラム内において線端方向Kと反対の線端方向K#のT-unitからの入力を表し、同じ位置に互いに反対向きの線端情報が同時に生成されることを抑制する働きを持つ。GTI0は正の任意値である。第4項HSiKは(数4(c))で定義されるS-unitからの入力を表し、線情報を生成しているS-unitに対応する線端情報のT-unitを同期させる働きを持つ。第5項HTiは(数4(d))で定義される他のT-unitからの入力を表し、同じハイパーコラム内の全8個のT-unit同志を同期させる働きを持つ。第6項HMiK(数4(d))で定義されるM-unitからの入力を表し、図形を記憶しているM-unitにT-unitを同期させる働きを持つ。
【0034】HSiKは線端を生成するT-unitと方位kにおいて対応する線情報を生成しているS-unitの同期を促す。HSiKを定義する(数4(c))の働きを図12(a)、図12(b)(横線の情報を生成するV1層のS-unitからT-unitへの結合の概念図)を用いて説明する。ここで、2つの線端方向K、K#は方位kの線分の両端に対応する互いに逆の方向である。DiKは線端方向K(数3(f))で定義される位置iより右にあるユニット群である。DiK#は線端方向K#の(数3(f))で定義される位置iより左にあるユニット群である。図15(a)に示したように位置iの線端方向KのT-unitは位置iより左にあるS-unit群DiK#の線方位kのS-unitから興奮結合(結合係数GTS0+>0)を受けてそれらのS-unitにこのT-unitを同期させるように働く。位置iより右にあるS-unit群DiKからは抑制結合(結合係数(TS0)<0)を受けてそれらのS-unitにこのT-unitを非同期させるように働く。(数4(c))においても係数gij>0は(数3(g))で定義されたように、ユニット間の位置が遠くなると0になる係数である。
【0035】HTiKは(数4(d))で定義される。位置iのハイパーコラム内において、線端方向K以外の線端方向のT-unitと興奮結合(結合係数HT0>0)により同期するように働く。
【0036】(数4(e))は後述するwFLi、wPLiと定数2w0値を係数としており、位置i番の線端方向KのT-unitが、記憶部において参照すべき図形を見いだし、前記参照図形内の相対位置Lにおける線端方向KのM-unitと対応がとれた場合には(wFLi+wPLi−2w0)>0となり、T-unitをM-unitに同期させるように働く、対応しない場合には(wFLi+wPLi−2w0)<0となりこのT-unitを相対位置Lの線端方向KのM-unitに非同期させるように働く。ここでHM0は正の任意値である。
【0037】次に図形を記憶しているM-unitの構成と動作を説明する。ホロビジョン認識装置では、図形の大きさの変化、入力位置のずれ等の影響を受けなくするため、意味記憶部(S-layer)における参照図形は線端情報を有するT-unitが図形の中心からみて、それぞれどの方位に有るかという線端同志の相対位置関係で記憶されている。図形は、図8(a)に示すように、L1からL8までの相対位置において、それぞれ図8(b)図に示すようなS1からS8までの8方向の線端情報で示される。M-unit:704は幾つか相互に興奮結合したM-unitの集合Un(ここで、添え字nは3角形はn=1、四角形はn=2というように図形の分類番号に相当する)により図形を記憶している。例えば図8(a)に示したような四角形は、図8(c)と図8(c)図を裏面から見た図8(d)図において斜線部で示した8個の相互に興奮結合したM-unitの表す線端の向き(図の矢印の向き)と相対的な位置Ln(図の円周状の矢印の位置)で記憶されている。詳細には図8(c)図と図8(d)図に斜線部で示すように図形の右上L2において左向き(S1)と下向き(S3)の線端情報が、左上L4において右向き(S5)と下向き(S3)の線端情報が、左下L6において上向き(S7)と右向き(S5)の線端情報が、右下L8において左向き(S1)と上向き(S7)の線端情報が有ると記憶されている。
【0038】相対位置Lnの線端方向KのM-unitは微分方程式(数5(a))(数5(b))で記述され、基本的には(数4(a))(数4(b))の各式に対応して振動する。
【0039】
【数5】

【0040】(数5(a))の右辺第1項は第1の実施例に示した関数f(xMLK)である。第2項の係数SLKは(数5(e))で定義され、S-layerにおいて注目している参照図形の集合Un以外のM-unitの不要な振動を抑える働きを持つ。第2項の括弧の中の第1項αM0は定数でM-unitの振動のし易さを決める任意値。ZMLKは(数5(c))で定義される様に同じ参照図形の集合Un記憶に属するM-unitを同期させる働きを持つ。ZTLKはT-unitからの入力で(数5(d))で定義され、入力図形の線端情報を有するT-unitとM-unitを同期させる事により参照図形の抽出確定を行う働きをもつ。
【0041】ZMLKは(数5(c))で定義され、同じ参照図形の集合Un内に含まれる1つのM-unitと残りのM-unitの間では(数5(f))に定義されたCnLK=Cn+>0で興奮結合を、他の参照図形に含まれるM-unitとは(数5(f))に定義されたCnLKn<0で抑制結合を行う。この興奮結合と抑制結合は、同じ参照図形の集合Unに属するM-unit間では同期させるように働く。反対に、同じ参照図形に属さない場合同期させないように働く。例えば四角形を記憶している相対位置L=L2、線端方向K=S1のM-unitは四角形を記憶している残り7個のM-unitから興奮結合を受け同期する。
【0042】(数5(d))は後で説明する2つのリンカーで決まる係数wFLi、wPLiの和を係数とするT-unitからの入力を表す。ここでZT0>0とする。例えば相対位置Lの線端方向KのM-unitが位置i番の線端方向KのT-unitと対応する場合には興奮結合(結合係数(wFLi+wPLi)>0)となりこのM-unitとT-unitが同期するように働き、対応しない場合には結合(結合係数(wFLi+wPLi)=0)がなくなるように働く。
【0043】(数5(e))で定義されるSLKは、相対位置L,線端方向KのM-unitがいずれかの参照図形の集合Unに属するときに1の値、どの参照図形の集合Unにも属さない場合には0の値をとるものとして、どの参照図形の集合にも属さないM-unitへの不要な入力を切っている。
【0044】上記(4)のPリンカー(P-linker)Fリンカー(F-linker)による入力画像情報と記憶されている図形との間の意味情報レベル(図形を、その図形を構成する線分の方向と位置の集合として表現する)のマッチングの過程について説明する。【0045】まず、P-linkerについて説明する。P-linkerは情報生成部であるV-layer:702で生成した入力図形の絶対位置での線端情報を相対位置での線端情報に変換し、意味記憶部であるS-layer:703の相対位置での図形記憶と対応づける。
【0046】図7に情報生成部であるV-layer:702のT-unit:713と意味記憶部であるS-layer:703の同じ方向を表現する全てのM-unit:704を取り扱うPosition-linker(P-linker):705の楕円で示すPosition-linker-SW:715を介して相互結合する。このPosition-linker-SW:715は前記T-unit:713とM-unit:704を結合する係数wPLiを微分方程式(数6(a))および(数6(b))に従い制御する働きを有する。
【0047】
【数6】

【0048】(数6(b))では、位置iで振動状態にあるT-unitがこのT-unitと同期発振状態にあるすべてのT-unitの重心からみてどの相対位置Lの方向にあるかを調べている。第1項は減衰係数γaをもつ時間減衰項である。(数6(b))の第2項においてqP0>0、Qi,Q0,qLiはそれぞれ(数6(c))(数6(d))(数6(e))で定義される。ここで、Ndは全ての線端方向の数、Ncは全てのハイパーコラムの数である。Qiは位置iのT-unitが振動している場合だけ(数6(b))の第2項が働くようにしている。なお関数P(z)は(数6(f))で定義され、閾値以下の振幅の振動は無視し、閾値以上の振幅の振動を規格化する。(数6(e))においてφLは相対位置L方向の角度、ψ01は原点(u0,v0)から位置i(ui,vi)へのベクトルの角度である。すなわち、qLiは原点(u0,v0)から位置i(ui,vi)への位置ベクトルの相対位置L方向への成分である。1はバイアスである。Q0は同期して発振しているT-unit群の重心の位置ベクトルの相対位置L方向への成分である。結局、aPLiは同期しているT-unitの重心の位置から位置iへの位置ベクトル(大きさが距離)の相対位置L方向の成分に比例するq0(qLi−Q0)/γaにほぼ収束する。
【0049】(数6(a))では、前記aPLiを全ての相対位置Lについて比較し、aPLiが最も大きくなる相対位置Lに対するwPLiを大きくし、他の相対位置に対するwPLiを小さくすることにより、もっともよく適合する絶対位置iのT-unitと相対位置LのM-unitとの結合を強める。ここでNpは全ての相対位置の数である。なお、wFLiはF-linkerとの整合性を保つ為の項であり、wPLi(1−wPLi2)はwPLiを0<wPLi<1に制限するための項である。
【0050】以上の構成により、初期に全てのwPLiを0.2〜0.5に設定することによりPリンカースイッチ:715は一様に弱いオン(導通)状態になって、T-unit:703と同じ線端の方向を表現する全てのM-unit:704は一様に弱く興奮結合された状態になる。そして位置iのT-unitが発振状態になると相対位置LのM-unitの間の結合係数wPLiを上記方法で変化させる。この結果、T-unit群と意味記憶部:303の記憶図形の線端の相対位置と線端の方向を表現するM-unit群との結合が大きくなるとM-unit群が強く同期する。
【0051】F-linkerでは意味記憶部:703において記憶意味情報(記憶線端情報)を記憶しているM-unitの内で同じ相対位置にあるM-unitの組(角を表す2つの線端)と同じ方向の線端情報を生成している情報生成部のT-unitの組を結合する。
【0052】記憶部のM-unit:704と情報生成部の同一方向の線端情報を生成する全ての位置のT-unit:713を取り扱うF-linker:706の□:716で示すFリンカースィッチ:716を介して相互結合する。前記Fリンカースィッチ:716は微分方程式(数7(a))(数7(b))に従い、前記T-unit:713とM-unit:704を結合する係数wFLiを制御する働きを有する。
【0053】
【数7】

【0054】(数7(b))では、同じ位置iで同期振動状態にある2つのT-unitで表現する2つの線端情報からなる角の情報と、1つの相対位置Lで同期振動状態にある2つのM-unitで表現する2つの線端情報からなる角の情報との一致を調べる。特に第2項において、バイアス値εを引いた位置iの線端方向KのT-unitの出力xTiKと相対位置Lの線端方向KのM-unitの相関値を全ての線端方向Kについて調べることにより行う。最初はすべての可能性を調べるためにwFLiを小さい正の値に設定して弱く結合させておき、時間とともに候補の絞り込みを行う。この相関値は最終的に同じ位置で同期振動している2つのT-unitと同じ相対位置で同期振動状態にある2つのM-unitの線端の方向とが等しいときすなわち角が一致するときに大きな値となる。
【0055】(数7(a))では、(数7(b))で求めた相関値の和aFiLを全ての位置jについて比較して最も相関の高い、すなわち角の情報の最もよく一致するT-unitとM-unitの間の結合係数wFLiを大きくして結合を強め、他の相対位置に対するwFLiを小さくして結合を弱める。なお、wPLiはP-linkerとの整合性を保つための項であり、wFLi(1−wFLi2)はwFLiを0<wFLi<1に制限するための項である。
【0056】上記構成により、結合係数wFLiを初期に0.2〜0.5に設定することによりF-linker:706は一様に弱い導通状態になって、M-unit:704と同じ方向の線端情報を生成する全てのT-unit:713は一様に弱く相互興奮結合された状態になる。F-linker:706は、(数16(b))に従って意味記憶部のM-unit:704と情報生成部の一つのハイパーコラムの全てのT-unit:713の出力の和の振動の位相を比較する。そして、位相の同期しているユニット間のF-linker:706がT-unitとM-unitの興奮結合係数wFLiを大きくし、結合を高める。
【0057】以上の2種類のリンカーによって、記憶図形に対応するV-layer:702で線端情報を生成するT-unit群と意味記憶部であるS-layer:703の記憶図形を線端で表現するM-unit群が引き込み状態となって同期振動し、図形の認識が成立する。
【0058】また、異なる図形を表現するM-unit群の間は(数5(c))に示したようにそれぞれ抑制結合しているため異なる図形の間では同期する位相が互いにずれることにより図形を分離する。
【0059】以上のように、ホロビジョンは入力画像情報と記憶されている図形との間の意味情報レベル(図形を、その図形を構成する線分の方向と位置の集合として表現する)でのマッチングを行う構成・原理により、位置ずれや大きさの変化によらない図形認識が可能という特徴を有する。
【0060】
【発明が解決しようとする課題】しかしながら上述のようなホロビジョン装置ではR-planeからの入力としてhighレベルとlowレベルの2値のデジタル情報しか扱うことができなかった。しかしながら、外界のイメージはアナログ量であり画像情報より図形を解釈する場合においても画像の輝度情報を統合的に用いる必要がある。
【0061】本発明は上記従来の課題を解決するもので、多階調の画像入力情報を扱うことのできるホロビジョン装置を提供することを目的とする。
【0062】
【課題を解決するための手段】本発明は、(数2)で記述される非線形振動子を用いて入力のアナログ量を振動数に変換する輝度情報入力部と、前記輝度情報入力部の情報から振動数に比例した側抑制により輝度変化部分(エッジ部分)のコントラストを強調した振動を持つコントラスト強調ユニットからなるコントラスト強調部と、輝度の階調の基準となる振動数で振動する階調ユニットからなる階調記憶部を用いて、コントラスト強調ユニットの振動を階調ユニットの振動に引き込ませることにより輝度の認識を行うものである。
【0063】
【作用】前記輝度情報入力部の情報から輝度変化部分(エッジ部分)のコントラストを強調することができ、前記階調ユニットの非線形振動子の数に応じた階調の輝度情報を扱うことができ、同一階調のコントラスト強調ユニットが引き込みにより階調ユニットと同一振動数かつ同一位相で振動することにより同一階調の領域を分離して認識することができる。
【0064】
【実施例】本発明の第1の実施例を図1を用いて説明する。【0065】本実施例のホロビジョンは、図1に示したようCCD型あるいはMOS型2次元固体撮像素子に代表される画像入力部:101より得られた画像の2値情報から図形を取扱い従来例と同じ図形認識を行う図形認識部:102と画像の輝度情報を取扱い階調を認識する階調認識部:103からなる。
【0066】ホロビジョンの図形認識部の構成の概略については、図7に示す従来例と同じなのでここでは説明を省略する。
【0067】図1に階調認識部の構成を示す。階調認識部は輝度情報入力部であるI-plane:104、輝度情報からコントラストを強調するコントラスト強調部C-plane:105、階調記憶部であるSI-scale:106、コントラスト強調部C-plane:105と階調記憶部であるSI-scale:106を結合する結合部Luminance-linker:107から成る。
【0068】I-plane:104は画像入力部:101より得られた輝度情報を取り扱う輝度情報入力部である。図面では簡単のため構成要素である輝度ユニットI-unit:114を4×4単純正方格子配列で示している。
【0069】C-plane:105はコントラスト強調ユニットC-unit:115から構成され、I-plane:104において得られた入力画像よりコントラストを強調した画像を生成する。すなわち、視覚における輝度が一様な部分から変化しまた一様となる場合に生じるエッジ部分のコントラスト強調効果、いわゆるマッハ効果が生じるように輝度情報を操作する。
【0070】輝度階調の基準レベルを記憶するSI-scale:106は、階調ユニット(L-unit):116から構成される。ここでは、簡単のため輝度の階調として6階調を考えており、それに対応して6個のL-unitが図1に示されている。
【0071】コントラスト強調部(C-plane):105で生成された輝度情報に対して階調記憶部(SI-scale)に記憶されている振動を対応づけるのがLuminance-linker:107である。
【0072】次にホロビジョンで輝度を認識する過程を説明する。
(1)輝度情報入力過程。
【0073】図2に示したように、輝度情報入力部:104に例えば画像入力部:101の光電変換部により変換された輝度情報を持つ四角形を入力すると、I-unit:114は入力の強さに応じた振動数を持つ振動を行う。例ではI-unit:114のうち●印を施した位置2,3,4,6,8,10,11,12の計8個のunitが振動し、他のユニットは振動しない。ここでは、●印の大きさによって振動数の大きさを示している。位置10,11,12、位置6,8、位置2,3,4、位置1,5,7,9,13,14,15,16の4階調に対応した振動状態を考える。
【0074】I-unitの振動は微分方程式(数8(a))(数8(b))により記述される。
【0075】
【数8】

【0076】ここで、(数8(a))の第1項は従来例と同じ関数f(xsik)。第2項α0iは位置iの画素からの入力Liによる輝度情報の入力値である。
【0077】(2)C-planeにおけるコントラスト強調過程。
図3に示したようにC-planeでは輝度情報入力:104に入力された輝度情報及びI-planeからの抑制によりエッジ部分のコントラストを強調した振動状態を生成する。例では、位置10,12、位置11、位置6,8、位置3、位置2,4、位置1,5,7,9,13,14,15,16に示した6階調に対応した振動状態が生成される。図3では●印の大きさによって振動数の大きさを示している。
【0078】位置iにあるC-unitは微分方程式(数9(a))(数9(b))により記述される。
【0079】
【数9】

【0080】ここで、(数9(a))の第1項は従来例と同じ関数f(xsik)、第2項α0iは位置iの画素からの入力Liによる輝度情報の入力値であり、第3項GIiはI-unitとの結合で(数9(c))で定義される。
【0081】第3項GIiの働きを図4を用いて説明する。位置iのC-unitは近傍の位置jにあるI-uintから振動数にほぼ比例した強さqjに正の定数G0とユニット間の位置が遠くなれば0に近づく(数9(d))で定義されるgIijを掛けた抑制を集めて受ける。ここで、(数9(d))において、ui、ujはそれぞれ画素の場所を示す位置i、jのx方向における絶対位置、vi、vjはそれぞれ画素の場所を示す位置i、jのy方向における絶対位置を示すため、係数gIij>0はユニット間の位置が遠くなればなるほど0に近づき、相互作用するユニット間の距離を制限する働きを示す。この抑制は図4で線の終端にバーをつけて表示し、線の太さは結合強度を表す。すなわち、位置iの近傍のI-unitの振動数に距離に依存する重みを掛けた和が同じ時、同一の抑制を受ける。従って、輝度が一様な領域から変化する部分のC-unitは、近傍のI-unitからの抑制の和が大きく変化する部分であるためC-unitの振動数が大きく変化する。輝度が一様な領域から輝度が減る場合、C-unitへの入力Liが同じでもエッジ部分ではI-unitからの抑制の和が減り振動数は大きくなる。逆に輝度が一様な領域から輝度が増える場合、C-unitへの入力Liが同じでもエッジ部分ではI-unitからの抑制の和が増え振動数は小さくなる。つまり、エッジ部分のコントラストが強調された輝度情報が生成される。ここで位置iの近傍の位置を示す集合Jiは、2図においてi=11とした場合、Ji={j|j=67810121516}の周辺8つとなる。
【0082】I-unitの振動から振動数にほぼ比例した強さへの変換は微分方程式(数10)によって行なえる。
【0083】
【数10】

【0084】右辺の第1項は減衰項でγは減衰係数で正の定数、第2項はxIjが正のとき加えられる項である。図5に示したように位置jのqjは時間とともに一定値qcのまわりの微小な振動となる。このqcはγ=0.1の時、図6に示したように振動数f=0.1〜1.5の範囲でほぼ振動数に比例している。この変換は非線形振動子への入力Ljが増加した時、出力xIjの振動数が単調に増加し振幅とxIjが正の部分の波形の変化が微小である非線形振動子の特徴を利用している。
【0085】GSIiは後述するwCil>0を係数としており、位置iのC-unitが輝度情報記憶部において対応する輝度ユニット(番号l)を見いだした場合に、wCilの値が大きくなり、I-unitをL-unitに同期させる様に働く。
【0086】(3)輝度の階調情報を記憶しているL-unitの構成と動作。
輝度の階調情報の記憶は段階的に変化する振動数で振動するL-unitで表現される。例では、図1に示したように6階調あり、●印の大きさによって振動数の大きさを示している。l番目の階調のL-unitは微分方程式(数11)で記述される。
【0087】
【数11】

【0088】ここで、(数11(a))の第1項は従来例と同じ関数f(xsIl)、第2項β0lは記憶している階調の輝度値Nlに正の定数β0を掛けたものでありこの値に応じて振動数が決まる。
【0089】(4)Luminance-linkerによるコントラスト強調輝度情報と記憶されている輝度の階調情報とのマッチングの過程。
【0090】Luminance-linkerはコントラスト強調部であるC-plane:105で生成された画像のエッジ部分のコントラストを強調した輝度情報を、輝度の階調情報の記憶と対応づける。
【0091】図1に示したコントラスト強調部であるC-plane:105のC-unit:115は階調記憶部SI-scale:106のL-unit:116とLuminance-linker SW:117を介して結合する。このLuminance-linker SW:117は前記C-unit:115とL-unit:116を結合する係数wCilを(数12(a))および(数12(b))に従い制御する働きを有する。
【0092】
【数12】

【0093】(数12(b))では位置iで振動状態にあるC-unitとl番目の階調を表すL-unitの振動状態との一致を調べる。第1項は減衰係数γaをもつ時間減衰項である。第2項においてq0,δは正の定数である。関数P(z)は(数6(f))で定義され、閾値以下の振幅の振動は無視し、閾値以上の振幅の振動を規格化する。従って(数12(b))の第2項の大括弧内の1項目は閾値以上の値をL-unitとC-unitが同時に持つ時寄与し、2項目は前記以外の場合で振動の値の差(xIi−xSIl)に対してガウス関数的な寄与をする。これにより、ailはL-unitとC-unitの振動数が同じでかつ位相が同じものはq0/γaにほぼ収束し、L-unitとC-unitが異なる振動数や位相がずれたものはq0/γaより小さい値をとる。
【0094】(数12(a))では、前記ailをすべての階調lについて比較し、ailが最も大きくなる階調lに対するwCilを大きくし、他の階調に対するwCilを小さくすることにより、最も振動状態が似た位置iのC-unitと階調lのL-unitとの結合を強める。なお、wCil(1−wCil2)はwCilを0<wCil<1に制限するための項である。
【0095】以上の構成により、初期に全てのwCilを0.2〜0.5に設定することによりLuminance-linker SW:117は一様に弱いオン(導通)状態になって、C-unit:115は全ての階調のL-unit:116と弱く結合された状態になる。そして上記方法で位置iのC-unitと階調lのL-unitの間の結合係数wCilを変化させ、同時に引き込みにより位相が揃うようになる。この結果、各位置でのC-unitの振動数に近い振動数で振動するL-unitとの対応関係が成立する。すなわち、各階調lのL-unitの振動に近い輝度に対応する振動のC-unit群がC-plane内で同期した振動パターンを生成することになり、画像の輝度の階調ごとの認識が可能となる。
【0096】
【発明の効果】以上説明したように、本発明によれば従来のホロビジョン装置の特徴である2値化された入力画像に対する画像認識機能に加えて入力の輝度情報を振動数に変換する輝度ユニットからなる輝度情報入力と輝度変化部分(エッジ部分)のコントラストを強調するコントラスト強調ユニットと輝度の階調を振動数で表す階調ユニットを用いることにより、画像の輝度変化部分(エッジ部分)のコントラストを強調した輝度情報の取り扱いを可能としたため、その認識装置としての実用的効果は大きい。




 

 


     NEWS
会社検索順位 特許の出願数の順位が発表

URL変更
平成6年
平成7年
平成8年
平成9年
平成10年
平成11年
平成12年
平成13年


 
   お問い合わせ info@patentjp.com patentjp.com   Copyright 2007-2013