米国特許情報 | 欧州特許情報 | 国際公開(PCT)情報 | Google の米国特許検索
 
     特許分類
A 農業
B 衣類
C 家具
D 医学
E スポ−ツ;娯楽
F 加工処理操作
G 机上付属具
H 装飾
I 車両
J 包装;運搬
L 化学;冶金
M 繊維;紙;印刷
N 固定構造物
O 機械工学
P 武器
Q 照明
R 測定; 光学
S 写真;映画
T 計算機;電気通信
U 核技術
V 電気素子
W 発電
X 楽器;音響


  ホーム -> 計算機;電気通信 -> 松下電器産業株式会社

発明の名称 神経回路網模擬装置
発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開平7−98694
公開日 平成7年(1995)4月11日
出願番号 特願平6−93237
出願日 平成6年(1994)5月2日
代理人 【弁理士】
【氏名又は名称】小鍜治 明 (外2名)
発明者 金道 敏樹 / 岡 夏樹
要約 目的
パターン認識等に用いられる神経回路網模擬装置に関し、学習の収束性等を保証するポテンシャル関数が明かで、実用上十分な学習速度が得られ、滑らかに目的関数を近似でき、目的関数の近似に適した構造が得られることを目的とする。

構成
限定的な入力に対して0でない出力を行う値をもつ複数の局所基底出力計算回路10の出力信号をその総和によって規格化する除算器12と、規格化局所基底出力信号と結合加重との積の総和を出力信号として出力する加算器14と、教師信号などから結合加重を修正する結合加重修正回路15と、局所基底出力計算回路13の内部パラメータを修正する局所基底修正回路16と、結合加重を設定する結合加重設定回路17と、局所基底出力計算回路10の内部パラメータを設定する局所基底設定回路18とからなる構成を有する。
特許請求の範囲
【請求項1】 0でない値を局所的に持つ関数(局所基底関数)を用いた神経回路網模擬装置であって、少なくとも局所的に値をもつ関数を新たに設定する局所基底設定回路と、結合加重を設定する結合加重設定回路を有する神経回路網模擬装置。
【請求項2】 局所基底関数を用いた神経回路網模擬装置であって、結合加重が入力信号の関数である神経回路網模擬装置。
【請求項3】 局所基底関数を用いた神経回路網模擬装置であって、少なくとも局所的に値をもつ関数を新たに設定する局所基底設定回路と結合加重設定回路を有し、結合加重が入力信号の関数である神経回路網模擬装置。
【請求項4】 結合加重が入力信号の1次式であることを特徴とする請求項1から3のいずれかに記載の神経回路網模擬装置。
【請求項5】 局所基底関数を用いた神経回路網模擬装置であって、出力信号が局所基底関数の出力の総和によって規格化されていることを特徴とする請求項1から4のいずれかに記載の神経回路網模擬装置。
【請求項6】 入力信号を受け、複数の局所基底関数によりそれぞれ局所基底出力信号を出力する局所基底出力計算回路と、前記複数の局所基底出力信号を受けてその総和をとり総局所基底出力信号を出力する加算器と、前記局所基底出力信号と前記総局所基底出力信号とを受けて規格化局所基底出力信号を出力する除算器と、前記規格化局所基底出力信号を受け内部に保持した結合加重との積を局所出力信号として出力する局所出力計算回路と、前記局所出力信号の総和を出力信号として出力する加算器と、教師信号と出力信号との差分信号と除算器からの規格化局所基底出力信号を受けて対応する局所出力計算回路の結合加重を修正する結合加重修正回路と、出力信号との差分信号と除算器からの規格化局所基底出力信号を受けて対応する局所基底出力計算回路の内部パラメータを修正する局所基底修正回路と、差分信号と出力信号と教師信号と総局所基底出力信号とを受けて局所出力計算回路の結合加重を設定する結合加重設定回路と、入力信号と規格化局所出力信号と局所出力計算回路の内部パラメータに基づいて局所基底出力計算回路の内部パラメータを設定する局所基底設定回路とからなる神経回路網模擬装置。
【請求項7】 入力信号を受けて局所基底出力信号を計算して出力する局所基底出力計算回路と、複数の局所基底出力計算回路からの局所基底出力信号を受けてその総和をとり総局所基底出力信号を出力する加算器と、局所基底出力計算回路からの規格化局所基底出力信号を受け内部に保持した結合加重との積を局所出力信号として出力する局所出力計算回路と、複数の局所出力計算回路からの局所出力信号の総和を非規格化出力信号として出力する加算器と、加算器と加算器とから非規格化出力信号と総局所基底出力信号とを受けて出力信号を出力する除算器と、局所基底出力計算回路と加算器とから局所基底出力信号と総局所基底出力信号を受けて、規格化局所基底出力信号を出力する除算器と、差分信号と除算器からの規格化局所基底出力信号を受けて対応する局所出力計算回路の結合加重を修正する結合加重修正回路と、出力信号との差分信号と除算器からの規格化局所基底出力信号を受けて対応する局所基底出力計算回路の内部パラメータを修正する局所基底修正回路と、差分信号と教師信号と総局所基底出力信号と出力信号とを受けて局所出力計算回路の結合加重を設定する結合加重設定回路と、入力信号と規格化局所基底出力信号と局所出力計算回路の内部パラメータに基づいて局所基底出力計算回路の内部パラメータを設定する局所基底設定回路とからなる神経回路網模擬装置。
【請求項8】 結合加重設定回路は、差分信号に基づいて結合加重設定を制御する結合加重設定制御部と、参照ベクトルを読みだして入力信号として入力線に出力する参照ベクトル信号発生部と、入力信号と規格化局所基底出力信号と教師信号と出力信号を記憶する信号記憶部と、信号記憶部から必要に応じてデータを読みだして結合加重を計算し設定する結合加重設定部とからなる請求項1から7のいずれかに記載の神経回路網模擬装置。
【請求項9】 前記局所基底出力計算回路と、総局所基底出力信号を計算する前記加算器と、前記除算器と、前記局所出力計算回路と、出力信号を計算する前記加算器と、教師信号と出力信号の差分をとって得られる差分信号と局所基底出力計算回路の内部パラメータから学習方法を切り替える学習法切り替え回路と、入力信号と出力信号と前記除算器からの規格化局所基底出力信号と前記学習法切り替え回路からの修正差分信号を受けて前記局所基底出力計算回路と前記局所出力計算回路から内部パラメータを読みだし前記局所基底出力回路の内部パラメータを修正する簡易局所基底修正回路と、前記除算器からの規格化局所基底出力信号と前記学習法切り替え回路からの修正差分信号を受けて前記局所出力計算回路の内部パラメータを読みだし前記局所出力計算回路の内部パラメータを修正する簡易結合加重修正回路と、入力信号と前記除算器からの規格化局所基底出力と前記学習法切り替え回路からの設定信号を受けて前記局所基底出力計算回路の内部パラメータを読みだし前記局所基底出力計算回路の内部パラメータを設定する簡易局所基底設定回路と、前記加算器からの総局所基底出力信号と出力信号と教師信号と前記学習法切り替え回路からの設定信号を受けて前記局所出力計算回路の内部パラメータを設定する簡易前記結合加重設定回路とからなる神経回路網模擬装置。
【請求項10】 忘却処理回路を有することを特徴とする請求項1から5、8のいずれかに記載の神経回路網模擬装置。
【請求項11】 前記局所基底出力計算回路と、総局所基底出力信号を計算する前記加算器と、前記除算器と、前記局所出力計算回路と、出力信号を計算する前記加算器と、前記簡易結合加重修正回路と、前記簡易局所基底修正回路と、前記簡易前記結合加重設定回路と、前記簡易局所基底設定回路と、教師信号と出力信号の差分をとって得られる差分信号と前記局所基底出力計算回路の内部パラメータから学習方法を選択する学習方法選択回路と、前記学習方法選択回路からの忘却処理開始信号を受けて前記局所基底出力計算回路の内部パラメータを読みだし忘却処理を行う忘却処理回路とからなる神経回路網模擬装置。
【請求項12】 前記入力信号と前記教師信号の間の関数関係についてあらかじめ判明している情報に基づいて、前記局所基底出力計算回路の内部パラメータと前記局所出力計算回路の結合加重とが初期設定され、前記局所基底修正回路と前記結合加重修正回路により、または、前記簡易局所基底修正回路と前記簡易結合加重修正回路により、前記局所基底出力計算回路の内部パラメータと前記局所出力計算回路の結合加重とを修正することを特徴とした請求項6、7、9、11のいずれかに記載の神経回路網模擬装置。
発明の詳細な説明
【0001】
【産業上の利用分野】本発明は、音声、画像をはじめとするパターン認識、適応制御に用いられる神経回路網模擬装置に関するものである。
【0002】
【従来の技術】近年、神経回路網を応用した神経回路網模擬装置は、音声認識などに広く応用されるようになってきた。神経回路網を応用した神経回路網模擬装置は、大きく分けて2つのタイプがある。一つは、文献(PDPモデル、D.E.ラメルハート他2名、甘利俊一監訳、1989年)に詳しく記載されている多層パーセプトロン(MLP)と呼ばれるものであり、もう一つは、文献(セルフ・オーガニゼイション・アンド・アソシエイティブ・メモリ、Self-Organization and Associative Memory、T.Kohonen 著、Springer-Verlag、1987年)に記載された学習ベクトル量子化(LVQ)と呼ばれるものである。こうした神経回路網模擬装置の目的の多くは、提示される入力と教師信号(理想的な出力信号)から入出力関係を獲得すること(学習)である。神経回路網模擬装置は、この機能を持つが故に、入出力関係が従来のルールによる記述では容易ではない場合、すなわちパターン分類や制御値の推定が困難である場合でも、利用可能なパターン分類装置や適応制御装置を実現できる要素技術となっている。
【0003】こうした神経回路網模擬装置の目的のもう少し数学的な表現が、文献(出力信号の構造を反映した競合学習型神経回路モデル、坂口豊、村田昇著、電子情報通信学会研究会報告NC89−54、1989年)に、「神経回路網構造の系を用いて、任意の連続な非線形関数を逐次的な学習によって実現する」とまとめられている。この観点に立てば、同文献に的確にまとめられているように、MLPは学習の過程で誤差関数の極小値に捕らわれ、必ずしも学習が収束しない。LVQは、教師なし学習を用いて中間層素子を形成するために、学習の結果得られる神経回路網は必ずしも目標とする関数(目的関数)を実現するに適した構造とならない。坂口らは、同文献において、目的関数の性質を反映した中間素子を形成し、目的関数をよりよく近似する以下の学習法を提案している。
【0004】図9は、坂口らが提案している従来の神経回路網模擬装置の構成を示すブロック図である。図9において、1−i(i=1〜4)は入力信号xを受けて内部に保持した参照ベクトルWiとの距離を計算して距離信号Diを出力する距離計算回路であり、2は距離計算回路1−1〜4から距離信号Di(i=1〜4)を受けて、最小の距離信号を与える距離計算回路の番号を示す最小距離番号信号IDminと、2番目に小さい距離信号を与える距離計算回路の番号を示す第2距離番号信号IDsecを出力する競合回路であり、3は競合回路2から最小距離番号信号IDminを受けて内部に保持した距離計算回路の番号に応じて割り振られたメモリから最小距離信号IDminが指定するアドレスに格納された値(またはベクトル)を読みだして出力信号yとして出力する出力計算回路であり、4は教師信号入力端子から与えられる教師信号zと出力計算回路4から出力信号yとの差分信号
E = z − yと競合回路2からの最小距離番号信号IDminを受けて出力計算回路3のメモリを修正する結合加重修正回路であり、5は差分信号Eと最小距離番号信号IDminと第2距離番号信号IDsecと、入力信号xとを受けて距離計算回路1−1〜4の参照ベクトルを修正する参照ベクトル修正回路である。
【0005】以上のように構成された神経回路網模擬装置について、以下その動作について説明する。まず、距離計算回路1−i(i=1〜4)は入力端子からの入力信号xを受け、内部に保持した参照ベクトルWiとの距離を示す距離信号Diを次式のように計算して、出力する。
【0006】
【数1】

【0007】競合回路2はそれぞれの距離計算回路1−iから距離信号Di を受けて、最小の距離信号を与える距離計算回路の番号を示す最小距離番号信号
【0008】
【数2】

【0009】と2番目に小さい距離信号を与える距離計算回路の番号を示す第2距離番号信号IDsec とを計算して出力する。出力計算回路3は競合回路2から最小距離番号信号IDmin を受けて、内部記憶に距離計算回路1−iごとに対応して記憶されている値v(i)から、最小距離番号信号IDminによって指定される値v(IDmin)を読みだして出力信号yとして出力する。
【0010】学習動作は、次のように行われる。結合加重修正回路4は、出力信号yと教師信号zとの差分信号Eと最小距離番号信号IDmin とを受けて、出力計算回路3の内部記憶の記憶されている最小距離番号信号IDminによって指定される値v(IDmin)をv(IDmin)+c2・Eに修正する。ここで、c2は学習速度を決めるパラメータである。参照ベクトル修正回路5は、出力信号yと教師信号zとの差分信号Eと最小距離番号信号IDminと第2距離番号信号IDsec とを受けて、距離計算回路1−IDminの内部に記憶された参照ベクトルWIDminと距離計算回路1−IDsecの内部に記憶された参照ベクトルWIDsecとを【0011】
【数3】

【0012】のように修正する。ここで、c1は学習速度を決めるパラメータである。このように距離の最小の参照ベクトルだけでなく、第2距離番号信号で指定される隣接する領域の参照ベクトルについても学習を行わせることにより、図10に示されたように最小距離番号信号によって指定される領域は、学習によってあまり移動せずに、代わりに領域の大きさが小さくなる。このとき、参照ベクトルが動く度合いが大きいほど、2つの参照ベクトルの距離は縮まり、その分だけさらに領域は小さくなる。したがって、誤差の絶対値に比例した大きさで参照ベクトルを動かせば、参照ベクトルの引っ張りあいにより、関数の傾きが急なところほど領域は小さくなり、参照ベクトルは密に分布するようになる。関数の近似に適した構造が実現される。
【0013】
【発明が解決しようとする課題】しかしながら上記従来の構成では、目的関数の近似に適した構造が得られる神経回路網模擬装置が得られるものの、坂口らが文献の中でも指摘しているように、坂口らの学習則に関するポテンシャル関数が明かでないために、学習の収束性の保証や、学習平衡解の性質について一般に論じることができない。また、学習速度もMLPに比べて優れていると言えず、実用上十分な学習速度が得られない。加えて関数の近似が階段関数によるものである為に、制御などに利用するのが難しいと言う課題があった。
【0014】本発明は上記従来の課題を解決するもので、学習の収束性などを保証するポテンシャル関数が明かであり、実用上十分な学習速度が得られ、滑らかに目的関数を近似でき、目的関数の近似に適した構造が得られる神経回路網模擬装置を実現するものである。
【0015】
【課題を解決するための手段】この目的を達成するために本発明の神経回路網模擬装置は、入力信号空間において0でない値を局所的に持つ関数(局所基底関数)を用いて入力信号を受けて複数の局所基底関数(0でない値を局所的に持つ関数)によりそれぞれ局所基底出力信号を計算して出力する局所基底出力計算回路と、前記複数の局所基底出力信号を受けてその総和をとり総局所基底出力信号を出力する加算器と、前記各局所基底出力信号に対して総局所基底出力信号を用いて規格化局所基底出力信号を出力する除算器と、除算器からの規格化局所基底出力信号を受け内部に保持した結合加重との積を局所出力信号として出力する局所出力計算回路と、各局所基底出力信号に対応する複数の前記局所出力信号の総和を出力信号として出力する加算器と、教師信号と出力信号との差分信号と規格化局所基底出力信号を受けて対応する局所出力計算回路の結合加重を修正する結合加重修正回路と、入力信号と出力信号と差分信号と除算器からの規格化局所基底出力信号を受けて対応する局所基底出力計算回路の内部パラメータを修正する局所基底修正回路と、出力信号と教師信号と前記加算器からの総局所基底出力信号とを受けて局所出力計算回路の結合加重を設定する結合加重設定回路と、入力信号と規格化局所出力信号と局所出力計算回路の内部パラメータに基づいて局所基底出力計算回路の内部パラメータを設定する局所基底設定回路とからなる構成を有してしている。
【0016】
【作用】この構成によって、出力信号yは入力信号xといくつかのパラメータとを用いた初等関数の組み合わせで生成されており、神経回路網模擬装置の学習則に対するポテンシャル関数Cは【0017】
【数4】

【0018】と書ける。これを用いて、学習の収束性などについても容易に解析できる。また、目的関数に適した構造を数10〜数100回程度の学習で得ることができる。加えて、本発明の構成から明らかなように、一つの入力信号に対して通常複数個の局所出力計算回路が0でない出力を行い、出力信号yはその総和で与えられるために、LVQや坂口らの神経回路網模擬装置と異なって、滑らかな関数近似ができる。さらに、誤差が大きい場合に、過去に蓄積したパラメータに込められた情報をそのままに入力信号xの近くでのみ働く神経細胞模擬素子を与えられた教師信号zが出力信号yとなるように新たに活性化することによって、学習の高速化を実現することができる。
【0019】
【実施例】
(実施例1)以下本発明の第1の実施例について、図面を参照しながら説明する。
【0020】図1において、10は入力信号xを受けて局所基底出力信号Sを計算して出力する局所基底出力計算回路であり、11は複数の局所基底出力計算回路10からの局所基底出力信号Sを受けてその総和をとり総局所基底出力信号Stotal を出力する加算器であり、12は局所基底出力計算回路10と加算器11とから局所基底出力信号Sと総局所基底出力信号Stotal とを受けて規格化局所基底出力信号bを出力する除算器であり、13は除算器12からの規格化局所基底出力信号を受け内部に保持した結合加重vとの積を局所出力信号oとして出力する局所出力計算回路であり、14は複数の局所出力計算回路13からの局所出力信号oの総和を出力信号yとして出力する加算器であり、15は教師信号zと出力信号yとの差分信号Eと除算器12からの規格化局所基底出力信号bを受けて対応する局所出力計算回路13の結合加重vを修正する結合加重修正回路であり、16は入力信号xと出力信号yと差分信号Eと除算器12からの規格化局所基底出力信号bを受けて対応する局所基底出力計算回路10の内部パラメータを修正する局所基底修正回路であり、17は出力信号yと教師信号zと差分信号Eと総局所基底出力信号Stotalを受けて局所出力計算回路13の結合加重を設定する結合加重設定回路であり、18は差分信号Eと入力信号xと規格化局所基底出力信号bと局所出力計算回路10の内部パラメータに基づいて局所基底出力計算回路10の内部パラメータを設定する局所基底設定回路である。
【0021】以上のように構成された神経回路網模擬装置について、その動作を説明する。なお、ここでは局所基底出力計算回路10の性質を特徴づける局所基底関数として、ガウス関数を用いた場合について説明する。
【0022】まず、入力信号xが局所基底出力計算回路10に入る。i番目の局所基底出力計算回路において、局所基底出力信号S(i)が【0023】
【数5】

【0024】と計算され、出力される。ここで、a(i)は0または1の値を持つ活性パラメータであり、μ(i)は参照ベクトルであり、σ2(i)は分散である。加算器11は局所基底出力計算回路10から出力されるすべての局所基底出力信号S(i)の総和【0025】
【数6】

【0026】を計算して総局所基底出力信号Stotalを出力する。i番目の除算器12はi番目の局所基底出力計算回路10と加算器11から局所基底出力信号S(i)と総局所基底出力信号Stotalを受けて、規格化局所基底出力信号b(i)を【0027】
【数7】

【0028】と計算し出力する。i番目の局所出力計算回路13は、除算器12からの規格化局所基底出力信号b(i)と内部に保持した結合加重v(i)とから、局所出力信号o(i)を次式のように計算し、出力する。
【0029】
【数8】

【0030】加算器14は、局所出力計算回路13からの局所出力信号oを受けて、出力信号yを次式のように計算し、出力する。
【0031】
【数9】

【0032】次に学習の動作について説明する。入力信号xに対して教師信号zが与えられると、まず、入力信号xから計算された出力信号yと教師信号zとの差分がとられ、差分信号Eが生成される。差分信号Eは結合加重修正回路15と局所基底修正回路16と結合加重設定回路17と局所基底設定回路18に入力される。
【0033】差分信号Eの絶対値が閾値θE より小さいか、または値が1である活性パラメータの数Naが局所基底出力計算回路10の数Nに等しい場合には、結合加重修正回路15と局所基底修正回路16は以下のように動作する。
【0034】i番目(i=1〜Na)の結合加重修正回路15は、また教師信号zとi番目の除算器から規格化局所基底出力信号b(i) を受け、i番目の局所出力計算回路13の結合加重v(i)を次のように修正する。
【0035】
【数10】

【0036】一方、i番目の局所基底修正回路16は、また入力信号xとi番目の除算器から規格化局所基底出力信号b(i) と出力信号yとを受け、局所基底出力計算回路13から結合加重v(i)を読みだしi番目の局所基底出力計算回路10の内部パラメータを次のように修正する。
【0037】
【数11】

【0038】次に、差分信号Eの絶対値が閾値θE より大きく、かつ値が1である活性パラメータの数Naが局所基底出力計算回路10の数Nより小さい場合には、結合加重修正回路15と局所基底修正回路16は何もしない。
【0039】結合加重設定回路17と局所基底設定回路18は、差分信号Eの絶対値が閾値θEより小さいか、または値が1である活性パラメータの数Naが局所基底出力計算回路10の数Nに等しい場合には、何もしない。
【0040】次に、差分信号Eの絶対値が閾値θE より大きく、かつ値が1である活性パラメータの数Naが局所基底出力計算回路10の数Nより小さい場合には、結合加重設定回路17と局所基底設定回路18は、以下のように動作する。
【0041】結合加重設定回路17は、Na+1番目の局所出力計算回路13の結合加重v(Na+1)を次のように設定する。
【0042】
【数12】

【0043】一方、局所基底設定回路18は、また入力信号xと除算器から規格化局所基底出力信号bを受け、局所基底出力計算回路10のパラメータを読みだし、Na+1番目の局所基底出力計算回路10の内部パラメータを次のように設定する。
【0044】
【数13】

【0045】c2は正の値をもつパラメータである。ただし、Naが0の初期状態については、σ(Na+1)=σ0と固定値σ0を与えるものとする。
【0046】なお、c2 の値は、0.1から1.0程度の値を設定すると良いが、このパラメータにはかなりの任意性があり、この範囲に限る必要はない。また、初期の設定については、最初の2つのデータ(x1,z1)、(x2,z2)から、【0047】
【数14】

【0048】とする方法などを用いてもよい。本実施例による神経回路網模擬装置によれば、本実施例による出力信号yが入力信号xといくつかのパラメータとを用いた初等関数の組み合わせで生成されており、ポテンシャル関数Cは【0049】
【数15】

【0050】と書ける。これを用いて、学習の収束性などについても容易に解析できる。また、図2に示したように目的関数に適した構造を数10〜数100回程度の学習で得ることができる。本実施例によれば、参照ベクトルは目的関数の1階微分が大きい領域に多く分布する。加えて、本発明の構成から明らかなように、一つの入力信号xに対して通常複数個の神経細胞模擬素子が0でない出力を行い、出力信号yはその総和で与えられるために、LVQや坂口らの神経回路網模擬装置と異なって、滑らかな関数近似ができる。さらに、誤差が大きい場合に、過去に蓄積したパラメータに込められた情報をそのままに入力信号xの近くでのみ働く新しく神経細胞模擬素子を与えられた教師信号zが出力信号yとなるように活性化することによって、学習の高速化が実現される。
【0051】なお、ここでは基底関数としてガウス関数を用いたが、この関数は0でない値を局所的に持つ関数であれば、神経生理学の分野などでよく知られているDOG関数、ガボール関数や量子力学における調和振動子波動関数として知られているエルミート多項式にガウス関数をかけた関数や、ウエーブレット変換の基底関数などを用いることができる。こうした関数を用いた場合であっても、本発明においては学習則についてのポテンシャル関数が与えられているから、関数のパラメータに関する微分をとることによって、容易にパラメータの修正量を計算できる。これは、以下の実施例においても同様であるので、以下の実施例においては、繰り返さない。
【0052】(実施例2)以下本発明の第2の実施例について、図面を参照しながら説明する。
【0053】図3は、実施例1と同等の機能を持った神経回路網模擬装置のもう一つの構成である。実施例1で触れたように、本発明の神経回路網模擬装置の出力信号yは初等関数の組み合わせで表現される。したがって、演算の順序の変更については、いくらかの自由度が残される。本実施例は、それを示すものである。
【0054】図3において、10は入力信号xを受けて局所基底出力信号Sを計算して出力する局所基底出力計算回路であり、11は複数の局所基底出力計算回路10からの局所基底出力信号Sを受けてその総和をとり総局所基底出力信号Stotal を出力する加算器であり、13は局所基底出力計算回路11からの規格化局所基底出力信号を受け内部に保持した結合加重vとの積を局所出力信号oとして出力する局所出力計算回路であり、14は複数の局所出力計算回路13からの局所出力信号oの総和を非規格化出力信号nyとして出力する加算器であり、12は加算器14と加算器11とから非規格化出力信号nyと総局所基底出力信号Stotal とを受けて出力信号yを出力する除算器であり、19は局所基底出力計算回路10と加算器11とから局所基底出力信号Sと総局所基底出力信号Stotal を受けて、規格化局所基底出力信号bを出力する除算器であり、15は教師信号zと出力信号yとの差分信号Eと除算器19からの規格化局所基底出力信号bを受けて対応する局所出力計算回路13の結合加重vを修正する結合加重修正回路であり、16は入力信号xと出力信号yと差分信号Eと除算器19からの規格化局所基底出力信号bを受けて対応する局所基底出力計算回路10の内部パラメータを修正する局所基底修正回路であり、17は教師信号zを受けて局所出力計算回路13の結合加重を設定する結合加重設定回路であり、18は入力信号xと規格化局所基底出力信号bと局所出力計算回路10の内部パラメータに基づいて局所基底出力計算回路10の内部パラメータを設定する局所基底設定回路である。
【0055】以上のように構成された神経回路網模擬装置について、その動作を説明する。なお、ここでは局所基底出力計算回路10の性質を特徴づける局所基底関数として、ガウス関数を用いた場合について説明する。
【0056】まず、入力信号xが局所基底出力計算回路10に入る。i番目の局所基底出力計算回路において、局所基底出力信号S(i)が次のように計算され、出力される。
【0057】
【数16】

【0058】ここで、a(i)は0または1の値を持つ活性パラメータであり、μ(i)は参照ベクトルであり、σ2(i)は分散である。加算器11は局所基底出力計算回路10から出力されるすべての局所基底出力信号Sの総和を次式のように計算して総局所基底出力信号Stotal を出力する。
【0059】
【数17】

【0060】i番目の局所出力計算回路13は、除算器12からの規格化局所基底出力信号b(i)と内部に保持した結合加重v(i)とから、局所出力信号o(i)を次式のように計算し、出力する。
【0061】
【数18】

【0062】加算器14は、局所出力計算回路13からの局所出力信号oを受けて、非規格化出力信号nyを次式のように計算し、出力する。
【0063】
【数19】

【0064】除算器12は加算器14と加算器11とから非規格化出力信号nyと総局所基底出力信号Stotalを受けて、出力信号yを次式のように計算し、出力する。
【0065】
【数20】

【0066】次に学習の動作について説明する。入力信号xに対して教師信号zが与えられると、まず、入力信号xから計算された出力信号yと教師信号zとの差分がとられ、差分信号Eが生成される。差分信号Eは結合加重修正回路15と局所基底修正回路16と結合加重設定回路17と局所基底設定回路18に入力される。除算器19は、加算器14と局所基底出力回路10から総局所基底出力信号Stotalと局所基底出力信号Sとを受けて、規格化局所信号bを出力する。以下の動作は、実施例1と同様なので、説明を省略する。効果等についても同様である。
【0067】(実施例3)以下本発明の第3の実施例について図面を参照しながら説明する。本実施例の構成の説明に先だって、本実施例と実施例1、2との違いについて説明する。
【0068】実施例1、2においては、局所出力計算回路13の働きは、規格化局所基底出力信号bまたは局所出力信号Sに入力信号xに依存しない結合加重vをかけるものであった。本実施例では、これをxに依存する項を含むように拡張する。すなわち、局所出力信号o(i)を【0069】
【数21】

【0070】と拡張するものである。この拡張に伴って、大きく機能変更が必要な構成要素は加重結合設定回路17だけである。これにかんがみ、本実施例の構成を示すブロック図である図4においては、煩雑を避けるためにその他の構成要素は30にまとめて表現している。
【0071】図4において、30は入力信号xを受け出力信号yと規格化局所基底出力信号bを出力する結合加重設定回路17を除く本発明の神経回路網模擬装置の全てを含むブロックであり、20は差分信号Eに基づいて結合加重設定を制御する結合加重設定制御部であり、21はブロック30から参照ベクトルμを読みだして入力信号として入力線に出力する参照ベクトル信号発生部であり、22は入力信号x(またはμ)と規格化局所基底出力信号bと教師信号zと出力信号yを記憶する信号記憶部であり、23は信号記憶部23から必要に応じてデータを読みだして結合加重を計算し設定する結合加重設定部である。
【0072】以上のように構成された神経回路網模擬装置について、その動作を説明する。入力信号xが入力されると、実施例1、または2とp同様に信号処理が行われ、出力信号yが出力される。ただし、i番目(i=1〜Na)の局所出力計算回路13では、局所出力信号o(i)が次のように計算される。
【0073】
【数22】

【0074】と局所出力信号o(i)が計算される。出力信号yと教師信号zとの差分信号Eが計算され、結合加重設定回路17の結合加重設定制御部20に送られる。結合加重設定制御部20は、差分信号Eの絶対値が閾値θE より大きくかつ値が1である活性パラメータの数Naが局所基底出力計算回路10の数Nに等しい場合に、結合加重設定制御信号CをONにして参照ベクトル信号発生部21に送る。参照ベクトル信号発生部21は、結合加重設定制御信号CがONの場合、ブロック30から活性パラメータaが1である局所基底出力計算回路10から参照ベクトルμを一つづつ読みだして入力信号として入力線に送り、すべての参照ベクトルについての処理が終了すると信号発生終了信号を結合加重設定部23に送る。ブロック30は出力信号y(μ)と規格化出力信号b(i,μ)を出力する。信号記憶回路22は結合加重設定制御信号CがONの場合、入力信号x(またはμ)と出力信号y(またはy(μ))と規格化局所基底出力信号b(i,μ)と総局所出力信号Stotal(またはStotal(μ))教師信号zを追記的に記憶する。
【0075】結合加重設定部23は、参照ベクトル信号発生部21から信号発生終了信号を受けると、信号記憶部22に記憶された信号、x,y,z,μ,y(μ),Stotal,Stotal(μ),b(i,μ)からNa+1番目の局所出力計算回路13の結合加重を次のように計算する。ここでは、入力信号が2次元の場合について説明を行うが、これは入力の次元が幾つであっても同様に計算することができる。結合加重設定部23は、Na+1番目の局所出力計算回路13の結合加重v(Na+1)とw(Na+1)を【0076】
【数23】

【0077】と設定する。最後に信号記憶部22をリセットする。局所基底設定回路18の動作は、実施例1、2と同様である。
【0078】差分信号Eの絶対値が閾値θE より大きくかつ値が1である活性パラメータの数Naが局所基底出力計算回路10の数Nに等しい場合に、結合加重設定制御部20は、結合加重設定制御信号CをOFFにして参照ベクトル信号発生部21と信号記憶部22に送る。参照ベクトル信号発生部21は、結合加重設定制御信号CがOFFの場合、何もしない。信号記憶部22は結合加重設定制御信号CがOFFの場合、記憶内容をリセットする。
【0079】差分信号Eの絶対値が閾値θE より小さいかまたは値が1である活性パラメータの数Naが局所基底出力計算回路10の数Nに等しい場合には、結合加重修正回路15が結合加重v(i)とw(i)を【0080】
【数24】

【0081】と修正する。その他の動作は実施例1、2と同様である。本実施例による神経回路網模擬装置によれば、本実施例による出力信号yが入力信号xといくつかのパラメータとを用いた初等関数の組み合わせで生成されており、ポテンシャル関数Cは同様に【0082】
【数25】

【0083】と書ける。これを用いて、学習の収束性などについても容易に解析できる。また、目的関数に適した構造を数10〜数100回程度の学習で得ることができる。特に本実施例によれば、参照ベクトルは目的関数の2階微分の値が大きい領域に多く分布する。加えて、本発明の構成から明らかなように、一つの入力信号xに対して通常複数個の神経細胞模擬素子が0でない出力を行い、出力信号yはその総和で与えられるために、LVQや坂口らの神経回路網模擬装置と異なって、滑らかな関数近似ができる。さらに、誤差が大きい場合に、過去に蓄積したパラメータに込められた情報をそのままに入力信号xの近くでのみ働く新しく神経細胞模擬素子を与えられた教師信号zが出力信号yとなるように活性化することによって、学習の高速化が実現される。
【0084】なお、結合加重を入力信号の1次に限ることなく、2次、3次へと拡張することは、原理的に容易である。また、結合加重をフーリエ級数など適当な直交関数を用いることも原理的に可能である。
【0085】(実施例4)上記実施例においては、各局所基底修正回路16、各結合加重修正回路15、各局所基底設定回路18、各結合加重設定回路17が、独立に学習の処理の判定を行っていた。この方法は、装置のロバスト性を考えれば有効であるが、回路規模が大きくなるという面を持っている。本実施例では、回路規模の縮小を実現するために、学習方法をひとまとめに制御する学習方法切り替え回路を設けた場合について説明する。
【0086】以下本発明の第4の実施例について、図面を参照しながら説明する。図5において、10は前記局所基底出力計算回路であり、11は前記加算器であり、12は前記除算器であり、13は前記局所出力計算回路であり、14は前記加算器であり、44は教師信号と出力信号の差分をとって得られる差分信号と局所基底出力計算回路の内部パラメータから学習方法を切り替える学習法切り替え回路であり、46は入力信号と出力信号と前記除算器からの規格化局所基底出力信号と学習法切り替え回路からの修正差分信号を受けて局所基底出力計算回路10と局所出力計算回路13から内部パラメータを読みだし局所基底出力回路10の内部パラメータを修正する簡易局所基底修正回路であり、45は前記除算器からの規格化局所基底出力信号と学習法切り替え回路からの修正差分信号を受けて局所出力計算回路13の内部パラメータを読みだし局所出力計算回路13の内部パラメータを修正する簡易結合加重修正回路であり、48は入力信号と前記除算器12からの規格化局所基底出力と学習法切り替え回路44からの設定信号を受けて局所基底出力計算回路10の内部パラメータを読みだし局所基底出力計算回路10の内部パラメータを設定する簡易局所基底設定回路であり、47は前記加算器11からの総局所基底出力信号と出力信号と教師信号と学習法切り替え回路44からの設定信号を受けて局所出力計算回路13の内部パラメータを設定する簡易結合加重設定回路である。
【0087】以上のように構成された神経回路網模擬装置について、その動作を説明する。なお、ここでは局所基底出力計算回路10の性質を特徴づける局所基底関数として、ガウス関数を用いた場合について説明する。
【0088】まず、入力信号xが局所基底出力計算回路10に入る。i番目の局所基底出力計算回路において、局所基底出力信号S(i)が(数5)と計算され、出力される。ここで、a(i)は0または1の値を持つ活性パラメータであり、μ(i)は参照ベクトルであり、σ2(i)は分散である。加算器11は局所基底出力計算回路10から出力されるすべての局所基底出力信号Sの総和(数6)を計算して総局所基底出力信号Stotalを出力する。i番目の除算器12はi番目の局所基底出力計算回路10と加算器11から局基底出力信号S(i)と総局所基底出力信号Stotalを受けて、規格化局所基底出力信号b(i)を(数7)と計算し出力する。i番目の局所出力計算回路13は、除算器12からの規格化局所基底出力信号b(i)と内部に保持した結合加重v(i)とから、局所出力信号o(i)を(数8)のように計算し、出力する。加算器14は、局所出力計算回路13からの局所出力信号oを受けて、出力信号yを(数9)のように計算し、出力する。
【0089】次に学習の動作について説明する。入力信号xに対して教師信号zが与えられると、まず、上記の動作によって得られる入力信号xに対応する出力信号yと教師信号zとの差分がとられ、差分信号Eが生成される。差分信号Eは、学習方法切り替え回路44に入力される。学習方法切り替え回路44は、差分信号Eを受けると、局所基底計算回路10の内部パラメータを読みだす。学習方法切り替え回路44は、読みだしたパラメータから活性状態にある局所基底出力計算回路の数Nαを計算し、|E|<θE、または、Nα=(局所基底出力計算回路の総数)のとき、修正差分信号 E1=E設定制御信号 E2=NO|E|≧θE、かつ、 Nα<(局所基底出力計算回路の総数)のとき、修正差分信号 E1=0設定制御信号 E2=Nα+1を出力する。
【0090】簡易結合加重修正回路45と簡易局所基底修正回路46は以下のように動作する。
【0091】i番目(i=1〜Na)の簡易結合加重修正回路45は、また教師信号zとi番目の除算器12から規格化局所基底出力信号b(i) を受け、i番目の局所出力計算回路13の結合加重v(i)を次のように修正する。
【0092】
【数26】

【0093】i番目の簡易局所基底修正回路16は、また入力信号xと、i番目の除算器12から規格化局所基底出力信号b(i) と、出力信号yとを受け、i番目の局所出力計算回路13の結合加重v(i)を読みだし、i番目の局所基底出力計算回路10の内部パラメータを次のように修正する。
【0094】
【数27】

【0095】以上のパラメータの修正が終わると、簡易局所基底修正回路46、簡易結合加重修正回路45は、修正終了信号を返す。
【0096】一方、簡易結合加重設定回路47と簡易局所基底設定回路48は、設定制御信号がNOの場合には、何もしない。設定制御信号が(Nα+1)の場合には、以下のように動作する。
【0097】簡易結合加重設定回路47は、出力信号yと教師信号zと加算器11から総局所基底出力信号Stotalとを受けて、設定制御信号によって指定されるNa+1番目の局所出力計算回路13の結合加重v(Na+1)を(数12)のように設定する。
【0098】簡易局所基底設定回路48は、また入力信号xと除算器から規格化局所基底出力信号bを受け、局所基底出力計算回路10の内部パラメータを読みだし、設定制御信号によって指定されるNa+1番目の局所基底出力計算回路10の内部パラメータを(数13)のように設定する。以上のパラメータの設定が終わると、簡易局所基底設定回路48、簡易結合加重設定回路47は、設定終了信号を返す。
【0099】なお、上記実施例と同様にc2は正の値をもつパラメータである。ただし、Naが0の初期状態については、σ(Na+1)=σ0と固定値σ0を与えるものとする。c2 の値は、0.1から1.0程度の値を設定すると良いが、このパラメータにはかなりの任意性があり、この範囲に限る必要はない。また、初期の設定については、最初の2つのデータ(x1,z1)、(x2,z2)から、(数14)とする方法などを用いてもよい。
【0100】本実施例による神経回路網模擬装置によれば、本実施例による出力信号yが入力信号xといくつかのパラメータとを用いた初等関数の組み合わせで生成されており、ポテンシャル関数Cは(数15)と書ける。これを用いて、学習の収束性などについても容易に解析できる。
【0101】また、図2に示したように目的関数に適した構造を数10〜数100回程度の学習で得ることができる。本実施例によれば、参照ベクトルは目的関数の1階微分が大きい領域に多く分布する。加えて、本発明の構成から明らかなように、一つの入力信号xに対して通常複数個の神経細胞模擬素子が0でない出力を行い、出力信号yはその総和で与えられるために、LVQや坂口らの神経回路網模擬装置と異なって、滑らかな関数近似ができる。さらに、誤差が大きい場合に、過去に蓄積したパラメータに込められた情報をそのままに入力信号xの近くでのみ働く新しく神経細胞模擬素子を与えられた教師信号zが出力信号yとなるように活性化することによって、学習の高速化が実現される。
【0102】また、学習方法切り替え回路44を設けることにより、局所基底修正回路16、結合加重修正回路15、局所基底設定回路18、および結合加重設定回路17のかわりに、学習方法の選択判定を行わない簡易局所基底修正回路46、簡易結合加重修正回路45、簡易局所基底設定回路48、および簡易結合加重設定回路47を用いることができる。
【0103】(実施例5)本発明の神経回路網模擬装置においては、誤差が大きい場合に、局所基底出力計算回路10等を新たに設定することにより、学習の高速化を図っている。しかし、この方法だけでは、学習用のデータの順番によっては、実質的に不必要な局所基底出力計算回路10が生き残る場合がある。図6は、本発明の実験結果の目的関数の等高線図と参照ベクトルの分布を示したものである。図中の参照ベクトルAは、学習初期に活性化されたものであるが、このように学習がすすんだあとでは、他の参照ベクトルによって代替可能、すなわち、参照ベクトルAがなくなっても出力は変わらなくなってしまっている。こうした現象は、神経回路網模擬装置のロバスト性の面からは有効であるが、メモリおよび回路規模の面からは不利となる。この課題を解決し、局所基底出力計算回路などを効率的に利用するために、忘却を入れた場合の実施例について説明する。
【0104】以下本発明の第5の実施例について、図面を参照しながら説明する。図7において図5と異なるのは、学習方法切り替え回路44に替えて、49は教師信号と出力信号の差分をとって得られる差分信号と局所基底出力計算回路の内部パラメータから学習方法を選択する学習方法選択回路であり、50は学習方法選択回路49からの忘却処理開始信号を受けて局所基底出力計算回路10の内部パラメータを読みだし忘却処理を行う忘却処理回路を備えた点である。以上のように構成された神経回路網模擬装置について、その動作を説明する。なお、ここでは局所基底出力計算回路10の性質を特徴づける局所基底関数として、ガウス関数を用いた場合について説明する。
【0105】まず、入力信号xが局所基底出力計算回路10に入る。i番目の局所基底出力計算回路において、局所基底出力信号S(i)が(数5)のように計算され、出力される。ここで、a(i)は0または1の値を持つ活性パラメータであり、μ(i)は参照ベクトルであり、σ2(i)は分散である。加算器11は局所基底出力計算回路10から出力されるすべての局所基底出力信号Sの総和(数6)を計算して総局所基底出力信号Stotalを出力する。i番目の除算器12はi番目の局所基底出力計算回路10と加算器11から局基底出力信号S(i)と総局所基底出力信号Stotalを受けて、規格化局所基底出力信号b(i)を(数7)と計算し出力する。i番目の局所出力計算回路13は、除算器12からの規格化局所基底出力信号b(i)と内部に保持した結合加重v(i)とから、局所出力信号o(i)を(数8)のように計算し、出力する。加算器14は、局所出力計算回路13からの局所出力信号oを受けて、出力信号yを(数9)のように計算し、出力する。
【0106】次に学習の動作について説明する。入力信号xに対して教師信号zが与えられると、まず、上記の動作によって得られる入力信号xに対応する出力信号yと教師信号zとの差分がとられ、差分信号Eが生成される。差分信号Eは、学習方法選択回路49に入力される。学習方法選択回路49は、差分信号Eを受けると、局所基底計算回路10の内部パラメータを読みだす。学習方法選択回路49は、読みだしたパラメータから活性状態にある局所基底出力計算回路の数Nαを計算し、不活性状態にある局所基底出力計算回路の指標INDEXを探索し、|E|<θE、または、Nα=(局所基底出力計算回路の総数)のとき、修正差分信号 E1=E設定制御信号 E2=NO|E|≧θE、かつ、 Nα<(局所基底出力計算回路の総数)のとき、修正差分信号 E1=0設定制御信号 E2=INDEXを出力する。
【0107】簡易結合加重修正回路45と簡易局所基底修正回路46は以下のように動作する。
【0108】i番目(i=1〜Na)の簡易結合加重修正回路45は、また教師信号zとi番目の除算器12から規格化局所基底出力信号b(i) を受け、i番目の局所出力計算回路13の結合加重v(i)を次(数26)のように修正する。
【0109】i番目の簡易局所基底修正回路16は、また入力信号xと、i番目の除算器12から規格化局所基底出力信号b(i) と、出力信号yとを受け、i番目の局所出力計算回路13の結合加重v(i)を読みだし、i番目の局所基底出力計算回路10の内部パラメータを(数27)のように修正する。
【0110】以上のパラメータの修正が終わると、簡易局所基底修正回路46、簡易結合加重修正回路45は、修正終了信号を返す。
【0111】一方、簡易結合加重設定回路47と簡易局所基底設定回路48は、設定制御信号がNOの場合には、何もしない。設定制御信号がINDEXの場合には、以下のように動作する。
【0112】簡易結合加重設定回路47は、出力信号yと教師信号zと加算器11から総局所基底出力信号Stotalとを受けて、設定制御信号によって指定されるINDEX番目の局所出力計算回路13の結合加重v(INDEX)を次のように設定する。
【0113】
【数28】

【0114】簡易局所基底設定回路48は、また入力信号xと除算器から規格化局所基底出力信号bを受け、局所基底出力計算回路10のパラメータを読みだし、設定制御信号によって指定されるINDEX番目の局所基底出力計算回路10の内部パラメータを次のように設定する。
【0115】
【数29】

【0116】以上のパラメータの設定が終わると、簡易局所基底設定回路48、簡易結合加重設定回路47は、設定終了信号を返す。学習方法選択回路49は、設定終了信号を受けると、忘却処理開始信号を忘却処理回路50に送る。忘却処理開始信号を受けた忘却処理回路50の動作を図8に示したフローチャートを参照しながら説明する。
【0117】忘却処理回路50は、局所基底出力計算回路10から、内部パラメータ読みだす。そして、局所基底出力回路10を指定する指標iに1を入れる。読みだしたi番目の局所基底出力計算回路10の活性パラメータが1の場合、読みだしたi番目の局所基底出力計算回路10の参照ベクトルμ(i)を入力端子へ出力し、加算器14からの出力信号y(μ(i))を受けて、これを保持し、次に、i番目の局所基底出力計算回路10を不活性化して、i番目の局所基底出力計算回路10の参照ベクトルμ(i)を入力端子へ出力し、その出力信号y'(μ(i),i)を保持した出力信号y(μ(i))と比較し、|y'(μ(i),i)−y(μ(i))|<θの場合処理を終了し、i番目の局所基底出力計算回路を不活性化状態にとどめる|y'(μ(i),i)−y(μ(i))|≧θの場合i番目の局所基底出力計算回路を再活性化するiをインクリメントするという処理を行う。
【0118】読みだしたi番目の局所基底出力計算回路10の活性パラメータが0の場合、iをインクリメントする。
【0119】i=N+1でない場合、上の処理に戻る。i=N+1の場合、処理を終了する。
【0120】こうして、不必要に冗長な局所基底出力計算回路10は不活性化され、次の学習に備えることができるようになる。
【0121】なお、閾値θは、差分信号Eについて設定されている閾値θE対し、θ = θE/2程度にとるとよい。ただし、閾値θはこれに限る必要はなく、θ<θEであればよい。
【0122】また、閾値θを分散σ2(i)の関数θ=θE f(σ2(i))としてもよい。関数fを単調減少する正の値をとる関数とすれば、広い入力信号領域をカバーしている局所基底出力計算回路10は不活性化されにくくなる。これによって、素子の不活性化による一時的な誤差の増大を抑制できる。
【0123】局所基底出力計算回路の不活性化が出力信号yに与える影響を抑制する手段として、不活性化されるa番目の局所基底出力計算回路10に対応するa番目の局所出力計算回路13の結合加重v(a)が担っていた情報を他の局所出力計算回路13の結合加重に移し替える方法がある。
【0124】具体的には、b番目以外の局所出力計算回路13の結合加重v(b)を不活性化する前のa番目の局所基底出力計算回路10の出力を用いて、v(b)=v(b)+(v(a)−v(b))B(μ(b))
とすればよい。ここで、B(μ(b))は、入力信号がμ(b)であるときの不活性化する前のa番目の局所基底出力計算回路10の出力である。
【0125】この結合加重の修正をa番目の局所基底出力計算回路10の不活性化と同時に行うことにより、局所基底出力計算回路10の不活性化の出力信号yへの影響を抑制することができる。
【0126】初期学習については、上の実施例と同様である。本実施例による神経回路網模擬装置によれば、上の実施例の効果に加えて、最も効率的に神経回路網模擬装置の内部パラメータを設定することができ、比較的小さな規模の装置でも目的関数を精度よく近似できる優れた神経回路網模擬装置を実現できる。
【0127】なお、本実施例においては、i番目の局所基底出力計算回路10が活性化されているときと不活性化されているときの、加算器14からの出力信号yとy’を比較するための入力として、i番目の局所基底出力計算回路10の参照ベクトルμ(i)を使用したが、この参照ベクトルμ(i)の代わりに学習用のデータとして与えられた入力信号xを用いることもできる。この場合は、学習用のデータが与えられるごとに、活性化されている各々の局所基底出力計算回路10に対して、CD(i,x)=|y'(x,i)−z(x)|−|y(x)−z(x)|を計算し記憶しておく。ここに、CD(i,x)は、入力信号xに対するi番目の局所基底出力計算回路10の貢献度を表し、y'(x,i)はi番目の局所基底出力計算回路10を不活性化してxを入力信号としたときの加算器14からの出力信号を表し、z(x)は入力信号xに対応する教師信号を表し、y(x)はi番目の局所基底出力計算回路を不活性化せずにxを入力信号としたときの加算器14からの出力信号を表す。さらに、活性化されている各々の局所基底出力計算回路ごとに、過去の各学習用データに対する貢献度CD(i,x)の平均値ACD(i)を求め、ACD(i)<θ’の場合i番目の局所基底出力計算回路を不活性化するACD(i)≧θ’の場合i番目の局所基底出力計算回路を活性化したままにするという処理を行う。この方法によると、学習用のデータにノイズが含まれている場合でも、ノイズの影響を軽減して滑らかな関数近似を行うことができる。また、この方法において、θ’を閾値として各々の局所基底出力計算回路10の活性化と不活性化を不連続に切替える代わりに、ACD(i)に比例するように各々の局所基底出力計算回路10の内部パラメータa(i)を連続的に変化させることもできる。ただし、ACD(i)が負の値となった場合は、a(i)の値は0とする。
【0128】(実施例6)本発明の神経回路網模擬装置においては、局所基底出力計算回路10等を新たに設定することにより、高速に滑らかな関数近似を行うことができる。しかし、この方法だけでは、学習用のデータの順番によっては、実質的に不必要な局所基底出力計算回路10が生き残る場合がある。これに対して、実施例5の方法によると、不要な局所基底出力計算回路10を消去することができるが、そのために必要な計算量が増大する。本実施例においては、学習すべき入出力関係に関してあらかじめ分かっている情報が存在するとき、この情報を利用して本発明の神経回路網模擬装置の内部パラメータを初期設定することにより、計算量を増やすことなく、より高速で、より少数の局所基底出力計算回路10による学習を可能とする方法について説明する。
【0129】本発明の第6の実施例の構成は、図1に示した第1の実施例と同一であるので、ここでは繰り返さない。
【0130】つぎに、第6の実施例の動作について説明する。学習データに基づく本発明の神経回路網模擬装置の内部パラメータの修正に先立ち、最初に、学習すべき入出力関係に関してあらかじめ分かっている情報を利用して本発明の神経回路網模擬装置の内部パラメータを以下のように初期設定する。
【0131】学習すべき入出力関係に関してあらかじめ分かっている情報がR個存在し、k番目の情報は「入力xが入力空間上の閉領域a(k)に属するならば、出力y(x)は定数c(k)に等しい」の形式で表されているとする。これらの情報は完全に正しいものである必要はない。具体的な情報の例を次に2つ示す。ここでは入力xは2次元のベクトル(x1,x2)であり、出力y(x)はスカラーであるとした。
【0132】「0.2<x1<0.5かつ0.4<x2<0.8ならば、y(x)=1.0」
「x12+x22≦4.0ならば、y(x)=0.5」
さて、入力xが一般にN次元ベクトル(x1,…,xN)であるとし、このベクトルのJ番目の要素をxJと表記することにする。a(k)は閉領域であるとしたから、各要素xJは領域a(k)内における最大値xJmaxと最小値xJminを持つ。ここで、局所基底出力計算回路10の内部パラメータと局所出力計算回路13の内部パラメータを次の通り初期設定する。k番目(kは1からRまでのそれぞれを表す)の局所基底出力計算回路10の内部パラメータa(k)、μ(k)、σ(k)と、k番目の局所出力計算回路13の内部パラメータv(k)については、【0133】
【数30】

【0134】と初期設定する。ここに、ベクトルμ(k)のJ番目の要素をμJ(k)と表記した。また、c3は正の定数であり、第1の実施例における学習時に使用した定数c2と等しい値を設定する。また、上記以外の局所基底出力計算回路10の内部パラメータについては、a(i)=0と初期設定する。
【0135】以上の初期設定終了後、第1の実施例における学習の動作と同一の手順で、学習データに基づき、局所基底出力計算回路10の内部パラメータa(i)、μ(i)、σ(i)と局所出力計算回路13の内部パラメータv(i)を逐次的に修正する。あらかじめ分かっていたR個の情報が完全に正しいものではなかった場合や、これらのR個の情報に基づく内部パラメータの初期値設定によってできた神経回路網模擬装置の入出力関係が、これらのR個の情報と完全には一致しなかった場合においても、それらの内部パラメータの学習データに基づく逐次的な修正によって、高速に目的関数の良好な近似を実現できる。
【0136】なお、内部パラメータμ(k)とσ(k)の初期設定において、以上の設定方法の代わりに、μ(k)を閉領域a(k)の重心と一致するように初期設定し、σ(k)を閉領域a(k)の体積の(1/N)乗に比例する値に初期設定してもよい。
【0137】また、本実施例では、第1の実施例と同一の構成の神経回路網模擬装置の内部パラメータを初期設定する方法について説明したが、第2の実施例、第3の実施例、第4の実施例、第5の実施例のいずれと同一の構成の神経回路網模擬装置に対しても、本実施例と同様の初期設定方法が適用できることは言うまでもない。特に、あらかじめ分かっている情報が、f(x)をxの関数として「入力xが入力空間上の閉領域a(k)に属するならば、出力y(x)はf(x)に等しい」の形式で表現されている場合には、第3の実施例と同一の構成の神経回路網模擬装置に対して、本実施例と同様の方法でパラメータの初期設定を行なうことが、目的関数の良好な近似を実現するために有効である。
【0138】また、第5の実施例と同一の構成の神経回路網模擬装置に対して、本実施例と同様の方法で局所基底出力計算回路10の内部パラメータa(i)、μ(i)、σ(i)と局所出力計算回路13の内部パラメータv(i)を初期設定した後に、第5の実施例の方法を用いて忘却を入れた学習を行なうと、比較的少数の局所基底出力計算回路10だけが活性化された状態で目的関数を良好に近似することができる。したがって、この場合には、学習終了後の内部パラメータa(i)、μ(i)、σ(i)、v(i)の値を調べることにより、神経回路網模擬装置の動作を理解したり予測することが容易にできるという利点を有する。
【0139】また、本実施例では、学習すべき入出力関係に関してあらかじめ分かっている情報がR個存在し、k番目の情報が「入力xが入力空間上の閉領域a(k)に属するならば、出力y(x)は定数c(k)に等しい」の形式で表現されている場合における、内部パラメータの初期設定の方法を説明したが、入力xがN次元ベクトル(x1,…,xN)であって、このベクトルの各要素xJとしては0または1の2種類の値だけをとるものと0から1の間で連続的に任意の値をとりうるものが混在し、学習すべき入出力関係に関してあらかじめ分かっている情報が「入力xが論理式L(k)(x)を満足するならば、出力y(x)は定数c(k)に等しい」の形式で表現されている場合においても、以下のように内部パラメータを初期設定することができる。ここで、論理式L(k)(x)は、素論理式の連言であるとし、素論理式は、要素xJが0または1の2種類の値だけをとるときはxJ=0の形かまたはxJ=1の形であり、素論理式xJ=0と素論理式xJ=1が両方同時に存在することはなく、要素xJが0から1の間で連続的に任意の値をとりうるときは、xJmin≦xJ≦xJmaxの形であるとする。
【0140】k番目(kは1からRまでのそれぞれを表す)の局所基底出力計算回路10の内部パラメータa(k)、μ(k)、σ(k)と、k番目の局所出力計算回路13の内部パラメータv(k)については、【0141】
【数31】

【0142】と初期設定する。ここに、ベクトルμ(k)のJ番目の要素をμJ(k)と表記した。また、c3は正の定数であり、第1の実施例における学習時に使用した定数c2と等しい値を設定する。W(J)はつぎの通りの値をとる。
【0143】
【数32】

【0144】また、上記以外の局所基底出力計算回路10の内部パラメータについては、a(k)=0と初期設定する。
【0145】学習すべき入出力関係に関してあらかじめ分かっている情報が「入力xが論理式L(k)(x)を満足するならば、出力y(x)は定数c(k)に等しい」の形式で表現されている場合に対する、以上の初期設定法は、「入力xが論理式L(k)(x)を満足すること」を次の手順で「入力xが入力空間上の閉領域a(k)に属すること」に変換し、変換後の情報に対応して前記の方法による初期設定を行なうことと同等のものとなっている。
【0146】1)素論理式xJ=0が論理式L(k)(x)に含まれていれば、それを素論理式−0.5≦xJ≦0.5に置き換える。
【0147】2)素論理式xJ=1が論理式L(k)(x)に含まれていれば、それを素論理式0.5≦xJ≦1.5に置き換える。
【0148】3)xJmin≦xJ≦xJmaxの形の素論理式に対する置き換えは行わない。
【0149】4)要素xJについての素論理式が論理式L(k)(x)に含まれていなければ、素論理式0≦xJ≦1を論理式L(k)(x)に追加する。
【0150】(実施例7)忘却処理回路の第2の実施例を説明する。
【0151】図7において、忘却処理回路50は局所基底出力計算回路10から、内部パラメータ読みだす。
【0152】局所基底出力回路10を指定する指標jに1を入れる。j番目の局所基底出力計算回路10の活性パラメータを判断する。
【0153】j番目の局所基底出力計算回路10の活性化パラメータが1の場合は、以下の処理を行う。
【0154】局所基底出力回路10を指定する指標iに1を入れる。読みだしたi番目の局所基底出力計算回路10の活性パラメータが1の場合、読みだしたi番目の局所基底出力計算回路10の参照ベクトルμ(i)を入力端子へ出力し、加算器14からの出力信号y(μ(i))を受けて、これを保持し、iをインクリメントする。これを繰り返し、活性化パラメータが1である参照ベクトルμ(i)の出力信号y(μ(i))を全て計算する。
【0155】次に、j番目の局所基底出力計算回路10を不活性化して、同様の処理を行い、j番目の素子が不活性化された場合の出力信号y’(μ(i))を全て計算する。
【0156】さらに、計算された2種類の出力信号を用いて、参照ベクトルμ(i)に対する最大誤差Emax=max{|y'(μ(i),i)−y(μ(i))|}
を計算する。この最大誤差Emaxと比較し、Emax<θの場合処理を終了し、j番目の局所基底出力計算回路を不活性化状態にとどめるEmax≧θの場合j番目の局所基底出力計算回路を再活性化するjをインクリメントするという処理を行う。
【0157】読みだしたj番目の局所基底出力計算回路10の活性パラメータが0の場合、jをインクリメントする。
【0158】j=N+1でない場合、上の処理に戻る。j=N+1の場合、処理を終了する。
【0159】こうして、不必要に冗長な局所基底出力計算回路10は不活性化され、次の学習に備えることができるようになる。
【0160】なお、閾値θは、差分信号Eについて設定されている閾値θE対し、θ = θE/2程度にとるとよい。ただし、閾値θはこれに限る必要はなく、θ<θEであればよい。
【0161】局所基底出力計算回路の不活性化が出力信号yに与える影響を抑制する手段として、不活性化されるa番目の局所基底出力計算回路10に対応するa番目の局所出力計算回路13の結合加重v(a)が担っていた情報を他の局所出力計算回路13の結合加重に移し替える方法がある。
【0162】具体的には、b番目以外の局所出力計算回路13の結合加重v(b)を不活性化する前のa番目の局所基底出力計算回路10の出力を用いて、v(b)=v(b)+(v(a)−v(b))B(μ(b))
とすればよい。ここで、B(μ(b))は、入力信号がμ(b)であるときの不活性化する前のa番目の局所基底出力計算回路10の出力である。
【0163】この結合加重の修正をa番目の局所基底出力計算回路10の不活性化と同時に行うことにより、局所基底出力計算回路10の不活性化の出力信号yへの影響を抑制することができる。
【0164】
【発明の効果】以上のように本発明は、入力信号xを受けて局所基底出力信号Sを計算して出力する局所基底出力計算回路と、複数の局所基底出力計算回路からの局所基底出力信号Sを受けてその総和をとり総局所基底出力信号Stotal を出力する加算器と、局所基底出力計算回路と加算器とから局所基底出力信号Sと総局所基底出力信号Stotal とを受けて規格化局所基底出力信号bを出力する除算器と、除算器からの規格化局所基底出力信号を受け内部に保持した結合加重vとの積を局所出力信号oとして出力する局所出力計算回路と、複数の局所出力計算回路からの局所出力信号oの総和を出力信号yとして出力する加算器と、教師信号zと出力信号yとの差分信号Eと除算器からの規格化局所基底出力信号bを受けて対応する局所出力計算回路の結合加重vを修正する結合加重修正回路と、出力信号yとの差分信号Eと除算器からの規格化局所基底出力信号bを受けて対応する局所基底出力計算回路の内部パラメータを修正する局所基底修正回路と、教師信号zを受けて局所出力計算回路の結合加重を設定する結合加重設定回路と、入力信号xと規格化局所基底出力信号bと局所出力計算回路の内部パラメータに基づいて局所基底出力計算回路の内部パラメータを設定する局所基底設定回路とから構成することにより、ポテンシャル関数を持ち、目的関数に適した構造を数10〜数100回程度の学習で得ることができ、滑らかな関数近似ができる神経回路網模擬装置を実現できる。
【0165】さらに、目的関数について予めわかっている情報が存在する場合は、その情報に基づいて神経回路網模擬装置の内部パラメータを初期設定することによって、より高速な学習を実現できる。




 

 


     NEWS
会社検索順位 特許の出願数の順位が発表

URL変更
平成6年
平成7年
平成8年
平成9年
平成10年
平成11年
平成12年
平成13年


 
   お問い合わせ info@patentjp.com patentjp.com   Copyright 2007-2013