米国特許情報 | 欧州特許情報 | 国際公開(PCT)情報 | Google の米国特許検索
 
     特許分類
A 農業
B 衣類
C 家具
D 医学
E スポ−ツ;娯楽
F 加工処理操作
G 机上付属具
H 装飾
I 車両
J 包装;運搬
L 化学;冶金
M 繊維;紙;印刷
N 固定構造物
O 機械工学
P 武器
Q 照明
R 測定; 光学
S 写真;映画
T 計算機;電気通信
U 核技術
V 電気素子
W 発電
X 楽器;音響


  ホーム -> 計算機;電気通信 -> 松下電器産業株式会社

発明の名称 統合型学習システム
発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開平7−73152
公開日 平成7年(1995)3月17日
出願番号 特願平5−218328
出願日 平成5年(1993)9月2日
代理人 【弁理士】
【氏名又は名称】小鍜治 明 (外2名)
発明者 平原 誠 / 岡 夏樹
要約 目的
対象の認識、機器の制御等の複雑な入出力関係を高精度かつ高速に学習し、未知のデータに対しても柔軟な応答を示すことができる統合型学習システムを提供することを目的とする。

構成
大域的に値を持つ関数(大域基底関数)で特徴づけられる大域基底出力計算回路111i(i=1〜Nm)を有し、入力信号Xを受けて総大域基底出力信号Ymlp(X) を出力する大域基底学習装置11と、局所的に値を持つ関数(局所基底関数)で特徴づけられる局所基底出力計算回路121i(i=1〜Nr )を有し、入力信号Xを受けて総局所基底出力信号Yrbf(X)を出力する局所基底学習装置12と、総大域基底出力信号Ymlp(X)と総局所基底出力信号Yrbf(X)を受けて統合出力信号Y(X)を出力する統合出力計算回路131からなる統合出力装置13とから構成する。
特許請求の範囲
【請求項1】 N個の入力端子から入力信号を受けて総大域基底出力信号を出力する少なくとも一つ以上の大域基底学習装置と、M個の入力端子から入力信号を受けて総局所基底出力信号を出力する少なくとも一つ以上の局所基底学習装置と、上記総大域基底出力信号と上記総局所基底出力信号とを受けて統合出力信号を出力する統合出力装置とを備えた統合型学習システム。
【請求項2】 大域基底学習装置の入力端子の数と局所基底学習装置の入力端子の数が同数であって、同一の入力信号を受けることを特徴とする請求項1記載の統合型学習システム。
【請求項3】 大域基底学習装置は大域的に値を持つ関数(大域基底関数)で特徴づけられる大域基底出力計算回路を少なくとも一つ以上有することを特徴とする請求項1または2のいずれかに記載の統合型学習システム。
【請求項4】 大域基底出力計算回路は入力信号を重み付ける可変パラメータを内部に有することを特徴とする請求項3記載の統合型学習システム。
【請求項5】 大域基底学習装置は大域基底出力計算回路からの出力信号を受けて総大域基底出力信号を出力する総大域基底出力計算回路を少なくとも一つ以上有することを特徴とする請求項3または4のいずれかに記載の統合型学習システム。
【請求項6】 総大域基底出力計算回路は大域基底出力計算回路からの出力信号を重み付ける可変パラメータを内部に有することを特徴とする請求項5記載の統合型学習システム。
【請求項7】 局所基底学習装置は局所的に値を持つ関数(局所基底関数)で特徴づけられる局所基底出力計算回路を少なくとも一つ以上有することを特徴とする請求項1から6のいずれかに記載の統合型学習システム。
【請求項8】 局所基底出力計算回路は入力信号を重み付ける可変パラメータを内部に有することを特徴とする請求項7記載の統合型学習システム。
【請求項9】 局所基底学習装置は局所基底出力計算回路からの出力信号を受けて総局所基底出力信号を出力する総局所基底出力計算回路を少なくとも一つ以上有することを特徴とする請求項7または8のいずれかに記載の統合型学習システム。
【請求項10】 総局所基底出力計算回路は局所基底出力計算回路からの出力信号を重み付ける可変パラメータを内部に有することを特徴とする請求項9記載の統合型学習システム。
【請求項11】 統合出力装置からの統合出力信号は総大域基底出力信号と総局所基底出力信号との関数であることを特徴とする請求項1から10のいずれかに記載の統合型学習システム。
【請求項12】 統合出力装置からの統合出力信号は総大域基底出力信号と総局所基底出力信号との和であることを特徴とする請求項11記載の統合型学習システム。
【請求項13】 統合出力装置は総大域基底出力信号を重み付ける可変パラメータと総局所基底出力信号を重み付ける可変パラメータとを内部に有することを特徴とする請求項1から10のいずれかに記載の統合型学習システム。
【請求項14】 統合出力装置からの統合出力信号は総大域基底出力信号を重み付ける可変パラメータによって重み付けされた総大域基底出力信号と総局所基底出力信号を重み付ける可変パラメータによって重み付けされた総局所基底出力信号との関数であることを特徴とする請求項13記載の統合型学習システム。
【請求項15】 統合出力装置からの統合出力信号は総大域基底出力信号を重み付ける可変パラメータによって重み付けされた総大域基底出力信号と総局所基底出力信号を重み付ける可変パラメータによって重み付けされた総局所基底出力信号との和であることを特徴とする請求項14記載の統合型学習システム。
【請求項16】 与えられた入力信号に対応する教師信号が与えられたときに、評価関数の値を小さくするように、大域基底学習装置の内部に保持された可変パラメータと局所基底学習装置の内部に保持された可変パラメータとを修正することを特徴とする請求項4から12のいずれかに記載の統合型学習システム。
【請求項17】 与えられた入力信号に対応する教師信号が与えられたときに、評価関数の値を小さくするように、統合出力装置の内部に保持された可変パラメータと大域基底学習装置の内部に保持された可変パラメータと局所基底学習装置の内部に保持された可変パラメータとを修正することを特徴とする請求項13から15のいずれかに記載の統合型学習システム。
【請求項18】 与えられた入力信号に対応する教師信号が与えられたときに、大域基底学習装置の内部に保持された可変パラメータの修正量を規定する学習係数と局所基底学習装置の内部に保持された可変パラメータの修正量を規定する学習係数とを異なった値に設定することができることを特徴とする請求項16記載の統合型学習システム。
【請求項19】 与えられた入力信号に対応する教師信号が与えられたときに、統合出力装置の内部に保持された総大域基底出力信号を重み付ける可変パラメータの修正量と大域基底学習装置の内部に保持された可変パラメータの修正量とを規定する学習係数と、統合出力装置の内部に保持された総局所基底出力信号を重み付ける可変パラメータの修正量と局所基底学習装置の内部に保持された可変パラメータの修正量とを規定する学習係数とを異なった値に設定することができることを特徴とする請求項17記載の統合型学習システム。
【請求項20】 入力信号を受けて大域基底出力信号を出力する大域基底出力計算回路と大域基底出力計算回路の内部に保持される可変パラメータを修正するための大域基底重み修正信号を出力する大域基底重み修正回路と大域基底出力計算回路からの大域基底出力信号を受けて総大域基底出力信号を出力する総大域基底出力計算回路と総大域基底出力計算回路の内部に保持される可変パラメータを修正するための総大域基底重み修正信号を出力する総大域基底重み修正回路とを有する大域基底学習装置と、入力信号を受けて局所基底出力信号を出力する局所基底出力計算回路と局所基底出力計算回路の内部に保持される可変パラメータを修正するための局所基底修正信号を出力する局所基底修正回路と局所基底出力計算回路からの局所基底出力信号を受けて総局所基底出力信号を出力する総局所基底出力計算回路と総局所基底出力計算回路の内部に保持される可変パラメータを修正するための総局所基底重み修正信号を出力する総局所基底重み修正回路とを有する局所基底学習装置と、総大域基底出力計算回路からの総大域基底出力信号と総局所基底出力計算回路からの総局所基底出力信号を受けて統合出力信号を出力する統合出力計算回路を有する統合出力装置とからなる請求項16または18のいずれかに記載の統合型学習システム。
【請求項21】 入力信号を受けて大域基底出力信号を出力する大域基底出力計算回路と大域基底出力計算回路の内部に保持される可変パラメータを修正するための大域基底重み修正信号を出力する大域基底重み修正回路と大域基底出力計算回路からの大域基底出力信号を受けて総大域基底出力信号を出力する総大域基底出力計算回路と総大域基底出力計算回路の内部に保持される可変パラメータを修正するための総大域基底重み修正信号を出力する総大域基底重み修正回路とを有する大域基底学習装置と、入力信号を受けて局所基底出力信号を出力する局所基底出力計算回路と局所基底出力計算回路の内部に保持される可変パラメータを修正するための局所基底修正信号を出力する局所基底修正回路と局所基底出力計算回路からの局所基底出力信号を受けて総局所基底出力信号を出力する総局所基底出力計算回路と総局所基底出力計算回路の内部に保持される可変パラメータを修正するための総局所基底重み修正信号を出力する総局所基底重み修正回路とを有する局所基底学習装置と、総大域基底出力計算回路からの総大域基底出力信号と総局所基底出力計算回路からの総局所基底出力信号を受けて統合出力信号を出力する統合出力計算回路と統合出力計算回路の内部に保持される可変パラメータを修正するための統合出力計算重み修正信号を出力する統合出力計算重み修正回路とを有する統合出力装置とからなる請求項17または19のいずれかに記載の統合型学習システム。
【請求項22】 少なくとも一つ以上の大域基底出力計算回路と、少なくとも一つ以上の局所基底出力計算回路と、大域基底出力計算回路からの大域基底出力信号と局所基底出力計算回路からの局所基底出力信号とを受けて簡略統合出力信号を出力する簡略統合出力計算回路とを備えた簡略統合型学習システム。
【請求項23】 簡略統合出力計算回路は大域基底出力信号を重み付ける可変パラメータと局所基底出力信号を重み付ける可変パラメータとを内部に有することを特徴とする請求項22記載の簡略統合型学習システム。
【請求項24】 簡略統合出力計算回路からの簡略統合出力信号は大域基底出力信号を重み付ける可変パラメータによって重み付けされた大域基底出力信号と局所基底出力信号を重み付ける可変パラメータによって重み付けされた局所基底出力信号との関数であることを特徴とする請求項23記載の簡略統合型学習システム。
【請求項25】 簡略統合出力計算回路からの簡略統合出力信号は総大域基底出力信号を重み付ける可変パラメータによって重み付けされた総大域基底出力信号と総局所基底出力信号を重み付ける可変パラメータによって重み付けされた総局所基底出力信号との和であることを特徴とする請求項24記載の簡略統合型学習システム。
【請求項26】 与えられた入力信号に対応する教師信号が与えられたときに、評価関数の値を小さくするように、簡略統合出力計算回路の内部に保持された可変パラメータと大域基底学習装置の内部に保持された可変パラメータと局所基底学習装置の内部に保持された可変パラメータとを修正することを特徴とする請求項23から25のいずれかに記載の簡略統合型学習システム。
【請求項27】 与えられた入力信号に対応する教師信号が与えられたときに、簡略統合出力回路の内部に保持される大域基底出力信号を重み付ける可変パラメータと大域基底出力計算回路の内部に保持される入力信号を重み付ける可変パラメータの修正量を規定する学習係数と、簡略統合出力回路の内部に保持される局所基底出力信号を重み付ける可変パラメータと局所基底出力計算回路の内部に保持される入力信号を重み付ける可変パラメータの修正量を規定する学習係数とを異なった値に設定することができることを特徴とする請求項26記載の簡略統合型学習システム。
【請求項28】 入力信号を受けて大域基底出力信号を出力する大域基底出力計算回路と、大域基底出力計算回路の内部に保持される可変パラメータを修正するための大域基底重み修正信号を出力する大域基底重み修正回路と、入力信号を受けて局所基底出力信号を出力する局所基底出力計算回路と、局所基底出力計算回路の内部に保持される可変パラメータを修正するための局所基底修正信号を出力する局所基底修正回路と、大域基底出力計算回路からの大域基底出力信号と局所基底出力計算回路からの局所基底出力信号を受けて簡略統合出力信号を出力する簡略統合出力計算回路と、簡略統合出力計算回路の内部に保持される可変パラメータを修正するための簡略統合出力計算重み修正信号を出力する簡略統合出力計算重み修正回路とからなる請求項26または27記載の簡略統合型学習システム。
発明の詳細な説明
【0001】
【産業上の利用分野】本発明は対象の認識、機器の制御等の入出力関係のより正確なモデル化に用いられる統合型学習システムおよび簡略統合型学習システムに関するものである。
【0002】
【従来の技術】大域的に値を持つ関数(大域基底関数)で特徴づけられる大域基底出力計算回路を有する大域基底学習装置として、誤差逆伝播学習と呼ばれる学習則(McClelland,J.L., Rumelhart,D.E., and the PDP Research Group: Parallel Distributed Processing: Explorations in the Microstructure of Cognition, MIT Press, Chapter 8, 1986.)で学習を行い、大域基底出力計算回路の性質を特徴づける大域基底関数がシグモイド関数である多層パーセプトロン(MLP, Multi-Layer Perceptron)があり、局所的に値を持つ関数(局所基底関数)で特徴づけられる局所基底出力計算回路を有する局所基底学習装置として、局所基底出力計算回路の性質を特徴づける局所基底関数がガウス関数であるRBF(Radial BasisFunction)(Poggio,T., and Edelman,S.: A netowork that learns to recognize three-dimensional objects, Nature, Vol.343, pp263-266. あるいは、Poggio,T., and Girosi,F.: Regularization algorithms for learning that areequivalent to multilayer networks, Science, Vol.247, pp978-982.)がある。ここで、シグモイド関数は1に近い大きな出力信号を生成することができる入力空間がガウス関数に比べて非常に広く、全入力空間で積分した場合の積分値が無限大となるという意味で大域基底関数であり、ガウス関数は1に近い大きな出力信号を生成する入力空間がシグモイド関数に比べて非常に狭く、全入力空間で積分した場合の積分値が有限であるという意味で局所基底関数である。
【0003】誤差逆伝播学習によって学習を行うMLPは、シグモイド関数で特徴づけられる大域基底出力計算回路を有する中間層とシグモイド関数で特徴づけられる総大域基底出力計算回路を有する出力層から構成される。大域基底出力計算回路は入力信号を重み付ける可変パラメータを持っており、総大域基底出力計算回路は大域基底出力信号を重み付ける可変パラメータを持っている。このMLPに入力信号が与えられると、中間層、出力層と順に信号が可変重みを介して伝播され、総大域基底出力計算回路の出力信号がMLPの出力信号とみなされる。学習時には、教師信号が与えられ、総大域基底出力計算回路の出力信号と教師信号との間の2乗誤差信号を小さくするように、上記の可変重みがバックプロパゲーション学習則により更新される。この学習を繰り返し行うことによって、MLPは与えられた問題の入出力関係を獲得する。
【0004】一方、RBFはガウス関数で特徴づけられる局所基底出力計算回路を有する中間層と線形関数で特徴づけられる総局所基底出力計算回路を有する出力層から構成される。図7はRBFの構成を示すブロック図である。図7において、21i(i=1〜Nr)は入力信号xを受けて局所基底出力信号Gi(x)を出力する局所基底出力計算回路であり、22i(i=1〜Nr)は局所基底出力計算回路21iの内部に保持された可変パラメータを修正するための局所基底修正信号を出力する局所基底修正回路であり、23は局所基底出力計算回路21iからの局所基底出力信号Gi(x)を受けて総局所基底出力信号Y(x)を出力する総局所基底出力計算回路であり、24は総局所基底出力計算回路23の内部に保持された可変重みを修正するための総局所基底重み修正信号を出力する総局所基底重み修正回路である。
【0005】このRBFに入力信号が与えられると、中間層、出力層と順に信号が伝播され、総局所基底出力計算回路の出力信号がRBFの出力信号とみなされる。以下に1入力1出力の場合のRBFの動作を説明する。
【0006】RBFに1次元入力信号xが与えられると、局所基底出力計算回路21iの出力信号Gi(x)は以下の式で表すことができる。
【0007】
【数1】

【0008】ここで、μi(t)は時刻tにおける局所基底出力計算回路21iのガウス関数の中心示す可変パラメータであり、σ2i(t)は時刻tにおけるガウス関数の分散を示す可変パラメータである。この局所基底出力計算回路21iの局所基底出力信号Gi(x)は総局所基底出力計算回路23に送られる。送られた局所基底出力信号Gi(x)は総局所基底出力計算回路23が時刻tにおいて保持している可変パラメータWi(t)で重み付けられ、総局所基底出力計算回路23は総局所基底出力信号Y(x)【0009】
【数2】

【0010】を出力する。この総局所出力計算回路23の総局所出力信号Y(x)はRBFの出力信号とみなされる。学習時には入力信号xに対応する教師信号Z(x)が与えられる。RBFの出力信号Y(x)と教師信号Z(x)との間の2乗誤差信号E(x)は【0011】
【数3】

【0012】と表わされる。この2乗誤差信号E(x)を最小化するように可変パラメータを修正しても良いし、以下に示す総2乗誤差信号Eを最小化するように可変パラメータを修正しても良い。
【0013】
【数4】

【0014】ここで、Sは学習データの集合を示す。ここでは、前者の2乗誤差信号E(x)を最急降下法を用いて最小化するように可変パラメータを修正することを考える。まず、総局所基底重み修正回路24は2乗誤差信号E(x)と局所基底出力信号Gi(x)を受けて、総局所基底出力計算回路23が時刻tにおいて保持する可変重みWi(t)を以下の学習アルゴリズムに従って修正する。
【0015】
【数5】

【0016】ここで、学習係数εは正の実数である。さらに、局所基底修正回路22iは総局所基底重み修正回路24からの信号と総局所基底出力計算回路23が時刻tにおいて保持する可変重みWi(t)と入力信号xと局所基底出力計算回路21iが時刻tにおいて保持するガウス関数の中心μij(t)および分散σ2ij(t)を受けて、局所基底出力計算回路21iが時刻tにおいて保持するガウス関数の中心μij(t)および分散σ2ij(t)を以下の学習アルゴリズムに従って修正する。
【0017】
【数6】

【0018】この学習アルゴリズムを繰り返し行うことで、RBFは与えられた問題の入出力関係を獲得する。
【0019】
【発明が解決しようとする課題】しかしながら、MLPやRBFは、任意の連続関数を表現できることが理論的に保証されてはいるものの(Funahashi,K.: On the approximate realization of continuous mappings by neural networks, Neural Networks, Vol.2, pp.183-192, 1989. 及び Park,J.,Sandberg,I.: Universal approximation using radial-basis function networks, Neural Computation, Vol.3, pp.246-257,1991.)、実際に連続関数の近似等の問題を学習させてみると充分なパフォーマンスが得られないことが多い。バックプロパゲーション学習則を使ってMLPに学習させる場合、MLPの学習は非常に遅いという課題と、大域的に比較的滑らかな関数に対してはうまく学習できるMLPも、その近似しようとする関数に局所的に大きな凹凸を加えたような関数に対してはパフォーマンスが落ちるという課題があった。一方、局所基底出力計算回路211iの性質を特徴づける局所基底関数がガウス関数であるRBFは、そのガウス関数の局所性のため、局所的に大きな凹凸を精度良く高速に学習することができるが、関数全体を近似するためには多くの局所基底出力計算回路を必要とするという課題があった。
【0020】本発明は上記従来の課題を解決するもので、近似する関数の複雑さに影響されず、高精度な関数近似ができ、高速な学習を行い、未知のデータに対しても柔軟な応答を示すことができる統合型学習システムを実現するものである。
【0021】
【課題を解決するための手段】この目的を達成するために本発明の統合型学習システムは、入力信号を受けて大域基底出力信号を出力する大域基底出力計算回路と大域基底出力計算回路の内部に保持される可変パラメータを修正するための大域基底重み修正信号を出力する大域基底重み修正回路と大域基底出力計算回路からの大域基底出力信号を受けて総大域基底出力信号を出力する総大域基底出力計算回路と総大域基底出力計算回路の内部に保持される可変パラメータを修正するための総大域基底重み修正信号を出力する総大域基底重み修正回路とを有する大域基底学習装置と、入力信号を受けて局所基底出力信号を出力する局所基底出力計算回路と局所基底出力計算回路の内部に保持される可変パラメータを修正するための局所基底修正信号を出力する局所基底修正回路と局所基底出力計算回路からの局所基底出力信号を受けて総局所基底出力信号を出力する総局所基底出力計算回路と総局所基底出力計算回路の内部に保持される可変パラメータを修正するための総局所基底重み修正信号を出力する総局所基底重み修正回路とを有する局所基底学習装置と、総大域基底出力計算回路からの総大域基底出力信号と総局所基底出力計算回路からの総局所基底出力信号を受けて統合出力信号を出力する統合出力計算回路と統合出力計算回路の内部に保持される可変パラメータを修正するための統合出力計算重み修正信号を出力する統合出力計算重み修正回路とを有する統合出力装置とからなる構成を有している。
【0022】
【作用】この構成によって本発明の統合型学習システムは、学習において、統合出力装置の出力する統合出力信号と教師信号との間の2乗誤差信号を小さくするように、統合型学習システムの内部に保持された可変パラメータの修正を行う。局所基底学習装置は局所基底関数の性質を持つ局所基底出力計算回路から構成されるため、関数の凹凸部分の近似を得意とし、その凹凸部分に対して局所基底学習装置の学習が先行する。また、大域基底学習装置は大域基底関数の性質を持つ大域基底出力計算回路から構成されるため、関数の滑らかな部分の近似を得意とし、その滑らかな部分に対して大域基底学習装置の学習が先行する。すなわち、各学習装置にとって各々近似し易い領域を無理なく担当するため、近似する関数の複雑さに影響されず、高精度な関数近似ができ、高速な学習を行い、未知のデータに対しても柔軟な応答を示すことができる統合型学習システムを実現することができる。
【0023】
【実施例】
(実施例1)以下、本発明の第1の実施例について図面を参照しながら説明する。
【0024】図1は本実施例における統合型学習システムの構成を示すブロック図である。図1において、111i(i=1〜Nm)は入力信号Xを受けて大域基底出力信号Ymi(X)を出力する大域基底出力計算回路であり、112i(i=1〜Nm)は大域基底出力計算回路111iの内部に保持される可変パラメータを修正するための大域基底重み修正信号を出力する大域基底重み修正回路であり、113は大域基底出力計算回路111iからの大域基底出力信号Ymi(X)を受けて総大域基底出力信号Ymlp(X)を出力する総大域基底出力計算回路であり、114は総大域基底出力計算回路113の内部に保持される可変パラメータを修正するための総大域基底重み修正信号を出力する総大域基底重み修正回路であり、11は大域基底出力計算回路111iと大域基底重み修正回路112iと総大域基底出力計算回路113と総大域基底重み修正回路114とからなる大域基底学習装置であり、121i(i=1〜Nr)は入力信号Xを受けて局所基底出力信号Yri(X)を出力する局所基底出力計算回路であり、122i(i=1〜Nr)は局所基底出力計算回路121iの内部に保持される可変パラメータを修正するための局所基底修正信号を出力する局所基底修正回路であり、123は局所基底出力計算回路121iからの局所基底出力信号Yri(X)を受けて総局所基底出力信号Yrbf(X)を出力する総局所基底出力計算回路であり、124は総局所基底出力計算回路123の内部に保持される可変パラメータを修正するための総局所基底重み修正信号を出力する総局所基底重み修正回路であり、12は局所基底出力計算回路121iと局所基底修正回路122iと総局所基底出力計算回路123と総局所基底重み修正回路124とからなる局所基底学習装置であり、131は総大域基底出力計算回路113からの総大域基底出力信号Ymlp(X)と総局所基底出力計算回路123からの総局所基底出力信号Yrbf(X)を受けて統合出力信号Y(X)を出力する統合出力計算回路であり、132は統合出力計算回路131の内部に保持される可変パラメータを修正するための統合出力計算重み修正信号を出力する統合出力計算重み修正回路であり、13は統合出力計算回路131と統合出力計算重み修正回路132からなる統合出力装置である。
【0025】なお、本実施例では、大域基底学習装置11として、大域基底出力計算回路111iを特徴づける大域基底関数がシグモイド関数である多層パーセプトロン(MLP)を使い、局所基底学習装置12として、局所基底出力計算回路121iを特徴づける局所基底関数が、分散共分散行列を対角行列で表すことができる(共分散を表す要素が0である)ガウス関数であるRBFを使い、統合出力装置13内の統合出力計算回路131は入力に対して線形な応答を示す統合出力計算回路を使うことにする。また、図1に示されるように、統合出力信号Y(X)と教師信号Z(X)はともに1次元(1出力)であり、大域基底学習装置11内の大域基底出力計算回路111iがNm個で、局所基底学習装置12内の局所基底出力計算回路121iがNr個の場合を扱うことにする。
【0026】以上のように構成されたN入力1出力の統合型学習システムについて、その動作を説明する。統合型学習システムにN次元入力信号Xが与えられると、その入力信号Xは大域基底学習装置11内の大域基底出力計算回路111i(i=1〜Nm)と局所基底学習装置12内の局所基底出力計算回路121i(i=1〜Nr)に入る。この場合、大域基底学習装置11における大域基底出力計算回路111iの大域基底出力信号Ymi(X)は以下の式で表される。
【0027】
【数7】

【0028】ここで、XjはN次元入力信号Xの第j要素を示し、Wmij(t)は大域基底出力計算回路111iが時刻tにおいて保持する、入力信号Xの第j要素Xjを重み付ける可変重みを示す。総大域基底出力計算回路113は大域基底出力計算回路111iからの大域基底出力信号Ymi(X)を受け、以下に示される総大域基底出力信号Ymlp(X)を出力する。
【0029】
【数8】

【0030】ここで、Wmi(t) は総大域基底出力計算回路113が時刻tにおいて保持する、大域基底出力計算回路111iからの大域基底出力信号Ymi(X)を重み付ける可変重みを示す。
【0031】一方、局所基底学習装置12において、局所基底出力計算回路121iの局所基底出力信号Yri(X)は以下の式で表される。
【0032】
【数9】

【0033】ここで、μij(t)は時刻tにおいて局所基底出力計算回路121iが保持するのガウス関数の入力信号第j要素Xjに対する中心(可変パラメータ)であり、σ2ij(t)は時刻tにおいて局所基底出力計算回路121iが保持するガウス関数の入力信号第j要素Xjに対する分散(可変パラメータ)である。総局所基底出力計算回路123は局所基底出力計算回路121iからの局所基底出力信号Yri(X)を受け、以下に示される総局所基底出力信号Yrbf(X)を出力する。
【0034】
【数10】

【0035】ここで、Wri(t)は総局所基底出力計算回路123が時刻tにおいて保持する、局所基底出力計算回路121iからの局所基底出力信号Yri(X)を重み付ける可変重みを示す。
【0036】統合出力計算回路131は総大域基底出力計算回路113からの総大域基底出力信号Ymlp(X)と総局所基底出力計算回路123からの総局所基底出力信号Yrbf(X)を受け、以下に示される統合出力信号Y(X)を出力する。
【0037】
【数11】

【0038】ここで、Wmlp(t)は統合出力計算回路131が時刻tにおいて保持する、総大域基底出力計算回路113からの総大域基底出力信号Ymlp(X)を重み付ける可変重みであり、Wrbf(t)は統合出力計算回路131が時刻tにおいて保持する、総局所基底出力計算回路123からの総局所基底出力信号Yrbf(X)を重み付ける可変重みである。この統合出力計算回路131の統合出力信号Y(X)は統合型学習システムの出力とみなされる。学習時は入力信号Xに対応する教師信号Z(X)が与えられる。統合出力計算回路131の統合出力信号Y(X)と教師信号Z(X)との間の2乗誤差信号E(X)は【0039】
【数12】

【0040】と表され、この2乗誤差信号E(X)を最小化するように可変パラメータを修正しても良いし、以下に示す総2乗誤差信号Eを最小化するように可変パラメータを修正しても良い。
【0041】
【数13】

【0042】ここで、Sは学習データの集合を示す。ここでは、前者の2乗誤差信号E(X)を最小化するように可変パラメータを修正することを考える。
【0043】まず、統合出力計算重み修正回路132は2乗誤差信号E(X)と総大域基底出力計算回路113からの総大域基底出力信号Ymlp(X)と総局所基底出力計算回路123からの総局所基底出力信号Yrbf(X)を受けて、統合出力計算回路131が時刻tにおいて保持する可変重みWmlp(t)とWrbf(t)を以下の学習アルゴリズムに従って修正する。
【0044】
【数14】

【0045】ここで、εmlpおよびεrbfはそれぞれ、大域基底学習装置11にかかわる可変パラメータを変更する際の学習係数であり、局所基底学習装置12にかかわる可変パラメータを変更する際の学習係数であり、ともに正の実数とする。
【0046】つぎに、総大域基底重み修正回路114は統合出力計算重み修正回路132からの信号と統合出力計算回路131が時刻tにおいて保持する可変重みWmlp(t)と総大域基底出力計算回路113からの総大域基底出力信号Ymlp(X)と大域基底出力計算回路111iからの大域基底出力信号Ymi(X)を受けて、総大域基底出力計算回路113が時刻tにおいて保持する可変重みWmi(t)を以下の学習アルゴリズムに従って修正する。
【0047】
【数15】

【0048】つぎに、大域基底重み修正回路112iは総大域基底重み修正回路114からの信号と総大域基底出力計算回路113が時刻tにおいて保持する可変重みWmi(t)と大域基底出力計算回路111iからの大域基底出力信号Ymi(X)と入力信号Xを受けて、大域基底出力計算回路111iが時刻tにおいて保持する可変重みWmij(t)を以下の学習アルゴリズムに従って修正する。
【0049】
【数16】

【0050】一方、総局所基底重み修正回路124は2乗誤差信号E(X)と統合出力計算回路131が時刻tにおいて保持する可変重みWrbf(t)と局所基底出力計算回路121iからの局所基底出力信号Yri(X)を受けて、総局所基底出力計算回路123が時刻tにおいて保持する可変重みWri(t)を以下の学習アルゴリズムに従って修正する。
【0051】
【数17】

【0052】さらに、局所基底修正回路122iは総局所基底重み修正回路124からの信号と総局所基底出力計算回路123が時刻tにおいて保持する可変重みWri(t)と入力信号Xと局所基底出力計算回路121iが時刻tにおいて保持するガウス関数の中心μij(t)および分散σ2ij(t)を受けて、局所基底出力計算回路121iが時刻tにおいて保持するガウス関数の中心μij(t)および分散σ2ij(t)を以下の学習アルゴリズムに従って修正する。
【0053】
【数18】

【0054】上記の学習アルゴリズムを繰り返し行うことで、統合型学習システムは与えられた問題を精度良く学習することができる。
【0055】統合型学習システムの動作を確認するためコンピュータシミュレーションを行った。与えた問題は図2に示す2つの2次元関数(関数1、関数2)を統合型学習システムに近似させることで、比較のため通常のMLP及び通常のRBFにも近似させ、可変パラメータの数を一定にしたもとで比較を行った。図2において、(a)は関数1、(b)は関数2を示す。
【0056】MLPの学習アルゴリズムは通常の誤差逆伝播学習則を使い、RBFの学習アルゴリズムは「従来の技術」で示した最急降下法を使った。シミュレーション結果を図3に示す。図3において、(a)は関数1(図2(a))を近似した結果であり、(b)は関数2(図2(b))を近似した結果であり、横軸はパラメータ数であり、縦軸はテストデータに対する2乗誤差である。図3の”HMR”とラベルづけられた実線は統合型学習システムでの未知のデータに対する結果を示し、MLPおよびRBFでの未知のデータに対する結果をそれぞれ”MLP”とラベルづけられた点線、”RBFN”とラベルづけられた点線で示している。図3より、RBFは関数1に対して比較的、近似精度が悪く、MLPは関数2に対して比較的、近似精度が悪いことがわかる。一方、統合型学習システムはいずれの関数に対しても比較的、良い近似精度を学習によって得ている。
【0057】次に、統合型学習システム、MLP、そしてRBFのそれぞれの学習速度の比較を行った。先ほどと同様、図2に示す2つの2次元関数(関数1、関数2)をそれぞれに学習させ、それぞれの学習過程を比較した。その結果を図4に示す。図4において、(a)は関数1を近似した場合の学習過程であり、(b)は関数2を近似した場合の学習過程であり、横軸は学習回数であり、縦軸は学習データに対する2乗誤差である。図4の”HMR”とラベルづけられた実線は統合型学習システムでの学習過程を示し、MLPおよびRBFでの学習過程をそれぞれ”MLP”とラベルづけられた点線、”RBFN”とラベルづけられた点線で示している。図4より、MLPは比較的、学習が遅く、また、学習が速いといわれるRBFよりも統合型学習システムの学習は若干速いことがわかる。
【0058】(実施例2)以下、本発明の第2の実施例について図面を参照しながら説明する。
【0059】図5において、611i(i=1〜Nm)は入力信号Xを受けて大域基底出力信号Ymi(X)を出力する大域基底出力計算回路であり、612i(i=1〜Nm)は大域基底出力計算回路611iの内部に保持される可変パラメータを修正するための大域基底重み修正信号を出力する大域基底重み修正回路であり、613は大域基底出力計算回路611iからの大域基底出力信号Ymi(X)を受けて総大域基底出力信号Ymlp(X)を出力する総大域基底出力計算回路であり、614は総大域基底出力計算回路613の内部に保持される可変パラメータを修正するための総大域基底重み修正信号を出力する総大域基底重み修正回路であり、61は大域基底出力計算回路611iと大域基底重み修正回路612iと総大域基底出力計算回路613と総大域基底重み修正回路614とからなる大域基底学習装置であり、621i(i=1〜Nr)は入力信号Xを受けて局所基底出力信号Yri(X)を出力する局所基底出力計算回路であり、622i(i=1〜Nr)は局所基底出力計算回路621iの内部に保持される可変パラメータを修正するための局所基底修正信号を出力する局所基底修正回路であり、623は局所基底出力計算回路621iからの局所基底出力信号Yri(X)を受けて総局所基底出力信号Yrbf(X)を出力する総局所基底出力計算回路であり、624は総局所基底出力計算回路623の内部に保持される可変パラメータを修正するための総局所基底重み修正信号を出力する総局所基底重み修正回路であり、62は局所基底出力計算回路621iと局所基底修正回路622iと総局所基底出力計算回路623と総局所基底重み修正回路624とからなる局所基底学習装置であり、631は総大域基底出力計算回路613からの総大域基底出力信号Ymlp(X)と総局所基底出力計算回路623からの総局所基底出力信号Yrbf(X)を受けて統合出力信号Y(X)を出力する統合出力計算回路であり、63は統合出力計算回路631からなる統合出力装置である。
【0060】なお、本実施例では、大域基底学習装置61として、大域基底出力計算回路611iを特徴づける大域基底関数がシグモイド関数である多層パーセプトロン(MLP)を使い、局所基底学習装置62として、局所基底出力計算回路621iを特徴づける局所基底関数が、分散共分散行列を対角行列で表すことができる(共分散を表す要素が0である)ガウス関数であるRBFを使い、統合出力装置63内の統合出力計算回路631は入力に対して線形な応答を示す統合出力計算回路を使うことにする。また、図5に示されるように、統合出力信号Y(X)と教師信号Z(X)はともに1次元(1出力)であり、大域基底学習装置61内の大域基底出力計算回路611iがNm個で、局所基底学習装置62内の局所基底出力計算回路621iがNr個の場合を扱うことにする。
【0061】以上のように構成されたN入力1出力の統合型学習システムについて、その動作を説明する。
【0062】統合型学習システムにN次元入力信号Xが与えられると、その入力信号Xは大域基底学習装置61内の大域基底出力計算回路611i(i=1〜Nm)と局所基底学習装置62内の局所基底出力計算回路621i(i=1〜Nr)に入る。
【0063】この場合、大域基底学習装置61における大域基底出力計算回路611iの大域基底出力信号Ymi(X)は以下の式で表される。
【0064】
【数19】

【0065】ここで、XjはN次元入力信号Xの第j要素を示し、Wmij(t)は大域基底出力計算回路611iが時刻tにおいて保持する、入力信号Xの第j要素Xjを重み付ける可変重みを示す。総大域基底出力計算回路613は大域基底出力計算回路611iからの大域基底出力信号Ymi(X)を受け、以下に示される総大域基底出力信号Ymlp(X)を出力する。
【0066】
【数20】

【0067】ここで、Wmi(t)は総大域基底出力計算回路613が時刻tにおいて保持する、大域基底出力計算回路611iからの大域基底出力信号Ymi(X)を重み付ける可変重みを示す。
【0068】一方、局所基底学習装置62において、局所基底出力計算回路621iの局所基底出力信号Yri(X)は以下の式で表される。
【0069】
【数21】

【0070】ここで、μij(t)は時刻tにおいて局所基底出力計算回路621iが保持するのガウス関数の入力信号第j要素Xjに対する中心(可変パラメータ)であり、σ2ij(t)は時刻tにおいて局所基底出力計算回路621iが保持するガウス関数の入力信号第j要素Xjに対する分散(可変パラメータ)である。総局所基底出力計算回路623は局所基底出力計算回路621iからの局所基底出力信号Yri(X)を受け、以下に示される総局所基底出力信号Yrbf(X)を出力する。
【0071】
【数22】

【0072】ここで、Wri(t)は総局所基底出力計算回路623が時刻tにおいて保持する、局所基底出力計算回路621iからの局所基底出力信号Yri(X)を重み付ける可変重みを示す。
【0073】統合出力計算回路631は総大域基底出力計算回路613からの総大域基底出力信号Ymlp(X)と総局所基底出力計算回路623からの総局所基底出力信号Yrbf(X)を受け、以下に示される統合出力信号Y(X)を出力する。
【0074】
【数23】

【0075】学習時は入力信号Xに対応する教師信号Z(X)が与えられ、統合出力計算回路631の統合出力信号Y(X)と教師信号Z(X)との間の2乗誤差信号E(X)は【0076】
【数24】

【0077】と表される。この2乗誤差信号E(X)を最小化するように可変パラメータを修正しても良いし、以下に示す総2乗誤差信号Eを最小化するように可変パラメータを修正しても良い。
【0078】
【数25】

【0079】ここで、Sは学習データの集合を示す。ここでは、前者の2乗誤差信号E(X)を最小化するように可変パラメータを修正することを考える。
【0080】まず、総大域基底重み修正回路614は2乗誤差信号E(X)と総大域基底出力計算回路613からの総大域基底出力信号Ymlp(X)と大域基底出力計算回路611iからの大域基底出力信号Ymi(X)を受けて、総大域基底出力計算回路613が時刻tにおいて保持する可変重みWmi(t)を以下の学習アルゴリズムに従って修正する。
【0081】
【数26】

【0082】ここで、εmlpおよびεrbfはそれぞれ、大域基底学習装置61の内部に保持される可変パラメータを変更する際の学習係数であり、局所基底学習装置62の内部に保持される可変パラメータを変更する際の学習係数であり、ともに正の実数とする。
【0083】つぎに、大域基底重み修正回路612iは総大域基底重み修正回路614からの信号と総大域基底出力計算回路613が時刻tにおいて保持する可変重みWmi(t)と大域基底出力計算回路611iからの大域基底出力信号Ymi(X)と入力信号Xを受けて、大域基底出力計算回路611iが時刻tにおいて保持する可変重みWmij(t)を以下の学習アルゴリズムに従って修正する。
【0084】
【数27】

【0085】一方、総局所基底重み修正回路624は2乗誤差信号E(X)と局所基底出力計算回路621iからの局所基底出力信号Yri(X)を受けて、総局所基底出力計算回路623が時刻tにおいて保持する可変重みWri(t)を以下の学習アルゴリズムに従って修正する。
【0086】
【数28】

【0087】さらに、局所基底修正回路622iは総局所基底重み修正回路624からの信号と総局所基底出力計算回路623が時刻tにおいて保持する可変重みWri(t)と入力信号Xと局所基底出力計算回路621iが時刻tにおいて保持するガウス関数の中心μij(t)および分散σ2ij(t)を受けて、局所基底出力計算回路621iが時刻tにおいて保持するガウス関数の中心μij(t)および分散σ2ij(t)を以下の学習アルゴリズムに従って修正する。
【0088】
【数29】

【0089】上記の学習アルゴリズムを繰り返し行うことで、統合型学習システムは与えられた問題を精度良く学習することができる。なお、本発明の第1の実施例における統合型学習システム(図1)と本発明の第2の実施例における統合型学習システム(図5)との違いは統合出力計算回路631が内部に保持する重みの値が1に固定されていることにある。この場合(本発明の第2の実施例における統合型学習システム)、大域基底学習装置61の内部に保持される可変パラメータと局所基底学習装置62の内部に保持される可変パラメータによって、本発明の第1の実施例における統合型学習システムの統合出力計算回路131が保持する可変パラメータ分の補償が行われる。この様な統合型学習システムは本発明の第1の実施例における統合型学習システムと同様に近似する関数の複雑さに影響されず、高精度な関数近似ができ、高速な学習を行い、未知のデータに対しても柔軟な応答を示すことができる。
【0090】(実施例3)以下、本発明の第3の実施例について図面を参照しながら説明する。
【0091】図6において、711i(i=1〜Nmは入力信号Xを受けて大域基底出力信号Ymi(X)を出力する大域基底出力計算回路であり、712i(i=1〜Nm)は大域基底出力計算回路711iの内部に保持される可変パラメータを修正するための大域基底重み修正信号を出力する大域基底重み修正回路であり、721i(i=1〜Nr)は入力信号Xを受けて局所基底出力信号Yri(X)を出力する局所基底出力計算回路であり、722i(i=1〜Nr)は局所基底出力計算回路721iの内部に保持される可変パラメータを修正するための局所基底修正信号を出力する局所基底修正回路であり、731は大域基底出力計算回路711iからの大域基底出力信号Ym(X)と局所基底出力計算回路721iからの局所基底出力信号Yr(X)を受けて簡略統合出力信号Y'(X)を出力する簡略統合出力計算回路であり、732は簡略統合出力計算回路731の内部に保持される可変パラメータを修正するための簡略統合出力計算重み修正信号を出力する簡略統合出力計算重み修正回路である。
【0092】なお、本実施例では、大域基底出力計算回路711iを特徴づける大域基底関数がシグモイド関数であり、局所基底出力計算回路721iを特徴づける局所基底関数が、分散共分散行列を対角行列で表すことができる(共分散を表す要素が0である)ガウス関数であり、簡略統合出力計算回路731を特徴づける関数が線形関数である場合を扱う。また、図6に示されるように、簡略統合出力信号Y'(X)と教師信号Z(X)はともに1次元(1出力)であり、大域基底出力計算回路711iがNm個で、局所基底出力計算回路721iがNr個の場合を扱うことにする。
【0093】以上のように構成されたN入力1出力の簡略統合型学習システムについて、その動作を説明する。
【0094】簡略統合型学習システムにN次元入力信号Xが与えられると、その入力信号Xは大域基底出力計算回路711i(i=1〜Nm)と局所基底出力計算回路721i(i=1〜Nr)に入る。
【0095】この場合、大域基底出力計算回路711iの大域基底出力信号Ymi(X)は以下の式で表される。
【0096】
【数30】

【0097】ここで、XjはN次元入力信号Xの第j要素を示し、Wmij(t)は大域基底出力計算回路711iが時刻tにおいて保持する、入力信号第j要素Xjを重み付ける可変重みを示す一方、局所基底出力計算回路721iの局所基底出力信号Yri(X)は以下の式で表される。
【0098】
【数31】

【0099】ここで、μij(t)は時刻tにおいて局所基底出力計算回路721iが保持するのガウス関数の入力信号第j要素Xjに対する中心(可変パラメータ)であり、σ2ij(t)は時刻tにおいて局所基底出力計算回路721iが保持するガウス関数の入力信号第j要素Xjに対する分散(可変パラメータ)である。
【0100】簡略統合出力計算回路731は大域基底出力計算回路711iからの大域基底出力信号Ymi(X)と局所基底出力計算回路721iからの局所基底出力信号Yri(X)を受け、以下に示される簡略統合出力信号Y'(X)を出力する。
【0101】
【数32】

【0102】学習時は入力信号Xに対応する教師信号Z(X)が与えられ、簡略統合出力計算回路731の簡略統合出力信号Y'(X)と教師信号Z(X)との間の2乗誤差信号E'(X)は【0103】
【数33】

【0104】と表される。この2乗誤差信号E'(X)を最小化するように可変パラメータを修正しても良いし、以下に示す総2乗誤差信号E'を最小化するように可変パラメータを修正しても良い。
【0105】
【数34】

【0106】ここで、Sは学習データの集合を示す。ここでは、前者の2乗誤差信号E(X)を最小化するように可変パラメータを修正することを考える。
【0107】まず、簡略統合出力計算重み修正回路732は2乗誤差信号E'(X)と大域基底出力計算回路711iからの大域基底出力信号Ymi(X)と局所基底出力計算回路721iからの局所基底出力信号Yri(X)とを受けて、簡略統合出力計算回路731が時刻tにおいて保持する可変重みWmi(t)とWri(t)を以下の学習アルゴリズムに従って修正する。
【0108】
【数35】

【0109】ここで、εmは簡略統合出力計算回路731が内部に保持する大域基底出力信号を重み付ける可変パラメータと大域基底出力計算回路711iが内部に保持する可変パラメータの修正量を規定する学習係数であり、εrは簡略統合出力計算回路731が内部に保持する局所基底出力信号を重み付ける可変パラメータと局所基底出力計算回路721iが内部に保持する可変パラメータの修正量を規定する学習係数であり、ともに正の実数とする。
【0110】つぎに、大域基底重み修正回路712iは簡略統合出力計算重み修正回路732からの信号と簡略統合出力計算回路731が時刻tにおいて保持する可変重みWmi(t)と大域基底出力計算回路711iからの大域基底出力信号Ymi(X)と入力信号Xを受けて、大域基底出力計算回路711iが時刻tにおいて保持する可変重みWmij(t)を以下の学習アルゴリズムに従って修正する。
【0111】
【数36】

【0112】一方、局所基底修正回路722iは簡略統合出力計算重み修正回路732からの信号と簡略統合出力計算回路731が時刻tにおいて保持する可変重みWri(t)と入力信号Xと局所基底出力計算回路721iが時刻tにおいて保持するガウス関数の中心μij(t)および分散σ2ij(t)を受けて、局所基底出力計算回路721iが時刻tにおいて保持するガウス関数の中心μij(t)および分散σ2ij(t)を以下の学習アルゴリズムに従って修正する。
【0113】
【数37】

【0114】上記の学習アルゴリズムを繰り返し行うことで、簡略統合型学習システムは与えられた問題を精度良く学習することができる。この様な簡略統合型学習システムは本発明の第1、2の実施例における統合型学習システムよりも構成が簡単であり、また、本発明の第1、2の実施例における統合型学習システムと同様に近似する関数の複雑さに影響されず、高精度な関数近似ができ、高速な学習を行い、未知のデータに対しても柔軟な応答を示すことができる。
【0115】
【発明の効果】以上のように本発明は、入力信号Xを受けて大域基底出力信号Ymi(X)を出力する大域基底出力計算回路111i(i=1〜Nm)と、大域基底出力計算回路111iの内部に保持される可変パラメータを修正するための大域基底重み修正信号を出力する大域基底重み修正回路112i(i=1〜Nm)と、大域基底出力計算回路111iからの大域基底出力信号Ymi(X)を受けて総大域基底出力信号Ymlp(X)を出力する総大域基底出力計算回路113と、総大域基底出力計算回路113の内部に保持される可変パラメータを修正するための総大域基底重み修正信号を出力する総大域基底重み修正回路114と、大域基底出力計算回路111iと大域基底重み修正回路112iと総大域基底出力計算回路113と総大域基底重み修正回路114とからなる大域基底学習装置11と、入力信号Xを受けて局所基底出力信号Yri(X)を出力する局所基底出力計算回路121i(i=1〜Nr)と、局所基底出力計算回路121iの内部に保持される可変パラメータを修正するための局所基底修正信号を出力する局所基底修正回路122i(i=1〜Nr)と、局所基底出力計算回路121iからの局所基底出力信号Yri(X)を受けて総局所基底出力信号Yrbf(X)を出力する総局所基底出力計算回路123と、総局所基底出力計算回路123の内部に保持される可変パラメータを修正するための総局所基底重み修正信号を出力する総局所基底重み修正回路124と、局所基底出力計算回路121iと局所基底修正回路122iと総局所基底出力計算回路123と総局所基底重み修正回路124とからなる局所基底学習装置12と、総大域基底出力計算回路113からの総大域基底出力信号Ymlp(X)と総局所基底出力計算回路123からの総局所基底出力信号Yrbf(X)を受けて統合出力信号Y(X)を出力する統合出力計算回路131と、統合出力計算回路131の内部に保持される可変パラメータを修正するための統合出力計算重み修正信号を出力する統合出力計算重み修正回路132と、統合出力計算回路131と統合出力計算重み修正回路132からなる統合出力装置13とから構成することにより、近似する関数の複雑さに影響されず、高精度な関数近似ができ、高速な学習を行い、未知のデータに対しても柔軟な応答を示すことができる統合型学習システムを実現することができる。




 

 


     NEWS
会社検索順位 特許の出願数の順位が発表

URL変更
平成6年
平成7年
平成8年
平成9年
平成10年
平成11年
平成12年
平成13年


 
   お問い合わせ info@patentjp.com patentjp.com   Copyright 2007-2013