米国特許情報 | 欧州特許情報 | 国際公開(PCT)情報 | Google の米国特許検索
 
     特許分類
A 農業
B 衣類
C 家具
D 医学
E スポ−ツ;娯楽
F 加工処理操作
G 机上付属具
H 装飾
I 車両
J 包装;運搬
L 化学;冶金
M 繊維;紙;印刷
N 固定構造物
O 機械工学
P 武器
Q 照明
R 測定; 光学
S 写真;映画
T 計算機;電気通信
U 核技術
V 電気素子
W 発電
X 楽器;音響


  ホーム -> 計算機;電気通信 -> 松下電器産業株式会社

発明の名称 ニューラルネットの学習用データ縮約化方法
発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開平7−44514
公開日 平成7年(1995)2月14日
出願番号 特願平5−184792
出願日 平成5年(1993)7月27日
代理人 【弁理士】
【氏名又は名称】小鍜治 明 (外2名)
発明者 林 政明 / 高橋 巧
要約 目的
ニューラルネットの学習データを縮約化 する。

構成
ニューラルネットのテストデータの認識率を評価基準にし、多変量、位相幾何解析的距離を使って、収集された全学習サンプルデータの中から必要十分のサブグループを選択しそれを学習用サンプルデータとする。
特許請求の範囲
【請求項1】 ニューラルネットの多次元入力層へ与える学習サンプルデータの中から任意のテストデータの認識率を維持するサブグループを選択する事を特徴とするニューラルネットの学習用データ縮約化方法。
【請求項2】 サブグループを多変量・位相幾何解析学的距離関数を用いる方法で選択する事を特徴とする請求項1記載のニューラルネットの学習用データ縮約化方法。
発明の詳細な説明
【0001】
【産業上の利用分野】本発明はニューラルネットがパターン認識に使われたときに用いられるニューラルネットの学習用データ縮約化方法に関する。
【0002】
【従来の技術】ニューラルネットがパターン認識に使われる場合、学習の為のサンプルデータはその数が多ければ多いほどその入力データの不変特徴情報が学習される。いいかえるならニューラルネット認識アルゴリズムにおいて認識したい目的の任意の対象データが形成する統計的母集団の確率分布の全体集合を学習しようとし,認識の前処理である特徴抽出を工夫して認識率を上げようとする。
【0003】
【発明が解決しようとする課題】このように認識率を上げる為には出来るだけ多くのサンプルデータが必要となるが収集と蓄積には限界がある。また、データの中には認識率を低下させるデータが含まれている場合もある。
【0004】本発明は上述の問題点に鑑みてなされたもので収集された全学習データの中から認識率を低下させないむしろ上昇させる様なサンプルデータを選択する、言い替えるならば確率分布空間を張る基底ベクトルを捜す方法を提供する事を目的とする。これは部分集合から母集団を推定しようとすることともいえる。
【0005】
【課題を解決するための手段】上述目的を達成するため、本発明による方法では、サンプルデータが学習用データとして使われるニューラルネットを決め学習を行って収束させ、まず全サンプルデータにおけるテストデータの認識率を観測し、次にサンプル間の距離に従って任意の数のグループ(クラスタ)を形成し、各クラスタ又は特定のクラスタを新たな学習データとし学習収束させテストデータの認識率を評価基準にしてサンプルデータのサブグループを選択する。また、前記サブグループを多変量、位相幾何解析に基いた方法で選択する。
【0006】
【作用】本発明は上記のように統計・位相幾何解析学的に基ずいた距離関数を用いてクラスタリングすることによりニューラルネットの認識率を低下させる事無く学習データサイズの減少を行うことが可能となる。
【0007】
【実施例】以下、本発明で用いる距離について説明する。一般に集合Xに対して実数値関数(数1)が定義され、【0008】
【数1】

【0009】公理(数2)を満たすとき、<<X;d>> を距離空間(metric space)という。
【0010】
【数2】

【0011】dをX上の距離関数または計量、d(x,y)を2点x,yの間の距離と呼ぶ。母集団P(population)がn個のサブグループ(S1、S2、・・・、Sn)に分けられたときそのサブグループはクラスタ(cluster)と呼ばれる。クラスタから母集団を推定する方法をクラスタサンプリングという。サンプル間の距離はクラスタ間の距離で定義される。クラスタ間の距離としてはユークリッド距離、マハラノビス距離などの他に変動係数、相関比などの親近性の尺度が用いられる。
【0012】n次元実数空間Rnの2点x=(xi),y=(yi)に対して【0013】
【数3】

【0014】は距離である。特に【0015】
【数4】

【0016】
【数5】

【0017】(ユークリッド距離(Euclideandistance)),【0018】
【数6】

【0019】で<<Rn;d2>>をn次元ユークリッド空間と呼ぶ。また【0020】
【数7】

【0021】ここでk番目のサンプルベクトルを x=(x1k,x2k,…,xpk),S-1は分散共分散行列Sの逆行列、Dkはk番目のサンプルベクトルとサンプルデータ全体の重心との距離でマハラノビス距離と呼ばれる。
【0022】さらに【0023】
【数8】

【0024】をクラスタ間分散、【0025】
【数9】

【0026】をクラスタ内分散という。ここでMはクラスタ数、Nは各クラスタの要素数、母集団の平均値 x、分散をσ2とすると【0027】
【数10】

【0028】と書ける。
【0029】
【数11】

【0030】
【数12】

【0031】をそれぞれクラスタ間変動係数、クラスタ内変動係数という。cを母集団の変動係数とすると【0032】
【数13】

【0033】となる。認識率とサンプルデータサイズの関係は単純にサンプルデータを減少させれば認識率は低下する。しかしサンプルデータに母集団の確率(stochastic)分布空間言い替えるなら決定(deterministic)不変特徴空間を張る基底ベクトルが必要数含まれれば逆に認識率は上昇する。
【0034】図1は本実施例で使われたニューラルネットの構成を示す。いくつかのニューラルネットワークモデルの中で,バックプロパゲーションモデル(誤差逆伝幡モデル)は最も効果的な学習モデルと考えられている。バックプロパゲーションとは教師信号と出力との誤差をフィードバックして出力層,中間層の重みを変えてゆく方法である。当該モデルは入力層1,中間層2,出力層3の3層からなり入力層ユニット数256個,中間層ユニット数80個,数字0,1,…9に対応する出力層ユニット数10個とする。入力データは手書き数字を用い,学習用として9480個,テスト用として2080個を使用した。
【0035】図2は本実施例のフロー図である。まず全サンプルデータS0を入力データとし(ステップ1)、ニューラルネットで学習を行いあるテストデータの認識率R0を得る(ステップ2)。
【0036】
【数14】

【0037】上式は重心(centroid)からの距離に依って全サンプルデータを2分割する。次に(数14)に依ってクラスタ化(S11,S12)を行い(ステップ3)、再び グループS11について学習/テストし(ステップ4),上述テストデータにおける認識率R1を初期認識率R0と比較し(ステップ5)、クラスタ化ループを認識率Rnが初期認識率R0以下になる迄繰り返す。最終サブグループSn-1は N-1回のときのものとする。
【0038】図3はアルゴリズムでの認識率とデータサイズを示す。イタレーション0ではステップ1及び2で使われた学習/テストデータのサイズとその時の認識結果が示され,イタレーション1では(数14)に依ってクラスタ化され学習された(ステップ3及び4)サブグループのサイズとテストデータでの認識結果が示されている。
【0039】イタレーション0での認識率R0とイタレーション1での認識率R1を比較し(ステップ5)R1の方が大なのでイタレーションを続ける。
【0040】イタレーション2で更にクラスタ化したサブグループのサイズとテストデータでの認識結果(ステップ3及び4)が示され,再び認識率比較の結果(ステップ5)イタレーションを続行する。イタレーション3ではクラスタのデータサイズはオリジナルサイズの1/4で(ステップ3及び4),認識率比較の結果イタレーションは終了し最終サブグループをS21(3160)とする。
【0041】認識率を評価基準にする場合距離関数は認識対象,ニューラルネットの構造,母集団のサイズなどに依って設計者が任意に選択しなければならない。
【0042】
【発明の効果】以上の説明から明らかな様に、本発明は認識率を上げる様なサンプルデータを収集されたサンプルデータの中から選択し、サイズリダクションを行う事に依り演算時間とメモリイスペースの節約を実現する。




 

 


     NEWS
会社検索順位 特許の出願数の順位が発表

URL変更
平成6年
平成7年
平成8年
平成9年
平成10年
平成11年
平成12年
平成13年


 
   お問い合わせ info@patentjp.com patentjp.com   Copyright 2007-2013