米国特許情報 | 欧州特許情報 | 国際公開(PCT)情報 | Google の米国特許検索
 
     特許分類
A 農業
B 衣類
C 家具
D 医学
E スポ−ツ;娯楽
F 加工処理操作
G 机上付属具
H 装飾
I 車両
J 包装;運搬
L 化学;冶金
M 繊維;紙;印刷
N 固定構造物
O 機械工学
P 武器
Q 照明
R 測定; 光学
S 写真;映画
T 計算機;電気通信
U 核技術
V 電気素子
W 発電
X 楽器;音響


  ホーム -> 計算機;電気通信 -> 松下電器産業株式会社

発明の名称 ニューラルネットワーク回路
発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開平7−84984
公開日 平成7年(1995)3月31日
出願番号 特願平5−226956
出願日 平成5年(1993)9月13日
代理人 【弁理士】
【氏名又は名称】小鍜治 明 (外2名)
発明者 中平 博幸 / 崎山 史朗 / 丸山 征克
要約 目的


構成
ニューラルネットワーク回路100に入力データを供給するとき、第1選択信号103をアサートにして特徴データをニューラルネットワーク回路に入力する。入力が終了すれば、第1選択信号103をネゲートする。また、その特徴データに対する処理結果を得る場合には第2選択信号104をアサートしてニューラルネットワーク回路100より処理結果102を出力する。
特許請求の範囲
【請求項1】与えられた特徴データをネットワークの演算の実行によって認識処理した結果を出力する多層のニューラルネットワーク回路であって、該ニューラルネットワーク回路の入出力を選択する第1選択信号と、該第1選択信号とは異なる、該ニューラルネットワーク回路の入出力を選択する第2選択信号とを備えたことを特徴とするニューラルネットワーク回路。
【請求項2】請求項1に記載のニューラルネットワーク回路を複数個備え、前記複数のニューラルネットワーク回路の第1選択信号を共通とし、前記複数のニューラルネットワーク回路のそれぞれの第2選択信号はそれぞれに固有のものとすることで入出力数が拡張されたことを特徴とするニューラルネットワーク回路。
【請求項3】請求項1に記載のニューラルネットワーク回路を複数個備え、前記複数のニューラルネットワーク回路の第1選択信号を共通とし、前記複数のニューラルネットワーク回路のそれぞれの第2選択信号はそれぞれに固有のものとし、それぞれのニューラルネットワーク回路の出力を加算する加算手段を具備することにより入力数が拡張されたことを特徴とするニューラルネットワーク回路。
【請求項4】請求項1に記載のニューラルネットワーク回路を複数個備え、前記複数のニューラルネットワーク回路の第1選択信号を共通とし、前記複数のニューラルネットワーク回路のそれぞれの第2選択信号はそれぞれに固有のものとし、それぞれのニューラルネットワーク回路の出力を比較する比較手段を具備することにより出力数が拡張されたことを特徴とするニューラルネットワーク回路。
発明の詳細な説明
【0001】
【産業上の利用分野】本発明は、画像の認識処理などを行うニューラルネットワーク回路に関するものである。
【0002】
【従来の技術】近年、情報処理のニューラルネットワークの分野に大きな関心が集まってきているが、これらのニューラルネットワークは人の生体の神経信号処理を模倣して実現している。現在、様々なニューラルネットワークが提案されているが、その中の一つである量子化ニューロンのネットワークによる画像認識について、文献(『機能別階層ネットワークを用いた文字認識システム』平成2年度画像電子通信学会全国大会予稿77〜80頁、または『Multi-Functional Layered Networkusing Quantizer Neurons』Computer World '90, November 1990)を例にとって説明する。
【0003】図5に量子化ニューロンのネットワークを示す。このネットワークは、最下段から第一層、第二層、および第三層にて図中○印で示す量子化ニューロンを多層ネットワーク状に連結するとともに、第四層を教師入力層とし、第五層(最上段の最終層)に多入力1出力の通常の人工神経細胞を連結した構成となっている。
【0004】このネットワークの各層に与える特徴データとしては、その一例として、画像を縦8個、横8個の64個に区分した画素値、その8×8個の画素値間の横方向の差分値、およびその8×8個の画素値の縦方向の差分値としている。
【0005】同図に示すように、第一層は8×8画素数に相当する64個の量子化ニューロンからなり、これらの量子化ニューロンは、各々量子化信号入力端子Sを有し(図6参照)、この各量子化信号端子Sには、特徴データとしての画素値が図示の如く入力される。
【0006】また、第二層の量子化ニューロンの量子化信号入力端子Sには特徴データとして画素値の横方向の差分値が入力され、第三層の量子化ニューロンの量子化信号入力端子Sには特徴データとして画素値の縦方向の差分値が入力される。第四層の教師入力層は、教師信号によって最終層の各ニューロンのシナプシスの結合係数を変化させるものである。
【0007】最終層は解答の出力層であって、例えば、解答が英数字62文字に対するものである場合には、62個の通常の多入力1出力の人工神経細胞からなる。ここで、通常の多入力1出力の人工神経細胞とは、各入力とその入力のシナプスの重みとの積和をとり、その総和を出力するものである。
【0008】出力層のニューロンは、図9に示すように、それぞれの入力データに対して、学習により決定されている重みWn(nは入力の番号)を掛けた後、それらの総和を出力する。
【0009】量子化ニューロンは、図6に示すように、量子化信号入力端子Sの他に、選択信号入力端子Rと、複数の出力とを有している。選択信号入力端子Rより入力された信号は、量子化信号入力端子Sからの入力値xによって、例えば(1)式にしたがった重みτが掛けられて各出力に出力される。
【0010】
τj=1−β(|j−x|) ・・・(1)
ここで、|j−x|はj−xの絶対値を、jは量子化ニューロンの出力番号を表す。
【0011】図7の量子化ニューロンは、量子化信号入力端子Sから入力された特徴データの入力レベルが8種のレベルであり、出力数が8つのものである。例えば、1−βの関数を図10で示すものとするならば、量子化信号入力端子Sからの入力の値が0であったときには、量子化ニューロンの8つの出力に現れる値は、選択信号入力端子Rに与えられる値に、図7(a)で示される結合係数を掛け合わせたものである。
【0012】また、選択信号入力端子Rに与えられる値に拘らず、量子化信号入力端子Sの入力値が3であったときには、それぞれの結合係数は図7(b)に示すように、上記図に示す結合係数を3つ右へスライドしたものと同様になる。すなわち、図7(a)の出力番号に3を加えることで、量子化信号の入力値が3の場合の結合係数を得ることができる。ただし、7を越えた場合は結合係数を0にする。
【0013】第一層の量子化ニューロンの選択信号入力端子Rに与えられる入力は、最大の値が与えられる。例えば、量子化ニューロンでの演算を8ビットの演算で行うとするならば、第一層について、図の結合係数とし、量子化信号入力端子Sに与えられる値がレベル0の場合は、 選択信号入力=FF 出力番号0=FF 出力番号1=7F 出力番号2=0 出力番号3=FF 出力番号4=0 出力番号5=0 出力番号6=FF 出力番号7=0 (16進表現)
となる。
【0014】図6に示したように、量子化信号入力端子Sに与えられる入力のレベルが8レベル、出力数が8つの量子化ニューロンでネットワークを構成する場合、第一層の量子化ニューロンの8つの出力のそれぞれに、第二層の量子化ニューロンの選択信号入力端子Rが接続され、この第二層の量子化ニューロンの8つの出力のそれぞれに第三層の量子化ニューロンの選択信号入力端子Rが接続される。すなわち、このネットワークでは、第一層の量子化ニューロン1個から第二層の各量子化ニューロンを経由してツリー状に分岐する第三層の量子化ニューロンの総出力数は512となる。
【0015】第一層の量子化ニューロンの8つの出力に接続される第二層の8個の量子化ニューロンの量子化信号入力、およびその第二層の量子化ニューロンの8つの出力に接続される8個の第三層の量子化ニューロンの量子化信号入力は、第一層の量子化ニューロンの量子化信号入力端子Sに入力される特徴データとしての画素値と同位置にある横方向差分値、および縦方向差分値がそれぞれ与えられる。
【0016】また、第二層および第三層の量子化ニューロンの選択信号入力端子に入力される信号は、それぞれ第一層および第二層の各量子化ニューロンの出力である。
【0017】したがって、第三層の量子化ニューロンの出力は、第一層のニューロンの結合係数、第二層のニューロンの結合係数、および第三層のニューロンの結合係数の3つの結合係数と、第一層の量子化ニューロンの選択信号入力値とを掛け合わせたものとなる。
【0018】最終層の多入力1出力ニューロン1個は、第三層の量子化ニューロン64×512の数の出力と、その各々に与えられる第四層(教師入力層)の結合係数とを掛け合わせたものを入力とする。
【0019】次にこのニューラルネットワークでの学習であるが、ここではヘブの学習則について説明する。ヘブの学習則ではニューロンのシナプスの重みの変更量として入力信号の大きさに比例したものを与える。すなわち、入力信号が大きい経路は学習の結果、より入力信号が通り易くなる。上記のニューラルネットワークでは最終層の多入力1出力ニューロンに対してヘブの学習則が適用される。
【0020】上記説明したニューラルネットワークをハードウェア化、例えば、LSI、あるいはブレッドボードで実現する場合、物理的な制約条件から入出力数が決定される。ここでは、図5のような64×3入力、62出力のニューラルネットワークを1つの単位のニューラルネットワーク回路とする。
【0021】従来のニューラルネットワーク回路の構成の一例を図11に示す。200は、図5のような量子化ニューロンを用いた多層のニューラルネットワークモデルで構成するニューラルネットワーク回路である。201はニューラルネットワーク回路200に入力する特徴データ、202はニューラルネットワーク回路200から得られる処理の出力結果、203はニューラルネットワーク回路200のデータ入出力を制御する選択信号、250はニューラルネットワーク回路200のニューロンのシナプスの重みを記憶する荷重メモリである。なお、図中で同一番号は同一のものとする。
【0022】このニューラルネットワーク回路に入力データを供給するとき、選択信号をアサートにして特徴データをニューラルネットワーク回路に入力する。入力が終了すれば、選択信号をネゲートする。また、その特徴データに対する処理結果を得る場合には、再び選択信号をアサートしてニューラルネットワーク回路より処理結果を出力する。このようにして、入出力の制御は単一の選択信号で行われる。
【0023】従来のニューラルネットワーク回路の拡張方式の一例を図12に示す。200Aおよび200Bは、ニューラルネットワーク回路200と同一ものである。204および205はそれぞれニューラルネットワーク回路200Aおよび200Bのデータ入出力を制御する選択信号、250Aおよび250Bは250と同一のものである。
【0024】これは、入力数を2倍にしたものである。選択信号はそれぞれのニューラルネットワーク回路に固有のものであるから、入力および出力ともに選択信号によって選択されたニューラルネットワーク回路ただ1つだけに対して行われる。
【0025】上記量子化ニューロンを用いたニューラルネットワーク回路では、入力数を拡張する場合には、異なる入力データを異なるニューラルネットワーク回路に入力し、各ニューラルネットワーク回路の同一番号を持つ出力ニューロンの出力値を加算し、最大値をもつ出力ニューロンを答とする。
【0026】一方、出力数を拡張する場合には、同一の入力データをすべてのニューラルネットワーク回路に入力し、各ニューラルネットワーク回路の最大出力値を持つ出力ニューロン同士を比較し、大きい方を答とする。
【0027】
【発明が解決しようとする課題】ニューラルネットワークをハードウェアで実現しようとする場合、もっとも問題になるのは、その物理的な制限からくるネットワーク規模である。ニューラルネットワークで処理の対象が複雑になればなるほど、必要とされるネットワーク規模も大きなものが要求される。
【0028】一方で、ハードウェアで実現できるネットワーク規模には常に制限があるので、それを解決するために、通常、同一のニューラルネットワーク回路を複数個並べてネットワーク規模を拡張し、並列処理を行うことで性能向上を図る。
【0029】しかしながら、従来のニューラルネットワーク回路には選択信号がひとつしかなく、ニューラルネットワーク回路を複数個並べて拡張する場合、拡張されたすべてのニューラルネットワーク回路に同一データを入力すること、あるいは、すべてのニューラルネットワーク回路から同時に出力することが不可能なため、ひとつずつニューラルネットワーク回路を選択してから入出力しなければならず、処理性能の低下などの問題が発生する。
【0030】本発明は、以上のような従来のニューラルネットワーク回路およびその拡張方式の欠点について研究した結果によりなされたものであり、ニューラルネットワークのネットワーク規模を容易に拡張できるだけでなく、処理能力の点でも従来以上の高速の処理速度が得られるニューラルネットワーク回路を提供することにある。
【0031】
【課題を解決するための手段】上記の目的を達成するために本願の請求項1記載のニューラルネットワーク回路は、与えられた特徴データをネットワークの演算の実行によって認識処理した結果を出力する多層のニューラルネットワーク回路であって、該ニューラルネットワーク回路の入出力を選択する第1選択信号と、該第1選択信号とは異なる該ニューラルネットワーク回路の入出力を選択する第2選択信号とを備えたことを特徴とするものである。
【0032】請求項2記載のニューラルネットワーク回路は、請求項1記載のニューラルネットワーク回路を拡張するものであって、ニューラルネットワーク回路を複数個備え、すべてのニューラルネットワーク回路の第1選択信号を共通とし、それぞれのニューラルネットワーク回路の第2選択信号はそれぞれ固有のものとすることで入出力数を拡張することを特徴とするものである。
【0033】請求項3記載のニューラルネットワーク回路は、請求項1記載のニューラルネットワーク回路を拡張するものであって、ニューラルネットワーク回路を複数個備え、すべてのニューラルネットワーク回路の第1選択信号を共通とし、それぞれのニューラルネットワーク回路の第2選択信号はそれぞれ固有のものとし、それぞれのニューラルネットワーク回路の出力を加算する加算手段とを有することで入力数を拡張することを特徴とするものである。
【0034】請求項4記載のニューラルネットワーク回路は、 請求項1記載のニューラルネットワーク回路を拡張するものであって、ニューラルネットワーク回路を複数個備え、すべてのニューラルネットワーク回路の第1選択信号を共通とし、それぞれのニューラルネットワーク回路の第2選択信号はそれぞれ固有のものとし、それぞれのニューラルネットワーク回路の出力を比較する比較手段とを有することで出力数を拡張することを特徴とするものである。
【0035】
【作用】請求項1記載のニューラルネットワーク回路は、上述の構成により、第1選択信号と第2選択信号にそれぞれ異なる入出力を制御するための信号を入力することでネットワーク規模の拡張を容易に図ることができる。
【0036】請求項2記載のニューラルネットワーク回路は、上述の構成により、請求項1のニューラルネットワーク回路を用いることにより、第1選択信号をすべてのニューラルネットワーク回路に共通のものとし、第2選択信号を各ニューラルネットワーク回路固有のものを供給することで、ネットワーク規模の拡張を容易に実現できる。
【0037】請求項3記載のニューラルネットワーク回路は、上述の構成により、請求項1のニューラルネットワーク回路を用いることにより、ネットワークの入力数を容易に拡張できる。
【0038】請求項4記載のニューラルネットワーク回路は、上述の構成により、請求項1のニューラルネットワーク回路を用いることにより、ネットワークの出力数を容易に拡張できる。
【0039】
【実施例】
(実施例1)本発明の請求項1記載のニューラルネットワーク回路の一実施例の構成を図1に示す。100は、例えば、図5のような量子化ニューロンを用いた多層のニューラルネットワークモデルからなるニューラルネットワーク回路である。101はニューラルネットワーク回路100に入力する特徴データ、102はニューラルネットワーク回路100から得られる処理の出力結果、103はニューラルネットワーク回路100のデータ入出力を制御する第1選択信号、104は103とは異なるニューラルネットワーク回路100の第2選択信号、150はニューラルネットワーク回路100のニューロンのシナプスの重みを記憶する荷重メモリである。なお、図中で同一符号のものは同一機能を有するものである。
【0040】ニューラルネットワーク回路100に入力データを供給するとき、第1選択信号103をアサートにして特徴データをニューラルネットワーク回路に入力する。入力が終了すれば、第1選択信号103をネゲートする。また、その特徴データに対する処理結果を得る場合には第2選択信号104をアサートしてニューラルネットワーク回路100より処理結果102を出力する。
【0041】ニューラルネットワークをハードウェアで実現しようとする場合、もっとも問題になるのは、その物理的な制限からくるネットワーク規模である。ニューラルネットワークで処理の対象が複雑になればなるほど、必要とされるネットワーク規模も大きなものが要求される。
【0042】一方で、ハードウェアで実現できるネットワーク規模には常に制限があるので、それを解決するために、通常、同一のニューラルネットワーク回路を複数個並べてネットワーク規模を拡張し、並列処理を行うことで性能向上を図る。
【0043】そこで、上記のように、データの入出力の制御を2種類の選択信号で行うことにより、例えば、すべてのニューラルネットワーク回路の第1選択信号を共通とし、第2選択信号を固有のものと設定すれば、容易にネットワーク規模の拡張が実現できるだけでなく、入力データの、各ニューラルネットワーク回路へのロードもすべて同時に行うことができるので、処理性能も向上する。
【0044】なお、この発明のニューラルネットワーク回路は量子化ニューロンだけではなく、図9に示すような入力とそのシナプスの重みの積和の総和を出力する単純パーセプトロンを用いたニューラルネットワークにおいても適用できる。
【0045】(実施例2)本願の請求項2記載のニューラルネットワーク回路の一実施例を図2に示す。ここでは出力数が2倍のネットワーク規模に拡張する場合の方式について説明する。
【0046】100A、100Bはニューラルネットワーク回路100と同一もの、102はニューラルネットワーク回路100Aおよび100Bの出力、105はニューラルネットワーク回路100Aおよび100B共通の第1選択信号、106はニューラルネットワーク回路100Aの第2選択信号、107はニューラルネットワーク回路100Bの第2選択信号、150Aおよび150Bは150と同一のものである。
【0047】まず、ニューラルネットワークへの特徴データの入力について説明する。100Aおよび100B共通の第1選択信号105で両方のニューラルネットワーク回路を選択し、特徴データをニューラルネットワーク回路100Aおよび100Bに同時に入力する。
【0048】次に出力であるが、認識処理した後、100Aの第2選択信号106を用いてニューラルネットワーク回路100Aよりニューラルネットワーク回路100Aでの認識結果102を出力する。つづいて100Bの第2選択信号107を用いてニューラルネットワーク回路100Bよりニューラルネットワーク回路100Bでの認識結果102を出力する。これらの2つの値を比較し、ネットワーク全体の認識結果としての答を得る。
【0049】もし、結果が間違っていた場合は、ニューラルネットワーク100Aと100Bのうちの発火させるべき出力番号のニューロンをもつニューラルネットワーク回路のみヘブの学習則を用いて学習を行い、他方のニューラルネットワーク回路については行わない。この方式により、出力数を2倍とすることができる。
【0050】なお、ここでは出力数を2倍にする場合について説明したが、k倍の場合にも同様に、実施例1のニューラルネットワーク回路をk個使用することによって容易に、この発明は適用できる。また、学習についてもヘブの学習則だけでなく最急降下法を用いても同様に、この発明は適用できる。
【0051】(実施例3)本願の請求項3のニューラルネットワーク回路の一実施例を図3に示す。N入力M出力のニューラルネットワーク回路を2N入力M出力のネットワーク規模に拡張する場合の方式について説明する。
【0052】100A、100Bはニューラルネットワーク回路100と同一もの、105はニューラルネットワーク回路100Aおよび100Bの第1選択信号、106はニューラルネットワーク回路100Aの第2選択信号、107はニューラルネットワーク回路100Bの第2選択信号、108はニューラルネットワーク回路100Aの出力、109はニューラルネットワーク回路100Bの出力、110は108および109を入力とし、それらを加算する加算器、111は加算器110の出力である。
【0053】まず、ニューラルネットワークへの特徴データの入力について説明する。100Aの第2選択信号106でニューラルネットワーク回路100Aを選択し、2Nだけの入力データのうち、半数だけ100Aに入力する。つづいて、100Bの第2選択信号107でニューラルネットワーク回路100Bを選択し、2Nの入力データのうち、残りの半数を100Bに供給する。
【0054】次に出力であるが、ニューラルネットワーク回路100Aおよび100Bの出力ニューロンの番号を同一の番号とみなす。認識処理を実行した後、ニューラルネットワーク回路100Aおよび100Bの出力ニューロンの同一番号同士を加算器110で加算し、最も大きい値を持つ出力ニューロンの番号を認識結果とする。もし、結果が間違っていた場合は、ニューラルネットワーク回路100Aと100Bの両方の発火させるべき同じ出力番号のニューロンに対してヘブの学習則を用いて学習を行う。この方式により、入力数を2Nとすることができる。
【0055】なお、ここでは入力数を2倍にする場合について説明したが、k倍の場合にも同様に、実施例1のニューラルネットワーク回路をk個使用することによって容易に、この発明は適用できる。また、学習についてもヘブの学習則だけでなく最急降下法を用いても同様に、この発明は適用できる。
【0056】(実施例4)本願の請求項4のニューラルネットワーク回路の一実施例を図4に示す。N入力M出力のニューラルネットワーク回路をN入力2M出力のネットワーク規模に拡張する場合の方式について説明する。
【0057】100A、100Bはニューラルネットワーク回路100と同一もの、105はニューラルネットワーク回路100Aおよび100Bの第1選択信号、106はニューラルネットワーク回路100Aの第2選択信号、107はニューラルネットワーク回路100Bの第2選択信号、108はニューラルネットワーク回路100Aの出力、109はニューラルネットワーク回路100Bの出力、110は108および109を入力とし、それらを比較する比較器、113は比較器112の出力である。
【0058】まず、ニューラルネットワークへの特徴データの入力について説明する。100Aおよび100Bの共通の第1選択信号105で両方のニューラルネットワーク回路を選択し、特徴データをニューラルネットワーク回路100Aおよび100Bに同時に入力する。
【0059】次に出力であるが、認識処理を実行した後、ニューラルネットワーク回路100Aおよび100Bの出力ニューロンで、最も大きい値を持つ出力ニューロンの番号をそれぞれ、出力108および109として、比較器112に入力する。そして、2つの値のうち、大きい方を認識の処理結果113として出力される。もし、結果が間違っていた場合は、ニューラルネットワーク回路100Aと100Bのうちの発火させるべき出力番号の出力ニューロンをもつニューラルネットワーク回路のみヘブの学習則を用いてを行い、他方のニューラルネットワーク回路については行わない。この方式により、出力数を2Mとすることができる。
【0060】なお、ここでは出力数を2倍にする場合について説明したが、k倍の場合にも同様に、実施例1のニューラルネットワーク回路をk個使用することによって容易に、この発明は適用できる。また、学習についてもヘブの学習則だけでなく最急降下法を用いても同様に、この発明は適用できる。
【0061】
【発明の効果】以上、詳細に説明したように、本願発明によれば、N入力M出力のニューラルネットワーク回路において、Nよりも大きい入力数を取り扱う場合に、N入力M出力のニューラルネットワーク回路を複数個用いて構成することにより、ニューラルネットワークのネットワーク規模を容易に拡張できるだけでなく、処理能力の点でも従来以上の高速の処理速度が得られるニューラルネットワーク回路を実現できるものである。




 

 


     NEWS
会社検索順位 特許の出願数の順位が発表

URL変更
平成6年
平成7年
平成8年
平成9年
平成10年
平成11年
平成12年
平成13年


 
   お問い合わせ info@patentjp.com patentjp.com   Copyright 2007-2013