米国特許情報 | 欧州特許情報 | 国際公開(PCT)情報 | Google の米国特許検索
 
     特許分類
A 農業
B 衣類
C 家具
D 医学
E スポ−ツ;娯楽
F 加工処理操作
G 机上付属具
H 装飾
I 車両
J 包装;運搬
L 化学;冶金
M 繊維;紙;印刷
N 固定構造物
O 機械工学
P 武器
Q 照明
R 測定; 光学
S 写真;映画
T 計算機;電気通信
U 核技術
V 電気素子
W 発電
X 楽器;音響


  ホーム -> 計算機;電気通信 -> 株式会社日立製作所

発明の名称 マルチメディア入力装置
発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開平6−4192
公開日 平成6年(1994)1月14日
出願番号 特願平4−165684
出願日 平成4年(1992)6月24日
代理人 【弁理士】
【氏名又は名称】小川 勝男
発明者 武者 正隆 / 山田 剛裕 / 小檜山 智久 / 坂井 浩之 / 中田 順二 / 山岸 正己 / 木村 祐二 / 冨田 民則
要約 目的
装置へ情報入力を、従来のメディア固定をメディア自由選択可能とし、使用者に低負担な高速情報入力を実現する事を目的とする。

構成
メディア毎に入力の検知手段と、前記入力の切り換え手段と、前記入力の一時記憶手段を備える。
特許請求の範囲
【請求項1】マルチメディアによる情報入力可能なシステムにおいて、各メディアの入力を検知する検知手段と、各メディアの入力情報の転送経路を切り換える切り換え手段と、各メディアの入力情報を記憶する記憶手段を備える事を特徴とするマルチメディア入力装置。
【請求項2】前記メディア間の情報変換を行う変換手段を備える事を特徴とする請求項1記載のマルチメディア入力装置。
【請求項3】前記変換手段の誤変換の修正結果を記憶する、或は該結果に応じパタン・マッチング・テーブルを書き換える、学習手段を備える事を特徴とする請求項2記載のマルチメディア入力装置。
【請求項4】前記入力情報の入力時刻を比較する計時手段を備え前記入力時刻の最も古い前記入力情報以外の前記入力情報を一時的に記憶する事を特徴とする請求項1〜3記載のマルチメディア入力装置。
【請求項5】前記入力時刻の最も古い前記入力情報から順に前記入力情報を接続する接続手段を備える事を特徴とする請求項1〜4記載のマルチメディア入力装置。
【請求項6】前記入力情報を変換し情報形態を統一する事を特徴とする請求項1〜5記載のマルチメディア入力装置。
発明の詳細な説明
【0001】
【産業上の利用分野】本発明は情報の入力に際し、文字・音声・映像等の情報形態を選択可能とするマンマシン・インタフェイスを持つ装置に係り、特に多メディアの情報形態での情報入力、及び前記情報の統合、及び情報形態変換時の認識率向上を実現するのに好都合なマルチメディア入力装置に関する。
【0002】
【従来の技術】公開特許公報平2−289087記載のように、マルチメディア情報を入力可能で、指定の操作を行う事により前記マルチメディア情報のメディアの種類に関わらず相互関係付けや編集が可能なシステムが公知である。
【0003】
【発明が解決しようとする課題】上記従来例は、マルチメディア情報を入力し、個々のメディア間の関係付けをキーボード或はビットマップポインティング・ツール等の入力により行う事により、マルチメディアのタイトルを作成可能と考えられる。
【0004】しかしながら前記マルチメディア情報の入力は、前記キーボード或はビットマップポインティング・ツール等の入力によるメディア指定後のみ可能に成る可能性が有り、使用者は予めどのメディア形態で情報入力するかを確定する作業が必要である可能性が有った。
【0005】また、前記メディア間の変換を考慮していないので、前記タイトル以外の形態での情報蓄積では、従来のワープロやテープレコーダ、ビデオカメラ程度の使い勝手が要求される可能性が有った。
【0006】本発明の目的は上記従来例の問題点を改善し、内容により使用者の表現し易い情報形態による入力を随時可能にし、マンマシン・インタフェイスのボトルネックを改善する事である。
【0007】
【課題を解決するための手段】前記問題点を解決し、マルチメディアによる情報入力可能なシステムを実現する為に、各メディアの入力を検知する検知手段と、各メディアの入力情報の転送経路を切り換える切り換え手段と、各メディアの入力情報を記憶する記憶手段を備える。
【0008】
【作用】前記検知手段で前記各メディアの入力を検知し、該検知結果に従い前記切り換え手段で前記各メディアの入力情報の転送経路を切り換え、該切り換えに先にそれぞれ接続される処理手段或は前記記憶手段に前記入力情報の転送し、処理或は一時的或は恒久的に記憶させる。
【0009】
【実施例】以下本発明の第1の実施例を図1、図2、図3、図4を用いて説明する。図1は本発明のマルチメディア入力装置の構成図、図2は本発明の検知手段の構成図、図3は本発明の記憶手段、変換手段の構成図、図4は本発明のマルチメディア入力装置の動作を示すフローチャートである。
【0010】まず初めに図1を用い、本発明のマルチメディア入力装置の構成及び動作概要を説明する。図1に示すように本発明によるマルチメディア入力装置は検知手段117,118,119、切り換え手段122、記憶手段123、変換手段124を主な構成要素とする。
【0011】前記検知手段117,118,119は、図中のバッファ112,114,116に任意の又は特定のデータストリームが入力された事を検知し該検知結果を出力するセンサである。
【0012】前記切り換え手段122は供給される複数の前記データストリームの内、一つの前記データストリームを選択出力可能なスイッチである。
【0013】前記記憶手段123は前記データストリームを読み込み、記憶容量分の情報量について保持するメモリである。
【0014】前記変換手段124は前記データストリームの示すメディアを確定し、目的のメディアを示すデータストリームに変換する情報処理系である。具体的には映像や音声を示すデータストリームのパタンマッチングを行い、対応する文字列を示すデータストリームに変換し出力する物である。
【0015】次に、図1を用い本発明によるマルチメディア入力装置の動作概要を説明する。
【0016】使用者101が本発明によるマルチメディア入力装置を起動し、情報の入力を開始した場合を想定すると、情報入力経路103,04,105の何れかを通り、ビデオカメラ107、マイク108、キーボード109の何れかから情報の入力行われる。ただし前記使用者は表現を行う直前に好きなメディアを選択できる事が必要である。
【0017】従って、情報転送経路111,116,115の何れかを介して行われる、何れかの入力を前記検知手段117,118,119が検知し、該検知結果を示す情報がバッファ120の中に書き込まれたならば、スイッチ制御手段121が入力の行われたメディアの切り換え手段122を接続状態にし、入力情報をリアルタイムで前記記憶手段123に書き込む。ここで、前記記憶手段123に書き込みが行われているメディア以外のメディアの入力が発生したならば、入力の行われたメディアをバッファ120に登録し、入力の行われた情報をバッファ112,114,116に保持する。
【0018】次に、前記情報の入力が順次行われるようになると、必要に応じ前記記憶手段123上でメディアの統一を行う。これは、前記情報の入力時使用者の要求するメディア入力を許容した為に必要になる処理である。メディア変換は変換手段124に、変換を行うオリジナル・メディアデータと、マッチングパタン・テーブル125のデータを順次転送し、パターンマッチングを行い、適合パタンに付随する目的のメディア形態の情報で、前記記憶手段上の情報を置換する。
【0019】ここで、前記入力情報や前記置換された情報は、必要に応じ逐次、情報転送経路110を介し、ディスプレイ106にエコーバックされ、前記置換が不適切な場合は、前記キーボード109入力で修正可能で、該修正内容に従い学習手段で前記善意マッチングパタン・テーブル125のデータを修正する。
【0020】次に図2を用い検知手段117,118,119の構成、及び動作概要を説明する。
【0021】図2に示すように前記検知手段117,118,119の主要な構成要素は、引き算手段202、2値化器203、論理和算器204、マッチングパタン・メモリ205である。
【0022】前記引き算器202は、2データを読み込み、該2データの引き算し結果を出力可能な情報処理系である。
【0023】前記2値化器203は、データを目的の閾値で2値化し出力可能な情報処理系である。
【0024】前記論理和算器204は、2データを読み込み、該2データの論理和算し結果を出力可能な情報処理系である。
【0025】マッチングパタン・メモリ205は、目的の情報を保持し必要に応じ読み出し可能なメモリである。
【0026】次に、図2を用い前記検知手段117,118,119の動作概要を説明する。
【0027】バッファ112,114,116は入力データを、備えるファーストイン・ファーストアウト・メモリ(以下FIFOと略称)201で適時バッファリングし、入力データの有無を検知手段117,118,119に出力する。
【0028】前記検知手段117,118,119の、前記2値化手段203と引き算手段202はバッファ112,114,116に前記データが書き込まれる度に、前記データを読み込み、前記2値化手段203は前記データの有無を1と0に2値化し、前記引き算器202は前記マッチングパタン・メモリ205に予め書いておいたマッチングパタンとの差が前記2値化手段203の閾値以下であれば出力系をアサートする。従って、前記検知手段117,118,119はデータの入力或はマッチングパタンに近いデータの入力に依り、検知結果をアサート可能である。
【0029】ここで、実用上キーボード109による文字入力と、音声入力は入力情報の有無で前記切り換え手段122を切り換える事が考えられるが、映像入力は特定の表情や手招き等を入力する事を想定し、マッチングパタンのマッチングにより判断する事が考えられる。
【0030】次に図3を用い記憶手段123の構成を説明する。
【0031】図3に示すように前記記憶手段の主要構成要素は、FIFO、キャラクタ・ジェネレータ(以下CGと略称)313、ビデオRAM(以下VRAMと略称)314である。
【0032】前記FIFOは、変換前と変換後の前記入力データを保持可能なメモリである。
【0033】前記CG313は文字コード列を読み込み、対応する文字のフォント・パタンを出力し、VRAMに描画可能な情報制御系である。
【0034】前記VRAM314は、ビットイメージで書き込まれたイメージを保持するメモリで、保持内容の表示信号を生成する表示制御部を備える。
【0035】次に、図3を用い前記記憶手段123の動作概要を説明する。
【0036】FIFOは入力データの文字コード列307、音声データ列308、映像データ列309等を読み込み、前記文字コード列307のみ無条件で次段のFIFOに転送する。
【0037】前記音声データ列308と前記映像データ列309は前記変換手段124のバッファ301に転送し、デフォルト・マッチングパタン・テーブル125の保持するマッチングパタン304との比較を行い、一定以上類似している前記マッチングパタン304とペアの文字コード列305に変換し、前記次段のFIFOに転送する。
【0038】前記次段のFIFOは、前記文字コード列312,311を順に前記CG313に転送し、前記フォント・パタンに変換後、前記VRAM314にイメージ展開し、ディスプレイに表示する。
【0039】次に図4を用い本発明のマルチメディア入力装置の動作を概説する。
【0040】図4のフローチャートに示すように本発明のマルチメディア入力装置は、動作開始後先ず文字、音声、映像の入力の検知し、文字の入力が有れば文字コード列を読み込み、該文字コード列を必要に応じ接続した状態で表示する。音声或は映像の入力が有れば音声或は映像のデータ列を読み込み情報形態の変換で文字コード列に変換し該文字コード列を接続した状態で表示する。
【0041】使用者は前記表示で認識或は情報形態変換の正常動作或は誤認識を判断し、必要に応じ部分削除或は文字上書きを行い情報修正を行う。ここで、修正内容を前記認識に用いたデフォルト・マッチングパタンに反映する。具体的には次回以降の認識をより正確に行えるよう前記デフォルト・マッチングパタンの個々のサンプルと、前記入力が行われ誤認識された前記音声或は映像のデータ列パタンの個々のサンプルとの数値的な中間値の羅列である中間値列で書換える。
【0042】目的のデータストリームの一連のアクセス終了後、動作を継続するならば、再びフローチャート先頭から繰返す。
【0043】以下本発明の第2の実施例を図5、図6を用いて説明する。図5は本発明の記憶手段、変換手段の構成図、図6は本発明のマルチメディア入力装置の動作を示すフローチャートである。
【0044】まず初めに図5を用い、本発明の記憶手段123及び変換手段124の構成及び動作概要を説明する。図5に示すように本発明による記憶手段123は、FIFO、キャラクタ・ジェネレータ(以下CGと略称)313、ビデオRAM(以下VRAMと略称)314を主な構成要素とする。
【0045】前記FIFOは、変換前と変換後の前記入力データを保持可能なメモリである。
【0046】前記CG313は文字コード列を読み込み、対応する文字のフォント・パタンを出力し、VRAMに描画可能な情報制御系である。
【0047】前記VRAM314は、ビットイメージで書き込まれたイメージを保持するメモリで、保持内容の表示信号を生成する表示制御部を備える。
【0048】次に、図5を用い前記記憶手段123の動作概要を説明する。
【0049】FIFOは入力データの文字コード列307、音声データ列308、映像データ列309等を読み込み、前記文字コード列307のみ無条件で次段のFIFOに転送する。
【0050】前記音声データ列308と前記映像データ列309は前記変換手段124のバッファ301に転送し、デフォルト・マッチングパタン・テーブル125の保持するマッチングパタン304との比較を行い、一定以上類似している前記マッチングパタン304とペアの文字コード列305に変換し、前記次段のFIFOに転送する。
【0051】前記次段のFIFOは、前記文字コード列312,311を順に前記CG313に転送し、前記フォント・パタンに変換後、前記VRAM314にイメージ展開し、ディスプレイに表示する。
【0052】ここで、前記文字コード列311が使用者の期待に沿わない場合、前記キーボード109で部分削除或は文字上書きを行い情報修正を行い、修正内容を前記認識に用いたデフォルト・マッチングパタンx304に対応する文字コード列x305に反映する。具体的には次回以降の認識をより正確に行えるよう前記文字コード列x305を、前記修正後の前記文字コード列で置換する。
【0053】次に図6を用い本発明のマルチメディア入力装置の動作を概説する。
【0054】図6のフローチャートに示すように本発明のマルチメディア入力装置は、動作開始後先ず文字、音声、映像の入力の検知し、文字の入力が有れば文字コード列を読み込み、該文字コード列を必要に応じ接続した状態で表示する。音声或は映像の入力が有れば音声或は映像のデータ列を読み込み情報形態の変換で文字コード列に変換し該文字コード列を接続した状態で表示する。
【0055】使用者は前記表示で認識或は情報形態変換の正常動作或は誤認識を判断し、必要に応じ部分削除或は文字上書きを行い情報修正を行う。ここで、修正内容を前記認識に用いたデフォルト・マッチングパタンの対応文字コード列に反映する。具体的には次回以降の認識をより正確に行えるよう前記デフォルト・マッチングパタンの対応文字コード列を、前記修正が行われた前記文字コード列で置換する。
【0056】目的のデータストリームの一連のアクセス終了後、動作を継続するならば、再びフローチャート先頭から繰返す。
【0057】以下本発明の第3の実施例を図7、図8を用いて説明する。図57本発明の記憶手段、変換手段の構成図、図8は本発明のマルチメディア入力装置の動作を示すフローチャートである。
【0058】まず初めに図7を用い、本発明の記憶手段123及び変換手段124の構成及び動作概要を説明する。図7に示すように本発明による記憶手段123は、FIFO、キャラクタ・ジェネレータ(以下CGと略称)313、ビデオRAM(以下VRAMと略称)314を主な構成要素とする。
【0059】前記FIFOは、変換前と変換後の前記入力データを保持可能なメモリである。
【0060】前記CG313は文字コード列を読み込み、対応する文字のフォント・パタンを出力し、VRAMに描画可能な情報制御系である。
【0061】前記VRAM314は、ビットイメージで書き込まれたイメージを保持するメモリで、保持内容の表示信号を生成する表示制御部を備える。
【0062】次に、図7を用い前記記憶手段123の動作概要を説明する。
【0063】FIFOは入力データの文字コード列307、音声データ列308、映像データ列309等を読み込み、前記文字コード列307のみ無条件で次段のFIFOに転送する。
【0064】前記音声データ列308と前記映像データ列309は前記変換手段124のバッファ301に転送し、デフォルト・マッチングパタン・テーブル125の保持するマッチングパタン304との比較を行い、一定以上類似している前記マッチングパタン304とペアの文字コード列305に変換し、前記次段のFIFOに転送する。
【0065】前記次段のFIFOは、前記文字コード列312,311を順に前記CG313に転送し、前記フォント・パタンに変換後、前記VRAM314にイメージ展開し、ディスプレイに表示する。
【0066】ここで、前記文字コード列311が使用者の期待に沿わない場合、前記キーボード109で部分削除或は文字上書きを行い情報修正を行い、修正内容を前記修正後の文字コード列に対応するデフォルト・マッチングパタンyに反映する。具体的には次回以降の認識をより正確に行えるよう前記デフォルト・マッチングパタンyを、前記変換前の前記パタンつまり音声或は映像データ列とのサンプル毎に数学的な中間値をとったデータ列で置換する。
【0067】次に図8を用い本発明のマルチメディア入力装置の動作を概説する。
【0068】図8のフローチャートに示すように本発明のマルチメディア入力装置は、動作開始後先ず文字、音声、映像の入力の検知し、文字の入力が有れば文字コード列を読み込み、該文字コード列を必要に応じ接続した状態で表示する。音声或は映像の入力が有れば音声或は映像のデータ列を読み込み情報形態の変換で文字コード列に変換し該文字コード列を接続した状態で表示する。
【0069】使用者は前記表示で認識或は情報形態変換の正常動作或は誤認識を判断し、必要に応じ部分削除或は文字上書きを行い情報修正を行う。ここで、修正内容を前記修正後の文字コード列に対応したマッチングパタンに反映する。具体的には次回以降の認識をより正確に行えるよう前記マッチングパタンを、前記入力が行われた前記データ列で、或は前記マッチングパタンと前記データ列のサンプル毎の数学的中間値のデータ列で置換する。
【0070】目的のデータストリームの一連のアクセス終了後、動作を継続するならば、再びフローチャート先頭から繰返す。
【0071】以下本発明の第4の実施例を図9を用いて説明する。図9に示すように本発明によるマルチメディア入力装置は検知手段117,118,119、タイム・スタンパ901、引き算手段902、リアルタイム・クロック(以下RTCと略称)903、切り換え制御手段904、切り換え手段122、記憶手段123、変換手段124を主な構成要素とする。
【0072】前記検知手段117,118,119は、図中のバッファ112,114,116に任意の又は特定のデータストリームが入力された事を検知し該検知結果を出力するセンサである。
【0073】前記タイム・スタンパ901は、入力信号を感知し該入力信号の入力時刻を出力可能な時計である。
【0074】前記引き算手段902は、2つのパラレル多値信号の入力の差を、パラレル多値信号として出力可能な情報処理系である。
【0075】前記RTC903は、必要に応じ現在時刻を出力可能な時計である。
【0076】前記切り換え手段122は供給される複数の前記データストリームの内、一つの前記データストリームを選択出力可能なスイッチである。
【0077】前記記憶手段123は前記データストリームを読み込み、記憶容量分の情報量について保持するメモリである。
【0078】前記変換手段124は前記データストリームの示すメディアを確定し、目的のメディアを示すデータストリームに変換する情報処理系である。具体的には映像や音声を示すデータストリームのパタンマッチングを行い、対応する文字列を示すデータストリームに変換し出力する物である。
【0079】次に、図9を用い本発明によるマルチメディア入力装置の動作概要を説明する。
【0080】使用者101が本発明によるマルチメディア入力装置を起動し、情報の入力を開始した場合を想定すると、ビデオカメラ107、マイク108、キーボード109のいずれかから情報の入力行われる。ただし前記使用者は表現を行う直前に好きなメディアを選択できる事が必要である。
【0081】従って、何れかの入力を前記検知手段117,118,119が検知し、該検知を前記タイム・スタンパ902に告知し、該告知時刻が一時的に前記タイム・スタンパ902に保持される。該保持された時刻は逐次、前記RTC903の示す現在時刻と比較され、前記入力の有った経路のうち最も過去に入力の行われたメディア経路のスイッチ制御手段121の切り換え手段122を接続状態にし、入力情報をリアルタイムで前記記憶手段123に書き込む。
【0082】次に、前記情報の入力が順次行われたならば、必要に応じ前記記憶手段123上でメディアの統一を行う。これは、前記情報の入力時使用者の要求するメディア入力を許容した為に必要になる処理である。メディア変換は変換手段124に、変換を行うオリジナル・メディアデータと、マッチングパタン・テーブル125のデータを順次転送し、パターンマッチングを行い、適合パタンに付随する目的のメディア形態の情報で、前記記憶手段上の情報を置換する。ここで、前記入力情報や前記置換された情報は、必要に応じ逐次ディスプレイ106にエコーバックされ、前記置換が不適切な場合は、前記キーボード109入力で修正可能で、該修正内容に従い学習手段で前記善意マッチングパタン・テーブル125のデータを修正する。
【0083】
【発明の効果】本発明を用いたマルチメディア入力装置は上記のように構成されているので、以下のような効果を奏する。
【0084】使用者が装置に情報入力を断続的に行い或る一定の長さのデータ列を作成する時、其の都度使用者の表現のし易いメディアを選択可能であるので、従来の入力メディア固定による情報入力に比較し、使用者に低負担で高速の情報入力が可能になる。
【0085】また、学習機能の併用により使用者の癖をある程度機械側に覚えさせる事で、前記使用者に更に低負担で更に高速の情報入力が可能になる。




 

 


     NEWS
会社検索順位 特許の出願数の順位が発表

URL変更
平成6年
平成7年
平成8年
平成9年
平成10年
平成11年
平成12年
平成13年


 
   お問い合わせ info@patentjp.com patentjp.com   Copyright 2007-2013