米国特許情報 | 欧州特許情報 | 国際公開(PCT)情報 | Google の米国特許検索
 
     特許分類
A 農業
B 衣類
C 家具
D 医学
E スポ−ツ;娯楽
F 加工処理操作
G 机上付属具
H 装飾
I 車両
J 包装;運搬
L 化学;冶金
M 繊維;紙;印刷
N 固定構造物
O 機械工学
P 武器
Q 照明
R 測定; 光学
S 写真;映画
T 計算機;電気通信
U 核技術
V 電気素子
W 発電
X 楽器;音響


  ホーム -> 楽器;音響 -> ヤマハ株式会社

発明の名称 演奏操作援助装置及びプログラム
発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開2007−4071(P2007−4071A)
公開日 平成19年1月11日(2007.1.11)
出願番号 特願2005−187139(P2005−187139)
出願日 平成17年6月27日(2005.6.27)
代理人 【識別番号】100107995
【弁理士】
【氏名又は名称】岡部 惠行
発明者 大島 治 / 中村 吉就 / 西田 賢一 / 深田 敦史 / 櫻田 信弥
要約 課題
ユーザが親しみを覚えることを可能にしながら、電子音楽装置を演奏したり操作する際の援助を行うことができる演奏操作援助装置を提供すること。

解決手段
この演奏操作援助装置PAでは、ユーザの動作状態を聴覚的、視覚的乃至物理的に表わした動作情報又は電子音楽装置EMからのユーザ演奏情報が原因情報として入力され(A1)、入力された動作情報を解釈した結果(A2)に基づいて制御情報及びフィードバック情報を生成する。そして、制御情報により電子楽器等の電子音楽装置EMを制御し(A4m)、フィードバック情報により、ユーザに対して聴覚的、視覚的乃至物理的なフィードバックを行う(A41:音声や音楽、A42:映像やロボット動作、A43:温度変化や接触動作)。また、入力された情報を学習し(A6)、学習した結果に基づき、次に入力される情報を解釈して最適な制御情報やフィードバック情報を生成する。
特許請求の範囲
【請求項1】
ユーザの動作状態を視覚的或いは聴覚的或いは物理的に表わす動作情報を入力する入力手段と、
入力手段により入力された動作情報を解釈する解釈手段と、
解釈手段により解釈された結果に基づいて電子音楽装置を制御する制御手段と、
解釈手段により解釈された結果に基づいて、ユーザに対して視覚的或いは聴覚的或いは物理的なフィードバック出力を発生するフィードバック手段と
を具備することを特徴とする演奏操作援助装置。
【請求項2】
前記入力手段は、さらに、前記電子音楽装置からのユーザ演奏情報を入力し、
前記制御手段或いはフィードバック手段は、前記入力手段により入力された動作情報或いはユーザ演奏情報を学習し、学習した結果に従って前記電子音楽装置を制御し或いは前記フィードバック出力を発生する
ことを特徴とする請求項1に記載の演奏操作援助装置。
【請求項3】
ユーザの動作状態を視覚的或いは聴覚的或いは物理的に表わす動作情報を入力する入力手段を具備するコンピュータに、
入力手段により入力された動作情報を解釈する解釈ステップと、
解釈ステップで解釈された結果に基づいて、電子音楽装置を制御するための制御情報を生成する制御ステップと、
解釈ステップで解釈された結果に基づいて、ユーザに対して視覚的或いは聴覚的或いは物理的なフィードバック出力を発生するためのフィードバック情報を生成するフィードバックステップと
から成る手順を実行させる演奏操作援助プログラム。
発明の詳細な説明
【技術分野】
【0001】
この発明は、ユーザからの種々の入力に応じて電子楽器等の電子音楽装置を制御すると共に、ユーザに対して種々の出力を発生することにより、演奏や操作の援助を行う演奏操作援助システムに関する。
【背景技術】
【0002】
電子楽器等の電子音楽装置をユーザが演奏したり操作する際の援助手段としては、従来より、ヘルプ機能が知られている。例えば、特許文献1には、電子楽器にヘルプスイッチ及び表示器を設け、ヘルプスイッチを操作しながら各種のスイッチを操作すると、そのスイッチに割り当てられている機能の説明が表示器に表示される。
【特許文献1】特開平5−27753号公報
【0003】
しかしながら、このようなスイッチ操作によるヘルプ機能では、ユーザにとっては、一方的に機械を操作しているといった感覚しかなく、親しみを覚えることができない。
【発明の開示】
【発明が解決しようとする課題】
【0004】
この発明は、このような事情に鑑み、ユーザが親しみを覚えることを可能にしながら、電子音楽装置を演奏したり操作する際の援助を行うことができる演奏操作援助装置を提供することを目的とする。
【課題を解決するための手段】
【0005】
この発明の主たる特徴に従うと、ユーザの動作状態を視覚的或いは聴覚的或いは物理的に表わす動作情報を入力する入力手段(A1)と、入力手段(A1)により入力された動作情報を解釈する解釈手段(A2)と、解釈手段(A2)により解釈された結果に基づいて電子音楽装置(EM)を制御する制御手段(A3・A4m)と、解釈手段(A2)により解釈された結果に基づいて、ユーザに対して視覚的或いは聴覚的或いは物理的なフィードバック出力を発生するフィードバック手段(A3・A41〜A43)とを具備する演奏操作援助装置(コンピュータ、PA)〔請求項1〕が提供され、また、 ユーザの動作状態を視覚的或いは聴覚的或いは物理的に表わす動作情報を入力する入力手段(A1)を具備するコンピュータ(演奏操作援助装置PA)に、入力手段(A1)により入力された動作情報を解釈する解釈ステップ(A2)と、解釈ステップ(A2)で解釈された結果に基づいて、電子音楽装置(EM)を制御するための制御情報を生成する制御ステップ(A3・A4m)と、解釈ステップ(A2)で解釈された結果に基づいて、ユーザに対して視覚的或いは聴覚的或いは物理的なフィードバック出力を発生するためのフィードバック情報を生成するフィードバックステップ(A3・A41〜A43)とから成る手順を実行させる演奏操作援助プログラム〔請求項3〕が提供される。なお、この発明において「或いは」は「及び/又は」を意味する。また、括弧書きは、実施例の参照記号、用語等を表わし、以下においても同様である。
【0006】
この発明による演奏操作援助装置(PA)において、入力手段(A1)は、さらに、電子音楽装置(EM)からのユーザ演奏情報を入力し(A1m)、制御手段(A3・A4m)或いはフィードバック手段(A3・A41〜A43)は、入力手段(A1)により入力された動作情報或いはユーザ演奏情報を学習し(A6)、学習した結果に従って電子音楽装置(EM)を制御し或いはフィードバック出力を発生する〔請求項2〕ように構成することができる。
【発明の効果】
【0007】
この発明による主たる特徴によると、ユーザの動作状態を視覚的或いは聴覚的或いは物理的に表わす動作情報が原因情報として入力される(A1)。例えば、視覚的動作情報は、ユーザの視線やジェスチャーを表わし(A12)、聴覚的動作情報は、言語や音楽を表わし(A11)、物理的動作情報は、熱や接触、振動を表わし(A13)、これら視覚的、聴覚的及び物理的動作情報の内の少なくとも1つが入力情報として検出される。そして、入力された動作情報を解釈して(A2)、制御情報及びフィードバック情報を生成し、制御情報によって電子楽器等の電子音楽装置(EM)における演奏を制御する(A3・A4m)と共に、フィードバック情報によって、ユーザに対して視覚的或いは聴覚的或いは物理的なフィードバック出力を発生する(A3・A41〜A43)。例えば、視覚的フィードバック出力は、演奏操作援助装置(PA)が電子音楽装置組み込み型の場合は表示器上の映像であり、ロボット型の場合にはロボット動作が該当し(A42)、聴覚的フィードバック出力は合成音声や音楽であり(A41)、物理的フィードバックは接触動作であり(A43)、これら視覚的、聴覚的及び物理的フィードバック出力の内の少なくとも1つをユーザに伝達するようにしている。従って、この発明によれば、ユーザは、視線を合わせたり、ジェスチャーや言葉、音楽を用いたり、触ったり叩いたりすることで、ユーザ自身の要望を演奏操作援助装置に伝えることができ、親しみを覚えながら演奏操作援助装置と接することができる。
【0008】
また、この発明による演奏操作援助装置では、さらに、電子音楽装置(EM)からのユーザ演奏情報を入力し(A1m)、入力された動作情報(A11〜A13)或いはユーザ演奏情報(A1m)を学習し(A6)、学習した結果に基づき、次に入力される動作情報(A11〜A13)或いはユーザ演奏情報(A1m)を解釈して、電子音楽装置(EM)を最適に制御したり或いは最適なフィードバック出力を発生する(A3・A4)ようにしている。従って、この発明によれば、ユーザの演奏内容が反映され、より親しみを覚える演奏操作援助装置を提供することができる。
【発明を実施するための最良の形態】
【0009】
〔電子音楽装置の概要〕
図1は、この発明の一実施例による電子音楽装置のハードウエア構成ブロック図を示す。この電子音楽装置EMには、電子楽器、又は、演奏操作部乃至楽音信号発生部を備えるパーソナルコンピュータ(PC)のように電子楽器と同等の音楽情報処理機能を有する音楽情報処理装置が用いられる。このような電子音楽装置EMは、中央処理装置(CPU)1、ランダムアクセスメモリ(RAM)2、読出専用メモリ(ROM)3、外部記憶装置4、演奏操作検出回路5、設定操作検出回路6、表示回路7、音源回路8、効果回路9、通信インターフェース(I/F)10、MIDIインターフェース(I/F)11などを備え、これらの要素1〜11はバス12を介して互いに接続される。
【0010】
CPU1は、所定の制御プログラムに従い、タイマ13によるクロックを利用して種々の音楽情報処理を実行する。RAM2は、これらの処理に際して必要な各種データを一時記憶するためのワーク領域として用いられる。また、ROM3には、これらの処理を実行するために必要な各種制御プログラムや制御データ、演奏データ等が予め記憶される。
【0011】
外部記憶装置4は、ハードディスク(HD)等の内蔵記憶媒体の外に、コンパクトディスク・リード・オンリィ・メモリ(CD−ROM)、フレキシブルディスク(FD)、光磁気(MO)ディスク、ディジタル多目的ディスク(DVD)、スマートメディア(登録商標)等の小型メモリカード、等々、種々の可搬性の外部記録媒体を含み、任意の外部記憶装置4に任意のデータを記憶することができる。
【0012】
演奏操作検出回路5は、鍵盤などの演奏操作子14と共に演奏操作部として機能し、演奏操作子14の演奏操作内容を検出し、これに対応する実演奏データを装置内部に導入する。設定操作検出回路6は、キースイッチやマウス等の設定操作子15と共にパネル設定部として機能し、設定操作子15の設定操作内容を検出し、これに対応するパネル設定データを装置内部に導入する。表示回路7は、画面表示用LCD等のディスプレイ(表示器)16や各種インジケータ(図示せず)の表示/点灯内容をCPU1からの指令に従って制御し、各操作子14,15の操作に対する表示援助を行う。
【0013】
音源回路8は、演奏操作部14,5からの実演奏データや記憶手段(3,4)等からの演奏データに応じた楽音信号を発生し、効果付与DSPを有する効果回路9は音源回路9からの楽音信号に所定の効果を付与した楽音信号を生成し、両回路8,9は、楽音信号生成部として機能し音源部とも呼ばれる。効果回路9に後続するサウンドシステム17は、D/A変換部やアンプ、スピーカを備え、効果が付与された楽音信号に基づく楽音を発生する。
【0014】
通信I/F10には、インターネットやローカルエリアネットワーク(LAN)などの通信ネットワークCNが接続され、外部のサーバコンピュータSV等から、制御プログラムをダウンロードしたり演奏データを記憶装置4に保存して、この電子音楽装置EMで利用することができる。
【0015】
MIDII/F11には、演奏操作援助装置PAや、電子音楽装置EMと同様のMIDI音楽情報処理機能を有する他の電子音楽装置MDが接続され、MIDII/F11を通じて電子音楽装置EMと演奏操作援助装置PA及び他の電子音楽装置MDとの間でMIDIデータを授受することができる。
【0016】
例えば、演奏操作援助装置PAは、ユーザからの種々の入力に応じて、MIDIデータ中に種々の制御情報を組み込んだMIDI制御情報を生成し、生成されたMIDI制御情報により電子音楽装置EMを制御することができる。また、電子音楽装置EMがユーザ演奏に基づくMIDI演奏情報(ユーザ演奏情報)を演奏操作援助装置PAに返信すると、演奏操作援助装置PAは、これを解析し、ユーザの演奏や操作に対してフィードバックを行うことができる。また、演奏操作援助装置PAは、他の電子音楽装置MDについても同様の制御及びフィードバックを行うことができる。さらに、電子音楽装置EMと他の電子音楽装置MDとの間ではMIDIデータを授受し、各装置EM,MDにおいて、MIDIデータを相互に演奏利用することができる。
【0017】
〔演奏操作援助装置の機能〕
この発明の一実施例による演奏操作援助装置では、ユーザの動作状態を視覚的、聴覚的乃至物理的に表わした動作情報が原因情報として入力され、入力された動作情報を解釈して電子楽器等の電子音楽装置を制御すると共に、ユーザに対して視覚的、聴覚的乃至物理的なフィードバック出力を発生することができる。図2は、この発明の一実施例による演奏操作援助装置の機能を説明するための機能ブロック図である。
【0018】
ここで、この発明の一実施例による演奏操作援助装置の特徴を図2を用いて簡単に説明しておくと次のとおりである。この演奏操作援助装置PAでは、原因情報として、ユーザの動作状態を聴覚的、視覚的乃至物理的に表わした動作情報(A11:言語や音楽、A12:ユーザの視線やジェスチャー、A13:熱や接触、振動)又は電子音楽装置EMからのユーザ演奏情報(A1m)が入力される(A1)。認識部A2は、入力された動作情報を解釈し、処理部A3は、この解釈結果に基づき、結果情報として制御情報及びフィードバック情報を生成する。そして、制御情報により電子楽器等の電子音楽装置EMを制御し(A4m)、フィードバック情報により、ユーザに対して聴覚的、視覚的乃至物理的なフィードバックを行う(A41:音声や音楽、A42:映像やロボット動作、A43:温度変化や接触動作)。また、入力された動作情報やユーザ演奏情報を学習し(A6)、学習した結果に基づき、次に入力される動作情報やユーザ演奏情報を解釈して最適な制御情報やフィードバック情報を生成することができる。
【0019】
以下、より詳しく説明する。演奏操作援助装置PAは、ハードウエアとしては、図1に示される電子音楽装置EMと同様に、CPU、タイマ、RAMなどのデータ処理手段や、ROM、外部記憶装置などの記憶手段、MIDII/Fなどを備える一種のコンピュータであり、聴覚的、視覚的、物理的乃至電子的(無線などを含む)な多種の入出力手段を備える。また、演奏操作援助装置PAの形態としては、ロボット型、組み込み型、その他別体型などがあり、ロボット型及びその他別体型の場合は、電子音楽装置EMとは別体構造の装置として構成され、組み込み型の場合は、電子音楽装置の一部として構成される。
【0020】
このような演奏操作援助装置PAは、機能ブロックで表わすと、種々の入力手段で構成される入力検出部A1、データ処理手段で構成される認識部A2及び処理部A3、種々の出力手段で構成される出力フィードバック部A4から成る。ここで、入力検出部A1及び出力フィードバック部A4にはMIDII/F(A1m,A4m)が含まれ、演奏操作援助装置PAがロボット型やその他別体型などの場合には、これらのMIDII/Fは無線などで電子音楽装置EM,MDと接続される。また、認識部A2及び処理部A3は、それぞれ、記憶手段を利用した認識データベースA5及び学習データベースA6を備える。
【0021】
演奏操作援助装置PAは、また、動作モードや演奏すべき楽曲など設定するための動作設定部A7を備える。動作モードとしては、例えば、独奏モード、バンドメンバーモード、レッスンの先生モード、友達モードなどがある。演奏操作援助装置PAがロボット型の場合には、さらに、走行機構(例えば、歩行タイプのロボット型ならば歩行機構)や、電子音楽装置EM,MDなどの他の装置との接触を検出する接触検出装置など、走行に伴う各種検出機構を備える(これらの機構は何れも図示せず)。
【0022】
(1)入力検出部A1及び認識部A2
入力検出部A1は、ユーザに関する種々の情報を入力するために設けられ、聴覚的入力検出部A11、視覚的入力検出部A12、物理的入力検出部A13及び電子的入力検出部A14で構成される。また、各入力検出部A11〜A14で検出された各入力情報は認識部A2で認識処理される。まず、聴覚的、視覚的及び物理的入力検出部A11〜A13は、ユーザの動作状態を、それぞれ、聴覚的、視覚的及び物理的に表わす動作情報を入力するのに用いられる。
【0023】
すなわち、聴覚的入力検出部A11は、ユーザの音声、打撃音や手拍子などの聴覚的入力を検出するための入力検出装置としてマイクを備え、マイクで検出された聴覚的動作情報は、認識部A2により音声認識処理がなされ、言語、音楽、合図、ノイズ等が認識される。例えば、言語としては、登録済みのキーワードや、それ以外の擬声語、擬態語などが認識され、これらの言語認識結果等から更にユーザの感情を判断することもできる。また、音楽としては、音色、音高、音圧(音量)、テンポ、楽曲などが認識され、模範演奏との比較機能も備えている。さらに、打撃音や手拍子などの音入力については、入力音の音質、回数や頻度などから、予め定められた合図であることが認識される。
【0024】
視覚的入力検出部A12は、ユーザの映像などの視覚的入力を検出するための入力検出装置としてカメラを備え、カメラで検出された視覚的動作情報は、認識部A2により画像認識処理がなされ、ユーザの視線、挙動、表情、ジェスチャー・アクション(合図)などが認識され、また、顔や体型などの特徴から個人認証もなされる。なお、カメラの設置箇所については、演奏操作援助装置PAに対する正視位置が好ましい。例えば、演奏操作援助装置PAがロボット型の場合は両眼の近傍に設けられ、組み込み型の場合にはディスプレイの上部近傍に設けられ、その他別体の場合は筐体正面に設けられる。
【0025】
物理的入力検出部A13は、ユーザの操作や状態などの物理的入力を検出するための入力検出装置として、接触センサ、振動センサ、加速度センサ、角速度センサ、熱センサ等を備え、これらのセンサで検出された物理的動作情報は、認識部A2により、ユーザが触ったこと、振ったこと、たたいたこと、持ち上げたこと、等々を認識する。
【0026】
次に、電子的入力検出部A14は、ユーザに関する電子的情報などの電子的入力を検出するための入力検出装置として、無線式(RF)ID検出器やMIDI入力部(MIDI入力端子)A1mなどを備え、認識部A2は、RFID検出器で検出されたRFID個人情報に基づいて個人認証をしたり、MIDI入力部A1mから入力された電子音楽装置EMからのユーザ演奏情報に基づいて音楽を認識・評価したりすることができる。
【0027】
認識部A2は、種々の認識エンジンを備え、上述のように、入力検出部A1により入力された各入力情報を解釈(認識)して所要の認識(判断)情報を生成する種々の認識処理を行い、認識処理の際には認識データベースA5を参照する。認識データベースA5は、予め登録されている情報、及び、その後随時ユーザ登録した情報で構成され、認識のアルゴリズム及び認識データベースの構造は、公知の技術を採用することができる。
【0028】
(2)処理部A3
処理部A3は、認識部A2での解釈(認識)により得られた判断情報に基づいて、電子音楽装置EMを制御するための制御情報を生成したり、ユーザに対して聴覚的、視覚的及び物理的なフィードバック出力を発生するためのフィードバック情報を生成する。また、これらの情報を生成する際には、学習データベースA6を参照することができる。学習データベースA6は、認識された情報の特徴からユーザの癖などを学習し、処理部A3に反映させるためのものである。なお、学習データベースA6は、演奏操作援助装置PAの動作モードに応じて異なるデータベースを持つことが好ましい。
【0029】
(3)出力フィードバック部A4
出力フィードバック部A4は、聴覚的フィードバック部A41、視覚的フィードバック部A42、物理的フィードバック部A43などのフィードバック部と、MIDI出力部A4mとから構成される。各フィードバック部A41〜A43は、処理部A3で生成されたフィードバック情報に基づいて、聴覚的、視覚的及び物理的なフィードバックをユーザに向けて出力する。
【0030】
例えば、聴覚的フィードバック部A41は、処理部A3からの聴覚的フィードバック情報に基づいて、言語によるメッセージを発声したり、非言語によるブザー音などをスピーカを通じて発音するフィードバック出力機能を有するが、必要に応じて、さらに、電子音楽装置EMの音源部8、9のような楽音信号生成機能をもたせて楽音を発音することができるように構成してもよい。
【0031】
視覚的フィードバック部A42は、処理部A3からの視覚的フィードバック情報に基づいて視覚的なフィードバック出力を発生する。例えば、この演奏操作援助装置PAの形態がロボット型の場合であれば、首や尾を振ったり手(動物の場合は、前足)を動かす等のジェスチャーや、ダンス、顔の表情、眼の動きなどといったロボットの動作によって、フィードバック情報がユーザに伝達され、組み込み型やその他別体型の場合では、画像表示などでフィードバックされる。
【0032】
物理的フィードバック部A43は、処理部A3からの物理的フィードバック情報に基づいて物理的なフィードバック出力を発生する。例えば、熱くなる/冷たくなる等、温度変化などのフィードバックがなされ、ロボット型であれば、更に、ユーザをなでたりたたく等、接触や振動などのフィードバックを行うことができる。
【0033】
また、MIDI出力部A4mは、処理部A3で生成された制御情報をMIDIデータの形式で電子音楽装置EM,MDに出力する(以下、この制御情報をMIDI制御情報と呼ぶ)。MIDI出力部A4mから出力されるMIDI制御情報には、演奏に関する情報(チャンネルメッセージ)、操作情報(スイッチリモートメッセージ)、制御情報(システムエクスクルーシブメッセージ)、その他情報(バルクデータ)などがある。
【0034】
〔独奏モードの動作例〕
次に、ロボット型の演奏操作援助装置PAについて、独奏モードを例にして、具体的な一連の演奏操作援助動作を説明する。なお、演奏操作援助装置PAの援助による独奏モードは、動作設定部A7に対するユーザの動作モード設定操作により設定され、同動作設定部A7への楽曲設定操作により予め演奏すべき楽曲とそのテンポが設定される。また、これらの設定状態は、動作設定部A7による設定時にMIDI出力部A4mを通じて電子音楽装置EM,MDに送られる。
【0035】
(1)イントロ:
例えば、ユーザがロボット型の演奏操作援助装置PAに向かって手を叩くと、認識部A2は、聴覚的入力検出部A11を通じて手を叩く音を認識し、処理部A3は、これに反応して、聴覚的出力部A41を通じてユーザに対し「手拍子を打って」と発声する。
【0036】
これに対してユーザが手拍子を打つと、認識部A2は、手拍子の繰り返し速度を設定されたテンポと比較判断する。処理部A3が認識部A2の進遅判断に応じて聴覚的出力部A41の出力を制御することによって、聴覚的出力部A41は、手拍子が進んでいる(速い)か又は遅れている(遅い)間は「もっと遅く」又は「もっと早く」との発声を繰り返し、手拍子が設定テンポとほぼ同期したところで「ありがとう」と発声する。
【0037】
処理部A3は、聴覚的出力部A41に「ありがとう」を発声させると同時に、楽曲演奏の開始を指示するMIDI制御情報をMIDI出力部A4mを通じて電子音楽装置EMに送信し、設定された楽曲の伴奏演奏及び楽譜表示を開始させる。これにより、電子音楽装置EMでは、当該楽曲のイントロ(伴奏)がサウンドシステム17から流れ出し、当該楽曲の楽譜表示がディスプレイ16上に進行していく。
【0038】
上述の例では手を叩く動作に従ってイントロ演奏を開始させるようにしているが、口笛や称呼などの動作によってイントロを開始してもよい。まず、口笛でイントロを開始する場合は、ユーザが演奏操作援助装置PAに向かって口笛を吹くと、認識部A2は、聴覚的入力検出部A11で検出された口笛を認識し、処理部A3は、これに反応して、次の口笛を待機する。
【0039】
ユーザが何度か口笛を吹いてみると、処理部A3は、認識部A2が口笛の繰り返しを判断するのに応じて聴覚的出力部A41を起動し、これにより、聴覚的出力部A41は、設定された楽曲を鼻歌で唄い始めるとともに、例えば「一緒に唄おうよ」と発声する。
【0040】
そして、ユーザが口笛又は鼻歌で設定楽曲を合唱すると、処理部A3は、認識部A2により合唱状態に入ったと判断された時点で、楽曲演奏の開始を指示するMIDI制御情報をMIDI出力部A4mを通じて電子音楽装置EMに送信し、設定された楽曲の伴奏演奏及び楽譜表示を開始させる。これにより、電子音楽装置EMでは、当該楽曲のイントロがサウンドシステム17から流れ始め、ディスプレイ16上の楽譜表示も進行していく。
【0041】
次に、称呼でイントロを開始する場合には、ユーザに演奏操作援助装置PAの適当な愛称(ニックネーム)を称呼させる。つまり、ユーザが演奏操作援助装置PAに向かってその愛称(例えば、「タロウ」)で声をかけると、認識部A2は、聴覚的入力検出部A11で検出された愛称を認識し、処理部A3は、これに反応して、次の愛称称呼を待機する。
【0042】
ユーザが愛称の称呼を続けると、処理部A3は、認識部A2が愛称称呼の繰り返しを判断するのに応じて聴覚的出力部A41を起動し、これにより、聴覚的出力部A41は、「なあに?練習の時間?」とユーザに問い掛け、さらに、「練習するなら撫でて」と発声する。そこで、ユーザが演奏操作援助装置PAのロボットを撫でると、認識部A2は、物理的入力検出部A13を通じて撫でる動作が行われたことを認識する。
【0043】
処理部A3は、撫でる動作の認識に応答して、聴覚的出力部A41に「ありがとう」と発声させると共に、走行機構(図示せず)を駆動して演奏操作援助装置PA自体の位置を電子音楽装置EMの方に移動させる。
【0044】
そして、電子音楽装置EMの何処かに演奏操作援助装置PAが触れるたことが接触検出装置(図示せず)により検出されると、処理部A3は、走行機構を停止すると共に、楽曲演奏の開始を指示するMIDI制御情報をMIDI出力部A4mを通じて電子音楽装置EMに送信し、設定された楽曲の伴奏演奏及び楽譜表示を開始させる。これにより、電子音楽装置EMでは、当該楽曲のイントロ(伴奏)がサウンドシステム17から流れ出し、当該楽曲の楽譜表示がディスプレイ16上に進行していく。
【0045】
(2)メロディ演奏:
電子音楽装置EMにおけるイントロ演奏の進行状態は、MIDI入力部A1mを通じて認識部A2で監視され、処理部A3は、イントロ演奏が終わって楽曲の最初のメロディ部分(Aメロ)に入ろうとする直前になると、聴覚的出力部A41に「弾いて」と発音させ、当該メロディ部分の演奏開始をユーザに促す。
【0046】
これに応じてユーザがメロディ演奏を始めると、電子音楽装置EMでは伴奏が継続されて楽譜も流れ、また、視覚的出力部A42に、楽曲進行に合わせて首や尾を振らせる動作を行わせる。一方、MIDI入力部A1mを通じてユーザ演奏によるMIDI演奏情報が入力されず認識部A2によりユーザがメロディ演奏を始めていないと判断された場合は、電子音楽装置EMに楽曲演奏の一時停止を指示するMIDI制御情報をMIDI出力部A4mを通じて電子音楽装置EMに送信し、ユーザがメロディ演奏を始めるとこれを解除する。これにより、電子音楽装置EMは、ユーザがメロディ演奏を始めるまで楽曲演奏の待機状態となり、ユーザがメロディ演奏を始めると、上述したように、当該メロディ部分の伴奏を開始させ楽譜表示を進め、首や尾を振らせる動作を行う。
【0047】
電子音楽装置EMでユーザがメロディ演奏を続けている間、所定の音楽的な区切り区間(例えば、1小節)毎に、メロディ演奏の巧拙がMIDI入力部A1mを通じて認識部A2で判定され、処理部A3は、この判定結果に従って、聴覚的出力部A41を通じて「上手だね」又は「もっとがんばって」等々の言語メッセージをユーザに伝える。そして、ユーザのメロディ演奏が終了すると、認識部A2は、ユーザ演奏を全区間にわたって総合評価し、処理部A3は、聴覚的出力部A41を通じ総合評価に応じたメッセージ(例えば、「よくできました」等)をユーザに伝える。
【0048】
(3)演奏操作援助装置PAによる演奏:
なお、ユーザは楽曲進行の途中で演奏を一時停止し、一時停止の都度、それまでに演奏した楽曲部分を演奏操作援助装置PAに任意の演奏を行わせて、演奏に親しみを感じさせるようにすることができる。例えば、ユーザが適当なところで演奏を終了したと認識部A2により判断されたときに、処理部A3は、聴覚的出力部A41に対して、「今度は僕の番」と発声させた後、予め用意された第1の演奏データに従って同じ楽曲部分を下手に演奏させると共に、演奏操作援助装置PA自体を電子音楽装置EMの鍵盤の前方に移動して視覚的出力部A42により手(前足)を動かす動作を行わせる。
【0049】
つまり、演奏操作援助装置PAは、ミスを連発する演奏を行う。そして、聴覚的出力部A41に、例えば、「僕の方が下手だね。どう弾いたらいいのかな?教えてくれる?」と発声させ、MIDI出力部A4mを通じて同じ楽曲部分の伴奏を電子音楽装置EMに演奏させる。
【0050】
次いで、この伴奏に合わせてユーザが電子音楽装置EMで再度同じ楽曲部分を演奏すると、MIDI入力部A1mから認識部A2を通じてこの演奏内容が解析され、処理部A3により学習データベースA6に蓄積される。処理部A3は、聴覚的出力部A41に「ありがとう」のメッセージを発声させ、学習データベースA6に蓄積された演奏内容に従ってユーザの演奏をトレースしたような演奏を行わせる。そして、聴覚的出力部A41に「僕、君と同じくらいには弾けたかな?」と発声させ、MIDI出力部A4mを通じて電子音楽装置EMに、次に演奏すべき部分の伴奏を行わせる。
【0051】
〔認識情報と生成情報の種々の例〕
次に、演奏操作援助装置(ロボット型)PAにおいて認識部A2で認識された情報に対して処理部A3で生成される情報について、他モードでの特徴的な処理例を説明する。
【0052】
(A)バンドメンバーモードでの処理例
(A−1)動作設定部A7の動作モード設定操作により演奏操作援助装置PAのバンドメンバーモードが設定されている場合、ユーザの視線が所定方向(例えば、演奏操作援助装置PAの両眼の方向)に向いていること(アイコンタクト)が動作開始の条件となる。
【0053】
すなわち、認識部A2は、視覚的入力検出部A12からのユーザ画像について視線認識機能によりユーザの視線が所定方向に向いていること(アイコンタクト)を認識し、次いで、ユーザがドラムスティックでカンカン音を発生させると、聴覚的入力検出部A11を通じてドラムスティックのカンカン音を音声認識する。そして、処理部A3は、カンカン音の認識に応じて、楽曲演奏の開始を指示するMIDI制御情報をMIDI出力部A4mを通じ電子音楽装置EM,MDに送信し、電子音楽装置EMに予め設定された楽曲の伴奏演奏を開始させて、ユーザに所望パート(例えば、メロディパート)の演奏を指示し、電子音楽装置MDには当該楽曲の他パートの演奏を開始させる。
【0054】
(A−2)演奏中、視線認識により視線(アイコンタクト)が認識されたユーザが、ソロパート終了を表わす所定のジェスチャー(合図)を行うと、視覚的入力検出部A12を通じて認識部A2でソロパート終了の合図を画像認識し、処理部A3は、演奏パートの移行を指示するMIDI制御情報をMIDI出力部A4mを通じて電子音楽装置MDに送信し、電子音楽装置MDの演奏パートを次のパートに移行させる。
【0055】
(A−3)また、視線認識により視線(アイコンタクト)が認識されたユーザが、エンディング延長を表わす所定のアクション(合図)を行うと、視覚的入力検出部A12を通じて認識部A2でこのアクションを画像認識し、処理部A3は、演奏パートの移行を指示するMIDI制御情報をMIDI出力部A4mを通じて電子音楽装置EM,MDに送信し、エンディングのフェルマータを伸ばすように制御する。
【0056】
(B)レッスンの先生モードでの処理例
(B−1)動作設定部A7のモード設定により演奏操作援助装置PAの先生モードが設定されている場合に、生徒(ユーザ)が電子音楽装置EMを演奏すると、認識部A2は、音楽認識機能により、聴覚的入力検出部A11を通じて入力された演奏音を模範演奏と比較して生徒演奏の上手/下手を判断し、処理部A3は、聴覚的出力部A41を通じて、言語で判断結果のメッセージを生徒(ユーザ)に伝える。この場合、生徒による電子音楽装置EMの演奏内容は、前述のように、MIDI演奏情報の形でMIDII/F11を通じてMIDI入力部A1mから入力するようにしてもよい。
【0057】
(B−2)視覚的又は聴覚的入力検出部A12,A11から入力される生徒(ユーザ)の画像や音声について認識部A2の画像及び音声認識により生徒の挙動や感情を判断し、処理部A3は、聴覚的出力部A41乃至視覚的出力部A42を通じて言語で判断結果のメッセージを生徒(ユーザ)に伝える。
【0058】
(B−3)認識部A2は、視覚的入力検出部A12から入力される生徒(ユーザ)の画像又はMIDI入力部A1mへのMIDI演奏情報の有無に基づいて生徒が演奏をしていないことを判断し、処理部A3は、聴覚的出力部A41乃至視覚的出力部A42を通じて言語で演奏を促すメッセージを生徒(ユーザ)に伝える。
【0059】
(C)友達モードでの処理例
演奏操作援助装置PAの友達モードでは、ユーザの演奏を聴覚的入力検出部A11又はMIDI入力部A1mから認識部A2を通じて演奏の手癖を解析し学習データベースA6に蓄積しておき、ユーザが再度演奏する際に、演奏操作援助装置PAが、学習した手癖を真似たMIDI演奏情報を学習データベースA6から読み出し、MIDI出力部A4mを通じて電子音楽装置EMに送信し、同様の演奏をさせる。
【0060】
〔種々の実施態様〕
以上、図面を参照しつつ、この発明の好適な実施の形態について詳述したが、これは単なる一例であって、この発明の精神を逸脱しない範囲で種々の変更が可能である。例えば、具体的な動作例については、ロボット型の演奏操作援助装置を中心に説明したが、ロボット型の演奏操作援助装置で、首や尾を振ったり手(前足)を動かす等のジェスチャーや、ダンス、顔の表情、眼の動きなどといったロボットのフィードバック動作は、電子音楽装置組み込み型やその他別体型において、同様の動作をディスプレイ上に表示することにより、ユーザにフィードバックすることができる。
【0061】
また、組み込み型の場合、MIDI入力部A1mとMIDI出力部A4mは、電子音楽装置内部でのMIDIデータ或いはMIDIデータに準ずるデータの授受を行う機能ブロックに該当する。すなわち、電子音楽装置内部で授受される際のデータ形式は、MIDIデータの形式に限らず、それに準じたデータであってもよい。
【0062】
また、実施形態の説明においては、入力検出部として、聴覚的入力、視覚的入力、物理的入力及び電子的入力の全てを備え、出力フィードバック部として、聴覚的フィードバック、視覚的フィードバック及び物理的フィードバックの全てを備える例を示したが、入力検出部、出力フィードバック部ともに、少なくとも1つの入力やフィードバックを備えていればよい。
【図面の簡単な説明】
【0063】
【図1】この発明の一実施例による電子音楽装置のハードウエア構成例を表わすブロック図である。
【図2】この発明の一実施例による演奏操作援助装置の機能的構成例を表わすブロック図である。
【符号の説明】
【0064】
PA 演奏操作援助装置、
A1 聴覚的、視覚的、物理的及び電子的入力検出部A11〜A14を含む入力検出部、A1m 電子的入力検出部A14に含まれるMIDI入力部、
A2 認識データベースA5を参照して入力動作情報を認識(解釈)する認識部、
A3 学習データベースA6を参照し認識(解釈)結果に従って、電子音楽装置EMに対する演奏制御情報及びユーザに対するフィードバック情報を生成する処理部、
A4 聴覚的、視覚的及び物理的フィードバック部A41〜A43並びにMIDI出力部A4mを含む出力フィードバック部、
A7 動作設定部。




 

 


     NEWS
会社検索順位 特許の出願数の順位が発表

URL変更
平成6年
平成7年
平成8年
平成9年
平成10年
平成11年
平成12年
平成13年


 
   お問い合わせ info@patentjp.com patentjp.com   Copyright 2007-2013