米国特許情報 | 欧州特許情報 | 国際公開(PCT)情報 | Google の米国特許検索
 
     特許分類
A 農業
B 衣類
C 家具
D 医学
E スポ−ツ;娯楽
F 加工処理操作
G 机上付属具
H 装飾
I 車両
J 包装;運搬
L 化学;冶金
M 繊維;紙;印刷
N 固定構造物
O 機械工学
P 武器
Q 照明
R 測定; 光学
S 写真;映画
T 計算機;電気通信
U 核技術
V 電気素子
W 発電
X 楽器;音響


  ホーム -> 楽器;音響 -> ヤマハ株式会社

発明の名称 自動伴奏装置及びプログラム
発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開2007−86570(P2007−86570A)
公開日 平成19年4月5日(2007.4.5)
出願番号 特願2005−277219(P2005−277219)
出願日 平成17年9月26日(2005.9.26)
代理人 【識別番号】100107995
【弁理士】
【氏名又は名称】岡部 惠行
発明者 中村 吉就
要約 課題
ユーザが弾き始めたり歌い始めた曲に適した伴奏を自動的に行うこと。

解決手段
この自動伴奏装置では、多数の楽曲について楽曲データが楽曲データベースDに記憶され、各楽曲に対応して伴奏スタイルなどの伴奏データが伴奏データベースFに用意される。ユーザが或る曲を楽器や歌唱で演奏し始めると、演奏内容がMIDIデータで入力され(A〜C)、MIDIデータの音列パターンに一致する音列パターンを有する楽曲データが楽曲データベースDから抽出されて、ユーザが演奏し始めた楽曲が認識されると共に、MIDIデータのテンポや移調量、進行位置などが検出される(E)。そして、認識された楽曲に適した伴奏データが伴奏データベースFから自動的に選択され、検出されたテンポや移調量に応じ且つ進行位置タイミングに合わせた自動伴奏が実行される(G)。この自動伴奏は所定位置から開始したりフェードインで開始することができる。
特許請求の範囲
【請求項1】
楽曲に関連付けて伴奏データを記憶している伴奏データ記憶手段と、
ユーザ演奏に基づく演奏データを入力する演奏データ入力手段と、
演奏データ入力手段により入力された演奏データに基づいて楽曲を認識する楽曲認識手段と、
楽曲認識手段により認識された楽曲に関連付けられている伴奏データを伴奏データ記憶手段から選択し、選択された伴奏データに従って伴奏を実行する伴奏手段と
を具備することを特徴とする自動伴奏装置。
【請求項2】
前記伴奏手段は、伴奏データが選択された後、入力された演奏データの進行に合わせて自動的に伴奏を開始することを特徴とする請求項1に記載の自動伴奏装置。
【請求項3】
前記楽曲認識手段は、前記演奏データ入力手段により入力された演奏データのテンポを認識し、
前記伴奏手段は、認識されたテンポで伴奏を実行する
ことを特徴とする請求項1又は2に記載の自動伴奏装置。
【請求項4】
前記楽曲認識手段は、前記演奏データ入力手段により入力された演奏データの移調量を認識し、
前記伴奏手段は、認識された移調量で伴奏を実行する
ことを特徴とする請求項1〜3の何れか1項に記載の自動伴奏装置。
【請求項5】
楽曲に関連付けて伴奏データを記憶している伴奏データ記憶手段を具備するコンピュータに、
ユーザ演奏に基づく演奏データを入力する演奏データ入力ステップと、
演奏データ入力ステップで入力された演奏データに基づいて楽曲を認識する楽曲認識ステップと、
楽曲認識ステップで認識された楽曲に関連付けられている伴奏データを伴奏データ記憶手段から選択し、選択された伴奏データに従って伴奏を実行する伴奏ステップと
から成る手順を実行させる自動伴奏プログラム。
発明の詳細な説明
【技術分野】
【0001】
この発明は、ユーザが歌唱や楽器で曲を演奏し始めると、その楽曲を認識し楽曲に合う情報を順次出力することができる電子音楽システム、より詳しくいうと、演奏し始めた楽曲を認識して自動的に楽曲に合った伴奏を行う自動伴奏システムに関する。
【背景技術】
【0002】
電子楽器等の電子音楽装置において伴奏の自動演奏機能を備えるものは、例えば、特許文献1により知られている。このような自動伴奏装置では、スタイルナンバでスタイルデータ(伴奏のパターンデータ)を指定して選択したり、伴奏のスタートをユーザが指定する必要があり、操作が面倒である。
【特許文献1】特開平8−211865号公報
【発明の開示】
【発明が解決しようとする課題】
【0003】
この発明は、このような事情に鑑み、ユーザが弾き始めたり歌い始めた曲に適した伴奏を自動的に行うことができる自動伴奏装置を提供することを目的とする。
【課題を解決するための手段】
【0004】
この発明の主たる特徴に従うと、楽曲に関連付けて伴奏データを記憶している伴奏データ記憶手段(F)と、ユーザ演奏に基づく演奏データ(MIDIデータ)を入力する演奏データ入力手段(A〜C)と、演奏データ入力手段(A〜C)により入力された演奏データに基づいて楽曲を認識する楽曲認識手段(E;R1〜R8)と、楽曲認識手段(E)により認識された楽曲に関連付けられている伴奏データを伴奏データ記憶手段(F)から選択し、選択された伴奏データに従って伴奏を実行する伴奏手段(G)とを具備する自動伴奏装置(電子音楽装置、コンピュータ)〔請求項1〕が提供され、楽曲に関連付けて伴奏データを記憶している伴奏データ記憶手段(F)を具備するコンピュータ(電子音楽装置)に、ユーザ演奏に基づく演奏データ(MIDIデータ)を入力する演奏データ入力ステップ(A〜C)と、演奏データ入力ステップ(A〜C)で入力された演奏データに基づいて楽曲を認識する楽曲認識ステップ(E;R1〜R8)と、楽曲認識ステップ(E)で認識された楽曲に関連付けられている伴奏データを伴奏データ記憶手段(F)から選択し、選択された伴奏データに従って伴奏を実行する伴奏ステップ(G)とから成る手順を実行させる自動伴奏プログラム〔請求項5〕が提供される。なお、括弧書きは、理解の便のために付記した実施例の参照記号、用語等を表わし、以下においても同様である。
【0005】
この発明による自動伴奏装置の伴奏手段(G)は、伴奏データが選択された後、入力された演奏データ(MIDIデータ)の進行に合わせて自動的に伴奏を開始する(R6)〔請求項2〕ように構成することができる。
【0006】
この発明による自動伴奏装置において、楽曲認識手段(E;R1〜R8)は、演奏データ入力手段(A〜C)により入力された演奏データ(MIDIデータ)のテンポを認識し(R2,R7)、伴奏手段(G)は、認識されたテンポで伴奏を実行する〔請求項3〕ように構成することができる。また、この発明による自動伴奏装置において、楽曲認識手段(E;R1〜R8)は、演奏データ入力手段(A〜C)により入力された演奏データ(MIDIデータ)の移調量を認識し(R3)、伴奏手段(G)は、認識された移調量で伴奏を実行する〔請求項4〕ように構成することができる。
【発明の効果】
【0007】
この発明の主たる特徴による自動伴奏システムでは(請求項1,5)、予め楽曲と関連付けて伴奏データが伴奏データ記憶手段(F)に用意されており、ユーザが曲の演奏を始めると、ユーザ演奏に基づく演奏データ(MIDIデータ)が入力され(A〜C)、まず、入力された演奏データに基づいて楽曲が認識される(E;R1)。ここで、ユーザが歌唱の演奏により音声を発生したり楽器の演奏により楽器音を発生した場合は、歌唱や楽器の演奏音に基づく音信号(音声/音響信号)は、楽曲の認識処理が可能なMIDI等の演奏データに変換されてからシステムに入力され(A,B)、ユーザが電子的演奏操作子を演奏操作した場合には、演奏操作に基づき発生される認識処理が可能なMIDI等の演奏データがそのまま入力にされる(C)。次いで、入力された演奏データに対応して認識された楽曲に関連付けられている伴奏データが伴奏データ記憶手段(F)から自動的に選択され、選択された伴奏データに従って自動伴奏が実行される(G)。従って、この発明によれば、ユーザが歌唱により曲を歌い始めたり楽器により曲を弾き始めたりするだけで、演奏し始めた曲に関連する伴奏を自動的に選ぶことができ、ユーザによる伴奏の指定が不要になる。
【0008】
また、この発明による自動伴奏装置では、伴奏データが選択された後、入力された演奏データ(MIDIデータ)の進行に合わせて自動的に伴奏を開始する(R6)ように構成される(請求項2)。例えば、伴奏データが選択された後、楽曲進行上の所定位置(例えば、小節などの音楽的区切り位置)から自動的に伴奏を開始したり〔図6(a)〕、伴奏データが選択された直後から所定位置までフェードイン制御を施して伴奏を自動的に開始する〔図6(b)〕。従って、この発明によれば、自動的に伴奏を開始することにより再生指示の手間を省くことができるだけでなく、所定位置からの伴奏開始やフェードインによる伴奏開始によって音楽的に違和感を伴うことなく伴奏を始めることができる。
【0009】
さらに、この発明による自動伴奏装置においては、入力された演奏データ(MIDIデータ)のテンポを認識し(R2,R7)、認識されたテンポで伴奏を実行するようにしているので(請求項3)、入力演奏データの進行に合わせた適切なテンポで自動伴奏を実行することができる。また、入力された演奏データ(MIDIデータ)の移調量を認識し(R3)、認識された移調量で伴奏を実行するようにしているので(請求項4)、入力演奏データの音高に合わせた適切な調で自動伴奏を実行することができる。
【発明を実施するための最良の形態】
【0010】
〔電子音楽装置の概要〕
図1は、この発明の一実施例による電子音楽装置のハードウエア構成ブロック図を示す。この電子音楽装置には、電子楽器、又は、演奏操作部乃至楽音信号発生部を備えるパーソナルコンピュータ(PC)のように電子楽器と同等の音楽情報処理機能を有する音楽情報処理装置が用いられる。この電子音楽装置は、中央処理装置(CPU)1、ランダムアクセスメモリ(RAM)2、読出専用メモリ(ROM)3、外部記憶装置4、演奏操作検出回路5、設定操作検出回路6、表示回路7、音源回路8、効果回路9、音データ入力インターフェース(I/F)10、通信インターフェース(I/F)11、MIDIインターフェース(I/F)12などを備え、これらの要素1〜12はバス13を介して互いに接続される。
【0011】
CPU1は、RAM2及びROM3と共にデータ処理回路DPを構成し、所定の制御プログラムに従い、タイマ14によるクロックを利用して楽曲認識処理を含む種々の音楽情報処理を実行する。RAM2は、これらの処理に際して必要な各種データを一時記憶するためのワーク領域として用いられる。また、ROM3には、これらの処理を実行するために必要な各種制御プログラムや制御データ、演奏データ等が予め記憶される。
【0012】
外部記憶装置4は、ハードディスク(HD)等の内蔵記憶媒体の外に、コンパクトディスク・リード・オンリィ・メモリ(CD−ROM)、フレキシブルディスク(FD)、光磁気(MO)ディスク、ディジタル多目的ディスク(DVD)、スマートメディア(登録商標)等の小型メモリカード、等々、種々の可搬性の外部記録媒体を含み、制御プログラムを含む任意のデータを任意の外部記憶装置4に記憶することができる。また、所定の外部記憶装置(例えば、HD)4を利用して、楽曲データベース、伴奏データベース、曲情報データベース、画像データベースなどを構築することができる。
【0013】
演奏操作検出回路5は、鍵盤などの演奏操作子15の演奏操作内容を検出し、これに対応するMIDI形式の演奏データ(MIDIデータという)をデータ処理回路DPに導入する。設定操作検出回路6は、キースイッチやマウス等の設定操作子16の設定操作内容を検出し、これに対応する設定データをデータ処理回路DPに導入する。設定操作子16には、例えば、音源回路8及び効果回路9における楽音信号生成の条件を設定する機能の外に、楽曲認識モード等のモードを設定するためのモードスイッチや、楽曲認識モードにおいて、伴奏、曲情報表示、画像表示などの出力を選択的に指示するための出力選択スイッチ、伴奏などの出力開始に対して「すぐにフェードインでスタート」を指示するためのフェードインスイッチ、曲情報表示の出力時に、楽譜、歌詞、コード名などの表示を選択的に指定するための表示選択スイッチ等がある。表示回路7は、画面表示用LCD等のディスプレイ(表示器)17や各種インジケータ(図示せず)の表示/点灯内容をCPU1からの指令に従って制御し、各操作子15,16の操作に対する表示援助を行う。
【0014】
音源回路8及び効果回路9は、楽音信号生成部(音源部とも呼ばれる)として機能し、設定操作子16により設定された条件に従って、音源回路8により演奏操作検出回路5からの実演奏MIDIデータに応じた楽音データを発生し、効果付与DSPを有する効果回路9により楽音データに所定の効果を付与し、実演奏の楽音信号を生成する。楽音信号生成部8,9は、また、楽曲認識処理の際は、実演奏MIDIデータに対応して決定される伴奏データに従って伴奏の楽音信号を発生したり、自動演奏の際には記憶手段(3,4)等からの演奏データに従って自動演奏の楽音信号を発生することもできる。効果回路9に後続するサウンドシステム17は、D/A変換部やアンプ、スピーカを備え、効果回路9からの楽音信号に基づく楽音を発生する。
【0015】
音データ入力I/F10には、マイクやエレクトリックギター等の音信号発生機器及び音信号処理回路を含む音響入力機器30が接続される。音響入力機器30は、マイクや音信号発生機器からの入力音信号を音信号処理回路でディジタル化して音データに変換し、ディジタル化された音データは、音データ入力I/F10を通じてデータ処理回路DPに導入される。なお、データ処理回路DPに導入された音データは、マイクや音信号発生機器からの入力音信号を拡声するために、効果回路9を通じ出力音信号に再変換してサウンドシステム17から放音することができる。
【0016】
通信I/F11には、インターネットやローカルエリアネットワーク(LAN)などの通信ネットワーク40が接続され、外部のサーバコンピュータ50等から制御プログラムをダウンロードしたり演奏データを記憶装置4に保存してこの電子音楽装置で利用することができる。
【0017】
MIDII/F12には、この電子音楽装置と同様のMIDI音楽情報処理機能を有する外部MIDI機器60が接続され、MIDII/F11を通じてこの電子音楽装置と外部MIDI機器60との間でMIDIデータを授受することができる。また、外部MIDI機器60における演奏操作子の操作に基づく外部MIDI機器60からのMIDIデータは、この電子音楽装置の演奏操作子15の操作に基づく実演奏MIDIデータと同様に、楽音信号生成部8,9を通じて実演奏の楽音信号を生成するのに用いることができる。
【0018】
〔各実施形態〕
この発明の一実施例による電子音楽装置は、設定操作子のモードスイッチ操作で楽曲認識モードがセットされた際に楽曲認識処理を実行し、ユーザが歌やメロディを演奏し始めると、演奏し始めた歌やメロディの楽曲を自動認識すると共に、楽曲に合った情報を順次出力することができる。この電子音楽装置の第1実施形態では、楽曲の進行に合わせて自動的に伴奏を演奏する自動伴奏装置として動作し、第2実施形態では、楽曲の進行に合わせて、楽譜、歌詞、コード名などの曲情報を順次表示していく曲情報表示装置として動作し、第3実施形態では、楽曲の進行に合わせて進行中の楽曲に相応しい画像を順次表示していく画像表示装置として動作する。図2〜図4は、この発明の第1〜第3実施形態による電子音楽装置の機能を説明するための概略機能ブロック図である。
【0019】
〔第1実施形態〕
第1実施形態による自動伴奏装置は、設定操作子の出力選択スイッチで伴奏出力を選択した際に機能し、ユーザが歌い始めたり楽器で弾き始めた楽曲を認識すると共に、認識された楽曲に関連した伴奏を自動的に演奏することができる。この自動伴奏装置を機能ブロックで概略的に表わすと、図2のように、音声/音響入力部A、MIDI化部B、MIDI入力部C、楽曲データベースD、楽曲認識部E、伴奏データベースF及び伴奏制御部Gから成り、機能部A〜Cは、楽曲認識部Eでの楽曲の認識処理が可能なMIDI形式の演奏データ(MIDIデータ)を入力するための演奏データ入力手段を構成する。
【0020】
音声/音響入力部Aは、音響入力機器30及び音データ入力I/F10の機能に対応しており、ユーザが、例えば、歌やハミングなどを唄ったりギター等の楽器でメロディを弾いたりすると、ユーザの演奏音が音響入力機器30のマイクから入力され、歌唱やハミング等による音声や楽器演奏による音響の波形を表わす音信号が音響入力機器30の音信号処理回路でディジタル化され、ディジタル化された音データは音データ入力I/F10を介してデータ処理回路DPに入力される。MIDI化部Bは、データ処理回路DPのMIDI化機能部に対応しており、音声/音響入力部Aから入力された音データから音高やタイミング、音長等を検出してMIDI化を行い、音データをMIDIデータに変換する。
【0021】
MIDI入力部Cは、演奏操作子15及び演奏操作検出回路5或いは外部MIDI機器60及びMIDII/F12の機能に対応しており、演奏操作子15のユーザ操作により発生されるMIDIデータ或いは外部MIDI機器60から受信されるMIDIデータをそのままデータ処理回路DPに入力する。
【0022】
楽曲データベースDは、外部記憶装置4の楽曲データベース構築部に対応しており、多数の楽曲に関する楽曲データを記憶している。各楽曲データは、例えば、楽曲の名称を表わす楽曲名データ、楽曲を特定するための楽曲ID等の楽曲識別データ、楽曲演奏時の基準テンポ値を表わす基準テンポデータ、楽曲を構成する各楽音の音高と音長を音高−時間座標で表わす「音長+音高」情報を時間軸に沿って時系列的に並べた音長+音高列データ(単に「音列データ」ともいう)などから成る。
【0023】
楽曲認識部Eは、データ処理回路DPの楽曲認識機能部に対応しており、MIDI化部Bで音データから変換されたMIDIデータや、MIDI入力部CからのMIDIデータが供給される。なお、図示のように、音声/音響入力部A及びMIDI化部Bから成るMIDIデータ入力系列及びMIDI入力部BによるMIDIデータ入力系列の双方を備えるものに限らず、どちらか一方のみのMIDIデータ入力系列を備えていてもよい。
【0024】
楽曲認識部Eは、楽曲認識処理プログラムに従って、まず、供給されたMIDIデータを、楽曲データベースDに記憶されている楽曲データに含まれる音長+音高列データと同様の形式に変換する(「音長+音高列化」という)。次いで、このMIDIデータのうち冒頭の所定区間(例えば、最初の数小節程度)の音長+音高列データが表わす音長+音高列パターン(単に「音列パターン」ともいう)について、楽曲データベースD内の楽曲データとマッチング処理を行い、MIDIデータが何れの楽曲を表わしているかを認識する。すなわち、MIDIデータの冒頭の音長+音高列パターンに対して最も高いマッチング度の音長+音高列パターンを持つ楽曲データが、MIDIデータに対応しユーザが演奏している楽曲を表わしているものとして、楽曲データベースDから抽出される。
【0025】
楽曲認識部Eは、テンポ値や音高値を考慮しないで音長+音高列データのパターン・マッチング処理を行うので、入力されたMIDIデータと決定された楽曲データとの間で音長+音高列データの音長列及び音高列を比較することにより、MIDIデータのテンポ及び移調量を決定(検出)する。例えば、両データでマッチングが採られた音長+音高列データ全体の時間長を比較してテンポの比又は差を検出し、検出されたテンポの比又は差と当該楽曲データの基準テンポに基づいてMIDIデータのテンポを決定する。また、音長+音高列データに含まれる各「音長+音高」情報の音高からMIDIデータと楽曲データとの(平均)音高差を検出し、検出された音高差に基づいて、楽曲データに対するMIDIデータの移調量を決定する。楽曲認識部Eは、さらに、MIDIデータのテンポと演奏経過時間に基づいて、拍位置や小節位置などの楽曲上の進行位置を決定(検出)する。
【0026】
そして、楽曲認識部Eは、楽曲データベースDから抽出された楽曲データの楽曲識別データ、当該楽曲データから得られたMIDIデータのテンポ、移調量及び進行位置を示すデータ、並びに、設定操作子16のフェードインスイッチの操作の有無に基づく出力開始指令を、制御データとして伴奏制御部Gに出力する。なお、このような制御データは、後述する第2及び第3実施形態〔図5及び図6〕の出力制御部J,Lにも出力される。
【0027】
図5は、MIDIデータの入力例を表わし、各白抜きブロックPa〜Peは、入力されたMIDIデータの先頭の所定部分を占める音長+音高列データを構成する「音長+音高」情報を表わす。各斜線塗りブロックSa〜Seは、このMIDIデータに対応する楽曲データの音長+音高列データを構成する「音長+音高」情報を表わし、図示のように、入力MIDIデータの音長+音高列パターンPa〜Peは、基準となった楽曲データの音長+音高列パターンSa〜Seにマッチングしている。
【0028】
図5(a)の例は、MIDIデータが楽曲データより早いテンポで入力された場合における両データの音長+音高列パターンの時間軸成分(音長列)を示しており、MIDIデータ先頭部分の音長情報で表わされる音長列の時間即ちパターンPa〜Pe全体の時間長t0〜tpは、楽曲データの対応部分の全音長情報で表わされる音長列の総時間即ちパターンSa〜Se全体の時間長t0〜tsより短い。このように両データのテンポが異なる場合、例えば、(楽曲データの基準テンポ値)×(入力音長列の時間長tp/基準音長列の時間長ts)〔但し、t0=0〕により入力データのテンポ値を求めることができる。
【0029】
図5(b)は、MIDIデータが楽曲データに対して移調された状態で入力された場合における両データの音長+音高列パターン例を示しており、MIDIデータ先頭部分の音高情報で表わされる音高列の音高は、音長+音高列パターンPa〜Peの縦方向位置で示され、楽曲データの対応部分の各音高情報で表わされる音高列の音高も、音長+音高列パターンSa〜Seの縦方向位置で示される。この例では、入力MIDIデータのパターンPa〜Peの音高は、基準となる楽曲データのパターンSa〜Seより低い。このように両データ間に音高差がある場合は、入力音高列と基準音高列との音高差(両データの音高列パターンが完全一致していない場合は平均音高差)に対応する移調量を求める。
【0030】
伴奏データベースFは、外部記憶装置4の伴奏データベース構築部に対応しており、楽曲データベースD中の各楽曲データに関連付けられた伴奏データを多数記憶している。各楽曲データと1対1で伴奏データを記憶してもよいし、複数の楽曲データに対して1つの伴奏データを共用してもよい。前者のように1対1で記憶される伴奏データは、特定の楽曲のみを意図して作成された伴奏データであり、通常の1曲分の伴奏パートのMIDIデータとすることができる。後者のように複数の楽曲データに共用される伴奏データは、汎用の伴奏スタイルデータである。なお、伴奏データに汎用伴奏スタイルを用いる場合、各楽曲ごとにコード進行データやセクション切替えデータ(イントロ、メイン、フィルイン、エンディング等の各伴奏セクションをどのタイミングで切り替えるかを示すデータ)を別途持たせることにより、各楽曲ごとに適した伴奏を行うことができるので、好ましい。
【0031】
伴奏制御部Gは、データ処理回路DPの伴奏制御機能部に対応しており、楽曲認識部Eからの制御データに従って、認識された楽曲に関連付けられた伴奏データを自動的に選択し、選択された伴奏データに従って自動的に伴奏の再生を開始する。つまり、楽曲認識部EにおいてMIDIデータに対応すると決定された楽曲データの楽曲識別データに従って、認識された楽曲に関連付けられた伴奏データを伴奏データベースFから選択的に読み出して楽音生成部8,9に送って伴奏の楽音信号を生成させ、サウンドシステム14を通じて、ユーザにより入力されたMIDIデータに相応しい伴奏音を発生させる。この場合、楽曲認識部Eからの制御データに含まれる出力開始指令に従って演奏進行上の所定の音楽的区切り位置から極く自然に伴奏を開始し、制御データ中のテンポ、移調量及び進行位置(セクション切替え位置)に応じて、伴奏音のテンポ、移調量及び進行位置を制御する。
【0032】
図6は、伴奏制御部G等の出力制御部(G,J,L)による伴奏等の出力開始例を表わし、図6(a)は、フェードインスイッチ(16)の操作がないときの出力開始指令に従って、楽曲認識部Eで楽曲認識した後、所定の音楽的区切り位置から伴奏等の出力を開始させる場合の例であり、図6(b)は、フェードインスイッチが操作されたときの出力開始指令に従って、楽曲認識部Eでの楽曲認識の後、直ちにフェードインを施して伴奏等の出力を開始させる場合(「すぐにフェードインでスタート」と呼ぶ)の例である。各図において、上段は、進行位置が決定された入力MIDIデータを小節線タイミングで区切って表わしたものであり、中段は、楽曲認識に必要な時間を表わす楽曲認識期間を示し、下段は、伴奏等が出力されている状態を小節線タイミングで区切って表わしている。
【0033】
伴奏制御部Gは、通常の設定では所定位置から伴奏をスタートし、図6(a)の例のように、MIDIデータの入力を開始した時点t0から楽曲認識期間が経過した時点t1の後、次に現れる小節線タイミングt2から伴奏を開始する。一方、「すぐにフェードインでスタート」が設定されている場合は、図6(b)のように、入力開始時点t0から楽曲認識期間が経過した時点t1で直ちに伴奏を開始し、しかも、時点t1から次の小節線タイミングt2までは、「0」から「1」に漸増する音量係数値により伴奏出力の音量にフェードインをかけて更に自然な伴奏開始を行う。
【0034】
以上説明したように、第1実施形態の自動伴奏装置では、多数の楽曲について楽曲データが楽曲データベースDに記憶され、各楽曲に対応して伴奏スタイルなどの伴奏データが伴奏データベースFに用意される。ユーザが或る曲を楽器や歌唱で演奏し始めると、演奏内容がMIDIデータで入力され(A〜C)、MIDIデータの音列パターンに一致する音列パターンを有する楽曲データが楽曲データベースDから抽出されて、ユーザが演奏し始めた楽曲が認識されると共に、MIDIデータのテンポや移調量、進行位置(小節線タイミング等)などが検出される(E)。そして、認識された楽曲に適した伴奏データが伴奏データベースFから自動的に選択され、検出されたテンポや移調量に応じ且つ進行位置タイミングに合わせた自動伴奏が実行される(G)。また、この自動伴奏は、所定の位置(小節線タイミング等)から開始したりフェードインにより開始したりすることで、自然な伴奏開始を実現することができる。
【0035】
〔第2実施形態〕
第2実施形態による曲情報表示装置は、出力選択スイッチ(16)の操作により曲情報表示出力を選択した際に機能し、ユーザが歌い始めたり楽器で弾き始めた楽曲を認識し、認識された楽曲に関連した楽譜及び/又は歌詞及び/又はコード(名)を表示する機能を有する。この曲情報表示装置を機能ブロックで概略的に表わすと、図3のように、音声/音響入力部A、MIDI化部B、MIDI入力部C、楽曲データベースD、楽曲認識部E、曲情報データベースH及び曲情報表示制御部Jから成り、演奏データ入力手段A〜C及び楽曲認識手段D,Eの機能は第1実施形態と変わらないが、出力実行手段が曲情報データベースH及び曲情報表示制御部Jで構成される。
【0036】
曲情報データベースHは、外部記憶装置4の曲情報データベース構築部に対応し、楽曲データベースD中の各楽曲データに関連付けられた曲情報表示データを多数記憶している。曲情報表示データには、楽譜データや歌詞データ、コードデータがあり、曲情報データベースHには、楽譜+歌詞+コードのセットで記憶してもよいし、楽譜+歌詞、歌詞+コード、楽譜+コードのセットでも、楽譜のみ、歌詞のみ、コードのみで記憶してもよい。
【0037】
曲情報データベースHに記憶される楽譜データは、ビットマップのような楽譜画像データでもよいし、楽譜記号にその表示位置又は発生タイミングを示す論理楽譜データでもよいし、楽譜画像データを生成する元になるMIDI演奏データでもよい。また、歌詞データは、画像データであってもよいし、改ページや歌詞タイミングデータ等を含むテキストデータであってもよい。さらに、コードデータは、テキスト形式のデータが好ましい。
【0038】
曲情報表示制御部Jは、データ処理回路DPの曲情報表示制御機能部に対応しており、楽曲認識部Eからの制御データに従って、認識された楽曲に関連付けられた曲情報表示データ(表示選択スイッチにより、楽譜データ、歌詞データ及びコードデータの少なくとも何れか1つを指定することができる)を自動的に選択し、選択された曲情報表示データに従って自動的に曲情報表示を開始する。つまり、楽曲認識部EにおいてMIDIデータに対応すると決定された楽曲データの楽曲識別データに従って、認識された楽曲に関連付けられた曲情報表示データを曲情報データベースHから選択的に読み出して表示回路7に送り、ユーザにより入力されたMIDIデータに対応する楽曲の曲情報をディスプレイ17に表示させる。曲情報表示の際には、楽曲認識部Eで検出されたテンポ、移調量乃至進行位置に応じて表示制御を行い、MIDIデータの進行に合わせて最適の曲情報を順次表示していく。例えば、テンポに応じて各曲情報表示に対するワイプスピードを変化し、移調量に応じて楽譜やコード名の表示を変更し、進行位置に応じてページを切り替える。
【0039】
なお、曲情報表示の開始態様については、第1実施形態の自動伴奏装置と同様に、図6(a)のように楽曲認識が完了した後の所定タイミングから表示を開始してもよいし、楽曲認識を完了した後、直ちに表示を開始してもよい。さらに、後者のように楽曲認識の直後から表示する場合は、図6(b)の「すぐにフェードインでスタート」のように表示のフェードインを用いても、このようなフェードインを用いなくてもよい。また、第2実施形態による曲情報表示は、単独で行われてもよいし、出力選択スイッチの同時選択により第1実施形態の自動伴奏を伴うようにしてもよい。
【0040】
以上説明したように、第2実施形態の曲情報表示装置では、多数の楽曲について楽曲データが楽曲データベースDに記憶され、各楽曲に対応して、楽曲演奏の補助として表示される楽譜、歌詞、コード名などの曲情報を表示するための曲情報表示データが曲情報データベースHに用意される。ユーザが或る曲を楽器や歌唱で演奏し始めると、演奏内容がMIDIデータで入力され(A〜C)、MIDIデータの音列パターンに一致する音列パターンを有する楽曲データが楽曲データベースDから抽出されて、ユーザが演奏し始めた楽曲が認識されると共に、MIDIデータのテンポや移調量、進行位置(小節線タイミング等)などが検出される(E)。そして、認識された楽曲に対応する曲情報表示データが曲情報データベースHから自動的に選択され、検出されたテンポや進行位置タイミングに合わせて、楽譜、歌詞、コード名などの曲情報が表示される(J)。
【0041】
〔第3実施形態〕
第3実施形態による画像表示装置は、ユーザが楽器で弾き始めたり歌い始めた楽曲を認識し、認識された楽曲に関連した画像(動画又は静止画)を自動的に表示する機能を有する。この自動伴奏装置を機能ブロックで概略的に表わすと、図4のように、音声/音響入力部A、MIDI化部B、MIDI入力部C、楽曲データベースD、楽曲認識部E、画像データベースK及び画像表示制御部Lから成り、演奏データ入力手段A〜C及び楽曲認識手段D,Eの機能は第1或いは第2実施形態と変わらないが、出力実行手段が画像データベースK及び画像表示制御部Lで構成される。
【0042】
画像データベースKは、外部記憶装置4の画像データベース構築部に対応し、楽曲データベースD中の各楽曲データに関連付けられた画像データを多数記憶している。画像データには、楽曲のアーティストの映像やカラオケの背景映像、楽曲に合ったアニメーション等の動画でもよいし、楽曲のアーティストの写真や楽曲に合った背景画、楽曲に合った絵本や紙芝居(例えば、楽曲が童謡「浦島太郎」なら浦島太郎の紙芝居画像)等の順次切換え表示可能な複数枚の静止画でもよい。曲情報データベースHには、各楽曲と1対1で画像データを記憶してもよいし、複数の楽曲に対し1つの画像データを共用してもよい。
【0043】
表示制御部Lは、データ処理回路DPの画像表示制御機能部に対応しており、楽曲認識部Eからの制御データに従って、認識された楽曲に関連付けられた画像データを自動的に選択し、選択された画像データに従って自動的に画像表示を開始する。つまり、楽曲認識部EでMIDIデータに対応すると決定された楽曲データの楽曲識別データに従い、認識された楽曲に関連付けられた画像データを画像データベースKから選択的に読み出して表示回路7に送り、ユーザ演奏によるMIDIデータに対応する楽曲に適した画像をディスプレイ17に表示させる。画像表示の際には、楽曲認識部Eで検出されたテンポ及び進行位置(進行上のタイミング)に応じて表示制御を行い、MIDIデータの進行に合わせて最適の画像を順次表示していく。例えば、テンポに応じて動画の再生スピードを制御し、進行位置に応じて静止画のページ切替えを制御する。
【0044】
なお、楽曲認識部Eで検出された移調量は画像表示の制御には使われない。さらに、曲情報表示の開始態様については、第1実施形態の自動伴奏装置と同様に、図6(a)のように楽曲認識が完了した後の所定タイミングから表示を開始してもよいし、楽曲認識の完了直後から表示を開始してもよく、後者の場合、図6(b)の「すぐにフェードインでスタート」のように表示のフェードインを用いても、フェードインを用いなくてもよい。
【0045】
また、第3実施形態による画像表示は、単独で行われてもよいし、出力選択スイッチの同時選択により、第1実施形態の自動伴奏や第2実施形態による曲情報表示を伴うようにしてもよい。また、絵本や紙芝居の画像を表示する場合は、語りの音声データを記憶しておき、画像の再生に加えて語りの音声データを再生するようにしてもよい。
【0046】
以上説明したように、第3実施形態の画像表示装置では、多数の楽曲について楽曲データが楽曲データベースDに記憶され、各楽曲に対応して動画や複数枚の静止画などの画像データが画像データベースKに用意される。ユーザが或る曲を楽器や歌唱で演奏し始めると、演奏内容がMIDIデータで入力され(A〜C)、MIDIデータの音列パターンに一致する音列パターンを有する楽曲データが楽曲データベースDから抽出されて、ユーザが演奏し始めた楽曲が認識されると共に、MIDIデータのテンポや進行位置(小節線タイミング等)などが検出される(E)。そして、認識された楽曲に関連する画像データが画像データベースKから自動的に選択され、検出されたテンポや進行位置タイミングに合わせてMIDIデータに相応しい画像が順次表示されていく(L)。
【0047】
〔処理フロー例〕
図7は、この発明の一実施例による楽曲認識処理を表わすフローチャートを示す。この楽曲認識処理フローは、ユーザによる設定操作子16のモードスイッチの操作に基づいてこの電子音楽装置に楽曲認識モードがセットされ、出力選択スイッチを操作して、伴奏、曲情報表示、画像表示などが指示されると開始し、楽曲認識部Eで実行される。
【0048】
最初のステップR1では、CPU1は、演奏データ入力手段A〜Cにより入力されたMIDIデータを音長+音高列データに変換し(音長+音高列化)、この音長+音高列データの先頭の所定部分について、楽曲データベースD内の楽曲データと音長+音高列パターンのマッチング処理を行い(テンポ違いや移調されたものは許容)、当該所定部分の音長+音高列パターンと最もマッチする音長+音高列パターンを有する楽曲データを楽曲データベースDから抽出し、当該楽曲データの楽曲識別データが示す楽曲であると認識する。
【0049】
次のステップR2では、入力MIDIデータにおける所定部分の音長列と抽出された楽曲データにおける対応部分の音長列との時間比に応じて、入力MIDIデータのテンポを決定し〔図5(a)〕、続くステップR3では、入力MIDIデータ音高列と基準楽曲データ音高列との音高差に応じて入力MIDIデータの移調量を決定する〔図5(b)〕。
【0050】
そして、ステップR4で、抽出された楽曲データ中の楽曲識別データやステップR2,R3で決定されたテンポ及び移調量を表わすデータを制御データとして、出力選択スイッチの選択操作に対応して指定される出力制御部G,J,Lに供給する。例えば、出力選択スイッチ操作で伴奏が指示された場合、この指示に対応して指定される伴奏制御部Gにこれらの制御データを供給し、曲情報表示が指示された場合は曲情報表示部Jに制御データを供給し、画像表示が指示された場合には画像制御部Lに制御データを供給する。
【0051】
次いで、ステップR5で、入力MIDIデータについて、現在、ステップR1で認識された楽曲内における進行位置を求め、求められた現在の進行位置が所定位置であるか否かを判定し、入力MIDIデータの進行位置が所定位置に到達しない間は(R5→NO)、ステップR5に戻って所定位置に到達するまで待機する。そして、ユーザ演奏の進行位置が当該楽曲内の所定位置に到達すると(R5→YES)、ステップR6に進み、出力選択スイッチで指定された出力制御部G,J,Lに出力開始指令を送って情報出力のスタートを指示する。例えば、出力選択スイッチ操作で伴奏が指示された場合は伴奏制御部Gに伴奏スタートを指示し、曲情報表示が指示された場合はデータを曲情報表示部Jに曲情報表示(楽譜、歌詞乃至コード名表示)のスタートを指示し、画像表示が指示された場合には画像制御部Lに画像表示スタートを指示する。
【0052】
なお、フェードインスイッチ(16)の操作で「すぐにフェードインでスタート」が指示された場合は、破線で示すように、ステップR4で、楽曲識別データ、テンポデータ、移調量データ等の制御データを伴奏制御部Gに供給した後、直ちにステップRAに進み、伴奏制御部Gや他の出力制御部J,Lに対する制御データとして、図6(b)で説明した「すぐにフェードインでスタート」を指示する出力開始指令を供給する。
【0053】
ステップR6或いはステップRAで情報出力スタートを指示した後は、ステップR7に進んで、演奏データ入力手段A〜Cから入力されたMIDIデータを、順次、音長+音高列音長+音高列化して入力MIDIデータのテンポ及び進行位置を検出し、検出されたテンポ及び進行位置を表わすデータを制御データとして指定の出力制御部G,J,Lに供給する。続くステップR8で、入力MIDIデータの進行位置が楽曲の末尾に達したか否かを判定し、入力MIDIデータの進行位置が楽曲末尾に達しないときは(R8→NO)、ステップR7に戻って、進行位置が楽曲末尾に達するまで(R8→YES)、指定された出力制御部G,J,Lに制御データを順次供給する。
【0054】
これにより、出力制御部即ち伴奏制御部G、曲情報表示制御部J或いは画像表示制御部Lでは、供給された制御データに基づいて、出力開始指令に応じた所定の態様でスタートし、入力MIDIデータのテンポや進行位置タイミングに合った伴奏、曲情報表示(楽譜、歌詞乃至コード名表示)或いは画像表示が自動的に実行される。そして、入力MIDIデータの進行位置が楽曲末尾に到達すると(R8→YES)この楽曲認識を終了する。
【0055】
〔種々の実施態様〕
以上、図面を参照しつつ、この発明の好適な実施の形態について詳述したが、これは単なる一例であって、この発明の精神を逸脱しない範囲で種々の変更が可能である。例えば、実施例では、入力されたMIDIデータを音列パターンに変換し、楽曲データベースD内に記憶されている楽曲データの音列パターンと比較することで、楽曲認識をするようにしたが、これに限らず、楽曲データベースD内の楽曲データをMIDIデータ形式で記憶しておき、入力されたMIDIデータと直接比較することで楽曲認識をしてもよい。
【0056】
また、楽曲データベースD内の楽曲データを音列パターン、MIDIデータ以外のデータ形式(例えば、楽音波形の特徴を示す波形特徴データ)で記憶しておき、入力されたMIDIデータ或いは音データを当該データ形式(波形特徴データ等)に変換して楽曲認識をしてもよい。要するに、入力されたMIDIデータや音データを、楽曲データベースD内に記憶されているデータ形式に揃えた後に、比較することで、楽曲認識をするものであれば、そのデータ形式は問わない
【0057】
また、音響入力機器30にて入力信号をディジタル化し、ディジタルの音データとして音データ入力1/F10へ入力するものに限らず、音響入力機器30側にはデイジタル化のための音信号処理回路を持たず、アナログの音信号のまま音データ入力1/F10へと入力後、電子音楽装置側に備えたディジタル化のための音信号処理回路にてディジタルの音データに変換してもよい。
【0058】
また、楽曲認識が完了した後、自動的に自動伴奏、曲情報表示、画像表示をするものに限らず、自動伴奏データ、曲情報表示データ、画像データを選択するところまでを行い、その後のユーザによる開始指示に従って自動伴奏、曲情報表示、画像表示を開始するようにしてもよい。その場合、楽曲認識のために入力するユーザ演奏、歌唱の部分は、楽曲の冒頭に限らず任意の部分とすることができる。
【0059】
また、データべースについては、楽曲データべースと、伴奏データベース、曲情報データベース、画像データベースを別データベースで構成したが、これに限らず、楽曲データと、伴奏データ、曲情報表示データ及び画像データとが対応付けられた単一のデータベースとして構成してもよい。
【図面の簡単な説明】
【0060】
【図1】この発明の一実施例による電子音楽装置のハードウエア構成例を表わすブロック図である。
【図2】この発明の第1実施形態による電子音楽装置(自動伴奏装置)の機能的構成例を表わすブロック図である。
【図3】この発明の第2実施形態による電子音楽装置(曲情報表示装置)の機能的構成例を表わすブロック図である。
【図4】この発明の第3実施形態による電子音楽装置(画像表示装置)の機能的構成例を表わすブロック図である。
【図5】この発明の各実施形態におけるMIDIデータの入力例を表わす図である。
【図6】この発明の各実施形態における伴奏及び表示の開始例を表わす図である。
【図7】この発明の一実施例による楽曲認識処理を表わすフローチャートである。
【符号の説明】
【0061】
A〜C 音声/音響入力部、MIDI化部及びMIDI入力部(演奏データ入力手段)、
D,E 楽曲データベース及び楽曲認識部(楽曲認識手段)、
G,J,L 伴奏制御部、曲情報表示制御部及び画像表示制御部(出力制御部)、
Pa〜Pe 入力されたMIDIデータの「音長+音高」パターン、
Sa〜Se 楽曲データベースDから抽出された楽曲データの「音長+音高」パターン。




 

 


     NEWS
会社検索順位 特許の出願数の順位が発表

URL変更
平成6年
平成7年
平成8年
平成9年
平成10年
平成11年
平成12年
平成13年


 
   お問い合わせ info@patentjp.com patentjp.com   Copyright 2007-2013