Warning: copy(.htaccess): failed to open stream: Permission denied in /home/jp321/public_html/header.php on line 8
楽譜表示装置および楽譜表示プログラム - カシオ計算機株式会社
米国特許情報 | 欧州特許情報 | 国際公開(PCT)情報 | Google の米国特許検索
 
     特許分類
A 農業
B 衣類
C 家具
D 医学
E スポ−ツ;娯楽
F 加工処理操作
G 机上付属具
H 装飾
I 車両
J 包装;運搬
L 化学;冶金
M 繊維;紙;印刷
N 固定構造物
O 機械工学
P 武器
Q 照明
R 測定; 光学
S 写真;映画
T 計算機;電気通信
U 核技術
V 電気素子
W 発電
X 楽器;音響


  ホーム -> 楽器;音響 -> カシオ計算機株式会社

発明の名称 楽譜表示装置および楽譜表示プログラム
発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開2007−25411(P2007−25411A)
公開日 平成19年2月1日(2007.2.1)
出願番号 特願2005−209407(P2005−209407)
出願日 平成17年7月20日(2005.7.20)
代理人 【識別番号】100096699
【弁理士】
【氏名又は名称】鹿嶋 英實
発明者 南高 純一 / 伊藤 貴子
要約 課題
楽譜以外の情報を視覚的に表現する楽譜表示装置を実現する。

解決手段
選択された曲の印象を表すパラメータとして、当該曲の曲データから平均音長meanlen、平均音高meanpitおよび平均音量meanvelを算出し、これらを色彩3属性(明度Bri、彩度Satおよび彩色相Hue)に対応する変換値A、変換値Bおよび変換値Cに換算する。これら変換値A、変換値Bおよび変換値Cに最も近い明度Bri、彩度Satおよび彩色相Hueを有するヘッダHD[minp]を画像データベースIDBから検索し、該当するヘッダHD[minp]で指定される画像データD[minp]を、楽譜の背景として表示する。この結果、楽譜化する曲の印象に相応しい画像が楽譜の背景として表示されるので、楽譜以外の情報を視覚的に表現できる。
特許請求の範囲
【請求項1】
各画像毎の色彩属性および画像データを記憶する画像記憶手段と、
曲を構成する各音を表す曲データを記憶する曲データ記憶手段と、
前記曲データ記憶手段に記憶される曲データから曲の印象を表すパラメータを抽出し、それを色彩属性に対応させた変換値に変換する曲分析手段と、
前記曲分析手段により生成された変換値に最も近い色彩属性の画像データを前記画像記憶手段から選択する画像選択手段と、
前記画像選択手段により選択された画像データを、対応する色彩属性に従って楽譜の背景画像として表示する背景画像表示手段と
を具備することを特徴とする楽譜表示装置。
【請求項2】
演奏模範となる曲データに対して、ユーザ演奏で生じる演奏データの評価結果を発生する演奏評価手段と、
前記演奏評価手段が発生する評価結果に応じて補正される色彩属性に従って楽譜の背景として表示される画像の表示態様を異ならせる画像補正手段と
を具備することを特徴とする楽譜表示装置。
【請求項3】
各画像毎の色彩属性および画像データを記憶する画像記憶手段と、
曲を構成する各音を表す曲データを記憶する曲データ記憶手段と、
前記曲データ記憶手段に記憶される曲データから曲の印象を表すパラメータを抽出し、それを色彩属性に対応させた変換値に変換する曲分析手段と、
前記曲分析手段により生成された変換値に最も近い色彩属性の画像データを前記画像記憶手段から選択する画像選択手段と、
前記画像選択手段により選択された画像データを、対応する色彩属性に従って楽譜の背景画像として表示する背景画像表示手段と、
演奏模範となる曲データに対して、ユーザ演奏で生じる演奏データの評価結果を発生する演奏評価手段と、
前記演奏評価手段が発生する評価結果に応じて補正される色彩属性に従って前記背景画像表示手段により表示された背景画像の表示態様を異ならせる画像補正手段と
を具備することを特徴とする楽譜表示装置。
【請求項4】
前記色彩属性は、対応する画像の明度、彩度および色相を指定することを特徴とする請求項1乃至3のいずれかに記載の楽譜表示装置。
【請求項5】
前記画像補正手段は、少なくとも明度、彩度および色相のいずれかを評価結果に応じて補正することを特徴とする請求項2又は3のいずれかに記載の楽譜表示装置。
【請求項6】
曲を構成する各音を表す曲データから曲の印象を表すパラメータを抽出し、それを色彩属性に対応させた変換値に変換する曲分析処理と、
予め記憶された各画像毎の色彩属性および画像データの内、前記曲分析手段により生成された変換値に最も近い色彩属性の画像データを選択する画像選択処理と、
前記画像選択処理により選択された画像データを、対応する色彩属性に従って楽譜の背景画像として表示する背景画像表示処理と
をコンピュータで実行させることを特徴とする楽譜表示プログラム。
【請求項7】
曲を構成する各音を表す曲データから曲の印象を表すパラメータを抽出し、それを色彩属性に対応させた変換値に変換する曲分析処理と、
予め記憶された各画像毎の色彩属性および画像データの内、前記曲分析手段により生成された変換値に最も近い色彩属性の画像データを選択する画像選択処理と、
前記画像選択処理により選択された画像データを、対応する色彩属性に従って楽譜の背景画像として表示する背景画像表示処理と、
演奏模範となる曲データに対して、ユーザ演奏で生じる演奏データの評価結果を発生する演奏評価処理と、
前記演奏評価処理が生成する評価結果に応じて補正される色彩属性に従って前記背景画像表示処理にて表示された背景画像の表示態様を異ならせる画像補正処理と
をコンピュータで実行させることを特徴とする楽譜表示プログラム。
発明の詳細な説明
【技術分野】
【0001】
本発明は、楽譜以外の情報を視覚的に表現する楽譜表示装置および楽譜表示プログラムに関する。
【背景技術】
【0002】
曲を構成する各音を表す曲データを楽譜化して表示する楽譜表示装置が知られている。例えば、特許文献1には、色彩と楽曲の演奏の仕方に関する指示との対応関係を示す関係情報を用いて、楽譜中で演奏指示する部分を指定色で表示して演奏練習を効果的に行えるようにした楽譜表示装置が開示されている。
【0003】
【特許文献1】特開2003−5743号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
ところで、上記特許文献1に開示の装置では、楽譜中で演奏指示する部分を指定色で表示して演奏練習をアシストするだけなので、楽譜化する曲の印象やユーザの演奏結果といった楽譜以外の情報を視覚的に表現することが出来ないという問題がある。
そこで本発明は、このような事情に鑑みてなされたもので、楽譜化する曲の印象やユーザの演奏結果といった楽譜以外の情報を視覚的に表現することができる楽譜表示装置および楽譜表示プログラムを提供することを目的としている。
【課題を解決するための手段】
【0005】
上記目的を達成するため、請求項1に記載の発明では、各画像毎の色彩属性および画像データを記憶する画像記憶手段と、曲を構成する各音を表す曲データを記憶する曲データ記憶手段と、前記曲データ記憶手段に記憶される曲データから曲の印象を表すパラメータを抽出し、それを色彩属性に対応させた変換値に変換する曲分析手段と、前記曲分析手段により生成された変換値に最も近い色彩属性の画像データを前記画像記憶手段から選択する画像選択手段と、前記画像選択手段により選択された画像データを、対応する色彩属性に従って楽譜の背景画像として表示する背景画像表示手段とを具備することを特徴とする。
【0006】
請求項2に記載の発明では、演奏模範となる曲データに対して、ユーザ演奏で生じる演奏データの評価結果を発生する演奏評価手段と、前記演奏評価手段が発生する評価結果に応じて補正される色彩属性に従って楽譜の背景として表示される画像の表示態様を異ならせる画像補正手段とを具備することを特徴とする。
【0007】
請求項3に記載の発明では、各画像毎の色彩属性および画像データを記憶する画像記憶手段と、曲を構成する各音を表す曲データを記憶する曲データ記憶手段と、前記曲データ記憶手段に記憶される曲データから曲の印象を表すパラメータを抽出し、それを色彩属性に対応させた変換値に変換する曲分析手段と、前記曲分析手段により生成された変換値に最も近い色彩属性の画像データを前記画像記憶手段から選択する画像選択手段と、前記画像選択手段により選択された画像データを、対応する色彩属性に従って楽譜の背景画像として表示する背景画像表示手段と、演奏模範となる曲データに対して、ユーザ演奏で生じる演奏データの評価結果を発生する演奏評価手段と、前記演奏評価手段が発生する評価結果に応じて補正される色彩属性に従って前記背景画像表示手段により表示された背景画像の表示態様を異ならせる画像補正手段とを具備することを特徴とする。
【0008】
上記請求項1乃至3のいずれかに従属する請求項4に記載の発明では、前記色彩属性は、対応する画像の明度、彩度および色相を指定することを特徴とする。
【0009】
上記請求項2又は3のいずれかに従属する請求項5に記載の発明では、前記画像補正手段は、少なくとも明度、彩度および色相のいずれかを評価結果に応じて補正することを特徴とする。
【0010】
請求項6に記載の発明では、曲を構成する各音を表す曲データから曲の印象を表すパラメータを抽出し、それを色彩属性に対応させた変換値に変換する曲分析処理と、予め記憶された各画像毎の色彩属性および画像データの内、前記曲分析手段により生成された変換値に最も近い色彩属性の画像データを選択する画像選択処理と、前記画像選択処理により選択された画像データを、対応する色彩属性に従って楽譜の背景画像として表示する背景画像表示処理とをコンピュータで実行させることを特徴とする。
【0011】
請求項7に記載の発明では、曲を構成する各音を表す曲データから曲の印象を表すパラメータを抽出し、それを色彩属性に対応させた変換値に変換する曲分析処理と、予め記憶された各画像毎の色彩属性および画像データの内、前記曲分析手段により生成された変換値に最も近い色彩属性の画像データを選択する画像選択処理と、前記画像選択処理により選択された画像データを、対応する色彩属性に従って楽譜の背景画像として表示する背景画像表示処理と、演奏模範となる曲データに対して、ユーザ演奏で生じる演奏データの評価結果を発生する演奏評価処理と、前記演奏評価処理が生成する評価結果に応じて補正される色彩属性に従って前記背景画像表示処理にて表示された背景画像の表示態様を異ならせる画像補正処理とをコンピュータで実行させることを特徴とする。
【発明の効果】
【0012】
請求項1、6に記載の発明によれば、曲データから曲の印象を表すパラメータを抽出して色彩属性に対応させた変換値に変換すると、その変換値に最も近い色彩属性の画像データが予め記憶された各画像毎の色彩属性および画像データの内から選択され、選択された画像データを対応する色彩属性に従って楽譜の背景画像として表示する。したがって、楽譜化する曲の印象に相応しい画像が楽譜の背景として表示されるから、楽譜以外の情報を視覚的に表現出来るようになる。
【0013】
請求項2に記載の発明によれば、演奏模範となる曲データに対して、ユーザ演奏で生じる演奏データの評価結果を発生すると、その評価結果に応じて補正される色彩属性に従って楽譜の背景として表示される画像の表示態様を異ならせる。この結果、ユーザの演奏結果に応じて、楽譜の背景となる画像の表示態様が変化する為、楽譜以外の情報を視覚的に表現することができる。
【0014】
請求項3、7に記載の発明によれば、曲データから曲の印象を表すパラメータを抽出して色彩属性に対応させた変換値に変換すると、その変換値に最も近い色彩属性の画像データが予め記憶された各画像毎の色彩属性および画像データの内から選択され、選択された画像データを対応する色彩属性に従って楽譜の背景画像として表示する。これにより、楽譜化する曲の印象に相応しい画像が楽譜の背景として表示される為、楽譜以外の情報を視覚的に表現することができる。
また、演奏模範となる曲データに対して、ユーザ演奏で生じる演奏データの評価結果を発生すると、その評価結果に応じて補正される色彩属性に従って背景画像の表示態様を異ならせる結果、ユーザの演奏結果に応じて楽譜の背景画像の表示態様が変化して楽譜以外の情報を視覚的に表現することができる。
【発明を実施するための最良の形態】
【0015】
以下、図面を参照して本発明の実施の形態について説明する。
A.構成
図1は、本発明の実施の一形態による楽譜表示装置の構成を示すブロック図である。この図において、操作部10は、電源スイッチの他、キー入力用のキーボードやマウス等の入力操作子を備え、入力操作に対応したイベントを発生する。このイベントはCPU11に取り込まれる。CPU11は、ROM12に記憶される各種制御プログラムを実行し、操作部10が発生するイベントに対応して装置各部を制御するものであり、その特徴的な処理動作については追って詳述する。
【0016】
ROM12は、プログラムエリアおよびデータエリアを備える。ROM12のプログラムエリアには、CPU11にロードされる各種制御プログラムが記憶される。各種制御プログラムとは、後述するメインルーチン、曲分析処理、画像選択処理、演奏評価処理、楽譜表示処理、画像補正処理、楽譜描画処理および背景描画処理を含む。ROM12のデータエリアには、音符や休符、譜表などを表示するための楽譜表示データやGUI画面を形成する各種画面データが記憶される。RAM13は、ワークエリアおよびデータエリアを備える。RAM13のワークエリアには、CPU11の処理に用いられる各種レジスタ/フラグデータが一時記憶される。RAM13のデータエリアは、画像データエリアおよび曲データエリアを有する。
【0017】
RAM13の画像データエリアには、画像データベースIDBが設けられる。図2は、RAM13の画像データエリアに設けられる画像データベースIDBの構成を示す図である。この図に示す画像データベースIDBは、各画像の色彩属性を表すヘッダHD[0]〜HD[N]と、これらヘッダHD[0]〜HD[N]に対応する画像データD[0]〜[N]とを備える。ヘッダHDは、対応する画像データDを指定するポインタHP、当該ポインタHPで指定される画像データD[HP]の明度Bri、彩度Satおよび色相Hueを指定する。
【0018】
なお、明度Bri、彩度Satおよび色相Hueは、色彩の3属性であり、明度Briは明暗を表す輝度を、彩度Satは色の鮮やかさを表す純度(飽和度)を、色相Hueは色合をそれぞれ表すものである。本実施形態では、後述するように、楽譜化する曲の印象に最も近い明度Bri、彩度Satおよび色相Hueを有するヘッダHD[picp]を画像データベースIDBから検索し、該当するヘッダHD[picp]により指定される画像データD[picp]を、楽譜の背景として表示するようになっている。
【0019】
RAM13の曲データエリアには、各曲の属性を表す曲ヘッダKH[0]〜KH[N]と、これらヘッダKH[0]〜KH[N]に対応する曲データKD[0]〜[N]とを備える。曲ヘッダKHは、図3に図示するように、対応する曲データKDを指定するポインタP、当該ポインタPで指定される曲データKD[P]のテンポTmp、調Keyおよび拍子Baetから構成される。曲データKDは、図示していないが、曲を構成する各音の発音時刻、音長、音高および音量を有し、曲の終わりには終端を表すデータendを備える。
【0020】
音源14は、周知の波形メモリ読み出し方式で構成され、RAM13の曲データエリアからCPU11が順次読み出す曲データを、指定テンポに同期して再生して楽音信号を出力する。サウンドシステム15は、音源14から出力される楽音信号をD/A変換した後に増幅してスピーカSPから発音する。表示部16は、CPU11から供給される表示制御信号に応じて楽譜表示したり、装置の動作状態を表示する。
【0021】
インタフェース(I/F)部17は、CPU11の制御の下に外部装置と画像データDを授受する通常のインタフェースの他、外部MIDI機器とMIDI形式の曲データを授受するMIDIインタフェースを備える。なお、図1には図示していないが、インタフェース(I/F)部17のMIDIインタフェースに、外部MIDI機器としてキーボード装置が接続される場合、当該キーボード装置の押離鍵操作に対応して生じる演奏データは、MIDIインタフェースを介してRAM13の曲データエリアに、演奏データとして格納されるようになっている。
【0022】
B.動作
次に、図4〜図11を参照して上記構成による実施形態の動作について説明する。以下では、先ず最初に全体動作としてメインルーチンの動作を説明した後、続いてメインルーチンからコールされる曲分析処理、画像選択処理、演奏評価処理および楽譜表示処理の各動作を説明する。
【0023】
(1)メインルーチンの動作
装置電源の投入に応じて、CPU11は図4に図示するメインルーチンを実行してステップSA1に処理を進め、RAM13のワークエリアに設けられる各種レジスタ/フラグ類をリセットしたり、初期値セットする初期化を実行する。そして、ステップSA2に進み、ユーザによるキー操作入力待ち状態となる。次いで、ステップSA3〜SA8では、キー操作入力待ち状態下で「曲選択」、「画像選択」、「再生選択」、「演奏開始」、「演奏評価」および「印刷」の実行を指示するキー操作入力の有無を判断する。
【0024】
「曲選択」を指示するキー操作入力が行われた場合には、ステップSA3において、RAM13の曲データエリアに格納される曲データを一覧表示する曲選択用のGUI画面を発生して表示部16に表示する。そして、この曲選択用のGUI画面においてユーザが曲選択を行うと、ステップSA3の判断結果が「YES」になり、ステップSA9を介して曲分析処理(後述する)を実行した後、ステップSA15を介して楽譜表示処理(後述する)を実行してから上述のステップSA2に処理を戻してキー操作入力待ち状態に復帰する。
【0025】
「画像選択」を指示するキー操作入力が行われた場合には、ステップSA4の判断結果が「YES」になり、ステップSA10を介して画像選択処理(後述する)を実行した後、ステップSA15を介して楽譜表示処理(後述する)を実行してから上述のステップSA2に処理を戻してキー操作入力待ち状態に復帰する。
【0026】
「再生選択」を指示するキー操作入力が行われた場合には、ステップSA5の判断結果が「YES」になり、ステップSA11に進む。ステップSA11では、上記ステップSA3にて選択された曲データを再生する再生処理を実行する。この後、ステップSA15を介して楽譜表示処理(後述する)を実行してから上述のステップSA2に処理を戻してキー操作入力待ち状態に復帰する。
【0027】
「演奏開始」を指示するキー操作入力が行われた場合には、ステップSA6の判断結果が「YES」になり、ステップSA12に進む。ステップSA12では、ユーザの演奏操作に応じて、外部MIDI機器(例えばキーボード)からインタフェース部17のMIDIインタフェースを介して入力される演奏データをRAM13の曲データエリアに取り込む演奏処理を実行する。この後、ステップSA15を介して楽譜表示処理(後述する)を実行してから上述のステップSA2に処理を戻してキー操作入力待ち状態に復帰する。
【0028】
「演奏評価」を指示するキー操作入力が行われた場合には、ステップSA7の判断結果が「YES」になり、ステップSA13を介して演奏評価処理(後述する)を実行した後、ステップSA15を介して楽譜表示処理(後述する)を実行してから上述のステップSA2に処理を戻してキー操作入力待ち状態に復帰する。
【0029】
「印刷」を指示するキー操作入力が行われた場合には、ステップSA8の判断結果が「YES」になり、ステップSA14に進む。ステップSA14では、表示部16の画面に表示された楽譜および背景を印刷する印刷処理をを実行する。この後、ステップSA15を介して楽譜表示処理(後述する)を実行してから上述のステップSA2に処理を戻してキー操作入力待ち状態に復帰する。
【0030】
(2)曲分析処理の動作
次に、図5を参照して曲分析処理の動作を説明する。上述したメインルーチンのステップSA9(図4参照)を介して本処理が実行されると、CPU11はステップSB1に処理を進める。ステップSB1〜SB4では、レジスタmeanlen、レジスタmeanpit、レジスタmeanvelおよびカウンタnをゼロリセットする。次いで、ステップSB5では、前述のステップSA3(図4参照)において選択された曲データKD[P]中の各音(音符)を指定するノートポインタnotepを初期化する。
【0031】
続いて、ステップSB6では、ノートポインタnotepが曲データKD[P]の終端endに達したか否かを判断する。終端endに達していなければ、判断結果は「NO」になり、ステップSB7に進む。ステップSB7では、ノートポインタnotepが指定する音符の音長をレジスタmeanlenに加算する。次いで、ステップSB8では、ノートポインタnotepが指定する音符の音高をレジスタmeanpitに加算する。続いて、ステップSB9では、ノートポインタnotepが指定する音符の音量をレジスタmeanvelに加算する。そして、ステップSB10では、カウンタnをインクリメントして歩進させる。次に、ステップSB11では、ノートポインタnotepを歩進させた後、上述のステップSB6に処理を戻す。
【0032】
以後、歩進されるノートポインタnotepが曲データKD[P]の終端endに達するまで上述したステップSB6〜SB11を繰り返すことによって、前述のステップSA3(図4参照)において選択された曲データKD[P]の音符の数がカウンタnにて計数されると共に、各音符の音長を累算した値がレジスタmeanlenに、各音符の音高を累算した値がレジスタmeanpitに、各音符の音量を累算した値がレジスタmeanvelにそれぞれストアされる。そして、ノートポインタnotepが曲データKD[P]の終端endに達すると、上記ステップSB6の判断結果が「YES」になり、ステップSB12に進む。
【0033】
そして、ステップSB12〜SB14では、カウンタnにて計数された音符数で音長累算値、音高累算値および音量累算値をそれぞれ除して得る平均音長、平均音高および平均音量をそれぞれレジスタmeanlen、レジスタmeanpitおよびレジスタmeanvelにストアして本処理を終える。
このように、曲分析処理では、前述のステップSA3(図4参照)において選択された曲データKD[P]の平均音長meanlen、平均音高meanpitおよび平均音量meanvelを算出するようになっている。
【0034】
(3)画像選択処理の動作
次に、図6を参照して画像選択処理の動作を説明する。上述したメインルーチンのステップSA10(図4参照)を介して本処理が実行されると、CPU11はステップSC1に処理を進める。ステップSC1では、次式(1)に基づき上述の曲分析処理にて求めた平均音長meanlenを明度Briに対応させた変換値Aに変換する。同様に、ステップSC2〜SC3では、次式(2)、(3)に基づき上述の曲分析処理にて求めた平均音高meanpitを彩度Satに対応させた変換値Bに、上述の曲分析処理にて求めた平均音量meanvelを彩色相Hueに対応させた変換値Cにそれぞれ変換する。
【0035】
変換値A=64×log2(meanlen/res) …(1)
変換値B=meanpit×2 …(2)
変換値C=meanvel×2 …(3)
なお、上記(1)〜(3)式は、変換値A〜Cが各々「0〜255」の範囲に収まるように定数resや乗算係数が設定されている。
【0036】
続いて、ステップSC4〜SC5では、レジスタminv、レジスタminpおよびポインタpicpを初期化する。次に、ステップSC6では、画像データベースIDB中のヘッダHD[picp]を指定するポインタpicpが終端endに達したか否かを判断する。ポインタpicpが終端endに達していなければ、判断結果は「NO」になり、ステップSC7に進む。ステップSC7では、上記ステップSC1〜SC3にて算出した(変換値A、変換値B、変換値C)と、ポインタpicpで指定されるヘッダHD[picp]中の(明度Bri、彩度Sat、色相Hue)との差分を算出してレジスタminにストアする。なお、ここで言う差分とは、各要素毎の差分(変換値A−明度Bri)、(変換値B−彩度Sat)および(変換値C−色相Hue)の自乗和平方根((A−Bri)2+(B−Sat)2+(C−Hue)21/2を指す。
【0037】
次に、ステップSC8では、最も小さい差分を保持するレジスタminvの値が、上記ステップSC7にて算出される差分を保持するレジスタminの値より大きいか否かを判断する。min>minvならば、判断結果は「NO」になり、後述のステップSC11に処理を進めるが、min<minvであると、判断結果が「YES」になり、ステップSC9に進み、レジスタminの値をレジスタminvに更新登録する。これにより、レジスタminvには最小差分が保持される。
【0038】
続いて、ステップSC10では、最小差分に対応した(明度Bri、彩度Sat、色相Hue)を備えたヘッダHD[picp]を指定するポインタpicpを、レジスタminpにストアする。次いで、ステップSC11に進み、ポインタpicpを歩進させた後、上述のステップSC6に処理を戻す。以後、ポインタpicpが終端endに達するまでステップSC6〜SC11を繰り返すことによって、レジスタminvに最小差分がストアされ、レジスタminpに最小差分に対応するポインタpicpがストアされる。そして、ポインタpicpが終端endに達すると、ステップSC6の判断結果が「YES」になり、本処理を完了させる。
【0039】
このように、画像選択処理では、前述の曲分析処理にて求めた曲の平均音長meanlen(変換値A)、平均音高meanpit(変換値B)および平均音量meanvel(変換値C)に最も近い明度Bri、彩度Satおよび彩色相Hueを有するヘッダHD[minp]を画像データベースIDB(図2参照)から検索することで、曲の印象に相応しい背景画像が選択されるようになっている。
【0040】
(4)演奏評価処理の動作
次に、図7を参照して演奏評価処理の動作を説明する。演奏評価処理では、メインルーチンのステップSA12(図4参照)を介して実行された演奏処理にてRAM13の曲データエリアに取り込んだ演奏データと、模範演奏に相当する曲データとを比較して演奏評価を行う。すなわち、上述したメインルーチンのステップSA13(図4参照)を介して本処理が実行されると、CPU11は、ステップSD1〜SD5において、レジスタdevon、レジスタdevoff、レジスタdevvel、ポインタnおよびノートポインタnotepをそれぞれゼロリセットする。続いて、ステップSD6では、ノートポインタnotepが演奏データの終端endに達したか否かを判断する。
【0041】
終端endに達していなければ、判断結果は「NO」になり、ステップSD7に進む。ステップSD7では、ノートポインタnotepが指定する演奏データ中の音(以下、演奏ノートと称す)に対応する正解ノートを曲データKDから検索してレジスタtnoteにストアする。なお、レジスタtnoteに格納される正解ノートは、発音時刻、音長、音高および音量からなる。次いで、ステップSD8では、ノートポインタnotepが指定する演奏ノートの発音時刻と、レジスタtnoteに格納される正解ノートの発音時刻との絶対差分を「発音タイミングずれ」としてレジスタdevonに加算する。
【0042】
次に、ステップSD9では、ノートポインタnotepが指定する演奏ノートの発音時刻および音長から得られる消音時刻と、レジスタtnoteに格納される正解ノートの発音時刻および音長から得られる消音時刻との絶対差分を「消音タイミングずれ」としてレジスタdevoffに加算する。続いて、ステップSD10では、ノートポインタnotepが指定する演奏ノートの音量と、レジスタtnoteに格納される正解ノートの音量との絶対差分を「ベロシティ差」としてレジスタdevvelに加算する。そして、ステップSD11では、カウンタnをインクリメントして歩進させ、続くステップSD12では、ノートポインタnotepを歩進させた後、上述のステップSD6に処理を戻す。
【0043】
以後、歩進されるノートポインタnotepが演奏データの終端endに達するまで上述したステップSD6〜SD12を繰り返すことによって、演奏ノートの数がカウンタnにて計数されると共に、演奏データの「発音タイミングずれ累算値」がレジスタdevonに、「消音タイミングずれ累算値」がレジスタdevoffに、「ベロシティ差累算値」がレジスタdevvelにそれぞれストアされる。そして、ノートポインタnotepが演奏データの終端endに達すると、上記ステップSD6の判断結果が「YES」になり、ステップSD13に進む。
【0044】
そして、ステップSD13〜SD15では、カウンタnにて計数された演奏ノートの数で「発音タイミングずれ累算値」、「消音タイミングずれ累算値」および「ベロシティ差累算値」をそれぞれ除して得る「発音タイミングずれ平均値」、「消音タイミングずれ平均値」および「ベロシティ差平均値」をそれぞれレジスタdevon、レジスタdevoffおよびレジスタdevvelにストアして本処理を終える。
【0045】
このように、演奏評価処理では、演奏処理にてRAM13の曲データエリアに取り込んだ演奏データと、演奏模範となる曲データとを比較する演奏評価により演奏データの発音タイミングずれ平均値devon、消音タイミングずれ平均値devoffおよびベロシティ差平均値devvelが算出される。
【0046】
(5)楽譜表示処理の動作
次に、図8〜図11を参照して楽譜表示処理の動作を説明する。前述したメインルーチンのステップSA15(図4参照)を介して実行される楽譜表示処理は、図8に図示するように、ステップSE1を介して実行される画像補正処理と、ステップSE2を介して実行される楽譜描画処理とから構成される。以下、画像補正処理および楽譜描画処理の各動作について述べる。
【0047】
(6)画像補正処理の動作
画像補正処理では、上述の演奏評価処理にて得られた評価要素(発音タイミングずれ平均値devon、消音タイミングずれ平均値devoffおよびベロシティ差平均値devvel)の内、いずれか1つの評価要素もしくは複数の評価要素に応じて、楽譜の背景として表示される画像の色彩3属性(明度Bri、彩度Satおよび色相Hue)の内、いずれか1つの属性もしくは複数の属性を補正する。図9に図示する一例の画像補正処理は、発音タイミングずれ平均値devonに応じて背景画像の明度Briを補正する。
【0048】
図8のステップSE1を介して画像補正処理が実行されると、CPU11は図9に図示するステップSF1に進み、上述の演奏評価処理にて得られた発音タイミングずれ平均値devonに所定の係数ronを乗算して補正明度Rbriを算出する。次いで、ステップSF2では、画素ポインタpicpを初期化する。続いて、ステップSF3〜SF7では、画素ポインタpicpを歩進させながら、前述の画像選択処理により選択された背景画像(ヘッダHD[minp]で指定される画像データD[minp])を構成する各画素値(Red、Gr、Bl)を読み出し、読み出した画素値(Red、Gr、Bl)を補正明度Rbriに応じて増加させる。つまり、発音タイミングずれ平均値devonが大きくなるほど明度を上げるように補正する。そして、背景画像を構成する各画素値全てについて明度補正し終えると、ステップSF3の判断結果が「YES」になり、本処理を終える。
【0049】
したがって、図9に図示する一例の画像補正処理によれば、ユーザの演奏により生じる発音タイミングずれ平均値devonが大きくなる程、つまり演奏下手である程、背景画像の明度が上がる為、ユーザの演奏結果が一目瞭然となり、楽譜以外の情報を視覚的に表現し得るようになる。
【0050】
なお、図9に図示した一例の画像補正処理は、説明の簡略化を図る為、発音タイミングずれ平均値devonに応じて明度補正するという単純な補正に止めたが、上述したように、評価要素(発音タイミングずれ平均値devon、消音タイミングずれ平均値devoffおよびベロシティ差平均値devvel)の内の複数の評価要素に応じて、楽譜表示の背景となる画像の3属性(明度Bri、彩度Satおよび色相Hue)の内の複数の属性を補正すれば、様々な視覚的な表現が可能になることは言うまでもない。
【0051】
(7)楽譜描画処理の動作
次に、図10〜図11を参照して楽譜描画処理の動作を説明する。図8のステップSE2を介して楽譜描画処理が実行されると、CPU11は図10に図示するステップSG1に進み、背景描画処理を実行する。背景描画処理は、図11に図示するステップSH1〜SH9から構成される。以下、図11を参照して背景描画処理の動作を説明する。先ずステップSH1では、前述の画像選択処理により選択された背景画像(ヘッダHD[minp]で指定される画像データD[minp])を読み出して描画する。
【0052】
次に、ステップSH2では、段カウンタを初期化する。段カウンタとは、背景画像上に描画する譜表(五線譜)の段数を計数する。ステップSH2では、段カウンタの値が最終段endに達したか否か、つまり全ての段を描画し終えたかどうかを判断する。全ての段を描画し終えていなければ、判断結果は「NO」になり、ステップSH4に進み、譜表カウンタを初期化する。譜表カウンタとは、五線譜の線数を計数するカウンタである。
【0053】
そして、ステップSH5〜SH8では、譜表カウンタを歩進させながら、五線譜の各線を順番に描画する。その過程で背景マスクが必要な箇所では背景画像をマスクする。そして、五線譜の各線を描画し終えると、ステップSH5の判断結果が「YES」になり、ステップSH9に進み、段カウンタを歩進させる。以後、全ての段を描画し終えるまでステップSH3〜SH9を繰り返す。そして、全ての段を描画し終えると、ステップSH9の判断結果が「YES」になり、本処理を終える。
【0054】
こうして、図10に図示した背景描画処理が完了すると、CPU11は図11に図示するステップSG2に処理を進め、譜面中の小節数を計数する小節カウンタを初期化する。次いで、ステップSG3では、小節カウンタの値が最終小節endに達したか否か、つまり全ての小節について音符を描画し終えたかどうかを判断する。全ての小節について音符を描画し終えていなければ、判断結果は「NO」になり、ステップSG4に進み、小節情報に基づき小節線を描画する。そして、ステップSG5に進み、小節中の音符を指定する音符ポインタnotepを初期化する。
【0055】
続いて、ステップSG6〜SG9では、歩進される音符ポインタnotepに応じて順次指定される各音符の小節内の表示位置を計算して描画する。そして、1小節内の全ての音符を描画し終えると、ステップSG6の判断結果が「YES」になり、ステップSG10に進む。ステップSG10では、小節カウンタを歩進させた後、上述のステップSG3に処理を戻す。以後、全ての小節について音符を描画し終えるまで上述したステップSG3〜SG10を繰り返し、全ての小節について音符を描画し終えると、ステップSG3の判断結果が「YES」になり、本処理を終える。
【0056】
以上のように、本実施の形態では、楽譜化する曲を選択すると、その選択された曲の印象を表すパラメータとして、当該曲の曲データから平均音長meanlen、平均音高meanpitおよび平均音量meanvelを算出し、これらを色彩3属性(明度Bri、彩度Satおよび彩色相Hue)に対応させる変換値A、変換値Bおよび変換値Cに変換する。そして、これら変換値A、変換値Bおよび変換値Cに最も近い明度Bri、彩度Satおよび彩色相Hueを有するヘッダHD[minp]を画像データベースIDBから検索し、該当するヘッダHD[minp]で指定される画像データD[minp]を、楽譜の背景として表示する。この結果、楽譜化する曲の印象に相応しい画像が楽譜の背景として表示される為、楽譜以外の情報を視覚的に表現し得るようになる。
【0057】
また、上述した実施の形態では、演奏模範となる曲データに対するユーザ演奏で生じる演奏データを評価する複数の評価要素として、例えば発音タイミングずれ平均値devon、消音タイミングずれ平均値devoffおよびベロシティ差平均値devvelを発生し、これら複数の評価要素の内、いずれか1つの評価要素もしくは複数の評価要素に応じて、楽譜の背景として表示される画像の色彩3属性(明度Bri、彩度Satおよび色相Hue)の内、いずれか1つの属性もしくは複数の属性を補正する。具体的な一例として、発音タイミングずれ平均値devonに応じて背景画像の明度Briを補正すれば、ユーザの演奏結果に応じて、楽譜表示の背景となる画像の表示態様が変化する為、楽譜以外の情報を視覚的に表現し得るようになる。
【0058】
なお、本実施の形態では、曲の印象を表すパラメータとして、当該曲の曲データから平均音長meanlen、平均音高meanpitおよび平均音量meanvelを算出し、これらを色彩3属性(明度Bri、彩度Satおよび彩色相Hue)に対応させる変換値A、変換値Bおよび変換値Cに変換するようにしたが、これに限らず、例えば曲の調やコード進行を曲の印象を表すパラメータとして抽出し、これらを色彩3属性に対応させる変換値に変換することも可能である。
【図面の簡単な説明】
【0059】
【図1】本発明による実施の一形態の構成を示すブロック図である。
【図2】画像データベースIDBの構成を示す図である。
【図3】曲ヘッダKHの構成を示す図である。
【図4】メインルーチンの動作を示すフローチャートである。
【図5】曲分析処理の動作を示すフローチャートである。
【図6】画像選択処理の動作を示すフローチャートである。
【図7】演奏評価処理の動作を示すフローチャートである。
【図8】楽譜表示処理の動作を示すフローチャートである。
【図9】画像補正処理の動作を示すフローチャートである。
【図10】楽譜描画処理の動作を示すフローチャートである。
【図11】背景描画処理の動作を示すフローチャートである。
【符号の説明】
【0060】
10 操作部
11 CPU
12 ROM
13 RAM
14 音源
15 サウンドシステム
16 表示部
17 インタフェース部




 

 


     NEWS
会社検索順位 特許の出願数の順位が発表

URL変更
平成6年
平成7年
平成8年
平成9年
平成10年
平成11年
平成12年
平成13年


 
   お問い合わせ info@patentjp.com patentjp.com   Copyright 2007-2013