Warning: copy(.htaccess): failed to open stream: Permission denied in /home/jp321/public_html/header.php on line 8
楽音制御装置および楽音制御処理のプログラム - カシオ計算機株式会社
米国特許情報 | 欧州特許情報 | 国際公開(PCT)情報 | Google の米国特許検索
 
     特許分類
A 農業
B 衣類
C 家具
D 医学
E スポ−ツ;娯楽
F 加工処理操作
G 机上付属具
H 装飾
I 車両
J 包装;運搬
L 化学;冶金
M 繊維;紙;印刷
N 固定構造物
O 機械工学
P 武器
Q 照明
R 測定; 光学
S 写真;映画
T 計算機;電気通信
U 核技術
V 電気素子
W 発電
X 楽器;音響


  ホーム -> 楽器;音響 -> カシオ計算機株式会社

発明の名称 楽音制御装置および楽音制御処理のプログラム
発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開2007−193151(P2007−193151A)
公開日 平成19年8月2日(2007.8.2)
出願番号 特願2006−11888(P2006−11888)
出願日 平成18年1月20日(2006.1.20)
代理人 【識別番号】100090619
【弁理士】
【氏名又は名称】長南 満輝男
発明者 寺尾 健
要約 課題
マイクロフォンから出力された音声信号を模範となる伴奏曲の基準の音声信号に近づけて、歌唱者の音程や音量のずれを矯正して発音する。

解決手段
CPUおよびDSPは、マイクロフォンから入力された音声信号のパラメータを抽出し、基準となる音声信号のパラメータをMIDIデータとして入力し、抽出されたパラメータの値と入力されたパラメータとの合成比の重み付けを演算し、演算された重み付けに基づいて抽出されたパラメータの値および入力されたパラメータの値に基づいて対応する音声を合成してサウンドシステムに送出する。
特許請求の範囲
【請求項1】
マイクロフォンから入力された音声信号のパラメータを抽出する抽出手段と、
基準となる音声信号のパラメータを入力する入力手段と、
前記抽出手段によって抽出されたパラメータの値と前記入力手段によって入力されたパラメータとの合成比の重み付けを演算する演算手段と、
前記演算手段によって演算された重み付けに基づいて前記抽出されたパラメータの値および前記入力されたパラメータの値に基づいて対応する音声を合成して発音手段に送出する合成手段と、
を備えた楽音制御装置。
【請求項2】
前記抽出されたパラメータおよび前記入力されたパラメータは、音声信号の周波数を表すパラメータであることを特徴とする請求項1に記載の楽音制御装置。
【請求項3】
前記抽出されたパラメータおよび前記入力されたパラメータは、音声信号の振幅を表すパラメータであることを特徴とする請求項1に記載の楽音制御装置。
【請求項4】
前記演算手段は、操作によって設定された制御データに基づいて合成比の重み付けを演算することを特徴とする請求項1に記載の楽音制御装置。
【請求項5】
前記演算手段は、前記マイクロフォンに設けられた操作子の操作量に対応して設定された制御データに基づいて合成比の重み付けを演算することを特徴とする請求項4に記載の楽音制御装置。
【請求項6】
マイクロフォンから入力された音声信号のパラメータを抽出するステップAと、
基準となる音声信号のパラメータを入力するステップBと、
前記ステップAによって抽出されたパラメータの値と前記ステップBによって入力されたパラメータとの合成比の重み付けを演算するステップCと、
前記ステップCによって演算された重み付けに基づいて前記抽出されたパラメータの値および前記入力されたパラメータの値に基づいて対応する音声を合成して発音手段に送出するステップDと、
をコンピュータに実行させる楽音制御処理のプログラム。
【請求項7】
前記抽出されたパラメータおよび前記入力されたパラメータは、音声信号の周波数を表すパラメータであることを特徴とする請求項6に記載の楽音制御処理のプログラム。
【請求項8】
前記抽出されたパラメータおよび前記入力されたパラメータは、音声信号の振幅を表すパラメータであることを特徴とする請求項6に記載の楽音制御処理のプログラム。
【請求項9】
前記ステップCは、操作によって設定された制御データに基づいて合成比の重み付けを演算することを特徴とする請求項7に記載の楽音制御処理のプログラム。
【請求項10】
前記ステップCは、前記マイクロフォンに設けられた操作子の操作量によって設定された制御データに基づいて合成比の重み付けを演算することを特徴とする請求項9に記載の楽音制御処理のプログラム。
発明の詳細な説明
【技術分野】
【0001】
本発明は、楽音制御装置および楽音制御処理のプログラムに関し、特に、マイクロフォンから入力される音声信号を制御する楽音制御装置および楽音制御処理のプログラムに関するものである。
【背景技術】
【0002】
入力された歌声に応じてマイクロフォンから音声信号を出力し、アンプ等の信号処理系を通して発音するシステムとしては、広く普及しているカラオケシステムのみならず、プロ用のスタジオ録音やライブ演奏のシステムなどが知られている。近年のシステムにおいては、歌唱する対象者が伴奏曲に合わせて入力した音声に応じてマイクロフォンから出力された音声信号を、アナログからデジタルに変換して信号処理を施し、信号処理された後にその音声信号をデジタルからアナログに変換して発音する構成になっている。この信号処理に多く使用されているデバイスとして、DSP(Digital Signal Processor)がある。このDSPを使用することによって、歌唱する対象者の音声にエコーやリバーブの効果音を付加したり、歌唱する対象者の音質とは異なる音質で発音することもできる。例えば、ある提案の声質変換装置および声質変換方法並びに声質変換プログラムにおいては、変換目標話者の発音内容に依存しない自由な声質変換を可能とする技術が開示されている。この提案の構成は、図1に特徴的に示されるように、目標話者の音声信号を入力部11に入力し、目標話者音声と同一あるいは類似の発音内容の発音記号列を発音記号列入力部12に入力する。音声合成部14は、入力された発音記号列にしたがって、音声合成用データ記憶部13内の音声合成用データベースを用いて合成音を作成する。特徴パラメータ抽出部15は、目標話者音声を分析して特徴パラメータを抽出し、特徴パラメータ抽出部16は、作成された合成音を分析して特徴パラメータを抽出する。変換関数生成部17は、抽出された双方の特徴パラメータを用い、合成音のスペクトル形状を目標話者音声のスペクトル形状に変換する関数を同定する。音質変換部18は、同定された変換関数により、入力信号の音質変換を行う。(特許文献1参照)。
【特許文献1】特開2005−266349号公報
【発明の開示】
【発明が解決しようとする課題】
【0003】
しかしながら、上記特許文献1を含む従来の技術では、作成された合成音の特徴と入力された音声信号の特徴との差分の間で、入力された音声信号の特徴から合成音の特徴に任意の偏倚量で近づけて発音するようなものではない。したがって、歌唱する対象者が入力した音声の音程や音量が模範となる伴奏曲の基準の音声信号からずれている場合に、そのずれを矯正することはできない。
本発明は、このような従来の課題を解決するためのものであり、マイクロフォンから出力された音声信号が模範の音声信号からずれている場合に、そのずれを模範となる基準の音声信号に近づけて、歌唱の音程や音量を矯正して発音できるようにすることを目的とする。
【課題を解決するための手段】
【0004】
請求項1に記載の楽音制御装置は、マイクロフォンから入力された音声信号のパラメータを抽出する抽出手段(実施形態においては、図1のDSP7に相当する)と、基準となる音声信号のパラメータ(実施形態においては、図1のMIDIデータに含まれている基準のパラメータに相当する)を入力する入力手段(実施形態においては、図1のCPU1に相当する)と、抽出手段によって抽出されたパラメータの値と入力手段によって入力されたパラメータとの合成比の重み付けを演算する演算手段(実施形態においては、図1のDSP7に相当する)と、演算手段によって演算された重み付け(実施形態においては、図7のp_omomiおよび図8のa_omomiに相当する)に基づいて抽出されたパラメータの値および入力されたパラメータの値に基づいて対応する音声を合成して発音手段(実施形態においては、サウンドシステムに相当する)に送出する合成手段(実施形態においては、図1のDSP7に相当する)と、を備えた構成になっている。
【0005】
請求項1の楽音制御装置において、請求項2に記載したように、抽出されたパラメータおよび入力されたパラメータは、音声信号の周波数を表すパラメータである。
請求項1の楽音制御装置において、請求項3に記載したように、抽出されたパラメータおよび入力されたパラメータは、音声信号の振幅を表すパラメータである。
請求項1の楽音制御装置において、請求項4に記載したように、演算手段は、操作によって設定された制御データに基づいて合成比の重み付けを演算するような構成にしてもよい。
請求項4の楽音制御装置において、請求項5に記載したように、演算手段は、マイクロフォンに設けられた操作子の操作量に対応して設定された制御データに基づいて合成比の重み付けを演算するような構成にしてもよい。
【0006】
請求項6に記載の楽音制御処理のプログラムは、マイクロフォンから入力された音声信号のパラメータを抽出するステップAと、基準となる音声信号のパラメータを入力するステップBと、ステップAによって抽出されたパラメータの値とステップBによって入力されたパラメータとの合成比の重み付け(実施形態においては、図7のp_omomiおよび図8のa_omomiに相当する)を演算するステップCと、ステップCによって演算された重み付けに基づいて抽出されたパラメータの値および入力されたパラメータの値に基づいて対応する音声を合成して発音手段(実施形態においては、サウンドシステムに相当する)に送出するステップDと、をコンピュータ(実施形態においては、図1のCPU1およびDSP7に相当する)に実行させる構成になっている。
【0007】
請求項6の楽音制御処理のプログラムにおいて、請求項7に記載したように、抽出されたパラメータおよび入力されたパラメータは、音声信号の周波数を表すパラメータである。
請求項6の楽音制御処理のプログラムにおいて、請求項8に記載したように、抽出されたパラメータおよび入力されたパラメータは、音声信号の振幅を表すパラメータである。
請求項6の楽音制御処理のプログラムにおいて、請求項9に記載したように、ステップCは、操作によって設定された制御データに基づいて合成比の重み付けを演算するような構成にしてもよい。
請求項9の楽音制御処理のプログラムにおいて、請求項10に記載したように、ステップCは、マイクロフォンに設けられた操作子の操作量によって設定された制御データに基づいて合成比の重み付けを演算するような構成にしてもよい。
【発明の効果】
【0008】
本発明の楽音制御装置および楽音制御処理のプログラムによれば、マイクロフォンから出力された音声信号が模範の音声信号からずれている場合に、そのずれを模範となる基準の音声信号に近づけて、歌唱の音程や音量を矯正して発音できるという効果が得られる。
【発明を実施するための最良の形態】
【0009】
以下、本発明による楽音制御装置の第1実施形態および第2実施形態について、カラオケシステムを例に採って図を参照して詳細に説明する。
図1は、各実施形態に共通する楽音制御装置のシステム構成を示すブロック図である。図1において、CPU1は、システムバス2を介して接続されているROM3、RAM4、ディスプレイ5、スイッチ6、DSP7との間で、コマンドおよびデータを授受しながらこの楽音制御装置を制御する。CPU1に入力されるMIDIデータは、伴奏曲のノート番号およびベロシティを含んでいる。すなわち、基準の音程および音量に相当するデータを含んでいる。ROM3は、CPU1によって実行される楽音制御処理のプログラムおよびこの装置の起動時における初期データを含んでいるとともに、MIDIデータに含まれているノート番号を音程に変換するテーブル、ベロシティを音量に変換するテーブルを予め格納している。楽音制御処理のプログラムの中には、DSP7によって実行される音声合成のアルゴリズムやパラメータ抽出のアルゴリズムが含まれている。RAM4は、CPU1によって処理されるデータを一時的に記憶するワークエリアである。ディスプレイ5は、メニュー画面や楽音制御に関する種々の情報を表示する。スイッチ6は、電源スイッチ、DSPスタートスイッチ、DSPストップスイッチ、第2実施形態において使用する重み付けスイッチであるテンキー、その他のスイッチ群で構成されている。DSP7は、ワークエリアであるRAM8および音声合成の音素データを格納した音素ROM9と接続され、後で詳述する音声合成処理やその他の処理を実行する。また、DSP7の入力側には入力FIFO(First In/First Out:先読み先出し)10が含まれており、マイクロフォンから入力された音声信号をアナログからデジタルに変換するADC(アナログ/デジタル変換回路)11から入力される音声信号を記憶する。一方、DSP7の出力側にも出力FIFO12が含まれており、DSP7によって音声合成された音声信号を記憶して、DAC(デジタル/アナログ変換回路)13に出力する。DAC13は、その音声信号をデジタルからアナログに変換して、増幅回路やスピーカを備えたサウンドシステム(図示せず)に送出する。
【0010】
図2は、第1実施形態におけるDSP7のアルゴリズムの機能を示すブロック図である。DSP7は、マイクロフォンから入力された音声信号がADC11によってアナログからデジタルに変換された後、音声認識機能71によって音声を認識し、認識した音声の音程(周波数)を音程抽出機能72によって抽出し、認識した音声の音量(振幅)を音量抽出機能73によって抽出する。抽出された音程および音量は音声合成71に入力され、音素ROM9から読み出された音素データに基づいて音声合成処理され、DAC13でデジタルからアナログに変換されて出力される。
【0011】
次に、図1の楽音制御装置の第1実施形態の動作について説明する。図3は、図1のCPU1のメインルーチンのフローチャートであり、RAM4およびDSP7に対する初期化処理(ステップSA1)の後、ROM3からDSP7に楽音制御処理のプログラムをロードする(ステップSA2)。そして、DSPスタートスイッチがオンされたか否かを判別し(ステップSA3)、このスイッチがオンされたときは、DSP7に対して音声合成処理を指示する(ステップSA4)。そして、DSPストップスイッチがオンされたか否かを判別し(ステップSA5)、このスイッチがオンされたときは、DSP7に対して音声合成停止を指示する終了処理を行う(ステップSA6)。
【0012】
次に、第1実施形態における音声合成処理について説明する。図4は、第1実施形態におけるDSP7の音声合成処理のフローチャートである。まず、入力FIFO10から信号を取り込み(ステップSB1)、音声入力があるか否かを判別する(ステップSB2)。音声入力があったときは、音声認識処理を行う(ステップSB3)。そして、音声信号の音程すなわち周波数のパラメータを抽出して(ステップSB4)、変数pitchに抽出した音程を代入する(ステップSB5)。さらに、音声信号の音量すなわち振幅のパラメータを抽出して(ステップSB6)、変数ampに抽出した音量を代入する(ステップSB7)。次に、音素ROM9から読み出した音素データと、変数pitchおよび変数ampに代入した周波数のパラメータおよび振幅のパラメータとをそれぞれ合成して合成信号を生成する音声合成を行う(ステップSB8)。そして、生成した合成信号を出力FIFO13に書き込む(ステップSB9)。ステップSB2において、音声入力がない場合には、無音信号を出力FIFO13に書き込む(ステップSB10)。ステップSB9又はステップSB10において、合成信号又は無音信号を出力FIFO13に書き込んだ後は、図3のメインルーチンに戻る。
【0013】
以上のように、この第1実施形態によれば、マイクロフォンから出力された音声信号の音程である周波数のパラメータと音素ROM9から読み出した音素データとを合成し、マイクロフォンから出力された音声信号の音量である振幅のパラメータと音素ROM9から読み出した音素データとを合成して、その合成信号に基づいて発音を行う。例えば、カラオケシステムにおいて、歌唱する対象者が伴奏曲に合わせて入力した音声の音程や音量が模範的な音声の音程や音量からずれていた場合でも、入力した音声と音素ROM10の音素データによる音声とを合成して、ずれが目立たないように発音することができる。
【0014】
図5は、第2実施形態におけるDSP7のアルゴリズムの機能を示すブロック図である。DSP7は、マイクロフォンから入力された音声信号がADC11によってアナログからデジタルに変換された後、音声認識機能71によって音声を認識し、認識した音声の音程(周波数)を音程抽出機能72によって抽出し、外部からのMIDIデータに応じてCPU1によって設定された制御データに基づいて、重み付け演算機能75によって音程の重み付けを行う。また、認識した音声の音量(振幅)を音量抽出機能73によって抽出し、MIDIデータに応じてCPU1によって設定された制御データに基づいて、重み付け演算機能76によって音量の重み付けを行う。重み付けされた音程および音量は音声合成71に入力され、音素ROM9から読み出された音素データに基づいて音声合成処理され、DAC13でデジタルからアナログに変換されて出力される。
【0015】
次に、第2実施形態における音声合成処理について説明する。図6は、第2実施形態におけるDSP7の音声合成処理のフローチャートである。まず、入力FIFO10から信号を取り込み(ステップSC1)、音声入力があるか否かを判別する(ステップSC2)。音声入力があったときは、音声認識処理を行う(ステップSC3)。そして、音声信号の音程すなわち周波数のパラメータを抽出して(ステップSC4)、変数pitchに抽出した音程を代入する(ステップSC5)。次に、変数pitchの重み付け演算を行う(ステップSC6)。
【0016】
図7は、ステップSC6の変数pitchの重み付け演算処理のフローチャートである。MIDIのノートオンメッセージがあるか否かを判別し(ステップSD1)、MIDIのノートオンメッセージがある場合には、MIDIのノート番号をROM3のテーブルによって変換して音程を求め、変数midipitchに代入する(ステップSD2)。すなわち、伴奏曲の基準の音程を示す周波数のパラメータを変数midipitchに代入する。次に下記の演算式によって変数pitchの値を変更する(ステップSD3)。
pitch=
p_omoni×pitch+(1−p_omoni)×midipitch
ただし、0≦p_omoni≦1であり、p_omoniの値は重み付けスイッチであるテンキー(0,0.1,0.2…0.9,1)によってユーザが設定する。p_omoniの値が0に近づくと、サウンドシステムから出力される合成音声の音程は、MIDIデータで示したノート番号すなわち基準の音程に近づく。一方、p_omoniの値が1に近づくと、サウンドシステムから出力される合成音声の音程は、マイクロフォンから入力された音声信号の歌唱者の音程に近づく。
なお、テンキーに代えてマイクロフォンにダイヤルなどの操作子を設けて、その操作子の操作量に対応してp_omoniの値を設定する構成にしてもよい。変数pitchの重み付け演算処理が終了すると、図6のフローチャートに戻ってステップSC7に移行する。
【0017】
図6のステップSC7においては、音声信号の音量すなわち振幅のパラメータを抽出する。そして、変数ampに抽出した音量を代入する(ステップSC8)。次に、変数ampの重み付け演算処理を行う(ステップSC9)。
図8は、ステップSC9の変数ampの重み付け演算処理のフローチャートである。MIDIのノートオンメッセージがあるか否かを判別し(ステップSE1)、MIDIのノートオンメッセージがある場合には、MIDIのベロシティをROM3のテーブルによって変換して音量を求め、変数midiampに代入する(ステップSE2)。すなわち、伴奏曲の基準の音量を示す振幅のパラメータを変数midiampに代入する。次に下記の演算式によって変数ampの値を変更する(ステップSE3)。
amp=
a_omoni×amp+(1−a_omoni)×midiamp
この場合も、0≦a_omoni≦1であり、a_omoniの値は重み付けスイッチであるテンキーによってユーザが設定するか、あるいは、マイクロフォンの操作子の操作量に対応してa_omoniの値を設定する。a_omoniの値が0に近づくと、サウンドシステムから出力される合成音声の音量は、MIDIデータで示したベロシティすなわち基準の音量に近づく。一方、a_omoniの値が1に近づくと、サウンドシステムから出力される合成音声の音量は、マイクロフォンから入力された音声信号の歌唱者の音量に近づく。
変数ampの重み付け演算処理が終了すると、図6のフローチャートに戻ってステップSC10に移行する。
【0018】
図6のステップSC10においては、重み付けされた変数pitchの値および変数ampの値と音素ROM10から読み出した音素データとに基づいて音声合成を行う。そして、生成した合成信号を出力FIFO13に書き込む(ステップSC11)。ステップSC2において、音声入力がない場合には、無音信号を出力FIFO13に書き込む(ステップSC12)。ステップSC11又はステップSC12において、合成信号又は無音信号を出力FIFO13に書き込んだ後は、図3のメインルーチンに戻る。
【0019】
以上のように、この第2実施形態によれば、楽音制御装置は、マイクロフォンから入力された音声信号の周波数および振幅のパラメータを抽出し、伴奏曲の基準となる音声信号の周波数および振幅のパラメータをMIDIデータとして入力し、抽出されたパラメータの値と入力されたパラメータとの合成比の重み付けを演算し、演算された重み付けに基づいて抽出されたパラメータの値および入力されたパラメータの値に基づいて対応する音声を合成して図示しないサウンドシステムに送出する。
したがって、マイクロフォンから出力された音声信号を模範となる基準の音声信号に近づけて、歌唱の音程や音量のずれを重み付けに応じた度合いで伴奏曲の基準の音程や音量に合うように矯正して発音することができる。
この場合において、スイッチ5のテンキーの操作によって合成比の重み付けの制御データを設定することができる。あるいは、マイクロフォンにダイヤルなどの操作子を設けて、その操作量によって合成比の重み付けの制御データを設定することができる。
【0020】
なお、上記各実施形態においては、ROM3に予め格納されている楽音制御処理のプログラムをCPU1が実行する装置の発明について説明したが、フレキシブルディスク(FD)、CD、メモリカードなどの外部記憶媒体に記憶された楽音制御処理のプログラム、又は、インターネットなどのネットワークからダウンロードしたカラオケ情報処理のプログラムをRAM4あるいは別途設けたフラッシュROMやハードディスクなどの不揮発性メモリにインストールして、CPU1がそのプログラムを実行する構成も可能である。この場合には、プログラムの発明および記憶媒体の発明を実現できる。
【0021】
すなわち、本発明の楽音制御処理のプログラムは、
マイクロフォンから入力された音声信号のパラメータを抽出するステップAと、
基準となる音声信号のパラメータを入力するステップBと、前記ステップAによって抽出されたパラメータの値と前記ステップBによって入力されたパラメータとの合成比の重み付けを演算するステップCと、前記ステップCによって演算された重み付けに基づいて前記抽出されたパラメータの値および前記入力されたパラメータの値に基づいて対応する音声を合成して発音手段に送出するステップDと、をコンピュータに実行させる。
【0022】
前記抽出されたパラメータおよび前記入力されたパラメータは、音声信号の周波数を表すパラメータである。
前記抽出されたパラメータおよび前記入力されたパラメータは、音声信号の振幅を表すパラメータである。
前記ステップCは、操作によって設定された制御データに基づいて合成比の重み付けを演算する。
前記ステップCは、前記マイクロフォンに設けられた操作子の操作量によって設定された制御データに基づいて合成比の重み付けを演算する。
【図面の簡単な説明】
【0023】
【図1】本発明の実施形態における楽音制御装置のシステム構成を示すブロック図。
【図2】第1実施形態におけるDSPのアルゴリズムの機能を示すブロック図。
【図3】図1のCPUのメインルーチンのフローチャート。
【図4】第1実施形態における音声合成処理のフローチャート。
【図5】第2実施形態におけるDSPのアルゴリズムの機能を示すブロック図。
【図6】第2実施形態における音声合成処理のフローチャート。
【図7】図6における音程の重み付け演算処理のフローチャート。
【図8】図6における音量の重み付け演算処理のフローチャート。
【符号の説明】
【0024】
1 CPU
3 ROM
4、8 RAM
5 スイッチ
6 ディスプレイ
7 DSP
9 音素ROM
10、12 FIFO
11 DAC
13 ADC




 

 


     NEWS
会社検索順位 特許の出願数の順位が発表

URL変更
平成6年
平成7年
平成8年
平成9年
平成10年
平成11年
平成12年
平成13年


 
   お問い合わせ info@patentjp.com patentjp.com   Copyright 2007-2013