米国特許情報 | 欧州特許情報 | 国際公開(PCT)情報 | Google の米国特許検索
 
     特許分類
A 農業
B 衣類
C 家具
D 医学
E スポ−ツ;娯楽
F 加工処理操作
G 机上付属具
H 装飾
I 車両
J 包装;運搬
L 化学;冶金
M 繊維;紙;印刷
N 固定構造物
O 機械工学
P 武器
Q 照明
R 測定; 光学
S 写真;映画
T 計算機;電気通信
U 核技術
V 電気素子
W 発電
X 楽器;音響


  ホーム -> 楽器;音響 -> カシオ計算機株式会社

発明の名称 画像処理装置及びプログラム
発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開2007−25242(P2007−25242A)
公開日 平成19年2月1日(2007.2.1)
出願番号 特願2005−207110(P2005−207110)
出願日 平成17年7月15日(2005.7.15)
代理人 【識別番号】100090033
【弁理士】
【氏名又は名称】荒船 博司
発明者 加福 滋
要約 課題
適確なリズム解析ができない部分においても、自然な画像データの切り換え表示を行えるようにすること。

解決手段
画像処理装置において、CPUは、音楽データを再生した音楽のリズムの各タイミングである拍の位置Rと、該拍の位置Rにおけるリズムの適確性を示す信頼度とを対応付けたリズムデータを生成する(S3)。そして、音楽データの再生時には、リズムデータで指定される拍の位置Rの到来毎に、該拍の位置Rに対応する信頼度に基づいて画像データの切り換え表示の態様を制御する。具体的には、信頼度が閾値を超える場合には通常の画面書き換え速度で(S13)、超えない場合には上記通常の画面書き換え速度より遅い速度で(S15)、表示された画像の書き換えを行う。
特許請求の範囲
【請求項1】
画像データを記憶する画像データ記憶手段と、
音楽データを記憶する音楽データ記憶手段と、
この音楽データ記憶手段に記憶された音楽データを再生した音楽のリズムを検出する検出手段と、
この検出手段により検出されたリズムに基づく各タイミングそれぞれにおけるリズムの適確性を示す信頼度を判定する判定手段と、
前記画像データ記憶手段に記憶された画像データを前記検出手段により検出されたリズムに基づいて切り換え表示していくことにより、前記音楽データ記憶手段に記憶された音楽データの再生に同期した切り換え表示を行うとともに、前記判定手段の判定結果に基づいて該切り換え表示の態様を制御する切換表示制御手段と、
を備えることを特徴とする画像処理装置。
【請求項2】
前記判定手段は、各タイミングにおける音楽データの自己相関値に基づいて定まる値を信頼度として判定することを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記切換表示制御手段は、前記音楽データのうち、前記判定手段により判定された信頼度が所定の低信頼度条件を満たす部分の再生時においては、画面書き換え速度の遅い切り換え表示を行うことを特徴とする請求項1又は2に記載の画像処理装置。
【請求項4】
前記切換表示制御手段は、前記音楽データのうち、前記判定手段により判定された信頼度が所定の低信頼度条件を満たす部分の再生時においては、画像データの切り換え表示頻度を低下させることを特徴とする請求項1又は2に記載の画像処理装置。
【請求項5】
前記切換表示制御手段は、前記音楽データのうち、前記判定手段により判定された信頼度が前記低信頼度条件を満たさず、且つ、音圧レベルが所定の低レベル条件を満たす部分については、画面書き換え速度の遅い切り換え表示を行うことを特徴とする請求項3に記載の画像処理装置。
【請求項6】
前記切換表示制御手段は、前記音楽データのうち、前記判定手段により判定された信頼度が前記低信頼度条件を満たさず、且つ、音圧レベルが所定の低レベル条件を満たす部分については、画像データの切り換え表示頻度を低下させることを特徴とする請求項4に記載の画像処理装置。
【請求項7】
コンピュータに、音楽データを再生した音楽に同期した画像データの切り換え表示を行わせるためのプログラムであって、
前記音楽データを再生した音楽のリズムを検出する検出機能と、
この検出機能により検出されたリズムに基づく各タイミングそれぞれにおけるリズムの適確性を示す信頼度を判定する判定機能と、
前記画像データを前記検出機能により検出されたリズムに基づいて切り換え表示していくことにより、前記音楽データの再生に同期した切り換え表示を行うとともに、前記判定機能による判定結果に基づいて該切り換え表示の態様を制御する切換表示制御機能と、
を前記コンピュータに実現させるためのプログラム。
発明の詳細な説明
【技術分野】
【0001】
本発明は、音楽データを再生した音楽に同期した画像データの切り換え表示を行う画像処理装置等に関する。
【背景技術】
【0002】
音楽データの再生に同期して画像データ(映像データ)を切り換え表示する、いわゆる「スライドショー」と呼ばれる技術がある。このスライドショーに関する技術として、例えば次が知られている。
【0003】
特許文献1には、周波数解析やパターン解析を含む音楽データのリズム解析処理を行って画像切り換えや画像処理を行うタイミングの情報を含むタイミング情報を生成し、次いで、解析した音楽データの各タイミングと一連の画像データとをリンクさせたリンク情報を生成して、その生成したリンク情報を参照することにより、音楽のリズムに合った画像の再生を行う技術が開示されている。
【0004】
また、特許文献2には、音楽データ(楽曲音声データ)の強弱や周波数等からテンポを抽出し、抽出したテンポに合わせて、画像表示のフェードイン/フェードアウトといったスライド効果の時間を設定する技術が開示されている。かかる技術の場合、テンポの速い音楽(楽曲)の場合にはスライド効果の時間を早くし、逆にテンポの遅い楽曲の場合にはスライド効果の時間を長くすることで、音楽のテンポとスライド効果との整合が図られる。
【0005】
また、特許文献3には、音楽データの内容から、フェードイン/フェードアウト、テンポの変化といった所定の音楽変化を検出し、その検出した音楽変化に基づいて、フェードイン、フェードアウト、クロスフェード、モザイク、ワイプ、フラッシュ、色調の変更といった所定の映像効果を画像データ(映像データ)に対して付与する技術が開示されている。
【特許文献1】特開2000−148107号公報
【特許文献2】特開2003−249051号公報
【特許文献3】特開2004−240077号公報
【発明の開示】
【発明が解決しようとする課題】
【0006】
このように、従来のスライドショーでは、再生する音楽データのリズムを解析し、解析したリズムに基づいて画像データの表示制御を行っている。しかし、音楽データによっては、リズム解析が困難となる部分があった。このようなリズムが正確に解析されない部分では、画像データの再生が音楽のテンポやタイミングに合わないといった不自然な再生となってしまうという問題があった。
【0007】
上記事情に鑑み、本発明は、適確なリズム解析ができない部分においても、画像データの自然な切り換え表示を行えるようにすること目的としている。
【課題を解決するための手段】
【0008】
上記課題を解決するために、請求項1に記載の発明は、
画像データを記憶する画像データ記憶手段(例えば、図1のRAM60)と、
音楽データを記憶する音楽データ記憶手段(例えば、図1のROM50)と、
この音楽データ記憶手段に記憶された音楽データを再生した音楽のリズムを検出する検出手段(例えば、図1のCPU10)と、
この検出手段により検出されたリズムに基づく各タイミングそれぞれにおけるリズムの適確性を示す信頼度を判定する判定手段(例えば、図1のCPU10)と、
前記画像データ記憶手段に記憶された画像データを前記検出手段により検出されたリズムに基づいて切り換え表示していくことにより、前記音楽データ記憶手段に記憶された音楽データの再生に同期した切り換え表示を行うとともに、前記判定手段の判定結果に基づいて該切り換え表示の態様を制御する切換表示制御手段(例えば、図1のCPU10)と、
を備えることを特徴とする画像処理装置(例えば、図1の画像処理装置1)である。
【0009】
請求項2に記載の発明は、請求項1に記載の画像処理装置において、
前記判定手段は、各タイミングにおける音楽データの自己相関値に基づいて定まる値を信頼度として判定することを特徴とする。
【0010】
請求項3に記載の発明は、請求項1又は2に記載の画像処理装置において、
前記切換表示制御手段は、前記音楽データのうち、前記判定手段により判定された信頼度が所定の低信頼度条件を満たす部分の再生時においては、画面書き換え速度の遅い切り換え表示を行うことを特徴とする。
【0011】
請求項4に記載の発明は、請求項1又は2に記載の画像処理装置において、
前記切換表示制御手段は、前記音楽データのうち、前記判定手段により判定された信頼度が所定の低信頼度条件を満たす部分の再生時においては、画像データの切り換え表示頻度を低下させることを特徴とする。
【0012】
請求項5に記載の発明は、請求項3に記載の画像処理装置において、
前記切換表示制御手段は、前記音楽データのうち、前記判定手段により判定された信頼度が前記低信頼度条件を満たさず、且つ、音圧レベルが所定の低レベル条件を満たす部分については、画面書き換え速度の遅い切り換え表示を行うことを特徴とする。
【0013】
請求項6に記載の発明は、請求項4に記載の画像処理装置において、
前記切換表示制御手段は、前記音楽データのうち、前記判定手段により判定された信頼度が前記低信頼度条件を満たさず、且つ、音圧レベルが所定の低レベル条件を満たす部分については、切り換え表示頻度を低下させることを特徴とする。
【0014】
請求項7に記載の発明は、
コンピュータに、音楽データを再生した音楽に同期した画像データの切り換え表示を行わせるためのプログラム(例えば、図1の同期再生プログラム51)であって、
前記音楽データを再生した音楽のリズムを検出する検出機能(例えば、図11のステップS33〜S41)と、
この検出機能により検出されたリズムに基づく各タイミングそれぞれにおけるリズムの適確性を示す信頼度を判定する判定機能(例えば、図11のステップS43)と、
前記画像データを前記検出機能により検出されたリズムに基づいて切り換え表示していくことにより、前記音楽データの再生に同期した切り換え表示を行うとともに、前記判定機能による判定結果に基づいて該切り換え表示の態様を制御する切換表示制御機能(例えば、図10のステップS9〜S15)と、
を前記コンピュータに実現させるためのプログラムである。
【発明の効果】
【0015】
請求項1又は7に記載の発明によれば、音楽データを再生した音楽のリズムが検出され、検出されたリズムに基づく各タイミングそれぞれにおけるリズムの適確性を示す信頼度が判定される。そして、検出されたリズムに基づくことで音楽データの再生に同期した切り換え表示が行われるとともに、判定された信頼度に基づいて切り換え表示の態様が制御される。即ち、検出されたリズムの信頼度に基づいて画像データの切り換え表示の態様が制御されるので、音楽データにリズムが適確に検出されない部分が含まれる場合であっても、自然な画像データの切り換え表示を実現し得る。
【0016】
請求項2に記載の発明によれば、信頼度は、検出されたリズムに基づく各タイミングにおける音楽データの自己相関値に基づいて定められる。
【0017】
請求項3に記載の発明によれば、音楽データのうち、判定された信頼度が所定の低信頼度条件を満たす部分の再生時においては、画面書き換え速度の遅い切り換え表示が行われる。従って、例えば検出されたリズムが本来のリズムからずれている場合、このずれによって画像データの切り換え表示が本来のリズムからずれたものとなるが、信頼度が低信頼度条件を満たす、即ちリズムが適確に検出されていないと判定された部分については画面書き換えが他の部分と比較してゆっくり行われることで、検出されたリズムのずれによる画像データの書き換え表示のずれをユーザに感じさせること無く、自然な切り換え表示が実現され得る。
【0018】
請求項4に記載の発明によれば、音楽データのうち、判定された信頼度が所定の低信頼度条件を満たす部分の再生時においては、画像データの切り換え表示頻度が低下される。従って、例えばテンポの遅い音楽での画像データの頻繁な切り換えはユーザに違和感を与えることになるが、リズムが適確に検出されていないと判定された部分については、画像データの切り換え頻度が低下される、即ち他の部分に比較して頻繁な画像データの切り換えが行われないことで、テンポの遅い音楽なのに画像データが頻繁に切り換えられるといった違和感をユーザに与えることなく、自然な画像データの切り換え表示が実現される。
【0019】
請求項5に記載の発明によれば、音楽データのうち、判定された信頼度が所定の低信頼度条件を満たさず、且つ、音圧レベルが所定の低レベル条件を満たす部分については、画面書き換え速度の遅い切り換え表示が行われる。従って、リズムが適確に検出されていると判定されている部分であっても、音圧レベルが低レベル条件を満たす、即ち音圧レベルが低い部分については、画面書き換えがゆっくり行われることで、例えば音量が小さな部分から大きな音量へ大きく変化する部分で、ゆっくりであった画面の書き換えが素早い書き換えに変化するといった、より自然な画像データの切り換え表示が実現される。
【0020】
請求項6に記載の発明によれば、音楽データのうち、判定された信頼度が所定の低信頼度条件を満たさず、且つ、音圧レベルが所定の低レベル条件を満たす部分については、画像データの切り換え表示頻度が低下される。従って、リズムが適確に検出されていると判定されている部分であっても音圧レベルが低い部分については、他の部分に比較して頻繁な画像データの切り換えが行われないことで、音量が小さい部分で頻繁に画像データが切り換えられるといった違和感をユーザに与えることなく、自然な画像データの切り換え表示が実現される。
【発明を実施するための最良の形態】
【0021】
以下、図面を参照して、本発明に好適な実施形態を説明する。
【0022】
[画像処理装置の構成]
図1は、本実施形態における画像処理装置1のブロック構成図である。この画像処理装置1は、音楽データの再生に同期して画像データの切り換え表示を行うものであり、同図によれば、CPU10と、入力部20と、表示部30と、音声出力部40と、ROM50と、RAM60とを備えて構成される。
【0023】
CPU10は、所定のタイミングでROM50に記憶されているプログラムを読み出してRAM60内に展開し、当該プログラムに基づいて画像処理装置1を構成する各部への指示やデータ転送等を行う。特に、本実施形態では、同期再生プログラム51に従った同期再生処理(図10参照)を実行する。
【0024】
具体的には、同期再生処理において、CPU10は、先ず、RAM60に記憶されている音楽データ62を対象とするリズム検出処理を行って、該音楽データ62の検出したリズム及びその信頼度に関するデータであるリズムデータ67を生成する。
【0025】
詳細には、リズム検出処理において、CPU10は、図2に示すように、音楽データ62を複数のフレームに分割する。図2は、音楽データ62に基づく音声波形の一部を示す図である。同図に示すように、CPU10は、音楽データ62に基づく音声波形を、その先頭から、時間Mずつずらした長さNの複数のフレームF1,F2,・・、に分割する。ここで、時間M及びフレームの長さNは適当に設定して良く、例えば、M=0.5[秒]、N=4[秒]、程度に設定する。但し、M<N、とする。
【0026】
次いで、CPU10は、分割した各フレームの音声信号の自己相関関数を導出する。具体的には、各フレームについて、その音声信号をローパスフィルタに通過させて高域成分を遮断し、低域成分を抽出する。次に、抽出した低域成分の信号に対するFFT(Fast Fourier Transform)演算を行ってフーリエスペクトラムを算出し、更に二乗してパワースペクトルを算出する。そして、算出したパワースペクトルに対する逆FTT演算を行って、該フレームの音声信号の自己相関関数を導出する。
【0027】
図3は、1つのフレームについての自己相関関数の一例を示すグラフである。同図において、横軸はサンプル数即ち時間であり、縦軸は相関関数値である。
【0028】
そして更に、図4に示すように、このグラフの横軸を、曲のテンポを表す単位であるBPM(Beat Per Minute)に変換する。図4は、自己相関関数のグラフの横軸を、サンプル数からBPMに変換した一例を示すグラフである。サンプル数からBPMへの変換は、次のように行う。即ち、1フレームの長さNを「N[秒]」とし、自己相関関数を導出する際のサンプル数を「X」とした場合、1サンプルは、時間t=M/X[秒]、に相当する。つまり、xサンプル目は、時間T=t×x[秒]、に相当し、これをBPMで表現すると、60/T=60/(t×x)、となる。例えば、N=4[秒]、X=2052、とした場合、1サンプルは、時間t=0.001949[秒](=4/2052)に相当する。横軸をBPMとしたフレーム毎の自己相関関数は、フレーム自己相関データ63としてRAM60に記憶される。
【0029】
続いて、CPU10は、導出したフレーム毎の自己相関関数を基に、各フレームのBPM候補値を算出する。具体的には、各フレームについて、導出した自己相関関数の所定のBPM範囲内において、自己相関値のピーク値のうち、その値が最大のものから順に所定数(例えば、5個)選択する。そして、これら選択した各ピーク値に対応するBPMの値を、当該フレームにおけるBPM候補値とする。尚、上記所定のBPM範囲は、例えば一般的な音楽のBPMの範囲である「50〜200」程度に設定される。
【0030】
算出したBPM候補値は、対応するピーク値とともに、フレーム解析データ64としてRAM60に記憶される。図5に、フレーム解析データ64のデータ構成の一例を示す。同図によれば、フレーム解析データ64は、音楽データ62を分割したフレーム64a毎に、複数(同図では、5)のBPM候補値64bとピーク値64cとを対応付けて格納している。
【0031】
各フレームについてBPM候補値を算出すると、CPU10は、近似する値同士のグループとなるように、算出した各BPM候補値をグループ化する。そして、各グループについて、BPM候補値の平均値と、ピーク値の累積値とを算出する。
【0032】
ここでグループ化したBPM候補値は、BPM決定用データ65としてRAM60に記憶される。図6に、BPM決定用データ65のデータ構成の一例を示す。同図によれば、BPM決定用データ65は、グループ65a毎に、属するBPM候補値665とピーク値65cとを対応付けて格納しているとともに、BPM候補値65bの平均65dと、ピーク値65cの累積65eとを格納している。
【0033】
また同図は、図5に示したフレーム解析データ64に基づく場合を示しており、「62」に近いBPM候補値をグループ化した第1グループ、「123」に近いBPM候補値をグループ化した第2グループ、「246」に近いBPM値をグループ化した第3グループ、・・、にグループ化されている。
【0034】
次いで、CPU10は、これら複数のグループのうち、ピーク値の累積値が最も大きいグループを判定し、その判定したグループのBPM候補値の平均値を、音楽データ62のBPMとして決定する。例えば図6の場合、ピーク値の累積値が「287.1」で最も大きい第2グループが判定され、この第2グループのBPM候補値の平均値「123.8」が音楽データ62のBPMとして決定される。ここで決定したBPMは、BPM決定値データ66としてRAM60に記憶される。
【0035】
音楽データ62のBPMを決定すると、CPU10は、続いて、その決定したBPMを基に拍の間隔Lを算出する。拍の間隔LはBPMの逆数で与えられ、例えばBPMが「120」の場合、拍の間隔Lは、L=0.5(=60[s]/120)、となる。
【0036】
続いて、CPU10は、音楽データ62における拍の位置Rを決定する。具体的には、フレーム自己相関データ63を参照して、音楽データ62を分割した複数のフレームのうちから、全フレームを通して音圧レベル(音声波形の振幅)が最大のピーク値を含む1つのフレームを選択する。次いで、図7に示すように、その選択したフレームにおける音圧レベルが最大の位置を、当該音楽データ62における拍の基準位置とする。図7は、音楽データ62に基づく、最大のピーク値の位置を含む複数フレーム分の音声波形を示している。
【0037】
そして、CPU10は、音楽データ62に基づく音声波形全体に対して、決定した拍の基準位置を基準として、算出した拍の間隔Lで拍の位置Rを決定する。
【0038】
その後、CPU10は、決定した各拍の位置Rにおけるリズムの適確性を示す信頼度を算出する。具体的には、各拍の位置Rについて、図8に示すように、音楽データ62を分割した複数のフレームのうちから、当該拍の位置Rを含むフレームを選択する。図8は、音楽データ62に基づく音声波形の一部を示している。ここで、フレームは時間Mずつずらして生成されているので、ある拍の位置Rを含むフレームとして複数のフレームが存在する。例えば同図の場合、拍の位置Rを含むフレームとして、フレームFn+1,Fn+2,Fn+3の3つのフレームが選択される。
【0039】
そして、CPU10は、これら選択した各フレームについて、決定した当該音楽データ62のBPMに対応する自己相関値を算出し、算出した自己相関値の平均値に所定係数を乗じた値を、当該拍の位置Rにおける信頼度とする。
【0040】
このように算出した各拍の位置Rについての信頼度は、該拍の位置Rと対応付けられ、当該音楽データ62に対応するリズムデータ67としてRAM60に記憶される。図9は、リズムデータ67のデータ構成の一例を示す図である。同図に示すように、リズムデータ67は、拍の位置67aと信頼度67bとを対応付けて格納している。ここで、拍の位置67aは、該当する音楽データ62の先頭位置(再生開始位置)をゼロとした値で表現されている。
【0041】
リズム検出処理を終了すると、CPU10は、音楽データ62の再生を開始し、該音楽データ62に基づく音楽を音声出力部40から出力させるとともに、生成したリズムデータ67を参照して、音楽に同期させて画像データ61に基づく画像を表示部30に切り換え表示させる。
【0042】
具体的には、リズムデータ67で指定される拍の位置Rが到来する毎に、当該到来した拍の位置Rに対応する信頼度が、信頼度閾値データ68で指定される、低信頼度条件である閾値を超えたか否かを判断し、判断結果に応じた画面書き換え速度で次の画像への切り換え表示を行う。画面書き換え速度とは、短時間当たりに画面を書き換える量を指し、画面書き換え速度が速い程、より短時間で次の画像に書き換わることになる。本実施形態では、画面書き換え速度として、通常の速度と、この通常の速度より遅い速度との2つの速度があるとする。即ち、信頼度が閾値を超えた場合には、画面書き換え速度を通常の速度として画面の表示を切り換える。また、信頼度が閾値を超えない場合には、画面書き換え速度を遅い速度として画面の表示を切り換える。
【0043】
ここで、通常の画面書き換え速度による画面書き換えと、通常より遅い速度による画面書き換えとの組み合わせの例としては、例えば全画面書き換えとフェードイン/フェードアウトの組み合わせがある。また、双方において、例えばディゾルブやワイプといった同じ画面書き換え技法を用い、その完了までに要する時間を異ならせることによって、通常の書き換え速度と遅い書き換え速度とを実現することとしても良い。
【0044】
図1において、入力部20は、例えばスイッチやキーボード、マウス、各種センサ等を有して構成され、ユーザによる操作に応じた操作信号をCPU10に出力する。
【0045】
表示部30は、LCD(Liquid Crystal Display)やELD(Electro Luminescence Display)、PDP(Plasma Display Panel)等のモニタを有して構成され、CPU10から入力される画像信号に従った画像、特に、本実施形態では、CPU10の制御に従って画像データ61に基づく画像を切り換え表示する。
【0046】
音声出力部40は、D/A変換器や増幅器、スピーカ等を有して構成され、CPU10から入力される音声信号に従った音声、特に本実施形態では、音楽データ62に基づく音楽を出力する。
【0047】
ROM50は、画像処理装置1にかかるシステムプログラムやアプリケーションプログラム、本実施形態を実現するためのプログラムやデータ等を記憶する。特に、本実施形態では、同期再生処理(図10参照)を実現するための同期再生プログラム51を記憶している。
【0048】
RAM60は、CPU10の作業領域として用いられ、ROM50から読み出されたプログラムやデータ、CPU10で処理されたデータを一時的に記憶する。特に、本実施形態では、画像データ61と、音楽データ62と、フレーム自己相関データ63と、フレーム解析データ64と、BPM決定用データ65と、BPM決定値データ66と、リズムデータ67と、信頼度閾値データ68とを記憶する。
【0049】
画像データ61は、複数の画像群からなるデータであり、例えばメモリカード等の外部情報記憶媒体から読み出されたデータ、或いは、インターネット等の通信回線を介して他装置から取り込んだデータ等である。また、音楽データ62は、CD等の外部情報記憶媒体から読み込んだデータ、或いは、上述の通信回線を介して他装置から取り込んだデータ等である。
【0050】
[処理の流れ]
次に、画像処理装置1における処理の流れを説明する。
図10は、同期再生処理の流れを説明するためのフローチャートである。この処理は、例えば入力部20から再生指示が入力された場合に、CPU10が同期再生プログラム51に従った処理を実行することで実現される。
【0051】
同図によれば、CPU10は、先ず、入力部20からの入力指示等に従って、再生する音楽データ62及び画像データ61を指定する(ステップS1)。そして、指定された音楽データ62を対象とするリズム検出処理を実行し、当該音楽データ62に対応するリズムデータ67を生成する(ステップS3)。
【0052】
図11は、リズム検出処理の流れを説明するためのフローチャートである。同図によれば、CPU10は、対象としている音楽データ62を、時間Mづつずらした長さNの複数のフレームに分割する(ステップS31)。
【0053】
次いで、分割した各フレームの音声信号について自己相関関数を導出する(ステップS33)。そして、各フレームについて、導出した自己相関関数における所定のBPM範囲内で、BPM候補値とそのピーク値とを算出する(ステップS35)。即ち、上述のように、各フレームの自己相関関数における所定のBPM範囲内で、ピーク値が最大となる所定数のBPMの値をBPM候補値とする。
【0054】
続いて、CPU10は、算出した各フレームのBPM候補値及びそのピーク値を基に、音楽データ62のBPMを決定する(ステップS37)。即ち、上述のように、算出した各フレームのBPM候補値を近似する値同士でグループ化し、これら複数のグループのうちから、ピーク値の累積値が最大となるグループを選択する。そして、その選択したグループのBPM候補値の平均値を、該音楽データ62のBPMとして決定する。
【0055】
その後、CPU10は、決定したBPMの逆数を演算することで拍の間隔Lを算出する(ステップS39)。そして、ピーク値の最大値を含むフレームにおいて音圧レベルが最大となる位置を、音楽データ62における拍の基準位置として算出し、この拍の基準位置を基準として、拍の間隔Lで各拍の位置Rを算出する(ステップS41)。
【0056】
続いて、CPU10は、算出した各拍の位置Rにおける信頼度を算出する(ステップS43)。即ち、上述のように、各拍の位置Rについて、該拍の位置Rを含む各フレームにおける当該音楽データ62のBPMに対応する自己相関値の平均値に所定の係数を乗じた値を、当該拍の位置Rの信頼度とする。そして、各拍の位置Rと算出した信頼度とを対応付けて、リズムデータ67を生成する。
以上の処理を行うと、このリズム検出処理は終了となる。
【0057】
リズム検出処理を終了すると、CPU10は、指定された音楽データ62の再生を開始する(ステップS5)。そして、音楽再生が終了するまでの間(ステップS7:NO)、次の処理を繰り返す。
【0058】
即ち、リズムデータ67で指定される拍の位置Rのタイミングが到来すると(ステップS9:YES)、CPU10は、リズムデータ67において該拍の位置Rに対応付けられている信頼度が、信頼度閾値データ68で指定される閾値を超えるか否かを判断する。
【0059】
信頼度が閾値を超える場合(ステップS11:YES)、CPU10は、通常の書き換え速度で、表示部30に表示されている現在の表示画像から次の画像に切り換える(ステップS13)。また、信頼度が所定の閾値を超えない場合には(ステップS11:NO)、上記通常の速度より遅い画面書き換え速度で、次の画像に切り換える(ステップS15)。
そして、音楽データ62の再生が終了すると(ステップS7:YES)、この同期再生処理は終了となる。
【0060】
[具体例]
ここで、本実施形態における具体的な実施例を説明する。
図12は、ある音楽データ62を基に生成されたリズムデータを表すグラフであり、横軸を当該音楽データ62の再生開始からの経過時間[秒]、縦軸を信頼度として、各拍の位置Rでの信頼度をプロットしている。同図において、信頼度の閾値を「80」とすると、再生される音楽の前半部分の「40〜100[秒]」の範囲、後半部分の「310[秒]」付近、及び、終了直前の「430[秒]」付近において、信頼度がこの閾値より小さくなり、画像の書き換え速度がゆっくりとなる。
【0061】
[作用・効果]
以上、本実施形態によれば、リズム検出処理により、音楽データ62を再生した音楽のリズムのタイミングである拍の位置Rが算出され、これら各拍の位置Rにおける検出したリズムの適確性を示す信頼度が算出されて、拍の位置Rと信頼度とを対応付けたリズムデータ67が生成される。そして、音楽データ62の再生時には、このリズムデータ67で指定される各拍の位置Rの到来毎に、該拍の位置Rに対応する信頼度が信頼度閾値データ68で指定される閾値を超えるか否かが判断され、超える場合には通常の画面書き換え速度で、超えない場合には上記通常の速度より遅い画面書き換え速度で、次の画像に切り換え表示される。
【0062】
従って、検出されたリズムが本来のリズムからずれる部分も有り得るが、信頼度が低く閾値を超えない部分については画面書き換え速度を遅くすることで、検出されたリズムのずれによる切り換え表示の違和感をユーザに与えることを防止できる。即ち、音楽データ62にリズムが適確に検出されない部分が含まれる場合であっても、自然な画像データ61の切り換え表示が実現され得る。
【0063】
[変形例]
尚、本発明の適用可能な実施形態は上述した実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更可能である。
【0064】
(A)信頼度
例えば上述した実施形態では、各拍の位置Rにおける信頼度として、当該拍の位置Rを含む各フレームのBPMに対応する自己相関値に基づく値としたが、これを、この自己相関値に基づく値に、更に、当該拍の位置Rでの音圧レベルに基づく値を加算した値を用いることとしても良い。
【0065】
図13は、この場合のリズムデータ67Aの一例を示す図である。同図に示すように、リズムデータ67Aは、拍の位置67aと、自己相関値に基づく値67cと、音圧レベル67dと、信頼度67eとを対応付けて格納している。信頼度67eは、自己相関値に基づく値67cと、音圧レベル67dとの和である。
【0066】
また、図14は、リズムデータ67Aに基づくグラフの一例を示す図である。同図では、横軸を音楽データ62の再生開始からの経過時間とし、縦軸に、各拍の位置Rでの自己相関値に基づく値、音圧レベル及び信頼度の値をプロットしている。
【0067】
図14では、90[秒]付近において音量が一瞬ほぼゼロになるとともにリズムが中断し、その後再度リズムが再開されて音量が一気に回復している。この場合、導出される自己相関値は、その部分において一旦低下した後、徐々に回復する。このため、信頼度を、自己相関値だけではなく、更に音圧レベルにも基づいて算出することで、一旦減少した音量が再度回復する時点で、ゆっくりであった画像書き換え速度が通常の速度に変化するといった、より自然な画像データ61の切り替え表示が実現される。
【0068】
また、音声信号のスペクトログラムにおいて、ある周波数の値が急に大きくなり、且つその状態が所定時間継続する場合、その位置はコードの変化点であると推測することができる。また、コードが変化する位置は拍の位置である可能性が高い。従って、自己相関関数から算出した拍の位置Rと、スペクトログラムから推測したコード変化位置との一致度を信頼度としても良い。
【0069】
(B)リズム検出処理
また、上述した実施形態では、音楽データ62の再生時に、当該音楽データ62を対象としたリズム検出処理を実行して対応するリズムデータ67を生成することとしたが、これを予め生成しておくこととしても良い。具体的には、例えば音楽データ62の再生前、該音楽データ62が読み込まれた際にリズム検出処理を行って対応するリズムデータ67を生成し、その音楽データ62の再生時に、この予め生成したリズムデータ67を読み出して用いることとする。
【0070】
(C)画像の切り換え表示のタイミング
また、上述した実施形態では、音楽データ62を再生する際には、拍の位置Rが到来する毎に画像データ61の切り換え表示を行うこととしたが、複数回の拍の位置Rの到来毎(例えば、10拍毎)に切り換え表示を行うこととしても良い。
【0071】
(D)切り換え表示の態様
また、上述した実施形態では、画像データ61の切り換え表示の態様の制御として、画面書き換え速度を通常の速度とこの通常の速度より遅い速度との2つとして2段階で切り換えることとしたが、画面書き換え速度を3つ以上として3段階以上の多段階に切り換えることとしても良い。この場合、画面書き換え速度の数に応じた複数の閾値を設け、信頼度が何れの閾値の間であるかに応じて画面書き換え速度を決定する。
【0072】
また、画像データ61の切り換え表示の態様の制御として、画像書き換え速度を変化させることとしたが、切り換え表示の頻度を変化させることとしても良い。具体的には、例えば、音楽データ62の再生の際、拍の位置Rの到来毎に画像の切り換えを行っていたものを、到来した拍の位置Rにおける信頼度が所定の閾値を超えない場合には、以降の連続する複数回の拍の位置Rが到来する間(例えば、10拍の間)、画像の切り換え表示を行わないといったことにより、信頼度が低い部分では画像の切り換え頻度を低下させる。
【図面の簡単な説明】
【0073】
【図1】画像処理装置のブロック構成図。
【図2】フレーム分割の説明図。
【図3】自己相関関数のグラフの一例。
【図4】自己相関関数のグラフの一例。
【図5】フレーム解析データのデータ構成例。
【図6】BPM決定用データのデータ構成例。
【図7】拍の位置Rの決定の説明図。
【図8】拍の位置Rにおける信頼度決定の説明図。
【図9】リズムデータのデータ構成例。
【図10】同期再生処理の流れ図。
【図11】同期再生処理中に実行されるリズム検出処理の流れ図。
【図12】リズムデータに基づくグラフの一例。
【図13】変形例におけるリズムデータのデータ構成例。
【図14】変形例におけるリズムデータに基づくグラフの一例。
【符号の説明】
【0074】
1 画像処理装置
10 CPU
20 入力部
30 表示部
40 音声出力部
50 ROM
51 同期再生プログラム
52 リズム検出プログラム
60 RAM
61 画像データ
62 音楽データ
63 フレーム自己相関データ
64 フレーム解析データ
65 BPM決定用データ
66 BPM決定値データ
67 リズムデータ
68 信頼度閾値データ




 

 


     NEWS
会社検索順位 特許の出願数の順位が発表

URL変更
平成6年
平成7年
平成8年
平成9年
平成10年
平成11年
平成12年
平成13年


 
   お問い合わせ info@patentjp.com patentjp.com   Copyright 2007-2013