米国特許情報 | 欧州特許情報 | 国際公開(PCT)情報 | Google の米国特許検索
 
     特許分類
A 農業
B 衣類
C 家具
D 医学
E スポ−ツ;娯楽
F 加工処理操作
G 机上付属具
H 装飾
I 車両
J 包装;運搬
L 化学;冶金
M 繊維;紙;印刷
N 固定構造物
O 機械工学
P 武器
Q 照明
R 測定; 光学
S 写真;映画
T 計算機;電気通信
U 核技術
V 電気素子
W 発電
X 楽器;音響


  ホーム -> 楽器;音響 -> ソニー株式会社

発明の名称 ディジタル信号処理方法、学習方法及びそれらの装置並びにプログラム格納媒体
発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開2002−49397(P2002−49397A)
公開日 平成14年2月15日(2002.2.15)
出願番号 特願2000−238895(P2000−238895)
出願日 平成12年8月2日(2000.8.2)
代理人 【識別番号】100082740
【弁理士】
【氏名又は名称】田辺 恵基
【テーマコード(参考)】
5D045
5J064
【Fターム(参考)】
5D045 DA02 
5J064 AA01 BA01 BB03 BC01 BC07 BC27 BD03
発明者 近藤 哲二郎 / 渡辺 勉
要約 目的


構成
特許請求の範囲
【請求項1】ディジタル信号を変換するディジタル信号処理方法において、上記ディジタル信号から複数の大きさの窓で切り出してそれぞれの自己相関係数を算出するステップと、上記自己相関係数の算出結果に基づいてそのクラスを分類するステップと、上記分類されたクラスに対応した予測方式で上記ディジタル信号を予測演算することにより上記ディジタル信号を変換してなる新たなディジタル信号を生成するステップとを具えることを特徴とするディジタル信号処理方法。
【請求項2】上記自己相関係数を算出するステップでは、上記ディジタル信号に対して、上記自己相関係数の算出対象として、少なくとも大局的な探索範囲と局所的な探索範囲とが設けられ、当該探索範囲について上記自己相関係数が算出されることを特徴とする請求項1に記載のディジタル信号処理方法。
【請求項3】上記自己相関係数を算出するステップでは、上記ディジタル信号の振幅成分をなくした後、上記自己相関係数が算出されることを特徴とする請求項1に記載のディジタル信号処理方法。
【請求項4】ディジタル信号を変換するディジタル信号処理装置において、上記ディジタル信号から複数の大きさの窓で切り出してそれぞれの自己相関係数を算出する自己相関係数算出手段と、上記自己相関係数の算出結果に基づいてそのクラスを分類するクラス分類手段と、上記分類されたクラスに対応した予測方式で上記ディジタル信号を予測演算することにより上記ディジタル信号を変換してなる新たなディジタル信号を生成する予測演算手段とを具えることを特徴とするディジタル信号処理装置。
【請求項5】上記自己相関係数算出手段は、上記ディジタル信号に対して、上記自己相関係数の算出対象として、少なくとも大局的な探索範囲と局所的な探索範囲とを設け、当該探索範囲について上記自己相関係数を算出することを特徴とする請求項4に記載のディジタル信号処理装置。
【請求項6】上記自己相関係数算出手段は、上記ディジタル信号の振幅成分をなくした後、上記自己相関係数を算出することを特徴とする請求項4に記載のディジタル信号処理装置。
【請求項7】ディジタル信号から複数の大きさの窓で切り出してそれぞれの自己相関係数を算出するステップと、上記自己相関係数の算出結果に基づいてそのクラスを分類するステップと、上記分類されたクラスに対応した予測方式で上記ディジタル信号を予測演算することにより上記ディジタル信号を変換してなる新たなディジタル信号を生成するステップとを含むプログラムをディジタル信号処理装置に実行させるプログラム格納媒体。
【請求項8】上記自己相関係数を算出するステップでは、上記ディジタル信号に対して、上記自己相関係数の算出対象として、少なくとも大局的な探索範囲と局所的な探索範囲とが設けられ、当該探索範囲について上記自己相関係数が算出されることを特徴とする請求項7に記載のプログラム格納媒体。
【請求項9】上記自己相関係数を算出するステップでは、上記ディジタル信号の振幅成分をなくした後、上記自己相関係数が算出されることを特徴とする請求項7に記載のプログラム格納媒体。
【請求項10】ディジタル信号を変換するディジタル信号処理装置の上記変換処理の予測演算に用いられる予測係数を生成する学習方法において、所望とするディジタル信号から当該ディジタル信号を劣化させた生徒ディジタル信号を生成するステップと、上記生徒ディジタル信号から複数の大きさの窓で切り出してそれぞれの自己相関係数を算出するステップと、上記自己相関係数の算出結果に基づいてそのクラスを分類するステップと、上記ディジタル信号と上記生徒ディジタル信号とに基づいて上記クラスに対応する予測係数を算出するステップとを具えることを特徴とする学習方法。
【請求項11】上記自己相関係数を算出するステップでは、上記ディジタル信号に対して、上記自己相関係数の算出対象として、少なくとも大局的な探索範囲と局所的な探索範囲とが設けられ、当該探索範囲について上記自己相関係数が算出されることを特徴とする請求項10に記載の学習方法。
【請求項12】上記自己相関係数を算出するステップでは、上記ディジタル信号の振幅成分をなくした後、上記自己相関係数が算出されることを特徴とする請求項10に記載の学習方法。
【請求項13】ディジタル信号を変換するディジタル信号処理装置の上記変換処理の予測演算に用いられる予測係数を生成する学習装置において、所望とするディジタル信号から当該ディジタル信号を劣化させた生徒ディジタル信号を生成する生徒ディジタル信号生成手段と、上記生徒ディジタル信号から複数の大きさの窓で切り出してそれぞれの自己相関係数を算出する自己相関係数算出手段と、上記自己相関係数の算出結果に基づいてそのクラスを分類するクラス分類手段と、上記ディジタル信号と上記生徒ディジタル信号とに基づいて上記クラスに対応する予測係数を算出する予測係数算出手段とを具えることを特徴とする学習装置。
【請求項14】上記自己相関係数算出手段は、上記ディジタル信号に対して、上記自己相関係数の算出対象として、少なくとも大局的な探索範囲と局所的な探索範囲とを設け、当該探索範囲について上記自己相関係数を算出することを特徴とする請求項13に記載の学習装置。
【請求項15】上記自己相関係数算出手段は、上記ディジタル信号の振幅成分をなくした後、上記自己相関係数を算出することを特徴とする請求項13に記載の学習装置。
【請求項16】所望とするディジタル信号から当該ディジタル信号を劣化させた生徒ディジタル信号を生成するステップと、上記生徒ディジタル信号から複数の大きさの窓で切り出してそれぞれの自己相関係数を算出するステップと、上記自己相関係数の算出結果に基づいてそのクラスを分類するステップと、上記ディジタル信号と上記生徒ディジタル信号とに基づいて上記クラスに対応する予測係数を算出するステップとを含むプログラムを学習装置に実行させるプログラム格納媒体。
【請求項17】上記自己相関係数を算出するステップでは、上記ディジタル信号に対して、上記自己相関係数の算出対象として、少なくとも大局的な探索範囲と局所的な探索範囲とが設けられ、当該探索範囲について上記自己相関係数が算出されることを特徴とする請求項16に記載のプログラム格納媒体。
【請求項18】上記自己相関係数を算出するステップでは、上記ディジタル信号の振幅成分をなくした後、上記自己相関係数が算出されることを特徴とする請求項16に記載のプログラム格納媒体。
発明の詳細な説明
【0001】
【発明の属する技術分野】本発明はディジタル信号処理方法、学習方法及びそれらの装置並びにプログラム格納媒体に関し、レートコンバータ又はPCM(Pulse Code Modulation) 復号装置等においてディジタル信号に対してデータの補間処理を行うディジタル信号処理方法、学習方法及びそれらの装置並びにプログラム格納媒体に適用して好適なものである。
【0002】
【従来の技術】従来、ディジタルオーディオ信号をディジタル/アナログコンバータに入力する前に、サンプリング周波数を元の値の数倍に変換するオーバサンプリング処理を行っている。これにより、ディジタル/アナログコンバータから出力されたディジタルオーディオ信号はアナログ・アンチ・エイリアス・フィルタの位相特性が可聴周波数高域で一定に保たれ、また、サンプリングに伴うディジタル系のイメージ雑音の影響が排除されるようになされている。
【0003】かかるオーバサンプリング処理では、通常、線形一次(直線)補間方式のディジタルフィルタが用いられている。このようなディジタルフィルタは、サンプリングレートが変わったりデータが欠落した場合等に、複数の既存データの平均値を求めて直線的な補間データを生成するものである。
【0004】
【発明が解決しようとする課題】ところが、オーバサンプリング処理後のディジタルオーディオ信号は、線形一次補間によって時間軸方向に対してデータ量が数倍に緻密になっているものの、オーバサンプリング処理後のディジタルオーディオ信号の周波数帯域は変換前とあまり変わらず、音質そのものは向上していない。さらに、補間されたデータは必ずしもA/D変換前のアナログオーディオ信号の波形に基づいて生成されたのではないため、波形再現性もほとんど向上していない。
【0005】また、サンプリング周波数の異なるディジタルオーディオ信号をダビングする場合において、サンプリング・レート・コンバータを用いて周波数を変換しているが、かかる場合でも線形一次ディジタルフィルタによって直線的なデータの補間しか行うことができず、音質や波形再現性を向上することが困難であった。さらに、ディジタルオーディオ信号のデータサンプルが欠落した場合において同様である。
【0006】本発明は以上の点を考慮してなされたもので、ディジタル信号の波形再現性を一段と向上し得るディジタル信号処理方法、学習方法及びそれらの装置並びにプログラム格納媒体を提案しようとするものである。
【0007】
【課題を解決するための手段】かかる課題を解決するため本発明においては、ディジタル信号から複数の大きさの窓で切り出してそれぞれの自己相関係数を算出し、自己相関係数の算出結果に基づいてそのクラスを分類し、分類されたクラスに対応した予測方式でディジタル信号を変換するようにしたことにより、一段とディジタル信号の特徴に適応した変換を行うことができる。
【0008】
【発明の実施の形態】以下図面について、本発明の一実施の形態を詳述する。
【0009】図1においてオーディオ信号処理装置10は、ディジタルオーディオ信号(以下これをオーディオデータと呼ぶ)のサンプリングレートを上げたり、オーディオデータを補間する際に、真値に近いオーディオデータをクラス分類適用処理によって生成するようになされている。
【0010】因みに、この実施の形態におけるオーディオデータとは、人間の声や楽器の音等を表す楽音データ、さらにはその他種々の音を表すデータのことである。
【0011】すなわち、オーディオ信号処理装置10において、自己相関演算部11は入力端子TINから供給された入力オーディオデータD10を所定時間毎にカレントデータとして切り出した後、当該切り出した各カレントデータについて、後述する自己相関係数判定方法によって自己相関係数を算出し、当該算出した自己相関係数に基づいて、時間軸に切り出す領域及び位相変動の判定を行う。
【0012】自己相関演算部11は、このとき切り出した各カレントデータについて、時間軸に切り出す領域の判定を行った結果を抽出制御データD11として可変クラス分類抽出部12及び可変予測演算抽出部13に供給すると共に、位相変動の判定を行った結果を1ビットで表す相関クラスD15としてクラス分類部14に供給する。
【0013】また、可変クラス分類抽出部12は入力端子TINから供給された入力オーディオデータD10を、自己相関演算部11から供給された抽出制御データD11に応じて指定された領域を切り出しすることにより、クラス分類しようとするオーディオ波形データ(以下、これをクラスタップと呼ぶ)D12を抽出(この実施の形態の場合、例えば6サンプルとする)し、これをクラス分類部14に供給する。
【0014】クラス分類部14は、可変クラス分類抽出部12において抽出されたクラスタップD12を圧縮して圧縮データパターンを生成するADRC(Adaptive Dynamic Range Coding) 回路部と、クラスタップD12の属するクラスコードを発生するクラスコード発生回路部とを有する。
【0015】ADRC回路部はクラスタップD12に対して、例えば8ビットから2ビットに圧縮するような演算を行うことによりパターン圧縮データを形成する。このADRC回路部は、適応的量子化を行うものであり、ここでは、信号レベルの局所的なパターンを短い語長で効率的に表現することができるので、信号パターンのクラス分類のコード発生用に用いられる。
【0016】具体的には、6つの8ビットのデータ(クラスタップ)をクラス分類しようとする場合、248という膨大な数のクラスに分類しなければならず、回路上の負担が多くなる。そこで、この実施の形態のクラス分類部14ではその内部に設けられたADRC回路部で生成されるパターン圧縮データに基づいてクラス分類を行う。例えば6つのクラスタップに対して1ビットの量子化を実行すると、6つのクラスタップを6ビットで表すことができ、26 =64クラスに分類することができる。
【0017】ここで、ADRC回路部は、クラスタップのダイナミックレンジをDR、ビット割り当てをm、各クラスタップのデータレベルをL、量子化コードをQとすると、次式、【0018】
【数1】

【0019】に従って、領域内の最大値MAXと最小値MINとの間を指定されたビット長で均等に分割して量子化を行う。なお、(1)式において{ }は小数点以下の切り捨て処理を意味する。かくして、自己相関演算部11において算出された自己相関係数の判定結果(抽出制御データD11)に応じて抽出された6つのクラスタップが、それぞれ例えば8ビット(m=8)で構成されているとすると、これらはADRC回路部においてそれぞれが2ビットに圧縮される。
【0020】このようにして圧縮されたクラスタップをそれぞれqn (n=1〜6)とすると、クラス分類部14に設けられたクラスコード発生回路部は、圧縮されたクラスタップqn に基づいて、次式、【0021】
【数2】

【0022】に示す演算を実行することにより、そのクラスタップ(q1 〜q6 )が属するクラスを示すクラスコードclass を算出する。
【0023】ここで、クラスコード発生回路部は、算出したクラスコードclass に対応づけて自己相関演算部11から供給された1ビットで表されている相関クラスD15を統合し、これにより得られたクラスコードclass ′を示すクラスコードデータD13を予測係数メモリ15に供給する。このクラスコードclass ′は、予測係数メモリ15から予測係数を読み出す際の読み出しアドレスを示す。因みに(2)式において、nは圧縮されたクラスタップqn の数を表し、この実施の形態の場合n=6であり、またPはADRC回路部において圧縮されたビット割り当てを表し、この実施の形態の場合P=2である。
【0024】このようにして、クラス分類部14は可変クラス分類抽出部12において入力オーディオデータD10から抽出されたクラスタップD12のクラスコードに対応づけて相関クラスD15を統合し、これにより得られたクラスコードデータD13を生成し、これを予測係数メモリ15に供給する。
【0025】予測係数メモリ15には、各クラスコードに対応する予測係数のセットがクラスコードに対応するアドレスにそれぞれ記憶されており、クラス分類部14から供給されるクラスコードデータD13に基づいて、当該クラスコードに対応するアドレスに記憶されている予測係数のセットW1 〜Wn が読み出され、予測演算部16に供給される。
【0026】また、予測演算部16には、可変予測演算抽出部13において自己相関演算部11からの抽出制御データD11に応じて可変クラス分類抽出部12と同様に切り出して抽出された予測演算しようとするオーディオ波形データ(以下、これを予測タップと呼ぶ)D14(X1 〜Xn )が供給される。
【0027】予測演算部16は、可変予測演算抽出部13から供給された予測タップD14(X1 〜Xn )と、予測係数メモリ15から供給された予測係数W1 〜Wn とに対して、次式【0028】
【数3】

【0029】に示す積和演算を行うことにより、予測結果y′を得る。この予測値y′が、音質が改善されたオーディオデータD16として予測演算部16から出力される。
【0030】なお、オーディオ信号処理装置10の構成として図1について上述した機能ブロックを示したが、この機能ブロックを構成する具体的構成として、この実施の形態においては図2に示すコンピュータ構成の装置を用いる。すなわち、図2において、オーディオ信号処理装置10は、バスBUSを介してCPU21、ROM(Read Only Memory)22、予測係数メモリ15を構成するRAM(Random Access Memory)15、及び各回路部がそれぞれ接続された構成を有し、CPU11はROM22に格納されている種々のプログラムを実行することにより、図1について上述した各機能ブロック(自己相関演算部11、可変クラス分類抽出部12、可変予測演算抽出部13、クラス分類部14及び予測演算部16)として動作するようになされている。
【0031】また、オーディオ信号処理装置10にはネットワークとの間で通信を行う通信インターフェース24、フロッピィディスクや光磁気ディスク等の外部記憶媒体から情報を読み出すリムーバブルドライブ28を有し、ネットワーク経由又は外部記憶媒体から図1について上述したクラス分類適用処理を行うための各プログラムをハードディスク装置25のハードディスクに読み込み、当該読み込まれたプログラムに従ってクラス分類適応処理を行うこともできる。
【0032】ユーザは、キーボードやマウス等の入力手段26を介して所定のコマンドを入力することにより、CPU21に対して図1について上述したクラス分類処理を実行させる。この場合、オーディオ信号処理装置10はデータ入出力部27を介して音質を向上させようとするオーディオデータ(入力オーディオデータ)D10を入力し、当該入力オーディオデータD10に対してクラス分類適用処理を施した後、音質が向上したオーディオデータD16をデータ入出力部27を介して外部に出力し得るようになされている。
【0033】因みに、図3はオーディオ信号処理装置10におけるクラス分類適応処理の処理手順を示し、オーディオ信号処理装置10はステップSP101から当該処理手順に入ると、続くステップSP102において入力オーディオデータD10の自己相関係数を算出し、当該算出した自己相関係数に基づいて、自己相関演算部11において時間軸に切り出す領域及び位相変動の判定を行う。
【0034】時間軸に切り出す領域の判定結果(すなわち、抽出制御データD11)は入力オーディオデータD10の特徴部分及びその付近の振幅の起伏に類似性があるか否かに基づいて表されるものであり、クラスタップの切り出す領域を決定づけると共に、予測タップの切り出す領域を決定づけるものである。
【0035】従ってオーディオ信号処理装置10はステップSP103に移って、可変クラス分類抽出部12において、入力オーディオデータD10を判定結果(すなわち、抽出制御データD11)に応じて指定された領域を切り出すことにより、クラスタップD12を抽出する。そしてオーディオ信号処理装置10は、ステップSP104に移って、可変クラス分類抽出部12において抽出されたクラスタップD12に対して、クラスの分類を行う。
【0036】さらにオーディオ信号処理装置10は、クラス分類の結果得られたクラスコードに、自己相関演算部11において入力オーディオデータD10の位相変動の判定結果により得られた相関クラスコードを統合し、これにより得られたクラスコードを用いて予測係数メモリ15から予測係数を読み出す。この予測係数は予め学習によりクラス毎に対応して格納されており、オーディオ信号処理装置10はクラスコードに対応した予測係数を読み出すことにより、このときの入力オーディオデータD10の特徴に合致した予測係数を用いることができる。
【0037】予測係数メモリ15から読み出された予測係数は、ステップSP105において予測演算部16の予測演算に用いられる。これにより、入力オーディオデータD10はその特徴に適応した予測演算により、所望とするオーディオデータD16に変換される。かくして入力オーディオデータD10はその音質が改善されたオーディオデータD16に変換され、オーディオ信号処理装置10はステップSP106に移って当該処理手順を終了する。
【0038】次に、オーディオ信号処理装置10の自己相関演算部11における入力オーディオデータD10の自己相関係数判定方法について説明する。
【0039】図4において、自己相関演算部11は入力端子TIN(図1)から供給された入力オーディオデータD10を所定時間毎に各カレントデータとして切り出すようになされており、このとき切り出したカレントデータを自己相関係数算出部40及び41に供給する。
【0040】自己相関係数算出部40は切り出されたカレントデータに対して、次式、【0041】
【数4】

【0042】に従ってハミング窓を乗算することにより、図5に示すように、注目する時間位置current から左右対象となされた探索範囲データAR1(以下、これを相関窓(小)と呼ぶ)を切り出す。
【0043】因みに、(4)式において、「N」は相関窓のサンプル数を表しており、「u」は何番目のサンプルデータであるかを表している。
【0044】さらに自己相関係数算出部40は、切り出した相関窓(小)に基づいて、予め設定された自己相関演算範囲を選択するようになされており、このとき切り出された相関窓(小)AR1に基づいて、例えば自己相関演算範囲SC1を選択し、次式、【0045】
【数5】

【0046】に従って、N個のサンプリング値からなる信号波形g(i) と、その遅れ時間tだけずらせた信号波形g(i+t) に対して、それぞれかけ合わせて累積し、平均化することにより、自己相関演算範囲SC1の自己相関係数D40を算出し、これを判定演算部42に供給する。
【0047】一方、自己相関係数算出部41は自己相関係数算出部40と同様にして、切り出されたカレントデータに対して、上述の(4)式と同様の演算により、ハミング窓を乗算することにより、注目する時間位置current から左右対象となされた探索範囲データAR2(以下、これを相関窓(大)と呼ぶ)を切り出す(図5)。
【0048】因みに、自己相関係数算出部40が(4)式を用いる際のサンプル数「N」は、自己相関係数算出部41が(4)式を用いる際のサンプル数「N」よりも小さくなるように設定される。
【0049】さらに自己相関係数算出部41は、予め設定された自己相関演算範囲のうち、切り出した相関窓(小)の自己相関演算範囲に対応づけて選択するようになされており、このとき切り出された相関窓(小)AR1の自己相関演算範囲SC1に対応づけられた自己相関演算範囲SC3を選択する。そして自己相関係数算出部41は、上述の(5)式と同様の演算により、自己相関演算範囲SC3の自己相関係数D42を算出し、これを判定演算部42に供給する。
【0050】判定演算部42は、自己相関係数算出部40及び41から供給された各々の自己相関係数に基づいて、入力オーディオデータD10の時間軸に切り出す領域の判定を行うようになされており、このとき自己相関係数算出部40及び41から供給された自己相関係数D40の値と、自己相関係数D41の値とに大きな差があった場合、このことは相関窓AR1に含まれているディジタルで表されたオーディオ波形の状態と、相関窓AR2に含まれているディジタルで表されたオーディオ波形の状態とが極端にかけ離れている、つまり相関窓AR1及びAR2それぞれのオーディオ波形に類似性がない非定常状態であることを表している。
【0051】従って判定演算部42はこのとき入力された入力オーディオデータD10の特徴を見い出して予測演算を一段と向上させるためには、クラスタップ及び予測タップのサイズ(時間軸に切り出す領域)を短くする必要性があると判定する。
【0052】従って判定演算部42は、クラスタップ及び予測タップのサイズ(時間軸に切り出す領域)を相関窓(小)AR1と同様のサイズに切り出すように決定づける抽出制御データD11を生成し、これを可変クラス分類抽出部12(図1)及び可変予測演算抽出部13(図1)に供給する。
【0053】この場合可変クラス分類抽出部12(図1)では、抽出制御データD11によって例えば図6(A)に示すようにクラスタップを短く切り出し、また可変予測演算抽出部13(図1)では、抽出制御データD11によって図6(C)に示すようにクラスタップと同様のサイズで予測タップを短く切り出す。
【0054】これに対して、自己相関係数算出部40及び41から供給された自己相関係数D40の値と、自己相関係数D41の値とに大きな差がない場合、このことは相関窓AR1に含まれているディジタルで表されたオーディオ波形の状態と、相関窓AR2に含まれているディジタルで表されたオーディオ波形の状態とが極端にかけ離れていない、つまりオーディオ波形に類似性がある定常状態であることを表している。
【0055】従って判定演算部42は、クラスタップ及び予測タップのサイズ(時間軸に切り出す領域)を長くした場合においても、このとき入力された入力オーディオデータD10の特徴を見い出して予測演算を十分に行い得ると判定する。
【0056】従って判定演算部42は、クラスタップ及び予測タップのサイズ(時間軸に切り出す領域)を相関窓(大)AR2と同様のサイズに切り出すように決定づける抽出制御データD11を生成し、これを可変クラス分類抽出部12(図1)及び可変予測演算抽出部13(図1)に供給する。
【0057】この場合可変クラス分類抽出部12(図1)では、抽出制御データD11によって例えば図6(B)に示すようにクラスタップを長く切り出し、また可変予測演算抽出部13(図1)では、抽出制御データD11によって図6(D)に示すようにクラスタップと同様のサイズで予測タップを長く切り出す。
【0058】また、判定演算部42は自己相関係数算出部40及び41から供給された各々の自己相関係数に基づいて、入力オーディオデータD10の位相変動の判定を行うようになされており、このとき自己相関係数算出部40及び41から供給された自己相関係数D40の値と、自己相関係数D41の値とに大きな差があった場合、このことはオーディオ波形に類似性がない非定常状態であることを表しているため、判定演算部42は1ビットで表される相関クラスD15を立て(すなわち、「1」にする)、クラス分類部14に供給する。
【0059】これに対して、判定演算部42はこのとき自己相関係数算出部40及び41から供給された自己相関係数D40の値と、自己相関係数D41の値とに大きな差がない場合、このことはオーディオ波形に類似性がある定常状態であることを表しているため、判定演算部42は1ビットで表される相関クラスD15を立てず(すなわち、「0」である)にクラス分類部14に供給する。
【0060】このように、自己相関演算部11は相関窓AR1及びAR2それぞれのオーディオ波形に類似性がない非定常状態であるときには、入力オーディオデータD10の特徴を見い出して予測演算を一段と向上させるために、タップを短く切り出すように決定づける抽出制御データD11を生成すると共に、相関窓AR1及びAR2それぞれのオーディオ波形に類似性がある定常状態であるときには、タップを長く切り出すように決定づける抽出制御データD11を生成することができる。
【0061】また、自己相関演算部11は相関窓AR1及びAR2それぞれのオーディオ波形に類似性がない非定常状態であるときには、1ビットで表される相関クラスD15を立て(すなわち、「1」にする)ると共に、相関窓AR1及びAR2それぞれのオーディオ波形に類似性がある定常状態であるときには、1ビットで表される相関クラスD15を立てず(すなわち、「0」である)にクラス分類部14に供給することができる。
【0062】この場合、オーディオ信号処理装置10は自己相関演算部11から供給された相関クラスD15を、このとき可変分類抽出部12から供給されたクラスタップD12のクラス分類された結果得られたクラスコードclass に統合するため、一段と多くのクラス分類の頻度から予測演算を行うことができ、これにより一段と音質が改善されたオーディオデータを生成することができる。
【0063】なお、この実施の形態においては、自己相関係数算出部40及び41が1つの自己相関演算範囲を選択する場合について述べたが、本発明はこれに限らず、複数の自己相関演算範囲を選択するようにしても良い。
【0064】この場合、自己相関係数算出部40(図4)は、例えば図7に示すように、このとき切り出された相関窓(小)AR3に基づいて、予め設定された自己相関演算範囲を選択するとき、例えば自己相関演算範囲SC3及びSC4を選択し、当該選択した自己相関演算範囲SC3及びSC4それぞれの自己相関係数を上述の(5)式と同様の演算によって算出する。さらに自己相関係数算出部40(図4)は、自己相関演算範囲SC3及びSC4それぞれ算出した自己関数係数を平均化することにより、新たに算出された自己関数係数を判定演算部42(図4)に供給する。
【0065】一方、自己相関係数算出部41(図4)は、このとき切り出された相関窓(小)AR3の自己相関演算範囲SC3及びSC4に対応づけられた自己相関演算範囲SC5及びSC6を選択し、当該選択した自己相関演算範囲SC5及びSC6それぞれの自己相関係数を上述の(5)式と同様の演算によって算出する。さらに自己相関係数算出部41(図4)は、自己相関演算範囲SC5及びSC6それぞれ算出した自己関数係数を平均化することにより、新たに算出された自己関数係数を判定演算部42(図4)に供給する。
【0066】このように、複数の自己相関演算範囲を選択するようにすれば、自己相関係数算出部は、一段と広範囲の自己相関演算範囲を確保することになり、これにより自己相関係数算出部は、一段と多くのサンプル数によって自己相関係数を算出することができる。
【0067】次に、図1について上述した予測係数メモリ15に記憶するクラス毎の予測係数のセットを予め学習によって得るための学習回路について説明する。
【0068】図8において、学習回路30は、高音質の教師オーディオデータD30を生徒信号生成フィルタ37に受ける。生徒信号生成フィルタ37は、間引き率設定信号D39により設定された間引き率で教師オーディオデータD30を所定時間ごとに所定サンプル間引くようになされている。
【0069】この場合、生徒信号生成フィルタ37における間引き率によって、生成される予測係数が異なり、これに応じて上述のオーディオ信号処理装置10で再現されるオーディオデータも異なる。例えば、上述のオーディオ信号処理装置10においてサンプリング周波数を高くすることでオーディオデータの音質を向上しようとする場合、生徒信号生成フィルタ37ではサンプリング周波数を減らす間引き処理を行う。また、これに対して上述のオーディオ信号処理装置10において入力オーディオデータD10の欠落したデータサンプルを補うことで音質の向上を図る場合には、これに応じて、生徒信号生成フィルタ37ではデータサンプルを欠落させる間引き処理を行うようになされている。
【0070】かくして、生徒信号生成フィルタ37は教師オーディオデータ30から所定の間引き処理により生徒オーディオデータD37を生成し、これを自己相関演算部31、可変クラス分類抽出部32及び可変予測演算抽出部33それぞれに供給する。
【0071】自己相関演算部31は生徒信号生成フィルタ37から供給された生徒オーディオデータD37を所定時間毎の領域(この実施の形態の場合、例えば6サンプル毎とする)に分割した後、当該分割された各時間領域の波形について、図4において上述した自己相関係数判定方法によりその自己相関係数を算出し、当該算出した自己相関係数に基づいて、時間軸に切り出す領域及び位相変動を判定する。
【0072】自己相関演算部31はこのとき算出した生徒オーディオデータD37の自己相関係数に基づいて、時間軸に切り出す領域の判定結果を抽出制御データD31として可変クラス分類抽出部32及び可変予測演算抽出部33にそれぞれ供給すると共に、位相変動の判定結果を相関データD35としてクラス分類部14に供給する。
【0073】また、可変クラス分類抽出部32は生徒信号生成フィルタ37から供給された生徒オーディオデータD37を、自己関数演算部31から供給された抽出制御データD31に応じて指定された領域を切り出しすることにより、クラス分類しようとするクラスタップD32を抽出(この実施の形態の場合、例えば6サンプルとする)し、これをクラス分類部34に供給する。
【0074】クラス分類部34は、可変クラス分類抽出部32において抽出されたクラスタップD32を圧縮して圧縮データパターンを生成するADRC(Adaptive Dynamic Range Coding) 回路部と、クラスタップD32の属するクラスコードを発生するクラスコード発生回路部とを有する。
【0075】ADRC回路部はクラスタップD32に対して、例えば8ビットから2ビットに圧縮するような演算を行うことによりパターン圧縮データを形成する。このADRC回路部は、適応的量子化を行うものであり、ここでは、信号レベルの局所的なパターンを短い語長で効率的に表現することができるので、信号パターンのクラス分類のコード発生用に用いられる。
【0076】具体的には、6つの8ビットのデータ(クラスタップ)をクラス分類しようとする場合、248という膨大な数のクラスに分類しなければならず、回路上の負担が多くなる。そこで、この実施の形態のクラス分類部34ではその内部に設けられたADRC回路部で生成されるパターン圧縮データに基づいてクラス分類を行う。例えば6つのクラスタップに対して1ビットの量子化を実行すると、6つのクラスタップを6ビットで表すことができ、26 =64クラスに分類することができる。
【0077】ここで、ADRC回路部は、クラスタップのダイナミックレンジをDR、ビット割り当てをm、各クラスタップのデータレベルをL、量子化コードをQとして、上述の(1)式と同様の演算により、領域内の最大値MAXと最小値MINとの間を指定されたビット長で均等に分割して量子化を行う。かくして、自己相関演算部31において算出された自己相関係数の判定結果(抽出制御データD31)に応じて抽出された6つのクラスタップが、それぞれ例えば8ビット(m=8)で構成されているとすると、これらはADRC回路部においてそれぞれが2ビットに圧縮される。
【0078】このようにして圧縮されたクラスタップをそれぞれqn (n=1〜6)とすると、クラス分類部34に設けられたクラスコード発生回路部は、圧縮されたクラスタップqn に基づいて、上述の(2)式と同様の演算を実行することにより、そのクラスタップ(q1 〜q6 )が属するクラスを示すクラスコードclass を算出する。
【0079】ここで、クラスコード発生回路部は、算出したクラスコードclass に対応づけて自己相関演算部31から供給された相関データD35を統合し、これにより得られたクラスコードclass ′を示すクラスコードデータD34を予測係数メモリ15に供給する。このクラスコードclass ′は、予測係数メモリ15から予測係数を読み出す際の読み出しアドレスを示す。因みに(2)式において、nは圧縮されたクラスタップqn の数を表し、この実施の形態の場合n=6であり、またPはADRC回路部において圧縮されたビット割り当てを表し、この実施の形態の場合P=2である。
【0080】このようにして、クラス分類部34は可変クラス分類部抽出部32において生徒オーディオデータD37から抽出されたクラスタップD32のクラスコードに対応づけて相関データD35を統合し、これにより得られたクラスコードデータD34を生成し、これを予測係数メモリ15に供給する。
【0081】また、予測係数算出部36には、可変予測演算抽出部33において自己相関演算部31からの抽出制御データD31に応じて、可変クラス分類抽出部32と同様に切り出して抽出された予測演算しようとする予測タップD33(X1 〜Xn)が供給される。
【0082】予測係数算出部36は、クラス分類部34から供給されたクラスコードデータD34(クラスコードclass ′)と、各予測タップD33と、入力端TINから供給された高音質の教師オーディオデータD30とを用いて、正規方程式を立てる。
【0083】すなわち、生徒オーディオデータD37のnサンプルのレベルをそれぞれx1、x2 、……、xn として、それぞれにpビットのADRCを行った結果の量子化データをq1 、……、qn とする。このとき、この領域のクラスコードclassを上述の(2)式のように定義する。そして、上述のように生徒オーディオデータD37のレベルをそれぞれ、x1 、x2 、……、xn とし、高音質の教師オーディオデータD30のレベルをyとしたとき、クラスコード毎に、予測係数w1、w2 、……、wn によるnタップの線形推定式を設定する。これを次式、【0084】
【数6】

【0085】とする。学習前は、Wn が未定係数である。
【0086】学習回路30では、クラスコード毎に、複数のオーディオデータに対して学習を行う。データサンプル数がMの場合、上述の(6)式に従って、次式、【0087】
【数7】

【0088】が設定される。但しk=1、2、……Mである。
【0089】M>nの場合、予測係数w1 、……wn は一意的に決まらないので、誤差ベクトルeの要素を次式、【0090】
【数8】

【0091】によって定義し(但し、k=1、2、……、M)、次式、【0092】
【数9】

【0093】を最小にする予測係数を求める。いわゆる、最小自乗法による解法である。
【0094】ここで、(9)式によるwn の偏微分係数を求める。この場合、次式、【0095】
【数10】

【0096】を「0」にするように、各Wn (n=1〜6)を求めれば良い。
【0097】そして、次式、【0098】
【数11】

【0099】
【数12】

【0100】のように、Xij、Yi を定義すると、(10)式は行列を用いて次式、【0101】
【数13】

【0102】として表される。
【0103】この方程式は、一般に正規方程式と呼ばれている。なお、ここではn=6である。
【0104】全ての学習用データ(教師オーディオデータD30、クラスコードclass 、予測タップD33)の入力が完了した後、予測係数算出部36は各クラスコードclass に上述の(13)式に示した正規方程式を立てて、この正規方程式を掃き出し法等の一般的な行列解法を用いて、各Wn について解き、各クラスコード毎に、予測係数を算出する。予測係数算出部36は、算出された各予測係数(D36)を予測係数メモリ15に書き込む。
【0105】このような学習を行った結果、予測係数メモリ15には、量子化データq1 、……、q6 で規定されるパターン毎に、高音質のオーディオデータyを推定するための予測係数が、各クラスコード毎に格納される。この予測係数メモリ15は、図1について上述したオーディオ信号処理装置10において用いられる。かかる処理により、線形推定式に従って通常のオーディオデータから高音質のオーディオデータを作成するための予測係数の学習が終了する。
【0106】このように、学習回路30は、オーディオ信号処理装置10において補間処理を行う程度を考慮して、生徒信号生成フィルタ37で高音質の教師オーディオデータの間引き処理を行うことにより、オーディオ信号処理装置10における補間処理のための予測係数を生成することができる。
【0107】以上の構成において、オーディオ信号処理装置10は、自己相関演算部11において入力オーディオデータD10の時間波形領域での自己相関係数を算出する。自己相関演算部11が判定する判定結果は入力オーディオデータD10の音質ごとに変わるもので、オーディオ信号処理装置10は入力オーディオデータD10の自己相関係数の判定結果に基づいてそのクラスを特定する。
【0108】オーディオ信号処理装置10は、予め学習時に例えば歪みのない高音質のオーディオデータ(教師オーディオデータ)を得るための予測係数をクラス毎に求めておき、自己相関係数の判定結果に基づいてクラス分類された入力オーディオデータD10をそのクラスに応じた予測係数により予測演算する。これにより、入力オーディオデータD10はその音質に応じた予測係数を用いて予測演算されるので、実用上十分な程度に音質が向上する。
【0109】また、クラス毎の予測係数を生成する学習時において、位相の異なる多数の教師オーディオデータについてそれぞれに対応した予測係数を求めておくことにより、オーディオ信号処理装置10における入力オーディオデータD10のクラス分類適応処理時に位相変動が生じても、位相変動に対応した処理を行うことができる。
【0110】以上の構成によれば、入力オーディオデータD10の時間波形領域における自己相関係数の判定結果に基づいて入力オーディオデータD10をクラス分類し、当該クラス分類された結果に基づく予測係数を用いて入力オーディオデータD10を予測演算するようにしたことにより、入力オーディオデータD10を一段と高音質のオーディオデータD16に変換することができる。
【0111】なお上述の実施の形態においては、自己相関演算部11及び31が時間軸波形のデータ(相関窓(小)に基づいて選択した自己演算範囲SC1及び相関窓(大)から自己演算範囲SC1に対応づけて選択した自己演算範囲SC2)をそのまま用いて上述の(5)式に従って演算することにより、自己相関係数を算出する場合について述べたが、本発明はこれに限らず、時間軸波形の傾斜極性に着目し、当該傾斜極性を特徴量として表されるデータに変換後、当該変換した変換データを上述の(5)式に従って演算することにより、自己相関係数を算出するようにしても良い。
【0112】この場合、時間軸波形の傾斜極性を特徴量として表されるデータに変換された変換データは、振幅成分が取り除かれるため、当該変換データを上述の(5)式に従って演算することにより算出された自己相関係数は、振幅に依存しない値として求められる。従って、変換データを上述の(5)式に従って演算することにより算出する自己相関演算部は、一段と周波数成分に依存した自己相関係数を求めることができる。
【0113】このように、時間軸波形の傾斜極性に着目し、当該傾斜極性を特徴量として表されるデータに変換後、当該変換した変換データを上述の(5)式に従って演算するようにすれば、一段と周波数成分に依存した自己相関係数を求めることができる。
【0114】また上述の実施の形態においては、自己相関演算部11及び31が位相変動の判定を行った結果である相関クラスD15を1ビットで表す場合について述べたが、本発明はこれに限らず、多ビットで表すようにしても良い。
【0115】この場合、自己相関演算部11の判定演算部42(図4)は、自己相関係数算出部40及び41から供給された自己相関係数D40の値と、自己相関係数D41の値との差分値に応じて、多ビットで表す(量子化)相関クラスD15を生成し、これをクラス分類部14に供給する。
【0116】そしてクラス分類部14は、自己相関演算部11から供給された多ビットで表されている相関クラスD15を図1について上述したADRC回路部においてパターン圧縮化し、当該相関クラスD15が属するクラスを示すクラスコードclass 2を算出する。またクラス分類部14は、このとき可変クラス分類抽出部12から供給されたクラスタップD12について算出したクラスコードclass 1に、相関クラスD15ついて算出したクラスコードclass 2を統合し、これにより得られたクラスコードclass 3を示すクラスコードデータを予測係数メモリ15に供給する。
【0117】さらに、クラスコードclass 3に対応する予測係数のセットを記憶する学習回路の自己相関演算部31においても自己相関演算部11と同様に、多ビットで表す(量子化)相関クラスD35を生成し、これをクラス分類部34に供給する。
【0118】そしてクラス分類部34は、自己相関演算部31から供給された多ビットで表されている相関クラスD35を図8について上述したADRC回路部においてパターン圧縮化し、当該相関クラスD35が属するクラスを示すクラスコードclass 5を算出する。またクラス分類部34は、このとき可変クラス分類抽出部32から供給されたクラスタップD32について算出したクラスコードclass 4に、相関クラスD35ついて算出したクラスコードclass 5を統合し、これにより得られたクラスコードclass 6を示すクラスコードデータを予測係数算出部36に供給する。
【0119】このようにすれば、自己相関演算部11及び31が位相変動の判定を行った結果である相関クラスを多ビットで表すことができ、これによりクラス分類の頻度を一段と多くできる。従って、クラス分類された結果に基づく予測係数を用いて入力されたオーディオデータの予測演算を行うオーディオ信号処理装置は、一段と高音質のオーディオデータに変換することができる。
【0120】さらに上述の実施の形態においては、窓関数としてハミング窓を用いて乗算する場合について述べたが、本発明はこれに限らず、ハミング窓に代えて、例えばハニング窓やブラックマン窓等、他の窓関数によって乗算するようにしても良い。
【0121】さらに上述の実施の形態においては、予測方式として線形一次による手法を用いる場合について述べたが、本発明はこれに限らず、要は学習した結果を用いるようにすれば良く、例えば多次関数による手法、さらには入力端子TINから供給されるディジタルデータが画像データの場合には、画素値自体から予測する手法等、種々の予測方式を適用することができる。
【0122】さらに上述の実施の形態においては、圧縮データパターンを生成するパターン生成手段として、ADRCを行う場合について述べたが、本発明はこれに限らず、例えば可逆符号化(DPCM:Differential Pulse Code Modulation)やベクトル量子化(VQ:Vector Quantize )等の圧縮手段を用いるようにしても良い。要は、信号波形のパターンを少ないクラスで表現し得るような情報圧縮手段であれば良い。
【0123】さらに上述の実施の形態においては、オーディオ信号処理装置(図2)がプログラムによってオーディオデータ変換処理手順を実行する場合について述べたが、本発明はこれに限らず、ハードウェア構成によってこれらの機能を実現して種々のディジタル信号処理装置(例えば、レートコンバータ、オーバーサンプリング処理装置、BS(Broadcasting Satellite)放送等に用いられているPCM(Pulse Code Modulation) エラー修正装置等)内に設けたり、又は各機能を実現するプログラムを格納したプログラム格納媒体(フロッピー(登録商標)ディスク、光ディスク等)からこれらのプログラムを種々のディジタル信号処理装置にロードして各機能部を実現するようにしても良い。
【0124】
【発明の効果】上述のように本発明によれば、ディジタル信号から複数の大きさの窓で切り出してそれぞれの自己相関係数を算出し、自己相関係数の算出結果に基づいてそのクラスを分類し、分類されたクラスに対応した予測方式でディジタル信号を変換するようにしたことにより、一段とディジタル信号の特徴に適応した変換を行うことができ、かくして、ディジタル信号の波形再現性を一段と向上した高音質のディジタル信号への変換を行うことができる。




 

 


     NEWS
会社検索順位 特許の出願数の順位が発表

URL変更
平成6年
平成7年
平成8年
平成9年
平成10年
平成11年
平成12年
平成13年


 
   お問い合わせ info@patentjp.com patentjp.com   Copyright 2007-2013