米国特許情報 | 欧州特許情報 | 国際公開(PCT)情報 | Google の米国特許検索
 
     特許分類
A 農業
B 衣類
C 家具
D 医学
E スポ−ツ;娯楽
F 加工処理操作
G 机上付属具
H 装飾
I 車両
J 包装;運搬
L 化学;冶金
M 繊維;紙;印刷
N 固定構造物
O 機械工学
P 武器
Q 照明
R 測定; 光学
S 写真;映画
T 計算機;電気通信
U 核技術
V 電気素子
W 発電
X 楽器;音響


  ホーム -> 計算機;電気通信 -> 松下電器産業株式会社

発明の名称 画像符号化装置
発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開2007−143027(P2007−143027A)
公開日 平成19年6月7日(2007.6.7)
出願番号 特願2005−337130(P2005−337130)
出願日 平成17年11月22日(2005.11.22)
代理人 【識別番号】100115107
【弁理士】
【氏名又は名称】高松 猛
発明者 東澤 義人 / 遠藤 雅明
要約 課題
画像のウェーブレット変換の変換係数を保持するためのメモリ容量の削減が可能な画像符号化装置を提供する。

解決手段
第1段階目のサブバンド分割を行うウェーブレット変換部101と、高周波数成分の量子化を行って符号量調整を行う高域量子化部102と、データを一時蓄積するバッファ管理部103とを備え、入力画像をウェーブレット変換して得た高周波数成分の変換係数に対して量子化し、さらにゼロ成分を削除することで符号量調整を行う。これにより、高周波数成分の変換係数を保持するためのメモリ容量を削減でき、バッファ管理部103におけるメモリ容量の削減が可能となる。
特許請求の範囲
【請求項1】
入力された画像を1枚ずつウェーブレット変換を行い、低周波数成分と高周波数成分にサブバンド分割を行う第1のウェーブレット変換手段と、
サブバンド分割された前記高周波数成分に対して量子化を行って符号量調整を行う高域量子化手段と、
サブバンド分割された前記低周波数成分と量子化された前記高周波数成分を一時蓄積し、画像の符号化単位となる画像枚数に達したときに出力するバッファ管理手段と、
前記バッファ管理手段の出力に対してウェーブレット変換を行い、低周波数成分と高周波数成分にサブバンド分割を行う第2のウェーブレット変換手段と、
前記第2のウェーブレット変換手段で得られた各サブバンド成分に対してそれぞれの専用の量子化パラメータを用いて量子化を行う量子化手段と、
量子化を行って得られた量子化係数についてフレーム間で動き補償を行うフレーム間処理手段と、
非ゼロ値の量子化係数を計数し、その計数値に基づいて目標符号化量に近づけるように前記各サブバンド成分の量子化パラメータを調整するレート制御手段と、
前記量子化手段で得られた量子化係数に対してエントロピ符号化を行いエントロピ符号化係数を得る可変長符号化手段と、
を備える画像符号化装置。
【請求項2】
前記高域量子化手段は、交互の水平ラインごとに前記バッファ管理手段の高周波数成分の格納先を変更し、一方のライン用の高周波数成分格納バッファが一杯になったとき、もう一方のライン用の高周波数成分格納バッファをクリアして、該バッファを一杯になったライン用のバッファとして変更する請求項1に記載の画像符号化装置。
発明の詳細な説明
【技術分野】
【0001】
本発明は、入力画像に対してウェーブレット変換を施して、高周波数から低周波数までのサブバンドに分割する画像符号化装置に関する。
【背景技術】
【0002】
従来、上述した画像符号化装置には、動画を形成する各フィールドの圧縮率を制御するレート制御を行うものがある(例えば特許文献1参照)。特に、特許文献1で開示された手法では、画像等の情報自体が有するエントロピ値から適切な量子化ステップ値を算出することにより、適切なレート制御を可能としている。図5は、ウェーブレット変換後にレート制御を行うようにした従来の画像符号化装置の概略構成を示すブロック図である。同図に示す画像符号化装置は、入力画像に対してウェーブレット変換を施して高周波数から低周波数までのサブバンドに分割するウェーブレット変換部1と、このウェーブレット変換部1の出力係数から目標とする符号量(ビット数)に近づくように量子化ステップを見積もるレート制御部2と、上記ウェーブレット変換部1の出力係数に対して量子化を行い量子化係数を得る量子化部3と、量子化部3で得られた量子化係数に対してエントロピ符号化を行いエントロピ符号化係数を得る可変長符号化部4とから構成されており、画像1枚のウェーブレット変換の出力係数からエントロピ値を求めることで目標とする符号量に近づけるための量子化ステップを求めている。
【0003】
一方、従来、複数チャネルが時系列に多重化された画像を符号化する画像符号化装置がある(例えば特許文献2参照)。特に、特許文献2で開示された画像処理装置は、複数チャネルの画像を含む入力からチャネルごとに分類して画像を一時保管し、GOP(Group of Pictures)分貯まったチャネルの画像を読み出して動画像圧縮を行う。
【0004】
【特許文献1】特開2004−80166号公報
【特許文献2】特開2002−16876号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
しかしながら、ウェーブレット変換後にレート制御を行うようにした従来の画像符号化装置においては、1枚の画像のウェーブレット変換の出力係数を保持するため、少なくとも1枚画像のデータサイズ×1係数あたりのビット数分のメモリを必要とし、その分コストが嵩む。
【0006】
また、複数チャネルが時系列に多重化された画像を符号化する従来の画像符号化装置においては、チャネルごとに分類して画像を蓄積し、GOPを構成する枚数になった時点で動き補償等の時間方向の処理を行うので、チャネル数の倍数分メモリ容量が増大し、上述した画像符号化装置よりもさらにコストが嵩む。
【0007】
本発明は、係る事情に鑑みてなされたものであり、画像のウェーブレット変換の出力係数を保持するためのメモリ容量の削減が可能な画像符号化装置を提供することを目的とする。
【課題を解決するための手段】
【0008】
上記目的は下記構成により達成される。
(1) 画像符号化装置において、入力された画像を1枚ずつウェーブレット変換を行い、低周波数成分と高周波数成分にサブバンド分割を行う第1のウェーブレット変換手段と、サブバンド分割された前記高周波数成分に対して量子化を行って符号量調整を行う高域量子化手段と、サブバンド分割された前記低周波数成分と量子化された前記高周波数成分を一時蓄積し、画像の符号化単位となる画像枚数に達したときに出力するバッファ管理手段と、前記バッファ管理手段の出力に対してウェーブレット変換を行い、低周波数成分と高周波数成分にサブバンド分割を行う第2のウェーブレット変換手段と、前記第2のウェーブレット変換手段で得られた各サブバンド成分に対してそれぞれの専用の量子化パラメータを用いて量子化を行う量子化手段と、量子化を行って得られた量子化係数についてフレーム間で動き補償を行うフレーム間処理手段と、非ゼロ値の量子化係数を計数し、その計数値に基づいて目標符号化量に近づけるように前記各サブバンド成分の量子化パラメータを調整するレート制御手段と、前記量子化手段で得られた量子化係数に対してエントロピ符号化を行いエントロピ符号化係数を得る可変長符号化手段と、を備える。
【0009】
(2) 上記(1)に記載の画像符号化装置において、前記高域量子化手段は、交互の水平ラインごとに前記バッファ管理手段の高周波数成分の格納先を変更し、一方のライン用の高周波数成分格納バッファが一杯になったとき、もう一方のライン用の高周波数成分格納バッファをクリアして、該バッファを一杯になったライン用のバッファとして変更する。
【発明の効果】
【0010】
上記(1)に記載の画像符号化装置では、入力画像をウェーブレット変換して得た高周波数成分に対して量子化して符号量調整を行うので、高周波数成分を保持するためのメモリ容量を削減でき、従来と比較して、高周波数成分及び低周波数成分それぞれを保持するためのメモリ容量を抑制することができる。
【0011】
上記(2)に記載の画像符号化装置では、交互の水平ラインごとに高周波数成分の格納先を変更し、一方のライン用の高周波数成分格納バッファが一杯になったとき、もう一方のライン用の高周波数成分格納バッファをクリアして、該バッファを一杯になったライン用の高周波数成分格納バッファとして変更するので、高周波数成分の量子化と格納を継続して行うことが可能となり、画像の下方部分の高周波数成分が欠落してしまうことを抑制することができる。すなわち、高周波数成分が画像の一部に集中して欠落が生じてしまうのを抑制することができる。
【発明を実施するための最良の形態】
【0012】
以下、本発明を実施するための好適な実施の形態について、図面を参照して詳細に説明する。
【0013】
図1は、本発明の一実施の形態に係る画像符号化装置の概略構成を示すブロック図である。図1において、本実施の形態の画像符号化装置は、ウェーブレット変換部(第1のウェーブレット変換手段)101と、高域量子化部(高域量子化手段)102と、バッファ管理部(バッファ管理手段)103と、ウェーブレット変換部(第2のウェーブレット変換手段)104と、量子化部(量子化手段)105と、フレーム間処理部(フレーム間処理手段)106と、レート制御部(レート制御手段)107と、可変長符号化部(可変長符号化手段)108とを備えて構成される。
【0014】
ウェーブレット変換部101は、ウェーブレット変換を用いて第1段階目のサブバンド分割を行うものであり、入力画像1枚ごとに低周波数成分と高周波数成分にサブバンド分割を行い、低周波数成分をバッファ管理部103に入力し、高周波数成分を高域量子化部102に入力する。図2を参照してウェーブレット変換部101の処理の詳細について説明する。本実施の形態では、ウェーブレット変換部101は、水平方向の1次元ウェーブレット変換を行うものとする。図2に示すように、1枚の画像をラインごとにOdd(奇数)ラインとEven(偶数)ラインとに分けて処理を行う。Oddライン数NとEvenライン数Mの合計は画像のライン数と同じである。例えば、O[1]、E[1]、O[2]、E[2]、…、O[N−1]、E[M−1]、O[N]、E[M]の順に1次元ウェーブレット変換を行い、低周波数成分と高周波数成分とに分割する。なお、この場合、1枚の画像がインタレース画像であって、2フィールドからなるフレームである場合は各フィールドごとにOddラインとEvenラインを割り当ててもよいし、1フィールドをOddラインとEvenラインに分けてもよい。
【0015】
図1に戻り、高域量子化部102は、ウェーブレット変換部101より入力された高周波数成分に対して量子化を行って符号量調整を行う。高域量子化部102の処理の詳細については後述する。バッファ管理部103は、低周波数成分と高周波数成分を格納するためのメモリを持ち、ウェーブレット変換部101からの低周波数成分を低周波数成分用の格納領域に一時的に格納し、また高域量子化部102で量子化された高周波数成分を高周波数成分用の格納領域に一時的に格納する。バッファ管理部103は、画像の符号化単位となる画像枚数に達すると、各周波数成分をウェーブレット変換部104に入力する。以降、画像の符号化単位をGOP(Group of Pictures)と呼ぶ。
【0016】
ここで、図3を参照してバッファ管理部103のメモリの割り当てについて説明する。図3は低周波数成分及び高周波数成分を格納するメモリ割り当ての概念図である。この図において、301は入力画像、302はサブバンド分割後の低周波数成分(L)、高周波数成分(H)を格納するために必要なメモリ割り当て、303は高周波数成分(H)を削減したときのメモリ割り当て、304は高周波数成分をさらにOddラインとEvenラインの成分に分割したときのメモリ割り当てを表している。ウェーブレット変換部101によって入力画像301が低周波数成分と高周波数成分に分割されたとき、格納領域402は、低周波数成分(L)と高周波数成分(H)を合わせると、入力画像301の画素数と同じ数の係数が出力される。
【0017】
量子化後の係数の中には「0」の係数が存在し、ランレングス符号化を用いたり、係数の位置情報を一緒に格納することによって、メモリ割り当て領域を圧縮できる。しかしながら、あらゆる入力画像に対してその圧縮可能な量を保証できないので、従来の画像符号化装置では、302のように入力画像の画素数と同じ数の係数を格納できるだけの容量を確保するようにしている。これに対し、本実施の形態では、高周波数成分の格納領域を303のように削減し、さらに304のようにその領域をOddライン成分用(OddH)と、Evenライン用(EvenH)とに2分割するようにしている。
【0018】
図1に戻り、ウェーブレット変換部104は、低周波数成分について第2段階以降のサブバンド分割を行う。このサブバンド分割には、例えば2次元ウェーブレット変換を用いる。なお、このとき、ブロックもしくはタイルと呼ばれる小領域に分割して2次元ウェーブレット変換を行うようにしてもよい。量子化部105は、各サブバンド用の量子化パラメータを用いて量子化を行う。この場合、量子化部105は、各サブバンド用としての量子化パラメータを有している。なお、高周波数成分については、高域量子化部102で用いられた量子化ステップより大きい量子化ステップになったときのみ、再量子化を行うようにしてもよい。また、再量子化による丸め誤差による影響を減らすため、高域量子化部102では量子化を行わず、閾値を用いて閾値未満の係数を破棄するようにしてもよい。このとき、閾値は量子化ステップ以下の値が望ましい。なお、量子化を行わないことからメモリ容量の削減の点で不利であるので、量子化する方が好ましい。
【0019】
フレーム間処理部106は、複数枚の画像の処理によって変換を行う。この場合、量子化部105で量子化が行われて得られた量子化係数について、フレーム間で時間方向のウェーブレット変換、もしくはMPEG(Moving Picture Expert Group)で用いられるような動き補償処理を行う。レート制御部107は、目標とする符号量に近づけるように量子化ステップを変更するものであり、ゼロでない(非0の)量子化係数をカウントし、そのカウント値に基づいて目標符号量に近づけるように各サブバンド成分の量子化パラメータを調整する。この場合、カウント値にはバッファ管理部103で格納された高周波数成分の情報も含まれる。
【0020】
レート制御部107で行われる量子化パラメータの調整は、図1の点線で示すように、画像全体に対するフレーム間処理部106の出力結果を用いて行い、調整結果の量子化パラメータを用いて、再度、ウェーブレット変換部104、量子化部105及びフレーム間処理部106で処理して目標符号量に近づけてもよい。もしくは、次回の量子化部105のパラメータとして反映してもよい。また、処理量を減らすために一部の小領域のみをウェーブレット変換部104、量子化部105及びフレーム間処理部106で処理して用いて量子化パラメータを算出し、再度、全体のウェーブレット変換部104、量子化部105及びフレーム間処理部106の処理を行ってもよい。可変長符号化部108は、2回目の処理結果に対し、エントロピ符号化を行い、その結果を出力する。可変長符号化としては、例えばハフマン符号化などが用いられる。
【0021】
次に、本実施の形態の画像符号化装置の動作について説明する。まず、入力画像がウェーブレット変換部101に入力されて、画像1枚ごとにサブバンド分割が行われ、低周波数成分がバッファ管理部103に入力されて低周波数成分用の格納領域に一時的に格納される。一方、サブバンド分割された高周波数成分は高域量子化部102に入力されて、高周波数成分用の第1段階に用いる量子化ステップを用いた量子化が行われ、さらにゼロ(0)成分が削除されてデータ量の削減が行われる。この場合、予め決められたデータ量を超える場合には量子化済みデータの一部が破棄されて、高周波数成分の目標データ量以下に抑えられる。高域量子化部102で量子化された高周波数成分はバッファ管理部103に入力されて、バッファ管理部103の高周波数成分用の格納領域に一時的に格納される。
【0022】
高域量子化部102の詳細な動作は、図4に示すフロー図のようになる。すなわち、まずウェーブレット変換部101から入力された高周波数成分の変換係数を量子化する(ステップST401)。次いで、量子化後の値が「0」か否かを判定し(ステップST402)、「0」ならばステップ401に戻り、次の変換係数の量子化を行う。「0」でないならば、係数カウントに「1」を加算する(ステップST403)。次いで、高周波数成分格納用バッファOddラインならばOddH、EvenラインならばEvenHの格納可能上限に係数カウントが達したかどうかを判定する(ステップST404)。達していないならばステップST408へ移行し、達したならばステップST405へ移行する。
【0023】
ステップST405では、入力係数がOddラインかEvenラインかを判定する。Oddラインならば、Evenラインのバッファ格納済みの係数を破棄し、以降のOddラインの出力係数をEvenライン用バッファEvenHに格納するようにバッファ管理部103に通知し、Evenラインの係数カウントを「0」に戻す。Evenラインならば、Oddラインのバッファ格納済みの係数を破棄し、以降のEvenラインの出力係数をOddライン用バッファOddHに格納するようにバッファ管理部103に通知し、Oddラインの係数カウントを「0」に戻す。次いで、非0の係数をバッファ管理部103へ出力する(ステップST408)。
【0024】
最後に、すべてのラインを終了したか(ステップST409)、もしくはEvenHとOddHの両方のバッファが一杯になったとき、高周波数域の量子化処理を終了する。なお、ステップST406もしくはステップST407は1枚の画像の処理につきいずれか1回のみ実行するものとし、ステップST406もしくはステップST407を実行した後は、バッファが一杯になってもバッファクリアは行わず、係数を破棄するようにする。このような処理によって、高周波数域用のバッファが一杯になった場合、1ラインおきに格納するように変更することによって、画面の途中で高域成分が消失してしまうことを防ぐことができる。このとき高周波数域の格納領域H(図3の303のH部分)は、従来の必要な最大容量(302のH部分)領域の半分あれば十分であり、それ以下にしてもよい。
【0025】
なお、一方のライン用の高域格納バッファが一杯になり、高周波数成分を1ラインごとにしか格納できない場合、復号化を行うときに高周波数成分に対して垂直方向の補間フィルタによって補間するか、もしくはデコード出力後の画像に低域通過フィルタを適用してもよい。もしくは、表示のとき高解像度の画像を表示したい場合は、高周波数成分の存在するフィールドのみを表示し、表示レートを高くしたい場合は、高周波数成分をカットして全フィールドを表示するようにしてもよい。
【0026】
このように、高域量子化部102は、サブバンド分割された高周波数成分を、高周波数成分用の第1段階に用いる量子化ステップを用いて量子化を行い、さらに0成分を削除してデータ量の削減を行う。次に、バッファ管理部103において、入力画像が画像の符号化単位となる画像枚数に達すると、ウェーブレット変換部104にて第2段階以降のサブバンド分割が行われる。そして、量子化部105において、各サブバンド用の量子化パラメータが用いられて量子化が行われる。そして、フレーム間処理部106において、量子化によって得られた量子化係数について、フレーム間で時間方向のウェーブレット変換もしくはMPEGで用いられるような動き補償処理が行われる。次に、レート制御部107において、非0の係数がカウントされ、そのカウント値に基づいて目標符号量に近づけるように各サブバンド成分の量子化パラメータの調整が行われる。そして、可変長符号化部108において、2回目の処理結果に対し、エントロピ符号化が行われる。
【0027】
以上のように、サブバンド分割を行うことによって高周波数成分と低周波数成分に分けて符号化を行うとき、高周波数成分を量子化し、さらにゼロ(0)成分を削除して、バッファ管理部103におけるメモリの使用量を抑える。特に、複数チャネルのタイムラプス記録を行う画像記録装置のように、複数チャネルが時系列に多重化された入力を符号化する場合、GOP分の画像枚数が蓄積されるまでフレーム間処理する前の中間データを保持する必要がある画像符号化や、もしくは一時記録可能な監視カメラ等で複数の画像を保持する必要がある装置に適用することで、符号化の中間データを蓄積するためのメモリ使用量を抑制でき、有用である。
【0028】
このように本実施の形態の画像符号化装置によれば、入力画像をウェーブレット変換して得た高周波数成分に対して量子化し、さらにゼロ(0)成分を削除して符号量調整を行うので、画像のウェーブレット変換の変換係数を保持するためのバッファ管理部103におけるメモリ容量の削減が可能となる。
【0029】
また、高域量子化部102は、交互の水平ラインごとに高周波数成分の格納先を変更し、一方のライン用の高周波数成分格納バッファが一杯になったとき、もう一方のライン用の高周波数成分格納バッファの内容をクリアして、一杯になったライン用のバッファとして変更するようにすることによって、高周波数成分用のバッファの一方が一杯になることによって、ウェーブレット変換と量子化処理が後に行われる画像の下方部分の高周波数成分が欠落してしまうのを抑制することができる。
【0030】
本発明は、複数チャネルが時系列に多重化された入力を符号化して記録を行う画像記録装置のような符号化の中間データを多数保持する必要のある画像符号化装置等として有用である。
【産業上の利用可能性】
【0031】
本発明は、1枚の画像のウェーブレット変換の出力係数を保持するためのメモリ容量を削減できるといった効果を有し、JPEG2000などの画像圧縮の国際標準を採用した画像符号化装置等への適用が可能である。
【図面の簡単な説明】
【0032】
【図1】本発明の一実施の形態に係る画像符号化装置の概略構成を示すブロック図
【図2】本発明の上記実施の形態に係る画像符号化装置のウェーブレット変換部におけるウェーブレット変換を行う順序を説明するための概念図
【図3】本発明の上記実施の形態に係る画像符号化装置における低周波数成分及び高周波数成分を格納するメモリ割り当ての概念図
【図4】本発明の上記実施の形態に係る画像符号化装置の高域量子化部の動作を説明するためのフロー図
【図5】従来の画像符号化装置の概略構成を示すブロック図
【符号の説明】
【0033】
101 ウェーブレット変換部
102 高域量子化部
103 バッファ管理部
104 ウェーブレット変換部
105 量子化部
106 フレーム間処理部
107 レート制御部
108 可変長符号化部




 

 


     NEWS
会社検索順位 特許の出願数の順位が発表

URL変更
平成6年
平成7年
平成8年
平成9年
平成10年
平成11年
平成12年
平成13年


 
   お問い合わせ info@patentjp.com patentjp.com   Copyright 2007-2013