米国特許情報 | 欧州特許情報 | 国際公開(PCT)情報 | Google の米国特許検索
 
     特許分類
A 農業
B 衣類
C 家具
D 医学
E スポ−ツ;娯楽
F 加工処理操作
G 机上付属具
H 装飾
I 車両
J 包装;運搬
L 化学;冶金
M 繊維;紙;印刷
N 固定構造物
O 機械工学
P 武器
Q 照明
R 測定; 光学
S 写真;映画
T 計算機;電気通信
U 核技術
V 電気素子
W 発電
X 楽器;音響


  ホーム -> 計算機;電気通信 -> 松下電器産業株式会社

発明の名称 符号化制御方式
発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開平7−107482
公開日 平成7年(1995)4月21日
出願番号 特願平5−244564
出願日 平成5年(1993)9月30日
代理人 【弁理士】
【氏名又は名称】小鍜治 明 (外2名)
発明者 黒部 彰夫
要約 目的
簡単な制御で動きの再現性と空間的な解像度、雑音のバランスが視覚特性上最適に保たれる高効率な符号化制御方式を提供する。

構成
第1の量子化精度104Aで符号化した結果の符号化率105が第1の量子化精度に対応する視覚特性上最適な符号化率の上限値102より大きい場合に次の符号化は第1の量子化精度より精度の良い第2の量子化精度104Bで符号化を行い、下限値103より小さい場合に第1の量子化精度より精度の悪い第3の量子化精度104Cで符号化を行い、領域内にある場合には第1の量子化精度で符号化を行い、以下同様にある量子化精度で符号化した符号化結果の符号化率とその量子化精度に応じた視覚特性上最適な符号化率の領域との大小関係に応じて次の符号化の量子化精度を決定する。
特許請求の範囲
【請求項1】動画像を高能率圧縮符号化して低ビットレートの通信回線を介して伝送する際に、符号化率に応じた駒落しによる時間的ひずみと量子化精度による空間的ひずみとのバランスが視覚特性上最適な動作点が予め決められている画像符号化装置において、第1の量子化精度で符号化した結果の第1の符号化率が前記第1の量子化精度に対応する前記視覚特性上最適な動作点の符号化率より大きい場合に前記第1の符号化率に応じた駒落しを行なった次の符号化は第1の量子化精度より精度の良い第2の量子化精度で符号化を行い、第1の量子化精度で符号化した結果の第1の符号化率が前記第1の量子化精度に対応する前記視覚特性上最適な動作点の符号化率より小さい場合に前記第1の符号化率に応じた駒落しを行なった次の符号化は第1の量子化精度より精度の悪い第3の量子化精度で符号化を行い、以下同様にある量子化精度で符号化した符号化結果の符号化率とその量子化精度に応じた視覚特性上最適な点の符号化率との大小関係に応じて次の符号化の量子化精度を決定することにより、変化する入力画像に対する符号化パラメータを動きの再現性と空間的な解像度のバランスが視覚特性上最適に保たれるよう制御する符号化制御方式。
【請求項2】動画像を高能率圧縮符号化して低ビットレートの通信回線を介して伝送する際に、符号化率に応じた駒落しによる時間的ひずみと量子化精度による空間的ひずみとのバランスが視覚特性上最適な動作点が予め決められている画像符号化装置において、各量子化精度に対応する視覚特性上最適な符号化率が点の集合ではなく各々上限値と下限値を有する領域であり、第1の量子化精度で符号化した結果の第1の符号化率が前記第1の量子化精度に対応する前記視覚特性上最適な符号化率の上限値より大きい場合に前記第1の符号化率に応じた駒落しを行なった次の符号化は第1の量子化精度より精度の良い第2の量子化精度で符号化を行い、第1の量子化精度で符号化した結果の第1の符号化率が前記第1の量子化精度に対応する前記視覚特性上最適な符号化率の下限値より小さい場合に前記第1の符号化率に応じた駒落しを行なった次の符号化は第1の量子化精度より精度の悪い第3の量子化精度で符号化を行い、第1の量子化精度で符号化した結果の第1の符号化率が前記第1の量子化精度に対応する前記視覚特性上最適な符号化率の領域内にある場合に前記第1の符号化率に応じた駒落しを行なった次の符号化は第1の量子化精度で符号化を行い、以下同様にある量子化精度で符号化した符号化結果の符号化率とその量子化精度に応じた視覚特性上最適な符号化率の領域との大小関係に応じて次の符号化の量子化精度を決定することにより変化する入力画像に対する符号化パラメータを動きの再現性と空間的な解像度のバランスが視覚特性上最適に保たれるよう制御する符号化制御方式。
【請求項3】第1の量子化精度と第2の量子化精度の差または第1の量子化精度と第3の量子化精度の差を、空間的ひずみの違いが視覚的に認識可能な値以上の大きさとすることを特徴とする請求項2記載の符号化制御方式。
【請求項4】画像フレームの符号化により発生する情報量が符号化遅延時間の許容最大値で決まる容量を持つ平滑化バッファーの空き容量より小さい場合に、この画像フレームを駒落しすることなくバッファに格納し、前記情報量が前記平滑化バッファの空き容量より大きい場合には駒落しをすることを特徴とする請求項1または2記載の符号化制御方式。
【請求項5】画像フレームの符号化により発生する情報量を以前の画像フレームを符号化した結果の情報または現フレームの符号化途中までの情報から近似的に求めることを特徴とする請求項4記載の符号化制御方式。
【請求項6】画像フレームの符号化により発生する情報量を1つ前に符号化したフレームの情報量とすることを特徴とする請求項5記載の符号化制御方式。
【請求項7】画像フレームの符号化により発生する情報量を現符号化フレームの無効ブロック数から求めることを特徴とする請求項5記載の符号化制御方式。
【請求項8】駒落し制御に請求項5〜7のいずれかに記載の方式を適用することを特徴とする請求項2または3記載の符号化制御方式。
発明の詳細な説明
【0001】
【産業上の利用分野】本発明は、テレビ会議、テレビ電話等に用いられる画像の符号化、復号化装置に関するものである。
【0002】
【従来の技術】従来、64Kbpsの低レートで動画像通信を行なうための画像圧縮符号化方式としてCCITT勧告H.261がある。図5にH.261で勧告されている画像符号化方式のブロック図を示す。図5において、504は前処理部でNTSC信号をYC分離し、A/D変換するA/D変換部512およびNTSC信号を中間フォーマットであるCIF信号(Common IntermediateFormat)に変換するNTSC/CIF変換部513、前処理フィルタ514で構成される。中間フォーマットは地域によるテレビジョン方式の違いを解決し、すべてのコーディック間で相手を意識することなく通信できるように決めた共通のフォーマットである。505は符号化手段で符号化部503と符号化部を制御する符号化制御部501で構成される。符号化部503は16×16画素の範囲で動き補償可能でフレーム間の誤差を算出する動き補償フレーム間予測部506とその予測誤差信号を8×8のブロック単位で直交変換して空間座標データを周波数座標データに変換する直交変換部507と直交変換した変換係数を直線量子化する量子化部508と量子化した変換係数をハフマン符号化する第1の可変長符号化部509と動き補償に用いた動きベクトルをハフマン符号化する第2の可変長符号化部510と第1の可変長符号化部で符号化された主情報と第2の可変長符号化部で符号化されたサイド情報を多重化して伝送フレームを構成する多重化部511で構成される。502は平滑化バッファ、515は伝送路である。
【0003】視覚的に良好な画品質を得るためには、高い符号化効率のみならず入力画像に対する符号化パラメータを決定する符号化制御部501の符号化制御特性が、人間の視覚特性に適合している必要がある。動画像信号を数十Kbpsまで圧縮符号化するにはなんらかの空間的、時間的ひずみを許容せざるを得ない。動画像信号が持つ情報量は、時間的に大きく変化していることから、動画像を一定速度の伝送路に適合するように符号化し、かつ良好な再生画品質を保つためには、符号化パラメータを制御する符号化制御アルゴリズムが重要な要素となる。すなわち、限られた情報量の中で動きの再現性と空間的な解像度、雑音のバランスが視覚特性上最適に保たれるような符号化制御方式が望ましい。ここで空間的な解像度は量子化部508の量子化精度で決まり、量子化精度が高い程時刻tにおける入力画像を符号化した際の発生符号量R(t)は増大する。発生した情報は平滑化バッファ502へ蓄積される。平滑化バッファからは単位時間あたりLビットの符号が伝送路615へ送出されるため、平滑化バッファの滞留量をB(t)とすると、時刻tの画像が符号化されたとき、B(t+1)=B(t)+R(t)−Lとなり、時刻tの入力画像がこま落しされたとき、B(t+1)=B(t)−Lとなる。ここでt+1の入力画像を符号化するか駒落しするかはB(t)>Lのとき駒落し、B(t)がL以下のとき符号化するとして決めている。また、R(t)の符号量を伝送するためにはR(t)/L単位時間を要するので、時刻t前後での入力フレーム符号化率S(t)はS(t)=L/R(t)と表わせる。
【0004】入力画像を符号化する際、量子化精度により復号画像は変化し、量子化精度を高めれば符号化率が減少し、符号化率を高めれば、量子化精度を下げてS/N比を落とさねばならない。この関係を画品質トレードオフ関数と呼ぶ。画品質トレードオフ関数の例を図6に示す。画品質トレードオフ関数は入力フレームが大きな動きや細かいパターン等を含むとき右下に移動し、動きが少ない時左上に移動する。一方、前に述べた符号化率と量子化精度の組が視覚的に最適となる点がそれぞれの入力画像に対する画品質トレードオフ関数上に1点づつ存在する。この点を結んだ線が目的関数であり、同じく図6に示す。
【0005】画品質トレードオフ関数を正確に求めるためには、量子化精度を変化させつつそのフレームを何度も実際に符号化し、その時の符号化率を測定する必要がある。しかし、処理時間の観点からこのような処理は非現実的である。加藤らの「動画像符号化方式における時空間ひずみ最適配分型符号化制御アルゴリズム」電子情報通信学会論文誌 B Vol.J71−B No.8 pp945−9541988年8月では現符号化フレームから画品質トレードオフ関数を決定する2つの方法を提案している。1つ目の方法は、動き補償フレーム予測およびDCTを終えた段階で、現入力フレームの予測誤差信号DCT係数、動きベクトルがもとまる。ここで、1フレーム分のDCT係数ヒストグラムおよび動きベクトル符号量から画品質トレードオフ関数を精度よく計算するものである。2つ目の方法は、幾つかの画品質トレードオフ関数の候補を予め定めておき、その中から前符号化フレームの符号化結果と適合する特性を選定し、これを現符号化符号化フレームの画品質トレードオフ関数とする方法である。
【0006】
【発明が解決しようとする課題】従来の1つ目の方法においては現入力フレームのDCT係数ヒストグラムを求めたのち、それをもとに各量子化精度に対するブロックタイプの符号量やDCT係数の量子化インデックスに関する符号量を計算するため、膨大な計算量が必要となりプロセッサの性能面や価格面、スペース面や消費電力面で問題となる。また同じ理由により最低でも1単位時間の処理遅延が生じるため、リアルタイムな伝送が必要なテレビ電話やテレビ会議では双方の意志の疎通がとりにくくなる欠点を有していた。また、従来の2つ目の方法においては、処理量は軽減されるが、予め定めておいた画品質トレードオフ関数の候補の情報を記憶しておく必要があることに加え、原理的に前符号化フレームの符号化結果と適合する画品質トレードオフ関数を用いるため、入力画像の変化に対して追従できない。このことは動画像の符号化制御方式としては大きな問題である。
【0007】また、従来の駒落し制御は発生符号量が平滑化バッファの空き容量を超えるとオーバーフロを生じてしまい画像1フレームを正確に送れないため、画品質が大幅に劣化することを避ける目的で、平滑化バッファの滞留量B(t)が単位時間あたり伝送される符号量L以下になるまで駒落しを行なう。実際の符号化においてはシーンチェンジ直後はフレーム間の予測ができないため、圧縮率が上がらず発生符号量が多いが、次のフレームからはフレーム間予測ができるため、圧縮率が上がり、発生符号量は半減する。ところが従来の駒落し制御の場合、最初のフレームの発生符号量が多いために平滑化バッファの滞留量が減少するまで数フレームにおよぶ駒落しを行なうため、次に符号化する画像は前に符号化した画像との相関が薄れ、フレーム間の予測をしても圧縮率が上がらず、また多量の符号量を発生してしまう。こうした悪循環から符号化率は低いまま回復しない。
【0008】本発明はかかる事情に鑑みて成されたものであり、簡単な制御で動きの再現性と空間的な解像度、雑音のバランスが視覚特性上最適に保たれる高効率な符号化制御方式を提供することを目的とする。
【0009】
【課題を解決するための手段】請求項1の発明は、第1の量子化精度で符号化した結果の第1の符号化率が前記第1の量子化精度に対応する前記視覚特性上最適な動作点の符号化率より大きい場合に前記第1の符号化率に応じた駒落しを行なった次の符号化は第1の量子化精度より精度の良い第2の量子化精度で符号化を行い、第1の量子化精度で符号化した結果の第1の符号化率が前記第1の量子化精度に対応する前記視覚特性上最適な動作点の符号化率より小さい場合に前記第1の符号化率に応じた駒落しを行なった次の符号化は第1の量子化精度より精度の悪い第3の量子化精度で符号化を行い、以下同様にある量子化精度で符号化した符号化結果の符号化率とその量子化精度に応じた視覚特性上最適な点の符号化率との大小関係に応じて次の符号化の量子化精度を決定することを特徴としている。
【0010】請求項2の発明は、請求項1記載の各量子化精度に対応する視覚特性上最適な符号化率が点の集合ではなく各々上限値と下限値を有する領域であり、第1の量子化精度で符号化した結果の第1の符号化率が前記第1の量子化精度に対応する前記視覚特性上最適な符号化率の上限値より大きい場合に前記第1の符号化率に応じた駒落しを行なった次の符号化は第1の量子化精度より精度の良い第2の量子化精度で符号化を行い、第1の量子化精度で符号化した結果の第1の符号化率が前記第1の量子化精度に対応する前記視覚特性上最適な符号化率の下限値より小さい場合に前記第1の符号化率に応じた駒落しを行なった次の符号化は第1の量子化精度より精度の悪い第3の量子化精度で符号化を行い、第1の量子化精度で符号化した結果の第1の符号化率が前記第1の量子化精度に対応する前記視覚特性上最適な符号化率の領域内にある場合に前記第1の符号化率に応じた駒落しを行なった次の符号化は第1の量子化精度で符号化を行い、以下同様にある量子化精度で符号化した符号化結果の符号化率とその量子化精度に応じた視覚特性上最適な符号化率の領域との大小関係に応じて次の符号化の量子化精度を決定することを特徴としている。
【0011】請求項3の発明は、請求項2記載の第1の量子化精度と第2の量子化精度の差または第1の量子化精度と第3の量子化精度の差を、空間的ひずみの違いが視覚的に認識可能な値以上の大きさとすることを特徴としている。
【0012】請求項4の発明は、画像フレームの符号化により発生する情報量が符号化遅延時間の許容最大値で決まる容量を持つ平滑化バッファーの空き容量より小さい場合に、この画像フレームを駒落しすることなくバッファに格納し、前記情報量が前記平滑化バッファの空き容量より大きい場合には駒落しをすることを特徴とている。
【0013】請求項5の発明は、請求項4記載の画像フレームの符号化により発生する情報量を以前の画像フレームを符号化した結果の情報または現フレームの符号化途中までの情報から近似的に求めることを特徴としている。
【0014】請求項6の発明は、請求項5記載の画像フレームの符号化により発生する情報量を1つ前に符号化したフレームの情報量とすることを特徴としている。
【0015】請求項7の発明は、請求項5記載の画像フレームの符号化により発生する情報量を現符号化フレームの無効ブロック数から求めることを特徴としている。
【0016】請求項8の発明は、請求項2または請求項3記載の駒落し制御方法に請求項5または請求項6または請求項7記載の符号化制御方式を適用することを特徴としている。
【0017】
【作用】請求項1の発明において、画品質トレードオフ関数は右上がりに単調増加する関数であり、視覚的に最適な動作点より右に動作点がある場合の符号化率は最適な動作点の符号化率より大きくなり、視覚的に最適な動作点より左に動作点がある場合の符号化率は最適な動作点の符号化率より小さくなるため、画品質トレードオフ関数を求めなくとも視覚的に最適な動作点に移動するために現在の動作点より量子化精度を上げるべきか下げるべきかが判断できる。
【0018】請求項2の発明において、各量子化精度に対する視覚的に最適な符号化率に幅を持たせることにより、入力画像が早く変化したときにも安定した符号化制御が実現できる。
【0019】請求項3の発明において、単位時間あたりに与える量子化精度の変化が大きくなり、入力画像の変化による視覚的に最適な動作点の変化に素早く追従できる。
【0020】請求項4の発明において、フレーム間の相関が保たれたフレームを符号化することによりフレーム間予測効率を高め、符号化率の高い駒落し制御を実現できる。
【0021】請求項5の発明において、画像フレームを符号化した場合の発生符号量が平滑化バッファの空き容量より小さく駒落しの必要がないか否かを少ない処理量で判断できる。
【0022】請求項6の発明において、画像フレーム間に相関がある場合には現画像フレームを符号化しなくとも発生符号量を推定できる。
【0023】請求項7の発明において、請求項6の発明に加えて現画像の無効ブロック数の情報を加えることで発生符号量の推定精度が向上する。
【0024】請求項8の発明において、請求項2または請求項3の発明の各量子化精度に対する動作領域においては駒落し制御を行なうため、請求項5または請求項6または請求項7の符号化制御方法を適用することにより動きの再現性と空間的な解像度、雑音のバランスが視覚特性上最適に保たれる高効率な符号化制御方式を提供できる。
【0025】
【実施例】(実施例1)以下、本発明の実施例1ついて図面を参照しながら説明する。
【0026】図1は本発明の実施例である符号化制御方式の原理説明図である。図1において101は画品質トレードオフ関数であり、入力画像の時間的な動きの大きさや空間的な周波数成分に応じて変化し、大きな動きや細かいパターン等を含むとき右下に移動し、動きが少ない時左上に移動する。画品質トレードオフ関数の詳細な説明と本発明の目的については従来の技術で詳細に説明しているのでここでは省略する。102は視覚的に最適な符号化率の上限値であり、103は視覚的に最適な符号化率の下限値である。従来の技術では目的関数は符号化率105と量子化精度104の組が視覚的に最適となる点の集合であると仮定しているが、実際にこれは主観的に得られる値であり、画面を見る距離や角度、個人の好みにより変動する。よって画品質トレードオフ関数上に視覚的に最適な領域を仮定し、その領域の内、符号化率が最大の点を集めたものが視覚的に最適な符号化率の上限値102であり、符号化率が最小の点を集めたものが視覚的に最適な符号化率の下限値103である。つまりここでは視覚的に最適な符号化率の上限値と視覚的に最適な符号化率の下限値に挟まれた領域に動作点を置くことを目的とする。
【0027】図2は本発明の実施例である符号化制御方式のアルゴリズムである。以後、図1と図2を用いて本発明の符号化制御方式の動作を説明する。まず始めに第1の量子化精度104Aで符号化を行なう。図1において入力画像の画品質トレードオフ関数が101Aや101Bであった場合にはその動作点Aまたは動作点Bは視覚的な最適領域内にあり、符号化率は視覚的に最適な符号化率の上限を超えていないし、視覚的に最適な符号化率の下限を下回ってもいないため、図2のフローに従って量子化精度は変更なく104Aのまま、発生符号量に応じた駒落しを行なったのち、次の符号化を行なう。これを繰り返している内に入力画像の画品質トレードオフ関数が101Cになったとすると、動作点は過渡的な動作点Cとなる。動作点Cの符号化率は量子化精度104Aに対する視覚的に最適な符号化率の上限値を超えているため、量子化精度を向上し、104Bにする。その後、発生符号量に応じた駒落しを行なった後、量子化精度104Cで符号化を行なう。入力画像のトレードオフ関数が101Cのまま変わらないとすると、次の動作点は動作点Dにとなり再び視覚的に最適な領域となる。同様に、動作点Bで動作している時に入力画像の画品質トレードオフ関数が101Dとなった場合、動作点は過渡的な動作点Eとなる。この時の符号化率は視覚的に最適な符号化率の下限値を下回るため、量子化精度を104Cに下げる。発生符号量に応じた駒落しののちの符号化では、動作点は視覚的に最適な動作点Fとなる。
【0028】以上のように本実施例によれば、簡単な制御で動きの再現性と空間的な解像度、雑音のバランスが視覚特性上最適に保たれる符号化制御方式を提供ることが可能となる。なを量子化精度の向上や低下の幅は細かいほど視覚的に最適な動作領域を細く絞り込むことが出来るが、入力画像の変化に対する追跡速度が遅くなり、入力画像の変化の速度に追従できなくなると制御が発散する。一方、量子化精度の向上や低下の幅を大きくすると、入力画像の変化に対する追跡速度が増大するが、動作領域が増大し、制御の精度が悪化する。制御の精度が視覚特性の認知限界付近になるよう設定される。
【0029】(実施例2)以下、本発明の実施例2ついて図面を参照しながら説明する。
【0030】図3は本発明の実施例である符号化制御方式の原理説明図、図4は本発明の実施例である符号化制御方式のアルゴリズムである。図3は従来の駒落し制御方式図3(a)を併せて示している。図3において時刻t0においては、従来方式である図3(a)、本方式図3(b)ともに第1フレームはR(t0)の符号量を発生し、ともに平滑化バッファに書き込まれた。時刻t1において、平滑化バッファの滞留量はR(t0)−L>Lであり、従来方式では第2フレームの駒落しを決定する。一方、本発明では第2フレームを符号化した時の発生符号量R(t1)を推定し、これが平滑化バッファの空き容量より小さいため図4のアルゴリズムに従い符号化し、平滑化バッファに書き込んだ。時刻t2において、従来方式の平滑化バッファの滞留量はR(t0)−2L<Lであり、第3フレームの符号化を決定し、第1フレームとのフレーム間予測誤差を符号化する。本発明は第3フレームを符号化した時の発生符号量R’(t2)を推定し、これが平滑化バッファの空き容量より小さいため図4のアルゴリズムに従い第2フレームとのフレーム間予測誤差を符号化し、平滑化バッファに書き込む。時刻t3において、従来方式の平滑化バッファ滞留量はR(t0)−L>Lであり、従来方式では第4フレームの駒落しを決定する。一方、本発明も第4フレームを符号化した時の発生符号量R(t1)を推定し、これが平滑化バッファの空き容量より大きいため図4のアルゴリズムに従い第4フレームを駒落しする。ここで重要なことは、従来方式の第3フレームの符号化が第1フレームとのフレーム間差分に対してなされたのに対して、本発明ではより相関の強い第2フレームとのフレーム間差分に対して符号化されるため、第3フレームの符号化の圧縮効率は従来方式に比べて向上している点である。つまり、従来方式で符号化した第3フレームの発生符号量R(t2)に対して、本発明の方式で符号化した第3フレームの発生符号量R’(t2)は少なくなる。
【0031】以上のように本実施例によれば、フレーム間の相関を利用した効率のよい駒落し制御が可能となる。なを、本発明の方式で画像フレームを符号化した際の発生符号量を推定する方法としては、以前に符号化したフレームの発生符号量をそのまま推定値としても画像フレーム間の相関が強い時はあまり誤差を生じない。しかし、シーンが大きく変化する画像には適用できない。特願H5−189986は、この欠点を現フレームの無効ブロック数を計算し、無効ブロック数と発生情報量に相関があることを利用することにより解消している。また、本方式を実施例1の発明の駒落し制御に適用することにより、簡単な制御で動きの再現性と空間的な解像度、雑音のバランスが視覚特性上最適に保たれる高効率な符号化制御方式を提供ることが可能となる。
【0032】
【発明の効果】以上のように、本発明によれば、簡単な制御で動きの再現性と空間的な解像度、雑音のバランスが視覚特性上最適に保たれる高効率な符号化制御方式が提供可能となる。




 

 


     NEWS
会社検索順位 特許の出願数の順位が発表

URL変更
平成6年
平成7年
平成8年
平成9年
平成10年
平成11年
平成12年
平成13年


 
   お問い合わせ info@patentjp.com patentjp.com   Copyright 2007-2013