米国特許情報 | 欧州特許情報 | 国際公開(PCT)情報 | Google の米国特許検索
 
     特許分類
A 農業
B 衣類
C 家具
D 医学
E スポ−ツ;娯楽
F 加工処理操作
G 机上付属具
H 装飾
I 車両
J 包装;運搬
L 化学;冶金
M 繊維;紙;印刷
N 固定構造物
O 機械工学
P 武器
Q 照明
R 測定; 光学
S 写真;映画
T 計算機;電気通信
U 核技術
V 電気素子
W 発電
X 楽器;音響


  ホーム -> 計算機;電気通信 -> トムソン ライセンシング ソシエテ アノニム

発明の名称 時間的な予測による符号化方法
発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開2003−125416(P2003−125416A)
公開日 平成15年4月25日(2003.4.25)
出願番号 特願2002−269981(P2002−269981)
出願日 平成14年9月17日(2002.9.17)
代理人 【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦 (外2名)
【テーマコード(参考)】
5C059
5J064
【Fターム(参考)】
5C059 MA00 MA05 MA14 MA23 PP06 PP07 PP26 RC02 RF28 TA23 TA25 TA46 TB07 TC12 TD05 UA02 UA05 
5J064 AA02 AA04 BB01 BB03 BC01 BC16
発明者 エドゥアル フランソワ / フィリップ ボルデ / ドミニク トロ
要約 課題
画像の表示の順序を考慮することによる、MPEG標準に従う符号化方法を提供する。

解決手段
本発明の処理は、画像の表示の順序を考慮することにより、次の画像又はビデオオブジェクトプレーンにおいて符号化すべき現在のマクロブロックの予測される位置を計算し、マクロブロックの符号化パラメータは、予測されるマクロブロックが次の画像又はビデオオブジェクトプレーンの外にあるか否かに依存することを特徴とする。
特許請求の範囲
【請求項1】 MPEG標準に従い符号化するための方法であって、画像の表示の順序を考慮することにより、次の画像又はビデオオブジェクトプレーンにおいて符号化すべき現在のマクロブロックの予測される位置を計算し、前記マクロブロックの符号化パラメータは、予測されるマクロブロックが前記次の画像又はビデオオブジェクトプレーンの外にあるか否かに依存する、ことを特徴とする符号化方法。
【請求項2】 前記符号化パラメータは、イントラモード又はインターモード符号化である、ことを特徴とする請求項1記載の符号化方法。
【請求項3】 前記符号化パラメータは、前記マクロブロックのTCD係数についての量子化間隔である、ことを特徴とする請求項1記載の符号化方法。
【請求項4】 前記符号化パラメータは、画像すなわち現在のPビデオオブジェクトプレーンと、画像すなわち次のPビデオオブジェクトプレーンの間に位置されるB画像又はBビデオオブジェクトプレーンの数を考慮する、ことを特徴とする請求項1記載の符号化方法。
【請求項5】 マクロブロックのイントラ符号化による前記マクロブロックのランダムリフレッシュに基づいたエラーマスキングアルゴリズムは、前記次の画像又はビデオオブジェクトプレーンにおけるマクロブロックの前記予測される位置を考慮する、ことを特徴とする請求項1記載の符号化方法。
【請求項6】 前記MPEG4標準における、前記画像を符号化するビデオパケットの開始を定義する再同期マーカの位置合わせは、マクロブロックの前記予測される位置を考慮する、ことを特徴とする請求項1記載の符号化方法。
【請求項7】 前記MPEG4標準における、前記画像を符号化し、再同期マーカの位置により定義されるビデオパケットのサイズは、前記画像に含まれ、前記画像の外側の予測される位置を有するマクロブロックの数を考慮する、ことを特徴とする請求項1記載の符号化方法。
【請求項8】 符号化の間、1つ又は複数の追加符号化レイヤに対応するスケーラビリティに対する拡張を利用して、符号化の精度を改善し、その予測される位置が前記次の画像の外側にあるマクロブロックについて、前記追加符号化レイヤが除かれるか、又は前記追加符号化レイヤの数が減少される、ことを特徴とする請求項1記載の方法。
発明の詳細な説明
【0001】
【発明の属する技術分野】本発明は、時間的な予測による符号化及び復号処理に関する。関連する標準は、たとえば、H261,H263,MPEG等であり、一般にブロック毎の画像符号化及び動き補償に基づいた標準である。
【0002】
【従来の技術】かかる標準は、画像をマクロブロックと呼ばれる16×16画素のウィンドウに細分することを記述している。画像の内容は、マクロブロック毎に符号化される。時間的な予測が符号化に利用されるとき、マクロブロックは、過去又は将来の画像に基づいて予測される場合がある。画像の符号化の順序よりはむしろ画像の表示の順序が考慮されるとき、1つ以上のマクロブロック当りの動きベクトルによる。
【0003】この標準の記述による注記は、画像又はビデオオブジェクトプレーン(VOP)のいずれかについて言及している。これは、ビデオオブジェクトプレーンを定義するMPEG4標準により導入される概念であり、すなわち、所与の瞬間でのビデオオブジェクトの写真である。VOPは、矩形の画像であり、そのサイズは、たとえば、バイナリマスクの形状及びテクスチャの形状を構成して、時間につれて変化する場合がある。以下に説明される原理は、MPEG2標準の矩形の従来の画像、及びMPEG4標準のVOPにも同様に関連する。
【0004】異なった要素からなるネットワーク、すなわちインターネットにわたりデータストリームを転送することは、送信エラーを生じることがある。次いで、デコーダは、画像の失った部分の再構築に直面する。デジタル記録メディア及び通信チャネルの殆どは、エラーに対して保護されていない。
【0005】MPEG標準は、エラーに対してロバストなモードを提供する。送信エラーによる問題を制限するための既存のツールの中で、再同期と呼ばれる第1の手段は、ビデオパケットを定義する再同期マーカをストリームに挿入することからなる。
【0006】保護に関する第2のレベルは、I画像及びP画像に関連するビデオパケットにおけるデータを区分することからなる、(標準においてエラー隠蔽とも呼ばれる)エラーをマスクすることを可能にする。マクロブロックのヘッダは、ビデオパケットの開始に位置され、テクスチャのマクロブロックは、ビデオパケット内でマーカにより分離されてその後に位置される。テクスチャデータが失われた場合、画像は、動き情報から再構築される場合がある。
【0007】別なレベルの保護は、テクスチャデータ向けのリバーシブル可変長符号(RVLC)を利用することからなるデータの回復を可能にする。ストリームにおいて検出される送信エラーにより、次のビデオパケットの同期ワードの位置を取り、後方の復号処理を実行することが可能である。
【0008】
【発明が解決しようとする課題】別の手段は、マクロブロックの符号化のモードに関連する。イントラモードにおけるマクロブロックのリフレッシュは、いわばマクロブロックの符号化モードを強制的にイントラモードにすることであり、インター符号化によるエラーの伝搬を制限するために周期的に実行される。しかし、イントラモードにおけるかかる符号化は、符号化ビットの観点でコストがかかる。本発明の狙いは、上述した問題点を解決することにある。
【0009】
【課題を解決するための手段】したがって、本発明の主題は、MPEG標準に従う符号化処理を提供することにあり、画像の表示の順序を考慮することにより、次の画像又はビデオオブジェクトプレーンにおいて符号化すべき現在のマクロブロックの予測される位置を計算することであり、マクロブロックの符号化パラメータは、予測されるマクロブロックが次の画像又はビデオオブジェクトプレーンの外にあるか否かに依存することを特徴としている。
【0010】本発明の特定の実現によれば、符号化パラメータは、マクロブロックのTCD係数についてのイントラモード符号化又はインターモード符号化、或いは量子化間隔である。本発明の別の特定の実現によれば、符号化パラメータは、画像すなわちPビデオオブジェクトプレーンと、画像すなわち次のPビデオオブジェクトプレーンの間に位置されるB画像又はBビデオオブジェクトプレーンの数を考慮するものである。
【0011】本発明の変形例によれば、エラーマスキングアルゴリズムは、マクロブロックのイントラ符号化によるマクロブロックのランダムなリフレッシュに基づくものであり、次の画像又はビデオオブジェクトプレーンにおけるマクロブロックの予測された位置を考慮するものである。
【0012】本発明の別の変形例によれば、MPEG4標準における、ビデオパケットの開始に対応する再同期マーカの位置合わせは、マクロブロックの予測される位置を考慮するものであり、また、画像に含まれ、該画像の外側で予測される位置を有するマクロブロックの数の関数として、ビデオパケットのサイズを変更することを可能にするものである。
【0013】本発明の別の変形例によれば、符号化の間、スケーラビリティに対する拡張を利用して、符号化の精度を改善するものであり、その予測される位置が次の画像の外側にあるマクロブロックについて、追加符号化レイヤが除かれるか、又は追加符号化レイヤの数が減少される。
【0014】本発明は、それぞれのマクロブロックMBについて、このマクロブロックについての符号化パラメータを、次の瞬間で予測されるその位置の関数として適合するものである。この考えは、このマクロブロックが次の瞬間でビデオオブジェクトプレーン又は画像の外側にあるという高い可能性が存在する場合に、このマクロブロックを符号化するためのコストを制限することである。
【0015】これは、たとえば、このマクロブロックがシーンから消失する場合、すなわち、次の画像のための画像から消える場合に、イントラモードにおけるマクロブロックのリフレッシュの間にイントラモードへの強制を実行しないことを含んでいる。本発明の主要な利点は、画像系列を符号化するコストを制限することである。
【0016】
【発明の実施の形態】本発明の他の特徴及び他の効果は、添付図面を参照して、限定するものではない実施の形態を介して与えられる以下の説明において、明らかとなるであろう。図1は、画像又はビデオオブジェクトプレーン(VOP)1、及び該画像の内部にある現在のマクロブロック2を表している。マクロブロックが動きベクトル4と関連されており、これにより、(符号化の順序に従い)前に再構築された画像における予測されるマクロブロック3を定義することが可能である。この再構築される画像は、図において示されていない。
【0017】動きベクトル4は、現在のマクロブロック2の予測される動きに対応するものであり、次の画像におけるこの現在のマクロブロックの位置を予測するために利用される。したがって、動きはある画像から別の画像に続くものとされる。動きベクトル4に対応する動きは、現在のマクロブロック2に適用されて、図1において参照符号6で参照されるマクロブロックの新たな位置となる。これは、現在のマクロブロックの予測される位置、又は次の画像についての予測されるマクロブロックである。
【0018】2つのケースが生じる場合がある。予測されるマクロブロックは、画像における全体又は一部のいずれかにある。これは、このようなケースが図1に示されている。この場合、符号化の制約が現在のマクロブロックに課されていない。コーダは、マクロブロックの符号化のモードを決定する。
【0019】予測されるマクロブロックの位置の分析に関連する制約は存在しない。マクロブロックは、先に示されたように。イントラリフレッシュについてイントラモードで符号化することができる。また、予測されるマクロブロックは、画像の完全に外側にある。このようなケースは図2に示されており、予測されるマクロブロック6は、画像1の外側にある。
【0020】この後者のケースでは、現在のマクロブロック2の符号化のモードは、1つ以上の以下の方法において変更される。強制されたイントラ、すなわちリフレッシュにより符号化されるモードが禁止される。このイントラ符号化は、マクロブロックのイントラ符号化がインターモードの符号化よりもコストが安い場合に常に可能である。符号化がイントラ符号化によるマクロブロックの周期的なリフレッシュのためのアルゴリズムを実現する場合、この手順は現在のマクロブロックについて再度初期化される。
【0021】イントラリフレッシュにより発生される画像の符号化のコストを少なくするために、マクロブロックは、イントラに同時に強制されず、順次強制される。リフレッシュは、マクロブロック毎に行われる。一般に、カウンタは、画像のマクロブロックのそれぞれに割当てられ、ループカウントを実行するものであり、ランダムなやり方で初期化される。
【0022】この初期化は、たとえば、イントラモードにおける系列すなわちグループ オブ ピクチャ(GOP)の第1の画像を符号化するときに、この符号化のコストを低減するように行われる。ループカウントは、たとえば、GOPを構成している画像の番号に対応する番号Nを通して達成される。カウンタは、それぞれの符号化でインクリメントされ、リフレッシュは、Nからゼロに通過する間に行われる。
【0023】本発明のフレームワーク内で、カウンタは、符号化の強制されたイントラモードが禁止されたときに再度初期化される。このように、アルゴリズムは、カウンタをゼロに位置決めすることによりものであり、後続するマクロブロックについて、現在のマクロブロックの位置に対応するマクロブロックのリフレッシュを禁止する。
【0024】マクロブロックの係数の符号化についての量子化間隔は、値「ハイ“high”」に強制されるか、計算された値よりも大きな値に強制され、次の画像の間に消失するものと思われるマクロブロックの符号化のコストが低減される。この強制は、送信のタイプに依存する場合がある。
【0025】低ビットレート送信は、復号の低減された品質を許容し、したがって、あるマクロブロックから隣接するマクロブロックまでの余りに異なる量子化間隔により発生されるブロックの作用に関する大きな許容差となる。量子化間隔の値は、現在の画像及び次のPタイプの画像により、側面に位置される(flanked)Bタイプの画像の数を考慮する場合がある。Bタイプの画像のマクロブロックの符号化は、Pタイプの画像のマクロブロックへの参照を行う。
【0026】スケーラビリティに対する拡張を利用した符号化の場合では、fgs(Fine Granularity Scalability)のような信号対雑音比(SNR)タイプの例について、符号化は、DCT係数をリファインするために、DCT係数の符号化の下位レイヤ、及び1つ以上の改良レイヤからなり、改良レイヤのためのこれらの係数を符号化するための手順は、符号化ビットの数を低減することにより、たとえば、予定されるよりも少ないビットプレーンを割当てることにより変更される。
【0027】図3は、本発明による処理を実現するアルゴリズムを表している。第1のステップ7は、現在のマクロブロックについての動きベクトルの計算からなる。次のステップ8は、マクロブロックに割当てられた動きベクトルに基づいたマクロブロックの動きを推定することにより、次の画像のために、この現在のマクロブロックの位置を計算する。
【0028】次のステップ9は、マクロブロックの位置が画像の内側にあるか外側にあるかを判定する。マクロブロックの予測される位置が画像の少なくとも1部内にある場合、次のステップであるステップ10は、従来のやり方でマクロブロックを符号化するためのパラメータを決定する。
【0029】マクロブロックの予測される位置が画像の完全に外側にある場合、次のステップであるステップ11は、符号化パラメータを先に示されたように強制する。たとえば、イントラモードの符号化が禁止される。次のステップはステップ12であり、先のステップで決定された符号化パラメータの関数として、マクロブロックの符号化を実行する。
【0030】ここで提案されるアルゴリズムは、エンコーダに追加される余分のブロックの形式をとることもでき、追加ステップ8,9及び11を実行して、これにより、画像又はVOPの様々なマクロブロックの中でのビット分散を改善することができる。さらに、エラーに対するロバスト性の文脈では、P−VOPについてのイントラ符号化モードを判定することにおいて使用することができる。
【0031】マクロブロックの予測は、動き予測に基づいて実行される。動き予測は、現在のマクロブロックに割当てられる動きベクトルの単なるコピーに対応しており、したがって、この動きの推定が実行される。この動きは、たとえば、動きフィールドをモデリングすることに基づいて、より複雑なやり方で予測される場合もある。
【0032】MPEG標準は、MPEGデータストリームにおいて再同期マーカを定義するものであり、2つのマーカ間のデータは、ビデオパケットに対応する。本発明の変形例は、データストリームにおけるマーカの位置を選択することに関して、マクロブロックの予測される位置を考慮するものである。したがって、画像から消失すべきマクロブロックの前に任意の同期マーカを配置しないこと、又はかかるマクロブロックの前に余りに近くに任意の同期マーカを配置しないことが判定されるべきである。
【0033】実際に、データストリームを重要性の低い到来するデータと同期させることは、むしろ非能率的である。消失するマクロブロックに関連するデータは、マクロブロックを予測及び再構築するために、その後に実際には使用されない。この位置決めは、ストリームにおける、画像から消失することになるマクロブロックの密度を考慮する場合があり、又はストリームにおける、マーカとかかるマクロブロックの間のギャップに依存する。
【0034】同様に、2つの再同期マーカの間に位置されるパケットのサイズは、画像から消失されることになり、該画像に含まれるマクロブロックの数の関数として計算することができる。このサイズは、画像から消失されることが予定される多くのマクロブロックを含んでいるパケットについて大きい場合があり、画像から消失されることが予定される少ないマクロブロックを含んでいるパケットについて小さい場合がある。
【0035】情報の損失は、画像から消失することになるマクロブロックに関しての障害は実際に少なく、結果的に、再同期は、かかるマクロブロックを含むパケットに関して、更に離れて位置することができる。
【0036】MPEGタイプの符号化は、空間スケーラビリティのような各種のタイプのスケーラビリティを利用して、符号化の精度を改善している。たとえば、fgs符号化は、マクロブロックの符号化のために、様々なレベルの解像度を利用している。
【0037】本発明の変形例は、精度の改善に関連するこの符号化の精度を、マクロブロックの状態に依存させることからなる。この状態とは、すなわち、マクロブロックが、画像の外側の予測された位置を有しているか否かに関する。したがって、レイヤ数を低減することが可能であり、その予測される位置が画像又はVOPの外側にあるマクロブロックに関して、これらの改良レイヤについてDCT係数をより粗雑に符号化することができる。




 

 


     NEWS
会社検索順位 特許の出願数の順位が発表

URL変更
平成6年
平成7年
平成8年
平成9年
平成10年
平成11年
平成12年
平成13年


 
   お問い合わせ info@patentjp.com patentjp.com   Copyright 2007-2013