米国特許情報 | 欧州特許情報 | 国際公開(PCT)情報 | Google の米国特許検索
 
     特許分類
A 農業
B 衣類
C 家具
D 医学
E スポ−ツ;娯楽
F 加工処理操作
G 机上付属具
H 装飾
I 車両
J 包装;運搬
L 化学;冶金
M 繊維;紙;印刷
N 固定構造物
O 機械工学
P 武器
Q 照明
R 測定; 光学
S 写真;映画
T 計算機;電気通信
U 核技術
V 電気素子
W 発電
X 楽器;音響


  ホーム -> 計算機;電気通信 -> 松下電器産業株式会社

発明の名称 動画像の符号化方法
発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開平7−50839
公開日 平成7年(1995)2月21日
出願番号 特願平5−195864
出願日 平成5年(1993)8月6日
代理人 【弁理士】
【氏名又は名称】小鍜治 明 (外2名)
発明者 安田 誠 / 長田 淳
要約 目的
動画像の符号化方法において、シーンチェンジなどの変化の激しいフレームが存在しても、極端な符号量の増加を抑え、かつ画像劣化を目立たなくする。

構成
入力された動画像中にシーンチェンジを検出すると、そのフレームをフレーム内符号化フレーム(Iフレーム)とし、その直前の少なくとも1枚のフレームについては、前後両方向予測符号化フレーム(Bフレーム)とし、前方向の動き情報のみを符号化する。また、シーンチェンジ直後のフレームをBフレームにする。
特許請求の範囲
【請求項1】動画像を入力とし、前記動画像を連続したN個(Nは2以上の整数)の映像フレームをまとめた映像フレーム群毎に符号化を行い、前記映像フレーム群中に少なくとも1つのフレーム内符号化フレームを含み、前記フレーム内符号化フレームを除く映像フレームについては前方予測符号化と前後両方向予測符号化のどちらか一方を行う動画像の符号化方法であって、前記映像フレーム群中でシーンチェンジ点を検出すると、前記シーンチェンジ点の映像フレームをフレーム内符号化フレームとし、前記シーンチェンジ点の映像フレームの直前の少なくとも1枚の映像フレームを前後両方向予測符号化フレームとし、前記前後両方向予測符号化フレームについては前記動画像の前方向の動き情報のみを符号化することを特徴とした動画像の符号化方法。
【請求項2】シーンチェンジ点の直後の映像フレームを強制的に前後両方向予測符号化フレームにすることを特徴とした請求項1記載の動画像の符号化方法。
発明の詳細な説明
【0001】
【産業上の利用分野】本発明は、動画像をディジタル符号化して伝送または蓄積する動画像の符号化方法に関するものである。
【0002】
【従来の技術】近年、情報化社会の進展に伴い、動画像を時間や距離の壁を越えて、他者に伝えたいという要望が高まっている。ディジタル技術の本格的な実用化の時代を迎え、動画像を記録装置で記録・再生したり、通信網を用いて遠距離間を伝送することが可能になってきた。動画像のディジタル信号は、音声信号に比べて非常に情報量が多いため、これを効率よく記録および伝送するには動画像の高能率符号化技術の開発が不可欠となっている。
【0003】動画像の符号化方式は、世界的規模で標準化作業が行われており、各種機器に幅広く応用されると期待されている(例えば「ATM映像符号化に関する標準化動向」、電子情報通信学会技術報告CS92−26、pp.1〜8、1992年を参照)。
【0004】以下図面を参照しながら、上述した従来の動画像の符号化方法の一例について説明する。図7に、従来の動画像の符号化方法の動作を示す。
【0005】図7において、Iはフレーム内符号化フレーム(以下、Iフレームと呼ぶ)、Pは過去からのみの前方向予測フレーム(以下、Pフレームと呼ぶ)、Bは過去と未来両方からの前後両方向予測フレーム(以下、Bフレームと呼ぶ)を表す。
【0006】入力された動画像は、グループ・オブ・ピクチャ(以下、GOPと呼ぶ)と呼ばれる一続きの連続した画像群に分割される。一つのGOP内には必ず1枚以上のIフレームが存在し、Pフレームは過去の方向に最も近いPまたはIフレームより予測符号化される。Bフレームは、過去の方向に最も近いPまたはIフレームと未来の方向に最も近いPまたはIフレームより予測符号化される。
【0007】以上で予測符号化とは、基準画像と符号化対象の画像の単純な差分、または基準画像を動き補償したものと符号化対象の画像の差分を求め、それを符号化することである。基準画像が2枚のときは、動き補償後の画像を補間した画像を、新たな基準画像とする。
【0008】実際には、すべての場合について予測符号化するわけではなく、マクロブロックと呼ばれる8×8画素または16×16画素の画素群ごとに、差分ではなく符号化対象となる画像自身を符号化した方が効率がよいか判定し、もしそうならばフレーム内符号化を行う。図7において、I、P、Bフレームの並び方はフレームストラクチャと呼ばれ、どのGOPについても同じとする事例が多い。
【0009】
【発明が解決しようとする課題】しかし、以上の構成では、予測符号化を行っているP、Bフレームでシーンチェンジ等の変化の激しい画像が発生すると、一般的に予測符号化の効率が著しく低下するため、フレーム内符号化が選択されて通常の予測符号化を行う場合より符号発生量が増大する。この符号発生量を抑圧すると、該当する画像が劣化し、それを基準画像とする画像も劣化しやすくなるという課題があった。
【0010】本発明は以上の課題に鑑み、シーンチェンジ等の変化の激しい画像がある場合でも劣化が目立たず、極端な発生符号量の増加を起こさない動画像の符号化方法を提供するものである。
【0011】
【課題を解決するための手段】上記目的を達するため、本発明の映像信号の符号化方法は、動画像を入力とし、前記動画像を連続したN個(Nは2以上の整数)の映像フレームをまとめた映像フレーム群毎に符号化を行い、前記映像フレーム群中に少なくとも1つのフレーム内符号化フレームを含み、前記フレーム内符号化フレームを除く映像フレームについては前方予測符号化と前後両方向予測符号化のどちらか一方を行う場合、前記映像フレーム群中でシーンチェンジ点を検出すると、前記シーンチェンジ点の映像フレームをフレーム内符号化フレームとし、前記シーンチェンジ点の映像フレームの直前の少なくとも1枚の映像フレームを前後両方向予測符号化フレームとし、前記前後両方向予測符号化フレームについては前記動画像の前方向の動き情報のみを符号化することを特徴とする。
【0012】また、本発明の映像信号の符号化方法は、シーンチェンジ点の直後の映像フレームを強制的に前後両方向予測符号化フレームにすることを特徴とする。
【0013】
【作用】本発明は上記した構成により、符号化対象のフレームがシーンチェンジ等で変化が激しい場合、そのフレームを強制的にIフレームにすると同時に、シーンチェンジ直前の少なくとも1枚のフレームについては、強制的に動き情報のみを符号化するBフレームにする。さらにシーンチェンジ直後のフレームをBフレームにする。
【0014】
【実施例】以下、本発明の一実施例の動画像の符号化方法について、図面を参照しながら説明する。図1に、本発明の第1の実施例の動画像の符号化方法の動作を示す図である。図1(a)は、本実施例のフレームストラクチャ(基本ストラクチャ)の一部分であり、全体のストラクチャは図7の通りとする。
【0015】もし、入力された動画像中にシーンチェンジが存在しなければ、図7に示したフレーム種で符号化してゆく。シーンチェンジが存在する場合でも、基本ストラクチャと同様なフレーム種で符号化してゆくが、シーンチェンジ前後のフレームを条件に応じて変更する。
【0016】具体的な符号化処理は、図1(a)に示すように、シーンチェンジが起こったフレーム位置によって、6通りに分類できる。2枚のPフレームに挟まれたBフレームでシーンチェンジが起こった場合でも、B点またはC点でシーンチェンジが起こった場合と同様に扱う。
【0017】まず、A点でシーンチェンジが起こった時は、A点自身がIフレームなので、図1(b)のように、基本ストラクチャの通り符号化処理を続ける。シーンチェンジ直前の少なくとも1枚のBフレームについては、その前方向の動き情報のみを符号化する。即ち、前方向の動きベクトルは符号化するが、前方向の差分情報と後方向の動きベクトルと差分情報はすべて0を符号化する。以下、このようなBフレームをBfフレームと呼び、シーンチェンジ点に近い方からB-1、B-2、…、B-nと記す。
【0018】前方向の動きベクトルのみを符号化する理由は以下の通りである。人間の視覚特性について、シーンチェンジ直前の画像劣化は目立ちにくいことが知られている。しかし、パンニング、物体の移動などを含む動画像中のシーンチェンジの自然さ(画面がフリーズしない等)を考慮すれば、動き情報は重要な情報である。そこで、相関がある前方向の動き情報だけは符号化し、それ以外は削減する。
【0019】一般に、差分情報より動き情報の方が少なく、また、「差分0」を表す符号の符号量は小さいので、Bfフレーム化により他のフレームに割り当て可能な符号量が増えることになり、総合的な画像劣化を軽減できる。
【0020】次に、B点でシーンチェンジが起こったときは、図1(c)のように、B点のフレームを強制的にIフレームにし、シーンチェンジ直前のフレームをBfフレームに変更する。この場合は、人間の視覚特性がシーンチェンジ直前では劣化が目立ちにくいことを更に利用し、シーンチェンジ直前の基本ストラクチャでは本来Iフレームに相当するフレームをBfフレームに変更する。加えて、それに先行するBフレームも、Bfフレームに変更すれば、一層の符号量削減が図れる。
【0021】C点でシーンチェンジが起こったときは、図1(d)のように、やはりC点のフレームを強制的にIフレームにし、シーンチェンジ直前のフレームをBfフレームに変更する。そして、シーンチェンジ直後の、基本ストラクチャでは本来Pフレームに相当するフレームを、Bフレームに変更する。
【0022】これは、もしこの変更を行わなければ、IフレームとPフレームが連続してしまい、符号化効率の点で劣ってしまうからである。
【0023】D点でシーンチェンジが起こったときは、図1(e)のように、D点のフレームを強制的にIフレームにし、シーンチェンジ直前のフレームをBfフレームに変更する。この場合も、それに先行するBフレームについても、Bfフレームに変更することで、符号量削減が図れる。
【0024】E点でシーンチェンジが起こったときは、図1(f)のように、(d)の場合と同様にする。ただし、この場合、シーンチェンジ直後の、基本ストラクチャでは本来Iフレームに相当するフレームを、Bフレームに変更する。
【0025】F点でシーンチェンジが起こったときは、図1(g)のように、F点のフレームを強制的にIフレームにし、シーンチェンジの直前のフレームをBfフレームに変更する。先行するBフレームについても、Bfフレームに変更することで、一層の符号量削減が図れる。また、A点に来るIフレームについては、Pフレームに変更する。
【0026】以上のような方法で符号化フレーム種を決定すれば、符号化後のストラクチャは、シーンチェンジがなかった場合と比較しても大きく変わることないため、ハードウェア化が容易である。
【0027】では次に、図2に本発明の第2の実施例の動画像の符号化方法の動作を示す。基本ストラクチャは、第1の実施例と同一の場合である。
【0028】もし、動画像中にシーンチェンジが存在しなければ、図2(a)に示したフレーム種で符号化してゆく。シーンチェンジが存在する場合は、シーンチェンジしたフレームからは、基本ストラクチャのうちIフレーム以降と同様に符号化してゆく。ここで、シーンチェンジ点のフレームを強制的にIフレームにし、その直前のフレームをBfフレームに変更する点は同じである。
【0029】すなわち、A点〜F点でシーンチェンジが起こった場合、それぞれ図2(b)〜(g)のように符号化する。すなわち、Iフレーム(シーンチェンジ点)以降は、B、B、P、B、B、P…の順に符号化してゆく。ただし、シーンチェンジがなかったと仮定した場合、次に現れるIフレームの位置、すなわち、図7のZ点からは、再び基本ストラクチャで符号化してゆく。
【0030】以上のような方法で符号化フレーム種を決定すれば、符号化後のストラクチャにおいて、Iフレーム後は必ずBフレームが2枚続くため、符号化効率がよい。
【0031】図3に本発明の一実施例の動画像の符号化装置の構成を示す。図3において、300は映像信号の入力端子、310は適応符号化手段、320はシーンチェンジ検出手段、330はフレーム種別を決定するフレームストラクチャ決定手段、390は符号化出力端子である。
【0032】以上のように構成された動画像の符号化装置について、以下、図3、図4、図5及び図6を用いて、その動作について説明する。
【0033】入力端子300に入力された映像信号は、シーンチェンジ検出手段320に入力され、動画像中のシーンチェンジが検出される。シーンチェンジ検出手段320の判定出力は、フレームストラクチャ決定手段330に入力され、符号化フレームストラクチャが決定される。適応符号化手段310は、入力された映像信号を1GOP分以上蓄積した後、フレームストラクチャ決定手段330の出力をもとに符号化する。
【0034】シーンチェンジ検出手段320の一構成例を図4に示す。図4において、400は映像信号の入力端子、410はフレームメモリ、420は演算器、430は比較手段、440はしきい値設定手段、490は出力端子である。
【0035】入力された映像信号と、フレームメモリ410で1フレームだけ遅延された映像信号の差分Dfが演算器420で求められ、しきい値設定手段440で予め設定されたしきい値Dthと比較され、Df>Dthならばシーンチェンジ点と判定し、その結果が出力端子490から出力される。このとき、差分Dfは、映像フレームの画素同士の差分の合計または平均値などが用いられる。
【0036】フレームストラクチャ決定手段330での判定処理の一例を、図5と図6を用いて説明する。
【0037】判定処理のために、シーンチェンジ点の位置情報から符号化後のフレームストラクチャを記した変換テーブルを設けておく。図5と図6は、それぞれ第1の実施例、第2の実施例に相当する変換テーブルである。
【0038】図5または図6の変換テーブルにおいて、SCはシーンチェンジ点を検出したときの15フレーム中の位置、xはフレーム位置、表中のフレーム種は決定された符号化後のフレームストラクチャである。表中で、x=16,17は、それぞれ次にくる15フレームにおけるx=1,2のフレームに相当する。
【0039】まず、シーンチェンジ検出手段320で判定された、シーンチェンジの有無とその位置情報(SC)を参照し、もし、シーンチェンジがなければSC=0のフレームストラクチャを適応符号化手段310に渡す。もし、シーンチェンジがあれば、そのSCに対応するフレームストラクチャを渡す。
【0040】x=16,17のフレーム種は、次にくる15フレームのフレームストラクチャの決定のときに限り、x=1,2のフレーム種の代わりに用いる。
【0041】以上の動作を繰り返し行うことで、次々に適応符号化手段310に符号化すべきフレーム種を出力する。
【0042】なお、以上の処理は一例であり、Bfフレームは1枚だけであったが、複数枚に設定することも可能である。
【0043】また、以上で1GOPが15フレームの例で説明したが、Nフレーム(Nは2以上の整数)でもよく、また、GOPのフレームストラクチャにおいて、I、PおよびBフレームの枚数および配置は以上の限りでなく、IまたはPフレームで終わるものでもよい。
【0044】さらに、インタレースされた動画像について、偶数フィールドと奇数フィールドを分解してそれぞれ独立なフレームとみなす動画像の符号化方法でもよい。
【0045】
【発明の効果】以上のように本発明は、シーンチェンジ等の変化の激しい画像がある場合、そのフレームをIフレームとして扱うので、画像の劣化が抑えられる。また、人間に知覚されにくいシーンチェンジ直前の少なくとも1枚のフレームについては、前方向の動き情報のみを符号化するBフレームとし、さらにシーンチェンジ直後のフレームを強制的にBフレームにするので、符号量の増大が抑えられる。




 

 


     NEWS
会社検索順位 特許の出願数の順位が発表

URL変更
平成6年
平成7年
平成8年
平成9年
平成10年
平成11年
平成12年
平成13年


 
   お問い合わせ info@patentjp.com patentjp.com   Copyright 2007-2013