米国特許情報 | 欧州特許情報 | 国際公開(PCT)情報 | Google の米国特許検索
 
     特許分類
A 農業
B 衣類
C 家具
D 医学
E スポ−ツ;娯楽
F 加工処理操作
G 机上付属具
H 装飾
I 車両
J 包装;運搬
L 化学;冶金
M 繊維;紙;印刷
N 固定構造物
O 機械工学
P 武器
Q 照明
R 測定; 光学
S 写真;映画
T 計算機;電気通信
U 核技術
V 電気素子
W 発電
X 楽器;音響


  ホーム -> 計算機;電気通信 -> 株式会社東芝

発明の名称 画像処理装置
発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開2007−6381(P2007−6381A)
公開日 平成19年1月11日(2007.1.11)
出願番号 特願2005−186993(P2005−186993)
出願日 平成17年6月27日(2005.6.27)
代理人 【識別番号】100083806
【弁理士】
【氏名又は名称】三好 秀和
発明者 鈴村 竜広 / 大上 晃弘 / 矢萩 邦彦 / 道中 秀治 / 竹川 智 / 渡辺 究
要約 課題
符号化データの復号処理において参照画像に最適化されたメモリアクセスを実現可能な画像処理装置を提供する。

解決手段
符号化データINを復号して復号画像を生成する復号処理回路10と、ロウアドレスが順に割当てられた複数のページをそれぞれ含む複数のバンクを有し、復号画像を格納する画像メモリ9と、復号画像を複数のブロックに分割し、水平及び垂直方向の少なくとも一方に隣接するブロックのアクセス先として異なるバンクのページを選択するバンク選択回路11と、各ブロックの偶数ラインに存在する画素の画素データと、各ブロックの奇数ラインに存在する画素の画素データとを各ページのカラムアドレス方向に交互に書込む書込み制御回路5とを備える。
特許請求の範囲
【請求項1】
符号化データを復号して復号画像を生成する復号処理回路と、
ロウアドレスが順に割当てられた複数のページをそれぞれ含む複数のバンクを有し、前記復号画像を格納する画像メモリと、
前記復号画像を複数のブロックに分割し、水平及び垂直方向の少なくとも一方に隣接する前記ブロックの書込み先として異なるバンクのページを選択するバンク選択回路と、
前記各ブロックの偶数ラインに存在する画素の画素データと、前記各ブロックの奇数ラインに存在する画素の画素データとを前記各ページのカラムアドレス方向に交互に書込む書込み制御回路
とを備えることを特徴とする画像処理装置。
【請求項2】
前記書込み制御回路は、前記画素データに含まれる輝度及び色差成分のそれぞれを前記各ページのカラムアドレス方向に選択的に書込むことを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記復号画像を前記複数のバンクのいずれかのページから読出し、読出し対象のページを切替える場合に他のバンクのページに切替える読出し制御回路を更に備えることを特徴とする請求項1又は2に記載の画像処理装置。
【請求項4】
前記復号処理回路が前記符号化データから復号した動きベクトルのデータに応じて、前記読出し制御回路に対して前記復号画像の一部の領域を指定し、前記読出し制御回路により読出された前記復号画像の一部の領域を参照画像として出力する動き補償回路を更に備えることを特徴とする請求項3に記載の画像処理装置。
【請求項5】
前記書込み制御回路は、前記復号画像の画像アドレスと前記ロウ及びカラムアドレスとを対応付けて前記画素データの読出しを制御し、
前記読出し制御回路は、前記画像アドレスと前記ロウ及びカラムアドレスとを対応付けて前記画素データの読出しを制御する
ことを特徴とする請求項3又は4に記載の画像処理装置。



















発明の詳細な説明
【技術分野】
【0001】
本発明は、符号化された画像データの復号処理を行う画像処理装置に関する。
【背景技術】
【0002】
シンクロナスDRAM(SDRAM)は記憶領域である複数のバンクを有する。各バンクは ロウ及びカラムの2次元構成となっており、1つのロウアドレス分のデータを保持するデータバッファがバンク毎に備えられる。各ロウアドレス分の記憶領域は、「ページ」と呼ばれる。データバッファに対するアクセスは、高速に実行できる。これに対し、同一バンクにおいてページを切替えると、オーバーヘッドサイクル、即ちデータのアクセス以外に要するサイクルが増加する。よって、ページ切替えに伴うバンク切替えを多用することでアクセス時間を短縮する手法が提案されている(例えば、特許文献1及び2参照。)。
【0003】
一方、動画像圧縮符号化技術に関し、符号化側で、時間的情報量を削減するために原画像を複数のブロックに分割した画像ブロック単位でフレーム間の差分が求められ、求められた差分が符号化される。復号側では、差分を復号して、復号された差分に対し、過去に復号された画像の一部の領域を参照画像として加算することで原画像を得る。したがって、符号化データの復号を行う画像処理装置には、過去に復号された画像を格納可能な画像メモリが備えられる。画像メモリとしては、通常SDRAMが使用される。
【0004】
しかしながら、上述したロウアドレス変更に応じたバンク切替え手法においては、復号処理に使用する参照画像に最適化されていないために高速なメモリアクセスを実現できない。このため、画像データの復号処理において参照画像に最適化されたメモリアクセス手法の確立が望まれている。
【特許文献1】特開平10−336575号公報
【特許文献2】特開2003−036070号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
本発明は、符号化データの復号処理において参照画像に最適化されたメモリアクセスを実現可能な画像処理装置を提供する。
【課題を解決するための手段】
【0006】
本発明の一態様は、符号化データを復号して復号画像を生成する復号処理回路と、ロウアドレスが順に割当てられた複数のページをそれぞれ含む複数のバンクを有し、復号画像を格納する画像メモリと、復号画像を複数のブロックに分割し、水平及び垂直方向の少なくとも一方に隣接するブロックのアクセス先として異なるバンクのページを選択するバンク選択回路と、各ブロックの偶数ラインに存在する画素の画素データと、各ブロックの奇数ラインに存在する画素の画素データとを各ページのカラムアドレス方向に交互に書込む書込み制御回路とを備える画像処理装置であることを要旨とする。
【発明の効果】
【0007】
本発明によれば、符号化データの復号処理において参照画像に最適化されたメモリアクセスを実現可能な画像処理装置を提供できる。
【発明を実施するための最良の形態】
【0008】
次に、図面を参照して、本発明の実施形態を説明する。以下の実施形態における図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。
【0009】
本発明の実施形態に係る画像処理装置は、図1に示すように、復号処理回路10、画像メモリ9、バンク選択回路11、書込み制御回路5、動き補償回路6、及び読出し制御回路7を備える。復号処理回路10は、符号化データINを復号して復号画像を生成する。画像メモリ9は、図2に示すように、ロウアドレスが順に割当てられた複数のページをそれぞれ含む複数のバンク9a〜9dを有し、復号画像を格納する。バンク選択回路11は、復号画像を複数のブロックに分割し、水平及び垂直方向の少なくとも一方に隣接するブロックの書込み先として異なるバンクのページを選択する。書込み制御回路5は、各ブロックの偶数ラインに存在する画素の画素データと、各ブロックの奇数ラインに存在する画素の画素データとを各ページのカラムアドレス方向に交互に書込む。ここで、「画素データ」とは、例えば各画素の輝度成分Yと、青色差成分及び赤色差成分Cb,Cr等の色差成分Cを意味する。よって、輝度成分Yと色差成分Cを同一ページ内に格納することにより、各ページのデータをバースト的に読み出すバースト読出しを行えば、輝度成分Yと色差成分Cを一括して各ページから読出すことが可能となる。尚、本発明の実施形態に係る画像処理装置としては、動画の通信メディア用符号化標準であるH.263又はH.264、或いは動画の蓄積用メディア用符号化標準であるムービング・ピクチャ・エキスパート・グループ(MPEG)等の規格に準拠した画像復号装置が使用できる。
また、書込み制御回路5は、画素データに含まれる輝度及び色差成分のそれぞれを画像メモリ9の各ページのカラムアドレス方向に選択的に書込む。読出し制御回路7は、復号画像を画像メモリ9の複数のバンクのいずれかのページから読出し、読出し対象のページを切替える場合に他のバンクのページに切替える。動き補償回路6は、復号処理回路10が符号化データINから復号した動きベクトルのデータMVに応じて、読出し制御回路7に対して復号画像の一部の領域を指定し、読出し制御回路7により読出された復号画像の一部の領域を参照画像として出力する。
【0010】
書込み制御回路5は、復号画像の画像アドレスとロウ及びカラムアドレスとを対応付けて画素データの読出しを制御する。読出し制御回路7は、画像アドレスとロウ及びカラムアドレスとを対応付けて画素データの読出しを制御する。
【0011】
更に、復号処理回路10は、可変長復号回路1、逆量子化回路2、逆離散コサイン変換(逆DCT)回路3、加算器4、及びメモリ制御回路8等を備える。可変長復号回路1には、例えば光ディスク駆動装置等から出力された符号化データINが入力される。可変長復号回路1は、符号化データINを可変長復号(又は算術復号)し、符号化側の可変長符号化前のデータに戻す。符号化データINには、例えばMPEGの場合、フレーム内符号化画像(Iピクチャ)、フレーム間順方向予測符号化画像(Pピクチャ)、及び双方向予測符号化画像(Bピクチャ)等が含まれる。以下の説明においては、Pピクチャ及びBピクチャを併せて「フレーム間符号化画像」という。
【0012】
この場合、参照画像生成の基準として、フレーム内符号化画像が使用される。フレーム内符号化画像は、圧縮された画像データであるが、一フレーム分の輝度成分及び色差成分を含む。差分画像としては、フレーム間符号化画像が使用される。フレーム間順方向予測符号化画像とは、過去方向に位置するフレームとの差分からなる差分画像である。双方向予測符号化画像とは、過去方向及び未来方向に位置するフレームとの差分からなる差分画像である。
【0013】
逆量子化回路2は、可変長復号回路1の出力データを逆量子化する。逆DCT回路3は、逆量子化回路2の出力データを逆DCT処理する。逆DCT回路3の出力データは加算器4に供給される。符号化データINがフレーム内符号化画像である場合、逆DCT回路3の出力データは、符号化前の原画像データになる。符号化データINがフレーム間符号化画像である場合、逆DCT回路3の出力データは、復号された予測誤差となる。
【0014】
尚、可変長復号回路1、逆量子化回路2、及び逆DCT回路3の各処理は例えば16×16画素の画像ブロック(マクロブロック)単位で行われる。よって、逆DCT回路3の出力データは画像ブロック単位で加算器4に与えられる。H.264規格等においては、画像ブロックサイズとして、16×16画素、16×8画素、8×16画素、又は8×8画素等を選択可能である。
【0015】
更に、符号化データINには、符号化側における予測符号化時に用いた動きベクトルのデータが多重されている。動きベクトルとは、符号化側において、原画像の原画像ブロックと、原画像と時間的に異なる画像中の原画像ブロックに近似するブロックとの水平方向及び垂直方向の相対位置を示すベクトルである。
【0016】
可変長復号回路1から出力される動きベクトルのデータMVは、動き補償回路6に供給される。動き補償回路6は、可変長復号回路1からの動きベクトルのデータMVに基づいて、復号対象の画像ブロックに対応する復号画像中の画像ブロックの画像上での位置を算出する。動き補償回路6が算出した画像アドレスは、読出し制御回路7に供給される。
【0017】
また、動き補償回路6は、動きベクトルに基づいて、画像メモリ9に格納された復号画像から、差分データと同サイズの画像であって、差分データと同位置に位置するものを参照画像として切り出す。切り出された参照画像と、差分データとを加算し、画像メモリ9に書き戻すことにより画像メモリ9に一枚の完成した画像を得る。以上の動作を繰り返すと、時間的に連続した動画を再生することができる。
【0018】
読出し制御回路7は、動き補償回路6からの画像アドレスから読出しアドレスを生成してメモリ制御回路8に供給する。この結果、画像メモリ9から復号画像の一部の領域が参照画像として読出され、動き補償回路6を介して加算器4に供給される。
【0019】
加算器4は、逆DCT回路3から原画像の画像ブロックが供給される場合、メモリ制御回路8を介して、原画像の画像ブロックをそのまま画像メモリ9に転送する。これに対して、加算器4は、逆DCT回路3から差分データが供給される場合、差分データに動き補償回路6からの参照画像を加算する。この結果、原画像データが復号され、原画像データはメモリ制御回路8を介して画像メモリ9に格納される。画像メモリ9に格納された原画像データは、復号画像として、以降の復号処理に利用される。書込み制御回路5は、画像メモリ9の書込みアドレスを生成してメモリ制御回路8に供給するが、逆DCT回路3の出力データに基づいて書込みアドレスを生成しても良い。
【0020】
更に、画像メモリ9としては、ダブル・データ・レート(DDR)−SDRAM等のSDRAMを使用する場合、図2に示すように、記憶領域である複数のバンクを有する。図2に示す例において、画像メモリ9は第1〜第4バンク9a〜9dの4つのバンクを有している。各バンクは独自に管理される。よって、第1バンク9aに対するアクセス中に、例えば第2バンク9bに対するアクセスの準備が可能である。
【0021】
図1に示すメモリ制御回路8から画像メモリ9に対しては、図2に示すクロックCLK、コマンドCOM、ロウアドレスデータAD1、及びカラムアドレスデータAD2等が供給される。バンク選択回路11から画像メモリ9に対しては、バンク選択信号BSELが供給される。コマンドCOMとしては、アクティブコマンド、ライトコマンド、リードコマンド、及びプリチャージコマンド等がある。バンク選択信号BSELは、第1〜第4バンク9a〜9dのいずれかを選択するために用いられる。尚、図2に示す画像メモリ9においては、コマンドデコーダ及びセンスアンプ等の図示を省略している。
【0022】
先ず、第1バンク9aに着目すると、第1バンク9aには、ロウデコーダ91a、カラムデコーダ93a、及びデータバッファ92aが接続される。ロウデコーダ91aはロウアドレスデータAD1をデコードして、ワード線を選択する。カラムデコーダ93aはカラムアドレスデコーダAD2をデコードして、ワード線を選択する。データバッファ92aは、第1バンク9aの1ページ分のデータを保持し、図1に示すメモリ制御回路8と書込み・読出しデータDATAを入出力する。同様に、第2バンク9b〜第4バンク9dのそれぞれには、図示を省略するロウデコーダ、カラムデコーダ、及びデータバッファが接続される。データバッファ92aが1ページ分の書込み・読出しデータDATAを保持可能であるため、連続するカラムアドレスの最初のアドレスのみを供給することにより、以後の所定数のアドレスをクロックCLKに同期して連続的にアクセスできる。
【0023】
尚、第1バンク9aは、図3に示すように、ロウアドレスが順に割当てられた複数のページP1a,P1b,P1c,P1d,・・・・・を備える。同様に、第2バンク9bは複数のページP2a,P2b,P2c,P2d,・・・・・を備える。第3バンク9cは複数のページP3a,P3b,P3c,P3d,・・・・・を備える。第4バンク9dは複数のページP4a,P4b,P4c,P4d,・・・・・を備える。第1バンク9aにおいては、図4に示すように、ロウ及びカラムアドレスによって、複数のページP1a,P1b,P1c,P1d,・・・・・の任意のアドレスをアクセスできる。各ページは、例えば2048バイト程度の記憶容量を有している。
【0024】
図1に示した書込み制御回路5が画像メモリ9に書込む復号画像は、図5に示すように、例えば、画像上の垂直及び水平画素数に応じたビット数の垂直アドレスY及び水平アドレスXを画像アドレスとして有する。一例として、図5に示す復号画像を複数のブロックB11〜B44に分割した場合、画像ブロックB11,B12,B13,及びB14の各画像データは、図3に示す第1バンク9aのページP1a,第2バンク9bのページP2a,第3バンク9cのページP3a,及び第4バンク9dのページP4aにそれぞれ格納される。
【0025】
同様に、画像ブロックB21,B22,B23,及びB24の各画像データは、図3に示す第1バンク9aのページP1b,第2バンク9bのページP2b,第3バンク9cのページP3b,及び第4バンク9dのページP4bにそれぞれ格納される。画像ブロックB31,B32,B33,及びB34の各画像データは、第1バンク9aのページP1c,第2バンク9bのページP2c,第3バンク9cのページP3c,及び第4バンク9dのページP4cにそれぞれ格納される。画像ブロックB41,B42,B43,及びB44の各画像データは、第1バンク9aのページP1d,第2バンク9bのページP2d,第3バンク9cのページP3d,及び第4バンク9dのページP4dにそれぞれ格納される。
【0026】
更に、画像メモリ9に書込む復号画像がフィールド構造を有している場合、復号画像は図6(a)に示すように、画像の偶数ラインに存在する画素からなるトップフィールドF1と、画像の奇数ラインに存在する画素からなるボトムフィールドF2とに分離している。各フィールドは、水平方向にm画素、垂直方向にnラインのm×nの画素数を有する(m,n;2以上の整数)。これに対して、復号画像がフレーム構造を有している場合、図6(b)に示すように、フィールド構造を基準とすると、水平方向にm画素、垂直方向に2nラインのm×2nの画素数を有する。
【0027】
図1に示す書込み制御回路5は、図5に示す復号画像の水平及び垂直アドレスX及びYと、画像メモリ9のロウ及びカラムアドレスとを対応付けて書込む。この結果、画像上の位置とメモリ上の位置とが対応することにより、読出し制御回路7が、画像上の水平及び垂直位置によってロウアドレスデータAD1及びカラムアドレスデータAD2を制御して、画像メモリ9からの読出しが可能となる。
【0028】
更に、書込み制御回路5及び読出し制御回路7は、図7に示すような形式で、画像アドレスとメモリアドレスとを対応付ける。図6(a)及び(b)に示すように、フィールド構造の各復号画像がm×n画素、フレーム構造の復号画像がm×2n画素とすると、画像メモリ9は、仮想的に、幅が2m画素、高さが1.5nラインの仮想二次元記憶領域と考えることができる。ここで、「仮想二次元記憶領域」とは、一定カラムアドレス毎にページを分割し、分割されたページを並べて、カラムアドレス方向を水平方向、及び分割されたページが並べられた方向を垂直方向とする仮想的な記憶領域を意味する。
【0029】
復号画像の垂直方向に連続する2つの画素は異なる構成成分(輝度成分であれば色差成分、色差成分であれば輝度成分)を省いて考えた場合、仮想二次元記憶領域においても連続するように配置される。また、復号画像の偶数ライン及び奇数ラインに存在する画素の画像データが、仮想二次元記憶領域の水平方向に一定画素数毎に交互に並べられる。一例として、復号画像の偶数ライン及び奇数ラインに存在する画素の画像データが、仮想二次元記憶領域の水平方向に例えば16画素毎に交互に並べられる。
【0030】
図7に示す例においては、ページP1aに対し、偶数ラインに存在する画素の画像データの格納領域T1a及びT1bと、奇数ラインに存在する画素の画像データの格納領域B1a及びB1bが設定されている。同様に、ページP2aに対し、偶数ラインに存在する画素の画像データの格納領域T2a及びT2bと、奇数ラインに存在する画素の画像データの格納領域B2a及びB2bが設定されている。ページP3bに対し、偶数ラインに存在する画素の画像データの格納領域T3a及びT3bと、奇数ラインに存在する画素の画像データの格納領域B3a及びB3bが設定されている。ページP4bに対し、偶数に存在する画素の画像ラインデータの格納領域T4a及びT4bと、奇数ラインに存在する画素の画像データの格納領域B4a及びB4bが設定されている。
【0031】
また、仮想二次元記憶領域の垂直方向に連続する復号画像の画像データは、輝度成分と色差成分が一定の割合で混合されている。一例として、輝度成分と色差成分は、図8に示すように、仮想二次元記憶領域の垂直方向に、2:1の割合で混合されている。ここで、輝度成分と色差成分の割合は、画像データのフォーマットによって異なる。通常は1画素に対して輝度成分Y、青色差成分Cb、及び赤色差成分Crのそれぞれに1バイト程度の情報が割当てられるが、人間の目は色に敏感でないため、色情報を削減する手法が多く用いられる。色情報を削減するフォーマットは、4:2:2又は4:2:0等と呼ばれ、4:2:2の場合は色情報Cb,Crは輝度情報Yの1/2となり、4:2:0の場合は色情報Cb,Crは輝度情報Yの1/4となる。図8においては、4:2:0のフォーマットを使用した一例を示している。
【0032】
図8に示す例においては、ページP1a内の偶数ラインに存在する画素の画像データ格納領域T1aにおいて、輝度成分(偶数ライン)T11a、色差成分(偶数ライン)T12a、輝度成分(偶数ライン)T13a、輝度成分(偶数ライン)T14a、色差成分(偶数ライン)T15a、輝度成分(偶数ライン)T16a、輝度成分(偶数ライン)T17a、・・・・・が垂直方向に配置される。偶数ラインに存在する画素の画像データ格納領域T1b及び奇数に存在する画素の画像データ格納領域B1a,B1bにおいても同様に輝度成分及び色差成分が垂直方向に配置される。
【0033】
図8に示す各輝度成分及び各色差成分は、カラムアドレス上に変換した場合、図9に示すように、輝度成分(偶数ライン)T11a、輝度成分(奇数ライン)B11a、輝度成分(偶数ライン)T11b、輝度成分(奇数ライン)B11b、色差成分(偶数ライン)T12a、色差成分(奇数ライン)B12a、色差成分(偶数ライン)T12b、色差成分(奇数ライン)T12b、・・・・・のように並ぶこととなる。即ち、偶数ラインに存在する画素の画素データと、奇数ラインに存在する画素の画素データとが各ページのカラムアドレス方向に交互に書込まれることとなる。輝度及び色差成分のそれぞれは、フォーマットに応じて、各ページのカラムアドレス方向に選択的に書込まれることとなる。
【0034】
次に、本発明の実施形態に係る画像処理装置における画像メモリ9に対する復号画像の画像データの書込み動作を説明する。
【0035】
(A)符号化データINは、図1に示す可変長復号回路1、逆量子化回路2、逆DCT回路3、及び加算器4等により画像ブロック毎に復号される。復号された画像データは、画像ブロック毎にメモリ制御回路8に供給される。
【0036】
(B)バンク選択回路11は、図5に示すように、復号画像を複数のブロックに分割し、水平及び垂直方向の少なくとも一方に隣接するブロックの書込み先として異なるバンクのページを選択するバンク選択信号BSELを生成する。図5に示すように、ページ切替えの際には、バンク切替えが行われる。
【0037】
(C)書込み制御回路5は、図7に示すように、メモリ制御回路8に対して書込み用のメモリアドレスを生成する。
【0038】
(D)メモリ制御回路8は、書込み制御回路5により制御され、加算器4からの復号画像データを画像メモリ9に書込む。この結果、図9に示すように、各ページのカラムアドレス方向に、復号画像の一定画素数毎に偶数ライン及び奇数ラインが交互に書込まれる。更に、各ページのカラムアドレス方向に、輝度成分及び色差成分が周期的に書込まれる。
【0039】
次に、本発明の実施形態に係る画像処理装置における画像メモリ9に対する復号画像の一部の領域、即ち参照画像の読出し動作を説明する。
【0040】
(A)図1に示す動き補償回路6は、可変長復号回路1からの動きベクトルデータMVに基づいて、復号対象の画像ブロックに対応するブロックの復号画像上での位置を算出する。図5に示すブロックB1が復号対象の画像ブロックに対応する場合、動き補償回路6は、画像ブロックB1に相当する画像アドレスを読出し制御回路7に供給する。
【0041】
(B)画像ブロックB1に相当する画像アドレスが、仮想二次元記憶領域上、図10の破線で示す領域に対応する場合、読出し制御回路7は、画像アドレスをメモリアドレスに変換してメモリ制御回路8に供給する。
【0042】
(C)この結果、メモリ制御回路8は、読出し用のメモリアドレスに基づいて画像メモリ9から復号画像のブロックB1を参照画像として読出す。読出された参照画像は、動き補償回路6を介して加算器4に供給される。また、書込み時と同様に、ページ切替えの際には、バンク切替えが行われることとなる。
【0043】
このように、書込み時及び読出し時のいずれにおいても、ページ切替えの際にはバンク切替えが行われることにより、バンク切替えを行わずにページ切替えを行う場合よりもオーバーヘッドサイクルを削減できる。図10に示すように、読出し対象の参照ブロックが、複数のページの境界上に位置し、ページ切替えを複数回行う必要が生じる場合に特に有効である。以下に、オーバーヘッドサイクルが削減可能な理由について詳細に説明する。
【0044】
先ず、ページ切替えの際にバンク切替えを行う場合の読出し動作について、図11に示すタイムチャートを参照して説明する。図11(b)が図2に示す第1バンク9aに対するコマンドCOMであり、図11(c)が第2バンク9bに対するコマンドCOMであるとする。図11(b)の時刻t1において、第1バンク9aに対してアクティブコマンドAが供給される。アクティブコマンドAの入力と同時にバンク選択信号BSEL及びロウアドレスデータAD1等が入力される。
【0045】
アクティブコマンドAの供給から一定時間経過後の時刻t2〜t3の期間においてに、図11(a)に示すクロックCLKに同期して、リードコマンドRが連続的に供給される。リードコマンドRの入力と同時にカラムアドレスデータAD2等が入力される。
【0046】
更に、図11(c)の時刻t3において、第2バンク9bに対してアクティブコマンドAが供給される。アクティブコマンドAの供給から一定時間経過後の時刻t4〜t5の期間において、図11(a)に示すクロックCLKに同期して、リードコマンドRが連続的に供給される。
【0047】
このように、アクティブコマンドAの入力から、リードコマンドRが入力可能になるまでには、図12に示すように、RAS−CASレイテンシ(tRCD)に相当する遅延時間が生じる。図12に示す例においてはtRCDを15nsとしている。図12(a)が図2に示す第1バンク9aに対するコマンドCOMであり、図12(b)が第2バンク9bに対するコマンドCOMであるとする。図12(a)に示すアクティブコマンドAの入力から、リードコマンドRが入力されるまでのオーバーヘッドサイクルは、図12(d)に示すように、2サイクルとなる。図12(c)に示すクロック(クロックサイクル)が166MHzであるとすると、ページ切替えに伴うバンク切替え時においては、図12(d)に示すように、3サイクルのオーバーヘッドサイクルが生じる。
【0048】
一例として、動き補償回路6がフレーム構造の参照画像を出力し、読出し対象となる復号画像の一部の領域が、図10に示すように、4つのバンクの境界に位置する場合を想定する。復号画像の参照ブロックの範囲として、H.264規格において最小の範囲である輝度成分9×9画素の領域、及び色差成分3×3画素の領域に対する読出しが完了するまでに要するクロックサイクル数の見積もり結果を図13に示す。また、輝度成分21×21の領域及び色差成分9×9の領域に対する読出しが完了するまでに要するクロックサイクル数の見積もり結果を図14に示す。
【0049】
次に、比較例として、図15に示すように、復号画像の偶数ラインに存在する画素の輝度成分、復号画像の偶数ラインに存在する画素の色差成分、復号画像の奇数ラインに存在する画素の輝度成分、及び復号画像の奇数ラインに存在する画素の色差成分をそれぞれ異なるページに格納する場合を想定する。この場合、図15の破線で囲まれた領域をすべて読出すには、同一バンク内でのページ切替えが発生する。同一バンク内でページ切替えが発生する場合、オーバーヘッドサイクルが増加する。
【0050】
一例として、図16(b)が図2に示す第1バンク9aに対するコマンドCOMであるとする。図16(b)の時刻t1において、第1バンク9aに対してアクティブコマンドAが供給される。アクティブコマンドAの供給から一定時間経過後の時刻t2〜t3の期間において、図16(a)に示すクロックCLKに同期して、リードコマンドRが連続的に供給される。更に、図16(b)の時刻t4において第1バンク9aに対してプリチャージコマンドPが供給され、時刻t5において、アクティブコマンドAが供給される。
【0051】
このように、同一バンク内でページ切替えを行う場合、プリチャージコマンドPの入力から、アクティブコマンドAが入力可能になるまでには、図17に示すように、RASプリチャージ時間(tRP)と呼ばれる遅延時間が生じる。図17に示す例においては、同一バンク内でのページ切替え時に、計6サイクルのオーバーヘッドサイクルが生じる。図15に示す様式を利用する場合において、図13と同様の条件でのクロックサイクル数の見積もり結果を図18に示す。図15に示す様式を利用する場合において、図14と同様の条件でのクロックサイクル数の見積もり結果を図19に示す。
【0052】
図13、図14、図18、及び図19に示すように、比較例においては、本発明の実施形態に比べて、1.6〜3.5倍程度の転送サイクル数が必要となる。したがって、本発明の実施形態に係る画像処理装置によれば、書込み時及び読出し時のいずれにおいても、ページ切替えの際にバンク切替えを行い、同一ページ内に輝度及び色差成分を格納することで、符号化データINの復号処理において復号画像に最適化されたメモリアクセスを実現できる。このため、オーバーヘッドサイクルを削減し、高速なメモリアクセスを実現できる。
【0053】
(第1変形例)
本発明の実施形態の第1変形例に係る画像処理装置として、画像メモリ9のバンク数を8としても良い。更に、各ページが、図20に示すように、4096バイトの記憶容量を有していても良い。この結果、仮想二次元記憶領域上で、各ページの水平方向の画素数は128画素であり、偶数ライン及び奇数ラインに存在する画素の画像データの格納領域は、水平方向に4つ配置される。その他の配置については、図7及び図8と同様である。
【0054】
本発明の実施形態の第1変形例によれば、8バンク構成、及び1ページ当たりの記憶容量が4096バイトの画像メモリ9を利用できる。
【0055】
(第2変形例)
本発明の実施形態の第2変形例に係る画像処理装置として、画像メモリ9におけるバンク数を8としても良い。更に、各ページが、図21に示すように、4096バイトのデータを格納可能な容量を有していても良い。但し、図22に示すように、復号画像の偶数ライン及び奇数ラインに存在する画素の画像データが、仮想二次元記憶領域の水平方向に32画素毎に交互に並べられる点が図8と異なる。
【0056】
(その他の実施形態)
上記のように、本発明は実施形態によって記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施形態、実施例及び運用技術が明らかとなろう。
【0057】
上述した実施形態の説明においては、画像処理装置として画像復号回路を例に説明したが、画像符号化回路に応用しても良い。画像符号化回路においても画像メモリ9が備えられ、画像復号回路と同様の処理が行われるためである。
【0058】
図1に示す画像処理装置においては、説明に必要な最小限の構成について図示しているが、H.263、H.264、MPEG−1、MPEG−2、又はMPEG−4等の様々な圧縮符号化規格に応じて、図1に示す画像処理装置の構成を適宜変更・追加しても良い。
【0059】
また、4又は8バンク構成の画像メモリ9を利用する一例を説明したが、2バンク構成等のバンク構成を有する画像メモリ9を利用しても良い。
【0060】
図1に示した復号処理回路10、画像メモリ9、バンク選択回路11、書込み制御回路5、動き補償回路6、及び読出し制御回路7は、同一の半導体チップ上にモノリシックに集積化し、半導体集積回路を構成可能である。但し、画像メモリ9を、別チップ(外付け)とする構成でも構わない。
【0061】
このように本発明は、ここでは記載していない様々な実施形態等を包含するということを理解すべきである。したがって、本発明はこの開示から妥当な特許請求の範囲の発明特定事項によってのみ限定されるものである。
【図面の簡単な説明】
【0062】
【図1】本発明の実施形態に係る画像処理装置の構成例を示すブロック図である。
【図2】本発明の実施形態に係る画像メモリにおける複数のバンクを示す模式図である。
【図3】本発明の実施形態に係る画像メモリの各バンクにおける複数のページの構成例を示す模式図である。
【図4】本発明の実施形態に係る各ページとロウ及びカラムアドレスとの関係を示す模式図である。
【図5】本発明の実施形態に係る書込み制御回路の動作を説明するための概略図である。
【図6】図6(a)は本発明の実施形態に係る画像メモリに格納されるフィールド構造の復号画像を示す模式図であり、図6(b)は本発明の実施形態に係る画像メモリに格納されるフレーム構造の復号画像を示す模式図である。
【図7】本発明の実施形態に係る書込み制御回路による画像メモリの各ページに対する復号画像の画像データの書込み例を示す模式図である。
【図8】本発明の実施形態に係る書込み制御回路による各ページ内の復号画像の画像データの格納例を示す模式図である。
【図9】本発明の実施形態に係る書込み制御回路による各ページ内の復号画像の画像データとカラムアドレスとの関係を示す模式図である。
【図10】本発明の実施形態に係る読出し制御回路による復号画像の画像データの一部の領域を読み出す際の動作を説明するための模式図である。
【図11】本発明の実施形態に係る読出し制御回路による読出し動作を示すタイムチャートである。
【図12】本発明の実施形態に係る読出し制御回路による読出し動作におけるオーバーヘッドサイクルを示す模式図である。
【図13】本発明の実施形態に係る読出し制御回路による読出し動作におけるオーバーヘッドサイクル及びロウアドレス変更回数を示す表である。
【図14】本発明の実施形態に係る読出し制御回路による読出し動作におけるオーバーヘッドサイクル及びロウアドレス変更回数を示す表である。
【図15】本発明の実施形態の比較例に係る読出し制御回路による参照画像を読出す際の動作を説明するための模式図である。
【図16】本発明の実施形態の比較例に係る読出し動作を示すタイムチャートである。
【図17】本発明の実施形態の比較例に係る読出し動作におけるオーバーヘッドサイクルを示す模式図である。
【図18】本発明の実施形態の比較例に係る読出し動作におけるオーバーヘッドサイクルを示す表である。
【図19】本発明の実施形態の比較例に係る読出し動作におけるオーバーヘッドサイクルを示す表である。
【図20】本発明の実施形態の第1変形例に係る画像メモリの各ページに対する復号画像の画像データの書込み例を示す模式図である。
【図21】本発明の実施形態の第2変形例に係る画像メモリの各ページに対する復号画像の画像データの書込み例を示す模式図である。
【図22】本発明の実施形態の第2変形例に係る書込み制御回路による各ページ内の復号画像の画像データの格納例を示す模式図である。
【符号の説明】
【0063】
5…書込み制御回路
6…動き補償回路
7…読出し制御回路
9…画像メモリ
10…復号処理回路




 

 


     NEWS
会社検索順位 特許の出願数の順位が発表

URL変更
平成6年
平成7年
平成8年
平成9年
平成10年
平成11年
平成12年
平成13年


 
   お問い合わせ info@patentjp.com patentjp.com   Copyright 2007-2013