米国特許情報 | 欧州特許情報 | 国際公開(PCT)情報 | Google の米国特許検索
 
     特許分類
A 農業
B 衣類
C 家具
D 医学
E スポ−ツ;娯楽
F 加工処理操作
G 机上付属具
H 装飾
I 車両
J 包装;運搬
L 化学;冶金
M 繊維;紙;印刷
N 固定構造物
O 機械工学
P 武器
Q 照明
R 測定; 光学
S 写真;映画
T 計算機;電気通信
U 核技術
V 電気素子
W 発電
X 楽器;音響


  ホーム -> 計算機;電気通信 -> 日本電気株式会社

発明の名称 画素補間方法および回路
発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開2001−8037(P2001−8037A)
公開日 平成13年1月12日(2001.1.12)
出願番号 特願平11−177097
出願日 平成11年6月23日(1999.6.23)
代理人 【識別番号】100088328
【弁理士】
【氏名又は名称】金田 暢之 (外2名)
【テーマコード(参考)】
5B057
5C077
【Fターム(参考)】
5B057 BA28 BA30 CA12 CA16 CB12 CB16 CC03 CD06 CE20 CH07 CH08 DC16 
5C077 LL17 LL19 MP07 PP20 PP43 PP47 PP51 PP59 PQ18 PQ23 RR16 RR19
発明者 永田 宏
要約 目的


構成
特許請求の範囲
【請求項1】 補間により新たに生成される画素に隣接する4つの画素から画像のエッジ成分の有無を検出し、エッジ成分が有る場合、さらに、そのエッジ成分が斜めエッジ、縦エッジ、横エッジのうちのどの種類のエッジ成分かを検出する段階と、前記生成される画素の、隣接する4つの画素に対する空間的位置関係と、検出されたエッジ成分の種類から、エッジ成分を損なう原因となりうる画素に対しては小さくなるように隣接する4つの画素に対する重み付けの係数を選定する段階と、隣接する4つの画素の画素値に、それぞれに選定された係数を乗算する段階と、前記乗算結果に対し共1次内挿法を適用することで、前記生成される画素を画素変換する段階を有する画素補間方法。
【請求項2】 補間により新たに生成される画素に隣接する4つの画素の2画素間のレベルの差分を取り、エッジ成分の有無を検出し、エッジ成分が有る場合、そのエッジ成分が斜めエッジ、縦エッジ、横エッジのどの種類のエッジ成分かを検出するエッジ検出回路と、前記生成される画素の、前記隣接する4つの画素に対する空間的位置関係を求める位置検出回路と、前記生成される画素の、隣接する4つの画素に対する空間的位置関係と、検出されたエッジ成分の種類から、エッジ成分を損なう原因となりうる画素に対しては小さくなるように隣接する4つの画素に対する重み付けの係数を発生する係数発生回路と、隣接する4つの画素の画素値に、それぞれに選定された係数を乗算する乗算器と、前記乗算結果に対し共1次内挿法を適用することで、前記生成される画素を画素変換する画素変換回路を有する画素補間回路。
【請求項3】 新たに生成される画素に隣接する4つの画素の2画素間のレベルの差分を取り、エッジ成分の有無を検出し、エッジ成分が有る場合、そのエッジ成分が斜めエッジ、縦エッジ、横エッジのどの種類のエッジ成分かを検出するエッジ検出回路と、前記生成される画素の、前記隣接する4つの画素に対する空間的位置関係を求める位置検出回路と、前記生成される画素の、隣接する4つの画素に対する空間的位置関係と、検出されたエッジ成分の種類から、エッジ成分を損なう原因となりうる画素に対しては小さくなるように隣接する4つの画素に対する重み付けの係数を、生成される画素の空間的位置関係と重み付けの係数の関係を示すルックアップテーブルを用いて発生する係数発生回路と、共1次内挿法をルックアップテーブルで実現するとともに、共一次内挿を行うルックアップテーブルと前記係数発生回路のルックアップテーブルを1つのルックアップテーブルとすることで、前記生成される画素を画素変換する画素変換回路を有する画素補間回路。
【請求項4】 前記エッジ検出回路は、ある1画素と他の3画素のレベルの差分が、高い値の第1のスレッショルド値を越え、他の3画素間のレベルの差分が、低い値の第2のスレッショルド値未満である場合、隣接する4つの画素が斜めエッジ成分を有すると判断し、水平方向の画素間のレベル差が第2のスレッショルド値未満であり、垂直方向の画素間のレベル差が第1のスレッショルド値を越えていれば、隣接する4つの画素が縦エッジを有すると判断し、垂直方向の画素間のレベル差が第2のスレッショルド値未満であり、水平方向の画素間のレベル差が第1のスレッショルド値を越えていれば、隣接する4つの画素が横エッジを有すると判断する、請求項2または3記載の回路。
【請求項5】 前記位置検出回路は、水平同期信号と水平拡大率データ、垂直同期信号と垂直拡大率データから隣接する4つの画素と、生成される画素の水平方向、垂直方向の空間的位置関係を求める、請求項2から4のいずれか1項記載の回路。
発明の詳細な説明
【0001】
【発明の属する技術分野】本発明は、ディジタル信号に変換された映像信号の4点の画素を用いて補間により新たに画素を生成する方法に関する。
【0002】
【従来の技術】従来の画素補間方法について図6により説明する。
【0003】図6に示す点P(u,v)は、補間により、新たに生成される画素を示している。また、P(i,j)、P(i+1,j)、P(i,j+1)、P(i+1,j+1)はA/D変換された映像信号であり、補間により生成される画素P(u,v)に隣接する4つの画素を示している。
【0004】共1次内挿法やバイリニア補間法と呼ばれる補間方法では、画素P(u,v)は次の式により画素変換が行われる。
【0005】
P(u,v)={(i+1)−u)}{(j+1)−v}P(i,j)
+ (u−i){(j+1)−v}P(i+1,j)
+ {(i+1)−u}{v−j}P(i,j+1)
+ {(u−i)(v−j)}P(i+1,j+1)
(1)
このとき、例えばP(i,j)に白ピークレベルに近いレベルの高い信号があり、他の3点のレベルが黒レベルに近いレベルの低い信号がある場合においても、P(u,v)は隣接する補間前の4画素のレベルに単純に空間的距離に反比例する値を掛けることにより得られる。いま、{(i+1)−u}=0.5{(j+1)−v}=0.5とすると、補間される画素P(u,v)は、隣接する4つの画素をそれぞれ4で割った値を加算することになる。すなわちエッジ部分ではエッジ成分が4点の画素で平滑化されるため、全体としてボケた感じの画像になる。
【0006】また、ボケ感が少ない画像が得られる補間方法として、「(財)画像情報教育振興協会発行、画像処理標準テキストブック pp208−209」に示されるような共3次内挿法や、「信学論,Vol.J76−D−II,No.9 pp1392−1940(1993) DCTを用いたGerchberg−Papoulisの反復法を適用した高画質画像の拡大」に示されるような、DCTと超解像法とを組み合わせた方法、「信学論,Vol.J79−D−II,No.5pp.819−825(1993) 多重解像度解析を用いたディジタル画像の拡大」に示されるようなウェーブレットレット解析を用いた方法がある。これらは、比較的エッジ成分を保持したまま画素密度変換を行うことができるが、共1次内挿法と比較して数倍から数十倍のメモリと大きなハードウェア構成が必要となってしまう。これらの方法は、本発明とは直接関係しないので、その詳細な構成は省略する。
【0007】
【発明が解決しようとする課題】上述した従来の、共一次内挿法による画素変換方法は、補間により新たに生成される画素と、これに隣接する補間される4画素の距離に反比例した値に平滑化されるため、エッジ成分を含むような画像に対しては、ボケ感を生じるという問題があった。
【0008】また、比較的エッジ成分を保持したまま補間できる方法として、共3次内挿法やDCTと超解像法とを組み合わせた方法、ウェーブレットレット解析を用いた方法があったが、これは大きなハードウェア構成が必要となるという問題があった。
【0009】本発明の目的は、小規模なハードウェア構成により、ぼけ感の少ない画像が得られる画素補間方法および回路を提供することにある。
【0010】
【課題を解決するための手段】本発明の画素補間方法は、補間により新たに生成される画素に隣接する4つの画素から画像のエッジ成分の有無を検出し、エッジ成分が有る場合、さらに、そのエッジ成分が斜めエッジ、縦エッジ、横エッジのうちのどの種類のエッジ成分かを検出する段階と、前記新たに生成される画素の、隣接する4つの画素に対する空間的位置関係と、検出されたエッジ成分の種類から、エッジ成分を損なう原因となりうる画素に対しては小さくなるように隣接する4つの画素に対する重み付けの係数を選定する段階と、隣接4つの画素の画素値に、それぞれに選定された係数を乗算する段階と、前記乗算結果に対し共1次内挿法を適用することで、前記生成される画素を画素変換する段階を有する。
【0011】生成される画素に隣接する4つの画素から斜めエッジ、縦エッジ、横エッジのエッジ成分を検出し、エッジ成分を損なう要因になり得る画素の重み付けを、検出したエッジと生成される画素の空間位置にもとづき適応的に変えて画素変換を行なうことにより、エッジ成分を含む映像において補間を行う場合でも、エッジ成分を保持したまま補間処理をすることができる。
【0012】
【発明の実施の形態】次に、本発明の実施の形態について図面を参照して説明する。
【0013】図1を参照すると、本発明の一実施形態の画素変換回路は入力端子1とA/D変換器2とDフリップフロップ3、5とラインメモリ4とエッジ検出回路7と乗算器8〜11と係数発生回路12と入力端子13〜16とタイミング発生回路17と共一次内挿回路18で構成されている。
【0014】入力端子1から映像信号が入力され、A/D変換器2でアナログ信号からディジタル信号に変換される。
【0015】ディジタル信号に変換された映像信号は、Dフリップフロップ3、5およびラインメモリ4から成る2次元展開回路6で展開され、エッジ検出回路7および乗算器8、9、10、11に送出される。
【0016】エッジ検出回路7では、補間される画素に隣接する4つの画素間、すなわち水平方向、垂直方向、対角方向の全ての画素間についてそれぞれのレベルの差分を取る。エッジ検出回路7には、あらかじめある2つのスレッショルド値が設定されている。1つは、2画素間のレベル差がこの値を超えた場合をエッジと見なすための高い値を持ったスレッショルド値であり、2つめは、2画素間のレベル差がこの値を超えない場合、近似した値を持つと見なすための低い値を持ったスレッショルド値である。なお、回路規模削減のため、水平方向、垂直方向、対角方向のいずれか1つないし2つの画素間のレベル差をとらないで処理することもできる。
【0017】ある1画素のみの値が他の3画素の値に対して高い値のスレッショルド値を越えるような突出した値をもっており、他の3画素のそれぞれの差分値が低い値のスレッショルド値を超えないような近似した値を持っている場合、最初の画素は4画素の中で孤立した値を持つことから斜めエッジ成分であると判断する。
【0018】また、水平方向の画素間のレベル差が低い値を持つスレッショルド値未満であり、垂直方向の画素間のレベル差が高い値を持つスレッショルド値を越えていれば、縦エッジであると判断する。同様に、垂直方向の画素間のレベル差が低い値を持つスレッショルド値未満であり、水平方向の画素間のレベル差が高い値を持つスレッショルド値を越えていれば、横エッジであると判断する。
【0019】エッジ検出回路7で得られた結果は、係数発生回路12に送出される。
【0020】一方、入力端子13、14、15、16にはそれぞれドットクロック、水平同期信号および垂直同期信号からなる同期信号、水平方向の拡大や縮小の比率を指定する水平拡大率、垂直方向の拡大や縮小の比率を指定する垂直拡大率からなる拡大率データ、リサイジング用のクロックが入力され、タイミング発生回路17に送られる。
【0021】タイミング発生回路17は、水平同期信号によってクリアされ、入力する信号のドットクロックをカウントするカウンタを内部にもっており、カウンタの値と水平拡大率データから4つの画素と補間によって生成される画素の水平方向の空間的位置関係、すなわちP(u,v)のuの値を決めることができる。例えば、水平方向の画素数を640画素が800画素に変換する場合その拡大率は800/600=5/4になる。入力信号の画素間の空間距離を1とすると、出力画素の空間距離は4/5になるため、出力画素の空間的位置uは4/5×n(n=0、1・・・・)となる。すなわちuの値は水平同期信号の立ち下がりでクリアされた後、リサイジング用クロックが入力されるたびに4/5ずつ加算され、その値の整数部は式(1)のiの値を示し、小数部はu−iの値を示すことになる。また、タイミング発生回路17は、水平同期信号をカウントするカウンタを持ち、カウンタの値と垂直拡大率データから、同様にして4つの画素と補間によって生成される画素の垂直方向の空間的位置関係、すなわちP(u,v)のvの値を決めることができる。
【0022】係数発生回路12では、エッジ検出回路7からエッジの有無の情報を入力するとともに、エッジがある場合は右斜めエッジ、左斜めエッジ、縦エッジ、横エッジのうちどのようなエッジであるかという情報が入力される。さらに、係数発生回路12は、タイミング発生回路17から補間される画素P(u,v)の空間的位置の情報を入力する。
【0023】係数発生回路12は、これらの情報を用いることにより、エッジ成分を損なう原因となり得る画素に対し、その画素のレベルの重み付けが小さくなるような係数を選定し、その係数Co00、Co10、Co01、Co11を乗算器8、9、10、11に送信する。
【0024】乗算器8、9、10、11は、係数発生回路12から出力された係数Co00、Co10、Co01、Co11を元の映像信号に各々乗算し、結果を画素変換回路18に出力する。
【0025】共一次内挿回路18は、画素変換前と画素変換後のドットクロックのほか、補間する前の画素と補間される画素との空間的位置関係の情報をタイミング発生回路17から入力し、式(1)の演算を行なって目的とする画素を生成する。
【0026】次に、本実施形態について詳しく述べる。
【0027】図2において、P(i,j)は白ピークに近いレベルを持っており、他の3画素P(i+1,j)、P(i,j+1)、P(i+1,j+1)は黒レベルに近いレベルを持つ。この場合の画素P(i,j)は孤立したレベルを持っているため、斜めエッジ成分を持つ映像である。
【0028】ここで、生成される画素P(u,v)が図2のように{(i+1)−u}+{(j+1)−v}>1の位置にある場合、P(i+1,j+1)の重み付けが小さくなるように、画素P(i+1,j+1)が入力される乗算器11に送る係数Co11を0.5、画素P(i,j)が入力される乗算器8に送る係数Co00を1.25、その他の画素が入力される乗算器9、10に送る係数Co10、係数Co01を1.125に設定する。
【0029】このように係数を設定することにより、生成される画素Pqは画素P(i,j)に近い値を持ち、P(i+1,j+1)から遠い値を持つことになるため、斜めエッジ成分を持つ映像を補間する場合エッジ成分を保持することができる。
【0030】また、図2において、生成される画素Pr(u,v)が図のように{(i+1)−u}+{(j+1)−v}<1の位置にある場合について説明する。
【0031】生成される画素Pr(u,v)が図2のように{(i+1)−u}+{(j+1)−v}<1の位置にある場合、P(i,j)の重み付けが小さくなるように、画素P(j,j)が入力される乗算器8に送る係数Co00を0.5、その対角にある画素P(i+1,j+1)が入力される乗算器11に送る係数Co11を1.25、その他の画素が入力される乗算器9、10に送る係数Co10、係数Co01を1.125に設定する。
【0032】このように係数を設定することにより、生成されるPrは画素P(i+1,j+1)に近い値を持ち、P(i,j)から遠い値を持つことになるため、斜めエッジ成分を持つ映像を補間する場合エッジ成分を保持することができる。
【0033】また、生成される画素が、{(i+1)−u}+{(j+1)−v}=1の位置にある場合は、上記2通りの係数のいずれか一方を用いれば良い。
【0034】次に、図3は、画素P(i,j)、P(i+1,j)が白ピークに近いレベルをもち、P(i,j+1)、P(i+1,j+1)が黒レベルに近いレベルをもっているような縦エッジを構成している。このとき、生成される画素Pq(u,v)が図のように{(j+1)−v}>0.5の位置にある場合、P(i,j+1)とP(i+1,j+1)が入力される乗算器10、11に送る係数Co01、Co11を0.5とし、他の2つの画素が入力される乗算器8、9に送る係数Co00、Co10を1.5に設定する。
【0035】また、生成される画素Pr(u,v)が図3のように{(j+1)−v}<0.5の位置にある場合、P(i,j)、P(i+1,j)が入力される乗算器8、9に送る係数Co00、Co10を0.5とし、他の2つの画素が入力される乗算器9、11に送る係数Co01、Co11を1.5に設定する。
【0036】このようにすれば、生成される画素Pq(u,v)は、P(i,j+1)、P(i+1,j+1)の影響を受けにくくなり、Pr(u,v)は、P(i,j)、P(i+1,j)の影響を受けにくくなるため、縦エッジ成分を保持した状態で画素変換を行うことが可能になる。また、{(j+1)−v}=0.5の距離にある画素を補間して生成する場合は、上記係数のいずれか一方を用いればよい。
【0037】さらに、図4には、画素P(i,j)、P(i,j+1)が白ピークレベルに近いレベルをもち、P(i+1,j)、P(i+1,j+1)が黒レベルに近いレベルを持っているような横エッジを構成している。このとき、生成される画素Pq(u,v)が図のように{(i+1)−u)}>0.5の位置にある場合、P(i+1,j)とP(i+1,j+1)が入力される乗算器9、11に送る係数Co10、Co11を0.5とし、他の2画素が入力される乗算器8、10に送る係数Co00、Co01を1.5に設定する。
【0038】また、生成される画素Pr(u,v)が図4のように{(i+1)−u)}<0.5の位置にある場合、P(i,j)、P(i,j+1)が入力される乗算器8、10に送る係数Co00、Co01を0.5とし、他の2画素が入力される乗算器9、11に送る係数Co10、Co11を1.5に設定する。
【0039】このようにすれば、生成される画素Pq(u,v)は、P(i+1,j)、P(i+1,j+1)の影響を受けにくくなり、Pr(u,v)は、P(i,j)、P(i,j+1)の影響を受けにくくなるため、横エッジ成分を保持した状態で画素変換を行うことが可能になる。また、{(i+1)−u)}=0.5の距離にある画素を補間して生成する場合は、上記係数のいずれか一方を用いればよい。
【0040】さらに、図1のエッジ検出回路7は次のように構成することができる。図6において、隣り合った画素間のレベルの差分をP(i,j)−P(i+1,j)=aP(i+1,j)−P(i+1,j+1)=bP(i+1,j+1)−P(i,j+1)=cP(i,j+1)−P(i,j)=dとすると、表1に示すように各条件を満足するときにそれぞれ、縦エッジ、横エッジ、斜めエッジの各種のエッジを検出することができる。
【0041】
【表1】

なお、表1中の「正」は画素間の差分値が、エッジ検出回路7で設定された高いレベルをもつスレッショルド値、たとえば映像信号を8ビットにA/D変換した場合64、を超えておりそれが正の値を持つことを意味している。また、表中の「負」はエッジ検出回路7で設定された高いレベルのスレッショルド値を超えており、それが負の値を持つことを意味している。
【0042】表中の「−」は画素間の差分値がエッジ検出回路7で設定されたもう一つのレベルの低いスレッショルド値、たとえば映像信号を8ビットにA/D変換した場合16、を超えていないことを意味している。
【0043】なお、上記実施形態では、画素補間回路(エッジ検出回路7、乗算器8〜11、係数発生回路12、共一次内挿回路18の構成を一定として説明したが、乗算器を用いないで、ルックアップテーブルを用い、テーブルを可変とする方法としてもよい。すなわち、エッジ成分を損なう原因となる要因になり得る画素に対しては、図5に示すような空間距離と重み付けの関係が非線形になるようなテーブルを用いて補間を行い、エッジ成分の有無やエッジの方向によりルックアップテーブルを可変にすることにより実現してもよい。また、係数発生回路12から出力する係数を2のマイナスn乗(nは0または自然数)とそれらを加算した値で構成することにより、ビットシフトと加算器により乗算器を構成することも可能である。
【0044】また、飛び越し走査を行うような信号に対してライン数を変化させるとともに、インタレース−ノンインタレース変換を同時に行うような補間を行う場合においては、フィールドによって生成する画素の空間的位置にオフセットをかける場合がある。これは、オフセットをかけないと、生成される画素の空間的位置がフィールド間でずれ、ラインフリッカが発生するためである。
【0045】このようなオフセットを用いて補間を行う場合、本発明による方式を用いることによりラインフリッカが増える場合があるため、インタレース−ノンインタレース変換を同時に行う場合は、水平エッジのみ検出して処理を行ってもよい。
【0046】
【発明の効果】以上説明したように、本発明は、生成される画素に隣接する4つの画素から斜めエッジ、縦エッジ、横エッジのエッジ成分を検出し、エッジ成分を損なう要因になり得る画素の重み付けを、検出したエッジと生成される画素の空間位置にもとづき適応的に変えて画素変換を行なうことにより、エッジ成分を含む映像において補間を行う場合でも、小規模な回路で元のエッジ成分を保持したまま補間処理をすることができる。




 

 


     NEWS
会社検索順位 特許の出願数の順位が発表

URL変更
平成6年
平成7年
平成8年
平成9年
平成10年
平成11年
平成12年
平成13年


 
   お問い合わせ info@patentjp.com patentjp.com   Copyright 2007-2013