米国特許情報 | 欧州特許情報 | 国際公開(PCT)情報 | Google の米国特許検索
 
     特許分類
A 農業
B 衣類
C 家具
D 医学
E スポ−ツ;娯楽
F 加工処理操作
G 机上付属具
H 装飾
I 車両
J 包装;運搬
L 化学;冶金
M 繊維;紙;印刷
N 固定構造物
O 機械工学
P 武器
Q 照明
R 測定; 光学
S 写真;映画
T 計算機;電気通信
U 核技術
V 電気素子
W 発電
X 楽器;音響


  ホーム -> 計算機;電気通信 -> カシオ計算機株式会社

発明の名称 動画像生成装置及び動画像生成方法
発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開2007−68209(P2007−68209A)
公開日 平成19年3月15日(2007.3.15)
出願番号 特願2006−289319(P2006−289319)
出願日 平成18年10月25日(2006.10.25)
代理人
発明者 沼田 肇 / 三島 吉弘
要約 課題
動画像の滑らかさを失わずに暗所撮影を可能にする。

解決手段
画像出力手段によって周期的に出力された画像信号(BI1〜BI3)を複数枚取得し、取得された複数枚の画像信号を合成処理して一枚の画像信号(BOj)を生成する。合成画像信号(BOj)の輝度情報や色差情報の値を大きくすることができ、フレーム周期を変更することなく暗所撮影を行うことができる。
特許請求の範囲
【請求項1】
被写体からの光を電気的な画像信号に変換して周期的に出力する画像出力手段と、
前記画像出力手段より周期的に出力される画像信号から複数枚の画像信号を順次取得する画像取得手段と、
前記画像取得手段によって取得された複数枚の画像信号を合成処理して一枚の画像信号を生成する処理を周期的に実行する動画像生成手段と、
を備えたことを特徴とする動画像生成装置。
【請求項2】
前記動画像生成手段は、前記複数枚の画像信号を加算合成して一枚の画像信号を生成することを特徴とする請求項1記載の動画像生成装置。
【請求項3】
前記動画像生成手段は、前記複数枚の画像信号の各々に重み付けを行ってから加算を行うことを特徴とする請求項2記載の動画像生成装置。
【請求項4】
前記動画像生成手段は、前記複数枚の画像信号間の動き補償予測演算を行い、該演算によって得られた予測画像信号を、前記複数の画像信号の一つに加算処理して一枚の画像信号を生成することを特徴とする請求項1記載の動画像生成装置。
【請求項5】
被写体からの光を電気的な画像信号に変換して周期的に出力する画像出力手段と、
前記画像出力手段から周期的に出力される前記画像信号を順次保持する保持手段と、
前記保持手段に順次保持される前記画像信号に対して、該画像信号内の注目画素情報を該注目画素近傍の隣接画素情報を用いて補正する処理を実行することにより動画像を生成する動画像生成手段と、
を備えたことを特徴とする動画像生成装置。
【請求項6】
前記動画像生成手段は、前記注目画素情報と前記隣接画素情報の一方または双方に重み付けを行ってから両者を加算して前記注目画素情報を補正することを特徴とする請求項5記載の動画像生成装置。
【請求項7】
前記重み付けの値を前記注目画素と前記隣接画素との間の位置関係に対応して設定することを特徴とする請求項6記載の動画像生成装置。
【請求項8】
前記動画像生成手段は、前記注目画素に対する前記隣接画素各々の相関性を調べて相関性の高い隣接画素の情報を、前記注目画素情報の補正情報として用いることを特徴とする請求項5又は請求項6記載の動画像生成装置。
【請求項9】
画像出力手段によって周期的に出力された画像信号から複数枚の画像信号を順次取得する画像取得ステップと、
前記画像取得ステップで取得された複数枚の画像信号を合成処理して一枚の画像信号を生成する処理を周期的に実行する動画像生成ステップと、
を含むことを特徴とする動画像生成方法。
【請求項10】
画像出力手段によって周期的に出力された画像信号を順次保持する保持ステップと、
前記保持ステップで保持された画像信号に対して該画像信号内の注目画素情報を隣接画素情報を用いて補正する処理を周期的に実行することにより動画像を生成する補正ステップと、
を含むことを特徴とする動画像生成方法。
発明の詳細な説明
【技術分野】
【0001】
本発明は、動画像生成装置及び動画像生成方法に関し、詳しくは、テレビカメラ、ビデオカメラ、動画カメラなどに適用できる動画像生成装置及び動画像生成方法に関する。
【背景技術】
【0002】
テレビカメラ、ビデオカメラ、動画カメラなどの適正露出は、被写体の輝度をB、感光材料の感度をS、レンズの明るさを1/F2、露光時間をTとすれば、
BS・T/F2=K 又は F2/T=BS/K
の関係式の解で与えられため、例えば、Bが小さい場合(以下「暗所撮影時」という)の対策は、
(1)感度Sの高い感光材料を使用する
(2)絞りを開いて1/F2を大きくする
(3)露出時間Tを長くする
のいずれかになる。
【0003】
ここに、対策(2)は写真レンズのFナンバー(レンズ有効口径Dの焦点距離fに対する比D/fの逆数f/Dである。焦点距離fと区別してFナンバーと呼ばれている。)で制限されるため、一般にこの対策だけでの暗所撮影は無理があり、他の対策と併用されることが多い。
一方、対策(1)は銀塩フィルムを用いるカメラに適用される対策であり、固体撮像素子や撮像管を用いるカメラにあっては、その感度Sが特定の値に決まっているため、かかる撮像デバイスを備えるテレビカメラ、ビデオカメラ、動画カメラなどの対策とはなり得ない。
なお、撮像デバイスの出力信号を高ゲインで増幅することにより、感度Sを向上できるが、かかる高ゲイン増幅はノイズ分も一緒に大きくすることとなるため、理想的対策とは言えない。
【0004】
したがって、固体撮像素子や撮像管を備えるテレビカメラ、ビデオカメラ、動画カメラなど(以下「撮像システム」という)を用いて暗所撮影を行う場合、すなわち、絞りを最大に開いても適正露出が得られない場合は上記の対策(3)より、固体撮像素子や撮像管の露出時間Tを長くするしか術がないことになる。
【発明の開示】
【発明が解決しようとする課題】
【0005】
しかしながら、上記の撮像システムにおいては、CCD(Charge Coupled Device)やMOS(Metal Oxide Semiconductor)などの固体撮像素子若しくはサチコンやハーピコンなどの撮像管を用いて被写体からの光を画像信号に変換し、フレーム(Frame)と呼ばれる単位で周期的に出力しており、例えば、NTSC(National Television System Committee)規格の画像信号を出力する固体撮像素子または撮像管にあっては、その出力周期(フレーム周期)が1/30秒であるため、このフレーム周期を越えて露出時間Tを設定できず、したがって、上記対策(3)によっても、暗所撮影を行えないという問題点があった。
【0006】
なお、フレーム周期を長くすれば、かかる問題点を解決できるが、反面、画像信号のコマ数が少なくなって滑らかな動画像を得られないという新たな問題点を招来する。
【0007】
以上のことから、本発明が解決しようとする課題は、動画像の滑らかさを失わずに暗所撮影を可能にすることにある。
【課題を解決するための手段】
【0008】
請求項1記載の発明は、被写体からの光を電気的な画像信号に変換して周期的に出力する画像出力手段と、前記画像出力手段より周期的に出力される画像信号から複数枚の画像信号を順次取得する画像取得手段と、前記画像取得手段によって取得された複数枚の画像信号を合成処理して一枚の画像信号を生成する処理を周期的に実行する動画像生成手段と、を備えたことを特徴とする。
請求項2記載の発明は、請求項1記載の発明において、前記動画像生成手段は、前記複数枚の画像信号を加算合成して一枚の画像信号を生成することを特徴とする。
請求項3記載の発明は、請求項2記載の発明において、前記動画像生成手段は、前記複数枚の画像信号の各々に重み付けを行ってから加算を行うことを特徴とする。
請求項4記載の発明は、請求項1記載の発明において、前記動画像生成手段は、前記複数枚の画像信号間の動き補償予測演算を行い、該演算によって得られた予測画像信号を、前記複数の画像信号の一つに加算処理して一枚の画像信号を生成することを特徴とする。
請求項5記載の発明は、被写体からの光を電気的な画像信号に変換して周期的に出力する画像出力手段と、前記画像出力手段から周期的に出力される前記画像信号を順次保持する保持手段と、前記保持手段に順次保持される前記画像信号に対して、該画像信号内の注目画素情報を該注目画素近傍の隣接画素情報を用いて補正する処理を実行することにより動画像を生成する動画像生成手段と、を備えたことを特徴とする。
請求項6記載の発明は、請求項5記載の発明において、前記動画像生成手段は、前記注目画素情報と前記隣接画素情報の一方または双方に重み付けを行ってから両者を加算して前記注目画素情報を補正することを特徴とする。
請求項7記載の発明は、請求項6記載の発明において、前記重み付けの値を前記注目画素と前記隣接画素との間の位置関係に対応して設定することを特徴とする。
請求項8記載の発明は、請求項5又は請求項6記載の発明において、前記動画像生成手段は、前記注目画素に対する前記隣接画素各々の相関性を調べて相関性の高い隣接画素の情報を、前記注目画素情報の補正情報として用いることを特徴とする。
請求項9記載の発明は、画像出力手段によって周期的に出力された画像信号から複数枚の画像信号を順次取得する画像取得ステップと、前記画像取得ステップで取得された複数枚の画像信号を合成処理して一枚の画像信号を生成する処理を周期的に実行する動画像生成ステップと、を含むことを特徴とする。
請求項10記載の発明は、画像出力手段によって周期的に出力された画像信号を順次保持する保持ステップと、前記保持ステップで保持された画像信号に対して該画像信号内の注目画素情報を隣接画素情報を用いて補正する処理を周期的に実行することにより動画像を生成する補正ステップと、を含むことを特徴とする。
【発明の効果】
【0009】
請求項1記載の発明によれば、被写体からの光を電気的な画像信号に変換して周期的に出力する画像出力手段と、前記画像出力手段より周期的に出力される画像信号から複数枚の画像信号を順次取得する画像取得手段と、前記画像取得手段によって取得された複数枚の画像信号を合成処理して一枚の画像信号を生成する処理を周期的に実行する動画像生成手段と、を備えたので、合成画像信号の輝度情報や色差情報の値を大きくすることができ、フレーム周期を変更することなく、暗所撮影を行うことができる。
請求項2記載の発明によれば、請求項1記載の発明において、前記動画像生成手段は、前記複数枚の画像信号を加算合成して一枚の画像信号を生成するので、合成画像信号の輝度情報や色差情報の値を加算数に応じて大きくすることができ、フレーム周期を変更することなく、暗所撮影を行うことができる。
請求項3記載の発明によれば、請求項2記載の発明において、前記動画像生成手段は、前記複数枚の画像信号の各々に重み付けを行ってから加算を行うので、画像の動きを考慮した合成画像信号を得ることができる。
請求項4記載の発明によれば、請求項1記載の発明において、前記動画像生成手段は、前記複数枚の画像信号間の動き補償予測演算を行い、該演算によって得られた予測画像信号を、前記複数の画像信号の一つに加算処理して一枚の画像信号を生成するので、動きのある被写体の暗所撮影に好適なものとすることができる。
請求項5記載の発明によれば、被写体からの光を電気的な画像信号に変換して周期的に出力する画像出力手段と、前記画像出力手段から周期的に出力される前記画像信号を順次保持する保持手段と、前記保持手段に順次保持される前記画像信号に対して、該画像信号内の注目画素情報を該注目画素近傍の隣接画素情報を用いて補正する処理を実行することにより動画像を生成する動画像生成手段と、を備えたので、画素単位に補正処理を行うことができ、画質の良好な合成画像信号を得ることができる。
請求項6記載の発明によれば、請求項5記載の発明において、前記動画像生成手段は、前記注目画素情報と前記隣接画素情報の一方または双方に重み付けを行ってから両者を加算して前記注目画素情報を補正するので、適切な重み値を与えることによって良好な画質の合成画像信号を得ることができる。
請求項7記載の発明によれば、請求項6記載の発明において、前記重み付けの値を前記注目画素と前記隣接画素との間の位置関係に対応して設定するので、位置が近く密接な関係にある隣接画素を用いて補正を行うことができ、良好な画質の合成画像信号を得ることができる。
請求項8記載の発明によれば、請求項5又は請求項6記載の発明において、前記動画像生成手段は、前記注目画素に対する前記隣接画素各々の相関性を調べて相関性の高い隣接画素の情報を、前記注目画素情報の補正情報として用いるので、相関性の高い隣接画素を用いて補正を行うことができ、良好な画質の合成画像信号を得ることができる。
請求項9記載の発明によれば、画像出力手段によって周期的に出力された画像信号から複数枚の画像信号を順次取得する画像取得ステップと、前記画像取得ステップで取得された複数枚の画像信号を合成処理して一枚の画像信号を生成する処理を周期的に実行する動画像生成ステップと、を含むので、フレーム周期を変更することなく、暗所撮影を行うことができる。
請求項10記載の発明によれば、画像出力手段によって周期的に出力された画像信号を順次保持する保持ステップと、前記保持ステップで保持された画像信号に対して該画像信号内の注目画素情報を隣接画素情報を用いて補正する処理を周期的に実行することにより動画像を生成する補正ステップと、を含むので、画素単位に補正処理を行うことができ、画質の良好な合成画像信号を得ることができる。
【発明を実施するための最良の形態】
【0010】
以下、本発明の実施の形態を、動画撮影可能な電子スチルカメラを例にして、図面を参照しながら説明する。
図1において、10は写真レンズ、11は写真レンズ10の光軸上に設けられた絞り機構、12は絞り機構11の駆動部、13は絞り機構11を通過した光を受けて被写体の撮像信号を出力する固体撮像素子(以下CCD)、14はCCD13のドライバ、15はCCD13の露光時間(電子的なシャッタ時間:以下、単にシャッタ時間ということもある)を制御する信号などの各種タイミング信号を発生するタイミング発生器、16はCCD13からの画像信号をサンプリングしてノイズを除去するサンプルホールド回路、17はノイズ除去後の画像信号をディジタル信号に変換するアナログディジタル変換器、18はアナログディジタル変換器17の出力から輝度・色差合成信号(以下YUV信号と言う)を生成するカラープロセス回路であり、CCD13、サンプルホールド回路16、アナログディジタル変換器17及びカラープロセス回路18は発明の要旨の画像出力手段に相当する。
【0011】
また、19はビデオトランスファー回路、20は順次生成されるYUV信号を保持するバッファメモリ、21はYUV信号の記録時と再生時に所定の符号化方式(一般にJPEG方式)で圧縮/伸長処理する圧縮・伸張回路、22は被写体の明るさを測定する測光センサ、23は圧縮処理されたYUV信号を記録する固定又は取り外し可能なフラッシュメモリであり、バッファメモリ20は発明の要旨に記載の画像取得手段及び保持手段に相当する。
また、24はプログラムROM24aに格納された制御プログラムをワークRAM24bにロードして実行し、画像の記録制御や再生制御並びにこれらの制御に付帯する各種制御を行うCPUであり、CPU24は発明の要旨に記載の動画像生成手段に相当する。
また、25はシャッターボタンや各種ボタンの操作に応答してキー入力信号を発生するキー入力部、26はバッファメモリ20に保持されているYUV信号を表示に適した信号形式に変換するディジタルビデオエンコーダ、27はディジタルビデオエンコーダ26からの信号を表示する画像モニター用の液晶ディスプレイ、28は各部を接続するバスである。
【0012】
このような構成を有する電子スチルカメラは、キー入力部25の所定のキー操作により、画像の記録モードと再生モードに切替えることができ、さらに記録モードは、CCD13から周期的(便宜的にNTSC規格のフレーム周期〔1/30秒〕とする)に取り出される撮像信号を表示に適した信号に変換して液晶ディスプレイ27に順次表示するスルーモードと、シャッタキーを操作して所望の1枚の画像信号(静止画)又は所定期間に撮像された複数枚の画像信号(動画)をフラッシュメモリ23に記録するキャプチャモードと、フラッシュメモリ23から所望の静止画又は動画を読み出して液晶ディスプレイ27に表示する再生モードとに分けられる。
【0013】
スルーモードでは、写真レンズ10の後方に配置されたCCD13がドライバ14からの信号で駆動され、写真レンズ10で集められた被写体像が一定周期毎に光電変換されて1画像分の撮像信号が出力される。そして、この撮像信号がサンプルホールド回路16でサンプリングされ、アナログディジタル変換器17でディジタル信号に変換された後、カラープロセス回路18でYUV信号が生成される。このYUV信号は、ビデオトランスファー回路19を介してバッファメモリ20の画像バッファに転送され、同バッファへの転送完了後に、ビデオトランスファー回路19によって読み出され、ディジタルビデオエンコーダ26を介して液晶ディスプレイ27に送られ、スルー画像として表示される。
【0014】
この状態でカメラの向きを変えると、液晶ディスプレイ27に表示されているスルー画像の構図が変化し、適宜の時点(所望の構図が得られた時点)でシャッターキーを“半押し”して露出とフォーカスをセットした後、“全押し”すると、キャプチャーモードに切り替わり、静止画の記録モードであれば、バッファメモリ20の画像バッファに保存されているYUV信号がその時点のYUV信号で固定され、かつ液晶ディスプレイ27に表示されているスルー画像も同時点の画像で固定される。そして、その時点でバッファメモリ20の画像バッファに保存されているYUV信号は、ビデオトランスファー回路19を介して圧縮・伸長回路21に送られ、輝度情報と色差情報の各コンポーネント毎に8×8画素の基本ブロックと呼ばれる単位でJPEG符号化された後、フラッシュメモリ23に記録される。
但し、動画の記録モードの場合は、シャッターキーの全押し操作から所定期間の間に1/30秒のフレーム周期で生成されたすべてのYUV信号がバッファメモリ20の画像バッファに保存され、同期間の経過直後にバッファメモリ20から読み出されて圧縮・伸長回路21でJPEG符号化(動画像の符号化標準であるMPEG符号化を用いてもよい)された後、フラッシュメモリ23に記録される。
【0015】
一方、再生モードでは、CCD13からバッファメモリ20までの経路が停止されるとともに、最新のキャプチャー画像(静止画又は動画)がフラッシュメモリ23から読み出され、圧縮・伸長回路21で伸張処理された後、ビデオトランスファー回路19を介してバッファメモリ20の画像バッファに送られる。そして、この画像バッファのデータがビデオトランスファー回路19とディジタルビデオエンコーダ26を介して液晶ディスプレイ27に送られ、再生画像として表示される。
【0016】
図2は、バッファメモリ20の構造図であり、特に動画の撮影モードで使用される二種類の画像バッファ(便宜的に入力画像バッファ30と出力画像バッファ31)を模式化して示している。
図2において、入力画像バッファ30は複数個(図では便宜的に3個)のバッファ領域BI1〜BI3からなり、また、出力画像バッファ31はm個のバッファ領域BO1〜BOmからなる。入力画像バッファ30の各バッファ領域BI1〜BI3のサイズは、カラープロセス回路18から出力される1画像分のYUV信号を保存できる充分な大きさであり、出力画像バッファ31の各バッファ領域BO1〜BOmのサイズも同程度の大きさである。
【0017】
図3は、図2の入力画像バッファ30と出力画像バッファ31を利用する動画撮影モードのプログラムを示すフローチャートである。このプログラムはCPU24のプログラムROM24aに予め格納されており、キー入力部25の所定のキー操作によってCPU24のワークRAM24bにロードされ、実行される。
プログラムを実行すると、まず、ループ変数jに初期値の1をセットし(S1)、j>mであるか否か、すなわち、ループ変数jの値が出力画像バッファ31の領域数mを越えたか否かを判定する(S2)。ここに、出力画像バッファ31の領域数mは、動画の記録時間を決定する要素である。例えば、フレーム周期を1/30秒とし、m=30とすると、動画の記録時間は1秒となる。
【0018】
次いで、入力画像バッファ30のバッファ領域BI1に画像信号を格納する(S3)。この画像信号はカラープロセス回路18から出力されたYUV信号である。
次いで、合成処理を実行(S4)する。合成処理は、図4に示すように、入力画像バッファ30の各バッファ領域BI1〜BI3の保存情報を加算合成し、その合成結果を出力画像バッファ31のj番目のバッファ領域BOjに格納するというものである(S4_1)。
【0019】
合成処理を完了すると、次に、入力画像バッファ30の各バッファ領域BI1〜BI3の内容を移し替える(S5)。移し替えは、まず、BI2の内容をBI3に移し、次いで、BI1の内容をBI2に移すという順番である。すなわち、BI1→BI2→BI3の方向に格納情報を移し替える。
そして、最後にループ変数jを+1し(S6)、以上の処理をj>mになるまで繰り返してj>mになったときにプログラムを終了する。
【0020】
図5は、上記加算合成の概念図であり、符号32は図4の加算処理(S4_1)を模式的に表している。なお、この図は便宜的にj=5のときの様子を示している。図5において、入力画像バッファ30の1番目のバッファ領域BI1には動画記録モードの期間中にカラープロセス回路18から出力された5枚目のYUV信号PI5が格納されており、2番目のバッファ領域BI2には同期間中にカラープロセス回路18から出力された4枚目のYUV信号PI4が格納されており、さらに、3番目のバッファ領域BI3には同期間中にカラープロセス回路18から出力された3枚目のYUV信号PI3が格納されている。
【0021】
そして、出力画像バッファ31のj番目(j=5であるから5番目)のバッファ領域BO5には、BI1、BI2及びBI3の内容を加算した画像信号PO5が格納されている。なお、PO4は4番目のバッファ領域BO4に格納された加算画像信号、PO3は3番目のバッファ領域BO3に格納された加算画像信号、PO2は2番目のバッファ領域BO2に格納された加算画像信号、PO1は1番目のバッファ領域BO1に格納された加算画像信号である。なお、PO2=PI1+PI2、PO1=PI1である。m個のバッファ領域BO1〜BOmのすべてに加算画像信号が格納されると、j>mの判定結果が真(YES)になる。
【0022】
今、例えば、PO5に注目すると、このPO5は上述のとおり、BI1〜BI3の格納内容、すなわち、三つの画像信号(PI5、PI4及びPI3)を加算した画像信号である。これらの画像信号は被写体の二次元像であり、被写体各部の輝度情報(Y)や色差情報(UV)を二次元平面に並べたものである。したがって、一連の動画記録モード中にカラープロセス回路18から出力された画像信号のうち時間的に近いもの同士の相関性が高く、二次元平面内の輝度情報(Y)や色差情報(UV)の値にも類似性がある。
このため、時間的に連続する三つの画像信号(PIj-2、PIj-1及びPIj)を加算した画像信号POjは、これら三つの画像信号の輝度情報(Y)や色差情報(UV)の加算情報を持つこととなり、被写体の動きをゼロとすれば、単純計算でほぼ3倍の輝度情報(Y)や色差情報(UV)を持つことになる。その結果、実質的に感光材料の感度Sを大きくするのと同等の効果を得ることができ、CCD13のフレーム周期を変更することなく、暗所撮影を行うことができるという格別の効果が得られる。
【0023】
因みに、上述の加算処理は、画像信号中のランダムノイズも同時に加算することとなるが、例えば、二つの画像信号を加算した場合、周期性のある信号成分が2倍になるのに対して、周期性のないランダムノイズは√2倍にしかならないことが知られているから、S/Nの悪化を招く心配はない。
【0024】
なお、図4の加算処理では、三つの画像信号(PIj-2、PIj-1及びPIj)を単純に加算しているが、三つの画像信号(PIj-2、PIj-1及びPIj)の各々に適当な重み値を与えてから加算するようにしてもよい。すなわち、図6に示すように、入力画像バッファ30の各バッファ領域BI1〜BI3の内容にそれぞれ適当な重み値A、B、Cを与えた後、それらを加算して出力画像バッファ31のj番目のバッファ領域BOjに格納してもよい(S4_2)。図7はその概念図であり、図中の符号33〜35は重み付け要素を模式化したものである。
重み値の与え方は、三つの画像信号(PIj-2、PIj-1及びPIj)のうちj番目の画像信号PIjに最大の値を持つCを、j−1番目の画像信号PIj-1に次位の値を持つBを、j−2番目の画像信号PIj-2に最小の値を持つAを与えることが望ましい。j番目の画像信号との間の時間的な距離に応じた重み付けを行うことができ、画像の動きを考慮した合成画像信号を得ることができるからである。
【0025】
または、図4の合成処理を、図8のように変形させてもよい。すなわち、BI1とBI2の間の動き補償予測演算を行い、その演算結果を変数Maに格納(S4_3)するとともに、BI2とBI3の間の動き補償予測演算を行い、その演算結果を変数Mbに格納(S4_4)した後、BI1とMa及びMbを加算して、その加算結果をBOjに格納(S4_5)してもよい。図9はその概念図であり、図中の符号36は動き補償予測演算要素を模式化したものである。なお、MaとMbの加算対象はBI1に限らない。BI1〜BI3のいずれかであればよい。
【0026】
動き補償予測演算(動き補償フレーム間予測演算ともいう)とは、例えば、あるフレームの被写体が時間的に隣接する他のフレームのどの部分に一番にているかを探索し、その探索方向と探索距離を隣接フレーム間の動き情報として算出するものであり、動画像における時間領域の冗長度除去技術の一手法である。したがって、これによれば、動きのある被写体を暗所撮影することができる。また、この手法はMPEG符号化の骨格技術であるから、例えば、圧縮・伸長回路21でMPEG符号化を行う場合は、その圧縮アルゴリズムの流用が可能である。
【0027】
以上のとおり、本実施の形態によれば、カラープロセス回路18から所定のフレーム周期(例えば1/30秒周期)で順次に出力される画像信号PIj、画像信号PIj-1、画像信号PIj-2を三つのバッファ領域BI1〜BI3に格納するとともに、三つのバッファ領域BI1〜BI3の内容を加算処理して1枚の画像信号POjを生成し、これを出力画像バッファ31のバッファ領域BOjに格納して動画のコマ画像としたので、動画のコマ画像各部の輝度値や色差値を元画像(PIj、PIj-1及びPIj-2)の加算数に応じて倍増することができる。
【0028】
したがって、例えば、元画像の輝度値をnとすると、動画のコマ画像各部の輝度値を単純計算で「加算数×n」とすることができ、一般に輝度値nは値が大きくなるほど白レベルに近くなるから、露出を大きくしたことと同等の効果(対策(1)〜(3)の効果)を得ることができる。その結果、CCD13のフレーム周期を変更することなく、暗所撮影を行うことができ、テレビカメラ、ビデオカメラ又は動画カメラにとって格別有益な効果を奏することができる。
【0029】
また、元画像(PIj、PIj-1及びPIj-2)の各々に、元画像の時間的な距離に対応した重み値を与えた後に加算すると、画像の動きを考慮した合成画像信号が得られるので好ましい。
また、元画像(PIj、PIj-1及びPIj-2)間の動き補償予測演算を行い、その演算結果を元画像の一つ(例えば、PIj)に加算してもよい。上記演算結果は、被写体の動き部分を表すので、特に動きのある被写体の暗所撮影に好適なものとすることができる。
【0030】
なお、以上の各実施の形態は、画像信号単位(フレーム単位)に加算処理を行っているが、これに限らない。特にCCD等の固体撮像素子から出力された画像信号は、画素単位の取り扱いが容易であるため、フレーム単位でなく画素単位の加算処理を行ってもよい。
図10は、画素単位で加算処理を行う場合のバッファメモリ20の構造図であり、図示の例では、各々一つのバッファ領域BI、BOを含む入力画像バッファ30と出力画像バッファ31が示されている。
【0031】
入力画像バッファ30のバッファ領域BIのサイズは、カラープロセス回路18から出力される1画像分のYUV信号を保存できる充分な大きさであり、出力画像バッファ31のバッファ領域BOのサイズも同程度の大きさである。
【0032】
図11は、バッファ領域BI、BOに保存される画像信号の画素配置図であり、桝目の一つ一つが画素である。横方向はCCD13の水平走査方向に対応し、縦方向は同垂直走査方向に対応する。以下、画素位置を(i,j)の座標で表すことにする。ここに、iは横方向座標値、jは縦方向座標値である。今、注目画素の座標を(i,j)とすると、その上下左右に隣接する8個の隣接画素の座標は、図12に示すように、(i−1,j−1)、(i,j−1)、(i+1,j−1)、(i+1,j)、(i+1,j+1)、(i,j+1)、(i−1,j+1)、(i−1,j)で表すことができる。
【0033】
図13は、図10の入力画像バッファ30と出力画像バッファ31を利用する動画撮影モードのプログラムを示すフローチャートである。このプログラムはCPU24のプログラムROM24aに予め格納されており、キー入力部25の所定のキー操作によってCPU24のワークRAM24bにロードされ、実行される。
【0034】
このプログラムは、入力画像バッファ30のバッファ領域BIに格納された画像信号のi×j個の画素を注目画素として巡回しつつ、その周囲の8個の隣接画素の画素値を注目画素の画素値に加算し、その加算結果を出力画像バッファ31のバッファ領域BOに逐次に格納するというものである。
すなわち、プログラムを開始すると、まず、ループ変数i、jに初期値の1をセットし(S20)、次いで、後述の加算処理(S21)を実行した後、入力画像バッファ30のバッファ領域BIに格納された画像信号のi×j個の画素のすべてに対して同加算処理を実行する(S22〜S26)。なお、S22、S23は水平走査方向の画素選択ステップ、S24〜S26は垂直方向の画素選択ステップである。また、水平方向と垂直方向の画素数は便宜的に12としている(S22、S24参照)。
【0035】
図14は、S21の加算処理の詳細である。この図において、右上にダッシュ(′)を付した注目画素(i,j)′は、出力画像バッファ31のバッファ領域BOに格納される画素であり、この注目画素(i,j)′には、入力画像バッファ30のバッファ領域BIに格納された画像信号の注目画素(i,j)の画素値と、その周囲の8個の隣接画素(i−1,j−1)、(i,j−1)、(i+1,j−1)、(i+1,j)、(i+1,j+1)、(i,j+1)、(i−1,j+1)、(i−1,j)の画素値との加算値、すなわち、図12の9個の画素値を加算した値がセットされる(S21_1)。
【0036】
今、図12の9個の画素値を便宜的にaとすると、(i,j)′の値は「a×9」となる。このことは、(i,j)の画素値を9倍にして(i,j)′にセットすることに相当する。したがって、画素値の増加は白レベルへの接近を意味するから、本実施の形態においてもCCD12のフレーム周期を変えることなく、暗所撮影を行うことができる。
【0037】
なお、図14の加算処理では、注目画素の画素値とその周囲の8個の隣接画素の画素値を加算している。この様子は、図15のように示すことができる。
図15において、クロスハッチングは注目画素、左下がりハッチングは隣接画素である。このような画素配列は、注目画素の座標がi>imin、i<imax、j>jmin且つj<jmaxの条件をすべて満たしているときである。但し、iminは座標iの最小値、imaxは座標iの最大値、jminは座標jの最小値、jmaxは座標jの最大値である。
【0038】
図16は、かかる条件を満たしていない各ケースを示す図である。すなわち、(a)はi>iminとj>jminを満たしておらず、(b)はi<imaxとj>jminを満たしておらず、(c)はi<imaxとj<jmaxを満たしておらず、(d)はi>iminとj<jmaxを満たしておらず、(e)はj>jminを満たしておらず、(f)はj<jmaxを満たしておらず、(g)はi>iminを満たしておらず、(h)はi<imaxを満たしていない。これらの各ケースにおいては、隣接画素の一部が存在しない(図中の破線で示す桝目)ため、その非存在画素の画素値を0とみなして加算する必要がある。
【0039】
図14の加算処理では、注目画素の画素値とその周囲の8個の隣接画素の画素値を単純に加算しているが、これに限らない。例えば、図17に示すような重み値WNW、WN、WNE、WE、WSE、WS、WSW、WW、WCを適用してもよい。
ここに、WNWは注目画素(i,j)の左上に位置する隣接画素(i−1,j−1)の重み値、WNは注目画素(i,j)の上に位置する隣接画素(i,j−1)の重み値、WNEは注目画素(i,j)の右上に位置する隣接画素(i+1,j−1)の重み値、WEは注目画素(i,j)の右に位置する隣接画素(i+1,j)の重み値、WSEは注目画素(i,j)の右下に位置する隣接画素(i+1,j+1)の重み値、WSは注目画素(i,j)の下に位置する隣接画素(i,j+1)の重み値、WSWは注目画素(i,j)の左下に位置する隣接画素(i−1,j+1)の重み値、WWは注目画素(i,j)の左に位置する隣接画素(i−1,j)の重み値、WCは注目画素(i,j)の重み値である。
【0040】
各重み値は、注目画素からの距離が遠いほど小さい値にする。例えば、WNW=WNE=WSE=WSW=1、WN=WE=WS=WW=3、WC=5にしてもよい。注目画素からの距離が遠くなるほど、画素値の相関性が低くなるから、加算に伴う画質の劣化を回避できる。
【0041】
また、図14の加算処理を、図18のように改良してもよい。この改良例は、注目画素とその周囲の隣接画素との間の相関性を調べ、相関性の高い隣接画素の画素値を注目画素の画素値に加算するというものである。加算に伴う画質の劣化をより積極的に回避できる。
図18の加算処理を開始すると、まず、注目画素(i,j)の画素値と左隣の隣接画素(i−1,j)の画素値との差を演算し、その演算結果の絶対値を変数VLにセットする(S22_2)とともに、注目画素(i,j)の画素値と右隣の隣接画素(i+1,j)の画素値との差を演算し、その演算結果の絶対値を変数VRにセットする(S22_3)。次に、VLとVRとを比較してVL>VRであるか否かを判定する(S22_4)。
【0042】
判定結果がYESの場合は(VL>VRである場合は)、注目画素(i,j)の画素値と左隣の隣接画素(i−1,j)の画素値との差の絶対値が、注目画素(i,j)の画素値と右隣の隣接画素(i+1,j)の画素値との差の絶対値よりも大きく、この場合は注目画素(i,j)に対して右隣の隣接画素(i+1,j)の相関性が高いから、図19(a)に示すように、右隣の隣接画素(i+1,j)を含む5つの隣接画素(i,j−1)、(i+1,j−1)、(i+1,j)、(i+1,j+1)、(i,j+1)の画素値を注目画素(i,j)の画素値に加算する(S22_5)。
【0043】
一方、判定結果がNOの場合は(VL>VRでない場合は)、注目画素(i,j)の画素値と左隣の隣接画素(i−1,j)の画素値との差の絶対値が、注目画素(i,j)の画素値と右隣の隣接画素(i+1,j)の画素値との差の絶対値よりも小さく、この場合は注目画素(i,j)に対して左隣の隣接画素(i−1,j)の相関性が高いから、図19(b)に示すように、左隣の隣接画素(i−1,j)を含む5つの隣接画素(i,j−1)、(i−1,j−1)、(i−1,j)、(i−1,j+1)、(i,j+1)の画素値を注目画素(i,j)の画素値に加算する(S22_6)。
【0044】
このようにすると、注目画素(i,j)に対して相関性の低い隣接画素の画素値を加算対象から省くことができるので、被写体の輪郭等のボケを回避して画質の向上を図ることができる。
なお、図18の加算処理では、注目画素に対する右隣と左隣の隣接画素の相関性を調べているが、上下の隣接画素であってもよいことはもちろんである。
【図面の簡単な説明】
【0045】
【図1】電子スチルカメラのブロック図である。
【図2】一の実施の形態に係るバッファメモリの構造図である。
【図3】一の実施の形態に係る動画記録プログラムのフローチャートである。
【図4】合成処理のフローチャート(単純加算の例)である。
【図5】合成処理の概念図(単純加算の例)である。
【図6】合成処理のフローチャート(重み付け加算の例)である。
【図7】合成処理の概念図(重み付け加算の例)である。
【図8】合成処理のフローチャート(動き補償予測演算の併用例)である。
【図9】合成処理の概念図(動き補償予測演算の併用例)である。
【図10】他の実施の形態に係るバッファメモリの構造図である。
【図11】他の実施の形態に係る画像信号の画素構造図である。
【図12】注目画素とその周囲の隣接画素を示す図である。
【図13】他の実施の形態に係る動画記録プログラムのフローチャートである。
【図14】合成処理のフローチャート(画素値の単純加算の例)である。
【図15】加算対象画素を示す図である。
【図16】一部の隣接画素を欠く画素配列図である。
【図17】注目画素とその周囲の隣接画素に付与する重み値を示す図である。
【図18】合成処理のフローチャート(相関性の評価を併用する例)である。
【図19】合成処理の概念図(相関性の評価を併用する例)である。
【符号の説明】
【0046】
13 CCD(画像出力手段)
16 サンプルホールド回路(画像出力手段)
17 アナログディジタル変換器(画像出力手段)
18 カラープロセス回路(画像出力手段)
20 バッファメモリ(画像取得手段、保持手段)
24 CPU(動画像生成手段)




 

 


     NEWS
会社検索順位 特許の出願数の順位が発表

URL変更
平成6年
平成7年
平成8年
平成9年
平成10年
平成11年
平成12年
平成13年


 
   お問い合わせ info@patentjp.com patentjp.com   Copyright 2007-2013