米国特許情報 | 欧州特許情報 | 国際公開(PCT)情報 | Google の米国特許検索
 
     特許分類
A 農業
B 衣類
C 家具
D 医学
E スポ−ツ;娯楽
F 加工処理操作
G 机上付属具
H 装飾
I 車両
J 包装;運搬
L 化学;冶金
M 繊維;紙;印刷
N 固定構造物
O 機械工学
P 武器
Q 照明
R 測定; 光学
S 写真;映画
T 計算機;電気通信
U 核技術
V 電気素子
W 発電
X 楽器;音響


  ホーム -> 計算機;電気通信 -> ミノルタ株式会社

発明の名称 撮像装置及び3次元形状計測装置
発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開2003−23571(P2003−23571A)
公開日 平成15年1月24日(2003.1.24)
出願番号 特願2001−207746(P2001−207746)
出願日 平成13年7月9日(2001.7.9)
代理人 【識別番号】100067828
【弁理士】
【氏名又は名称】小谷 悦司 (外2名)
【テーマコード(参考)】
2F065
5C024
【Fターム(参考)】
2F065 AA53 BB05 CC16 DD09 FF01 FF02 FF09 FF65 GG04 HH05 JJ03 JJ25 JJ26 LL13 LL62 MM16 NN13 QQ03 QQ06 QQ24 QQ31 SS13 
5C024 CX43 EX50 GY04 HX17 HX23 HX30 HX57
発明者 高田 直弥
要約 課題
構造的に複雑化させることなく容易にダイナミックレンジを拡大できるようにする。

解決手段
固体撮像素子34から出力された奇数ラインの画素信号を増幅器361により大きい増幅率で増幅してA/Dコンバータ36でA/D変換すると共に、偶数ラインの画素信号を増幅器381により小さい増幅率で増幅してA/Dコンバータ38でA/D変換する。このA/D変換された画素信号であって大きい増幅率で増幅された奇数ラインの画素信号のレベルが規定値を超えていない場合、その奇数ラインの画素信号を画像メモリ48に転送して対応するアドレスに格納し、奇数ラインの画素信号のレベルが規定値を超えている場合、その奇数ラインに隣接する偶数ラインの画素信号であって垂直アドレスが同一の画素信号を所定倍に増大した上で画像メモリ48に転送して対応するアドレスに格納する。
特許請求の範囲
【請求項1】 被写体からの反射光を受光素子により受光することで画素信号に変換する固体撮像手段と、当該固体撮像手段から出力された奇数ラインの画素信号及び偶数ラインの画素信号のうち一方のラインの画素信号を他方のラインよりも大きい増幅率で増幅すると共に、他方のラインの画素信号を一方のラインよりも小さい増幅率で増幅する増幅手段と、当該増幅手段から出力された奇数ラインの画素信号及び偶数ラインの画素信号をA/D変換するA/D変換手段と、A/D変換された奇数ラインの画素信号及び偶数ラインの画素信号に基づくフレーム画像を記憶する画像記憶手段と、A/D変換された画素信号であって、大きい増幅率で増幅された一方のラインの画素信号のレベルが規定値を超えているか否かを各画素毎に判別する判別手段と、前記一方のラインの画素信号のレベルが規定値を超えていない場合に当該画素信号を前記画像記憶手段に転送して対応するアドレスに格納すると共に、前記一方のラインの画素信号のレベルが規定値を超えている場合に当該一方のラインに隣接する他方のラインの画素信号であって、垂直方向のアドレスが同一の画素信号を所定倍に増大した上で前記画像記憶手段に転送して対応するアドレスに格納する画像制御手段とを備えたことを特徴とする撮像装置。
【請求項2】 前記固体撮像手段は、奇数ラインの画素信号を取り出す第1の出力手段と、偶数ラインの画素信号を取り出す第2の出力手段とを備え、前記増幅手段は、前記第1の出力手段から出力された奇数ラインの画素信号を増幅する第1の増幅手段と、前記第2の出力手段から出力された偶数ラインの画素信号を増幅する第2の増幅手段とを備え、当該第1の増幅手段と当該第2の増幅手段とは互いに異なる増幅率に設定されるものであることを特徴とする請求項1記載の撮像装置。
【請求項3】 前記固体撮像手段は、奇数ラインの画素信号と偶数ラインの画素信号とをフィールド毎に取り出す1の出力手段を備え、前記増幅手段は、奇数ラインの画素信号と偶数ラインの画素信号とを増幅する1の増幅手段からなり、当該1の増幅手段は奇数ラインと偶数ラインとで異なる増幅率に切換え設定されるものであることを特徴とする請求項1記載の撮像装置。
【請求項4】 前記A/D変換手段から出力された奇数ライン及び偶数ラインの画素信号を記憶する信号記憶手段を備え、前記判別手段は、前記信号記憶手段に記憶されている奇数ラインの画素信号について規定値を超えているか否かを各画素毎に判別するものであることを特徴とする請求項1乃至3のいずれかに記載の撮像装置。
【請求項5】 被写体にスリット光を照射する投光手段と、請求項1乃至4のいずれかに記載の撮像装置と、当該撮像装置の画像記憶手段に格納されている画素信号に基づいて被写体の3次元形状を算出し、この算出した被写体の3次元形状を表示手段に表示する表示制御手段とを備えたことを特徴とする3次元形状計測装置。
発明の詳細な説明
【0001】
【発明の属する技術分野】本発明は、物体の表面形状を非接触で計測する3次元形状計測装置等に適用可能な撮像装置及び3次元形状計測装置に関する。
【0002】
【従来の技術】物体の表面形状を非接触で計測する3次元形状計測装置等に適用される撮像装置では、一般に被写体(測定対象物)からの反射光を受光するための素子としてCCD(Charge-Coupled Device)等の固体撮像素子が用いられている。
【0003】ところが、CCD等の固体撮像素子はダイナミックレンジが狭いため、撮像装置により例えば黒い髪の毛を有する人間の頭部を撮像するような場合、明るい顔の部分について適正な露光量になるように設定したときには顔の部分については鮮明な画像を得ることができるが、暗い髪の毛の部分については露出不足となり、正確な3次元形状が算出できない場合が生じる。また、暗い髪の毛の部分について適正な露光量になるように設定したときには髪の毛の部分については鮮明な画像を得ることができるが、明るい顔の部分については露出過度になり、この場合も正確な3次元形状が算出できない場合が生じる。
【0004】このため、固体撮像素子のダイナミックレンジを拡大する手段として、例えば2個のCCDを用い、この2個のCCDに入射される光量の比率をハーフプリズム等で変えることで一方のCCDに明るい画像を結像させると共に、他方のCCDに暗い画像を結像させ、これら各CCDで別々に撮像された画像を合成するようにしていた。これによれば、明るい顔の部分も暗い髪の部分も個別に鮮明な画像が得られ、これらを合成することで明るい顔の部分も暗い髪の毛の部分も共に鮮明な画像が得られることから正確な3次元形状が算出できることになる。
【0005】
【発明が解決しようとする課題】しかしながら、上記従来の方式では、CCDのダイナミックレンジを効果的に拡大することができるとはいうものの、入射光を分割するための光学系及び受光特性の一致した2個のCCDが必要になることから構造的に複雑化することが避けられないうえ、2個のCCDの画素ずれ補正等を行う必要があることから補正作業が煩雑化するという問題があった。
【0006】本発明は、このような事情に鑑みてなされたもので、構造的に複雑化させることなく容易にダイナミックレンジを拡大することができる撮像装置及びその撮像装置を用いた3次元形状計測装置を提供することを目的とする。
【0007】
【課題を解決するための手段】上記目的を達成するため、請求項1の撮像装置は、被写体からの反射光を受光素子により受光することで画素信号に変換する固体撮像手段と、当該固体撮像手段から出力された奇数ラインの画素信号及び偶数ラインの画素信号のうち一方のラインの画素信号を他方のラインよりも大きい増幅率で増幅すると共に、他方のラインの画素信号を一方のラインよりも小さい増幅率で増幅する増幅手段と、当該増幅手段から出力された奇数ラインの画素信号及び偶数ラインの画素信号をA/D変換するA/D変換手段と、A/D変換された奇数ラインの画素信号及び偶数ラインの画素信号に基づくフレーム画像を記憶する画像記憶手段と、A/D変換された画素信号であって、大きい増幅率で増幅された一方のラインの画素信号のレベルが規定値を超えているか否かを各画素毎に判別する判別手段と、前記一方のラインの画素信号のレベルが規定値を超えていない場合に当該画素信号を前記画像記憶手段に転送して対応するアドレスに格納すると共に、前記一方のラインの画素信号のレベルが規定値を超えている場合に当該一方のラインに隣接する他方のラインの画素信号であって、垂直方向のアドレスが同一の画素信号を所定倍に増大した上で前記画像記憶手段に転送して対応するアドレスに格納する画像制御手段とを備えたことを特徴としている。
【0008】この構成によれば、固体撮像手段から出力された奇数ラインの画素信号及び偶数ラインの画素信号のうち、一方のライン(例えば、奇数ライン)の画素信号が他方のライン(例えば、偶数ライン)よりも大きい増幅率で増幅されてA/D変換され、他方のラインの画素信号が一方のラインよりも小さい増幅率で増幅されてA/D変換される。
【0009】そして、A/D変換された画素信号であって、大きい増幅率で増幅された一方のラインの画素信号のレベルが規定値を超えていないときは、その画素信号が画像記憶手段に転送されて対応するアドレスに格納される。また、大きい増幅率で増幅された一方のラインの画素信号のレベルが規定値を超えているときは、その一方のラインに隣接する他方のラインの画素信号であって、垂直方向のアドレスが同一の画素信号が所定倍に増大された上で画像記憶手段に転送されて対応するアドレスに格納される。
【0010】このように、暗い被写体部分についてはA/D変換前に大きな増幅率で増幅された一方のラインの画素信号を用い、明るい被写体部分についてはA/D変換後に増大された他方のラインの画素信号を用いることで、構造的に複雑化させることなく容易にダイナミックレンジが拡大されることになる。
【0011】また、請求項2の撮像装置は、請求項1に係るものにおいて、前記固体撮像手段が、奇数ラインの画素信号を取り出す第1の出力手段と、偶数ラインの画素信号を取り出す第2の出力手段とを備え、前記増幅手段が、前記第1の出力手段から出力された奇数ラインの画素信号を増幅する第1の増幅手段と、前記第2の出力手段から出力された偶数ラインの画素信号を増幅する第2の増幅手段とを備え、当該第1の増幅手段と当該第2の増幅手段とが互いに異なる増幅率に設定されるものであることを特徴としている。
【0012】この構成によれば、奇数ラインの画素信号は第1の出力手段から取り出されて第1の増幅手段で増幅され、偶数ラインの画素信号は第2の出力手段から取り出されて第2の増幅手段で増幅される。このため、奇数ラインの画素信号と偶数ラインの画素信号に対する増幅処理及びA/D変換処理を並行して実行することが可能となり、信号処理の高速化を図ることができる。
【0013】また、請求項3の撮像装置は、請求項1に係るものにおいて、前記固体撮像手段が、奇数ラインの画素信号と偶数ラインの画素信号とをフィールド毎に取り出す1の出力手段を備え、前記増幅手段が、奇数ラインの画素信号と偶数ラインの画素信号とを増幅する1の増幅手段からなり、当該1の増幅手段が奇数ラインと偶数ラインとで異なる増幅率に切換え設定されるものであることを特徴としている。
【0014】この構成によれば、奇数ラインの画素信号と偶数ラインの画素信号とが1の出力手段からフィールド毎に交互に出力され、奇数ラインの画素信号を増幅するときは1の増幅手段の増幅率が偶数ラインのときよりも大きな増幅率に設定され、偶数ラインの画素信号を増幅するときは同じ増幅手段の増幅率が奇数ラインのときよりも小さな増幅率に設定される。このため、回路的に構成が簡素化され、コストダウンを図ることが可能となる。
【0015】また、請求項4の撮像装置は、請求項1乃至3のいずれかに係るものにおいて、前記A/D変換手段から出力された奇数ライン及び偶数ラインの画素信号を記憶する信号記憶手段を備え、前記判別手段が、前記信号記憶手段に記憶されている奇数ラインの画素信号について規定値を超えているか否かを各画素毎に判別するものであることを特徴としている。
【0016】この構成によれば、A/D変換手段から出力された奇数ライン及び偶数ラインの画素信号は一旦信号記憶手段に記憶され、この信号記憶手段から読み出した奇数ラインの画素信号について規定値を超えているか否かが判別される。このため、各奇数ラインの画素信号について正確なタイミングで規定値を超えているか否かを判別することが可能になる。
【0017】また、請求項5の3次元形状計測装置は、被写体にスリット光を照射する投光手段と、請求項1乃至4のいずれかに記載の撮像装置と、当該撮像装置の画像記憶手段に格納されている画素信号に基づいて被写体の3次元形状を算出し、この算出した被写体の3次元形状を表示手段に表示する表示制御手段とを備えたことを特徴としている。
【0018】この構成によれば、スリット光の照射された被写体が固体撮像手段により撮像され、画素信号が画像記憶手段に格納される。そして、この画像記憶手段に格納された画素信号に基づいて被写体の3次元形状が算出され、この算出された被写体の3次元形状が表示手段に表示される。このため、被写体に暗い部分と明るい部分とが存在していても、ダイナミックレンジが拡大されることで確実に被写体の3次元形状が算出され、表示手段に表示可能となる。
【0019】
【発明の実施の形態】図1は、本発明の第1の実施形態に係る撮像装置が適用される非接触で物体の表面形状を計測する3次元形状計測装置の概略構成を示すブロック図である。なお、図中における実線矢印は電気信号の流れを示し、破線矢印は光の流れを示している。すなわち、この図において、3次元形状計測装置10は、投光側である第1の光学系12と、受光側である第2の光学系14と、受光することで生成される画素信号に対し所定の信号処理を行う信号処理部16と、第1,第2の光学系12,14及び信号処理部16の動作を制御する装置制御部18と、装置制御部18に対して計測指示を行うと共に、被写体(測定対象物)の3次元形状を算出して表示部に表示する画像計測表示部20とを備えている。
【0020】なお、本発明に係る撮像装置は、主として第2の光学系14、信号処理部16及び装置制御部18により構成されるもので、被写体からの反射光を受光した固体撮像素子により生成される画素信号に基づくフレーム画像を画像メモリに取り込むまでの動作を実行するものである。また、3次元形状計測装置は、画像メモリに取り込まれた複数のフレーム画像に基づき被写体の3次元形状を算出して表示部に表示する動作を実行するものである。
【0021】第1の光学系12は、レーザ光を出力するためのレーザダイオードを含むレーザ発生部22と、レーザ発生部22から出力されるレーザ光をスリット光に変換する投光レンズ24と、投光レンズ24から出力されるスリット光が照射されるミラーを有するガルバノスキャナ26と、ガルバノスキャナ26のミラーを回転駆動させて被写体(測定対象物)にレーザ光を照射することにより被写体表面を走査する駆動部28とを備えている。なお、本実施形態では、スリット光は、後述する固体撮像素子34の垂直方向における5画素分の幅を有するものであり、1画素ピッチで上から下に向けて偏向される。
【0022】第2の光学系14は、被写体からの反射光が入射される受光レンズ32と、受光レンズ32を透過した反射光を受光する測定用のモノクロの固体撮像素子34とを備えている。
【0023】この固体撮像素子34は、例えば図2の模式図に示すように、水平方向と垂直方向とに沿って配設された各画素を構成する複数の受光素子341と、垂直方向の各列の受光素子341に対応して配設された複数の垂直転送レジスタ342と、各受光素子341が被写体からの反射光を受光することにより各受光素子341で生成された画素信号のうち、奇数番目(第1番目、第3番目、第5番目、…)の水平走査ライン(以下、奇数ラインという。)の画素信号を取り出す第1の水平転送レジスタ343と、偶数番目(第2番目、第4番目、第6番目、…)の水平走査ライン(以下、偶数ラインという。)の画素信号を取り出す第2の水平転送レジスタ344とを有する全画素読出し方式のインターライン転送CCD(Charge-Coupled Device)からなるものである。
【0024】また、この固体撮像素子34は、第1の水平転送レジスタ343から出力される奇数ラインの画素信号を増幅する第1の増幅器345と、第2の水平転送レジスタ344から出力される偶数ラインの画素信号を増幅する第2の増幅器346と、水平同期信号及び垂直同期信号を生成する同期信号発生部347(図1)と、出力される奇数ライン及び偶数ラインの各画素信号にアドレスデータを与えるアドレス付与部348(図1)とを備えている。
【0025】このように構成された固体撮像素子34では、図3に示すように、フィールドシフト信号が出力されることで全奇数ライン(第1ライン、第3ライン、第5ライン、…)の各受光素子341の電荷(画素信号)と、全偶数ライン(第2ライン、第4ライン、第6ライン、…)の各受光素子341の電荷(画素信号)とが対応する垂直転送レジスタ342に一度に取り出される。そして、各垂直転送レジスタ342に取り出された奇数ライン及び偶数ラインの各画素信号は第1,第2の水平転送レジスタ343,344側に順に垂直転送され、奇数ラインの画像信号は第1の水平転送レジスタ343から第1の増幅器345を介して次段に出力され、偶数ライン画素信号は第2の水平転送レジスタ344から第2の増幅器346を介して次段に出力される。これらの奇数ライン及び偶数ラインの各受光素子341から取り出された画素信号には、同期信号発生部347で生成された水平同期信号に基づいて水平方向のアドレスが与えられ、同期信号発生部347で生成された垂直同期信号に基づいて垂直方向のアドレスが与えられる。
【0026】なお、本実施形態では、特開平11−281335号公報にも記載されているように、被写体に照射されるスリット光がミラーの回転駆動により1画素ピッチで偏向される毎に被写体の撮像が順次実行される。この撮像は、スリット光が照射された被写体領域に対応する固体撮像素子34の有効受光領域である垂直方向の画素数(本実施形態では、32画素)分の回数(すなわち、32回)だけ実行され、スリット光が照射された被写体領域に対応する固体撮像素子34の有効受光領域(垂直方向の32画素)についてのみ奇数ライン及び偶数ラインの各画素信号の取り出しが行われる。すなわち、本実施形態では、垂直方向の32画素の各ラインで1のフレーム画像が形成される。
【0027】そして、この32回の撮像により得られる各フレーム画像の画素信号に対する重心演算によって、1つの画素(注目画素)が睨む範囲の被写体表面をスリット光の光軸が通過するタイミング(時間重心)を求め、この求めたタイミングにおけるスリット光の被写体に対する照射方向と、注目画素に対するスリット光の入射方向との関係に基づいて被写体の固体撮像素子34からの位置が算出される。この位置算出を被写体の全体に対して実行することで被写体の3次元形状が求められる。
【0028】また、第2の光学系14は、第1の水平転送レジスタ343から出力される奇数ラインの各画素信号をアナログ信号から10ビットのデジタル信号に変換する第1のA/Dコンバータ36と、第2の水平転送レジスタ344から出力される偶数ラインの各画素信号をアナログ信号から10ビットのデジタル信号に変換する第2のA/Dコンバータ38と、第1のA/Dコンバータ36から出力される奇数ラインの各画素信号及び第2のA/Dコンバータ38から出力される偶数ラインの各画素信号を記憶するFIFOメモリ40と、全体の動作を同期させるタイミングジェネレータ42とを備えている。
【0029】第1のA/Dコンバータ36は、タイミングジェネレータ42から供給される制御信号により所定の増幅率に設定可能な第1の増幅器361を内蔵したものであり、第1の水平転送レジスタ343から出力される奇数ラインの各画素信号を設定された所定の増幅率で増幅し、この増幅された奇数ラインの画素信号をアナログ信号からデジタル信号に変換(A/D変換)する。また、第2のA/Dコンバータ38は、タイミングジェネレータ42から供給される制御信号により所定の増幅率に設定可能な第2の増幅器381を内蔵したものであり、第2の水平転送レジスタ344から出力される偶数ラインの各画素信号を設定された所定の増幅率で増幅し、この増幅された偶数ラインの画素信号をアナログ信号からデジタル信号に変換(A/D変換)する。本実施形態では、第1の増幅器361の増幅率は、第2の増幅器381の10倍の値に設定されている。
【0030】これにより、固体撮像素子34から出力された奇数ラインの画素信号のレベルは、偶数ラインの画素信号よりも大きな値になることから、奇数ラインについては偶数ラインよりも解像度が高められ、暗い被写体であっても鮮明な画像を得ることができる。
【0031】信号処理部16は、FIFOメモリ40に記憶されている画素信号を読み出し、この読み出した画素信号に対して所定の処理を実行するデジタルシグナルプロセッサ(以下、DSPという。)46と、所定の処理の実行された画素信号をフレーム画像として記憶する画像メモリ(フレームメモリ)48とを備えている。
【0032】このDSP46は、RAM(Random Access Memory)461を備えており、FIFOメモリ40に順次記憶される奇数ライン(第1ライン、第3ライン、第5ライン、…)の画素信号を読み出してRAM461に順次記憶させると共に、FIFOメモリ40に順次記憶される偶数ライン(第2ライン、第4ライン、第6ライン、…)の画素信号を読み出してRAM461に順次記憶させる。
【0033】また、このDSP46は、偶数ラインの画素信号を所定倍数に増大する乗算器462を備えると共に、RAM461に記憶されている奇数ラインの画素信号の信号レベルが予め設定した規定値Sを超えているか否かを各画素毎に判別するレベル判別部463と、信号レベルが規定値Sを超えていない画素信号についてはその奇数ラインの画素信号を画像メモリ48に転送し、その画素信号を対応するアドレスに書き込む一方、信号レベルが規定値Sを超えている画素信号については画像メモリ48に転送せずにRAM461に記憶されている隣接する偶数ライン(例えば、奇数ラインが第5ラインである場合、偶数ラインは第6ライン)の同一の垂直アドレスにある画素信号を乗算部462により信号レベルが所定倍(本実施形態では10倍)になるように増大して画像メモリ48に転送し、その偶数ラインの画素信号を対応するアドレスに書き込む信号書込部464と、すべてのラインの画素信号がRAM461に取り込まれたか否かを判別すると共に、すべてのラインの画素信号に対する処理が終了したか否かを判別する終了判別部465しての各機能実現部を備えている。なお、規定値Sは、固体撮像素子34の電気的特性や被写体の明るさ等により適宜設定されるもので、予め実験的に求められるものである。
【0034】図4は、このDSP46の処理動作を概念的に説明するための固体撮像素子34の撮像面を模式的に示す図であり、図5は、その固体撮像素子34に対応する画像メモリ48の画素面を模式的に示す図である。いずれも、水平方向をH、垂直方向をVとし、左上隅の画素信号のアドレス(H,V)を(1,1)とする。また、被写体として黒い髪の部分HRと明るい顔の部分FCとを有する人間の頭部HDが明るい空間を背景として撮像されているものとする。
【0035】なお、被写体の撮像は、本実施形態では、上述したように垂直方向の32画素の各ラインで1のフレーム画像が形成されるようにしているが、ここでは便宜上全ラインの画素信号により1のフレーム画像を形成するものとして図示している。また、DSP46のRAM461の画素面も固体撮像素子34の撮像面と同様に構成されており、このRAM461には図4に示す固体撮像素子34の画素信号に対応する画素信号が記憶されているものとする。
【0036】ここで、DSP46のRAM461に記憶されている例えば第5番目の奇数ラインの画素信号(すなわち、図4に示す第5番目の奇数ラインの画素信号に対応する画素信号)と、この奇数ラインに隣接する第6番目の偶数ラインの画素信号(すなわち、図4に示す第6番目の奇数ラインの画素信号に対応する画素信号)とに対する処理動作について説明する。すなわち、第5番目の奇数ラインにおいて、例えば、アドレスが(1,5)から(4,5)までの領域の画素信号は、明るい背景部分であるため信号レベルがそれぞれ規定値Sを超えているものとすると、この領域については偶数ラインのアドレスが(1,6)から(4,6)までの領域の各画素信号のレベルを10倍した上で、その画素信号を画像メモリ48(図5)に転送し、画像メモリ48の対応するアドレスに書き込む。
【0037】また、第5番目の奇数ラインのアドレスが(5,5)と(6,5)の領域の画素信号は、暗い髪の部分であるため信号レベルが規定値Sを超えていないとすると、その領域の奇数ラインの画素信号を画像メモリ48に転送し、その画素信号を画像メモリ48の対応するアドレスに書き込む。
【0038】さらに、第5番目の奇数ラインのアドレスが(7,5)から(14,5)までの領域の画素信号は、明るい顔の部分であるため信号レベルが規定値Sを超えているものとすると、この領域については偶数ラインのアドレスが(7,6)から(14,6)までの領域の各画素信号のレベルを10倍した上で、その画素信号を画像メモリ48に転送し、画像メモリ48の対応するアドレスに書き込む。
【0039】また、第5番目の奇数ラインのアドレスが(15,5)と(16,5)の領域の画素は、暗い髪の部分であるため信号レベルが規定値Sを超えていないものとすると、その領域の奇数ラインの画素信号を画像メモリ48に転送し、画像メモリ48の対応するアドレスに書き込む。さらに、第5番目の奇数ラインのアドレスが(17,5)から(Hn,5)までの領域の画素信号は、明るい背景部分であるため信号レベルがそれぞれ規定値Sを超えているものとすると、この領域については偶数ラインのアドレスが(17,6)から(Hn,6)までの領域の各画素信号の信号レベルを10倍した上で、その画素信号を画像メモリ48に転送し、画像メモリ48の対応するアドレスに書き込む。
【0040】このように、奇数ラインの画素信号のレベルが規定値Sを超えていない場合、その奇数ラインの画素信号をそのまま用い、奇数ラインの画素信号のレベルが規定値Sを超えている場合、その奇数ラインの画素信号を用いずに垂直方向のアドレスが同一である隣接する偶数ラインの画素信号を所定倍して用いる理由を図6に示す光量−出力特性図を参照して説明する。
【0041】この図6において、固体撮像素子34から出力される画素信号(本実施形態では、偶数ラインの画素信号)を第2の増幅器38により増幅した後にA/D変換したときの光量−出力特性を点線Aで示す。この点線Aで示す特性曲線において、10ビットのデジタル値で表わしたときの最小光量値を「0」とし、最大光量値(あるいは飽和光量値)を「1023」とする。この場合、固体撮像素子34から出力される画素信号(本実施形態では、奇数ラインの画素信号)を第1の増幅器36により増幅した後にA/D変換したときの最小光量値から光量値L(この光量値Lは、規定値Sの出力に対応するもの)までの範囲における光量−出力特性は実線Bで示すものとなる。すなわち、光量の少ない領域においても出力値が増大されることで解像度が高められることになる。
【0042】また、固体撮像素子34から出力される画素信号(本実施形態では、偶数ラインの画素信号)を第2の増幅器38により増幅した後にA/D変換したときの値を10倍したもので、光量値Lを超える範囲(規定値Sを超える出力に対応する範囲)での光量−出力特性は一点鎖線Cで示すものとなる。ここで、一点鎖線Cで示す特性曲線における最大光量値(あるいは飽和光量値)は、点線Aで示す特性曲線の最大値である「1023」を10倍した値である「10230」となる。すなわち、実線Bで示す特性曲線と一点鎖線Cで示す特性曲線とを用いることで固体撮像素子34のダイナミックレンジが「0〜1023」から見掛け上「0〜10230」へと拡大されたことになり、暗い部分と明るい部分とが存在する被写体であっても全体が鮮明な画像を得ることができる。
【0043】なお、一点鎖線Cで示す特性曲線は、第2の増幅器38により増幅した後にA/D変換したときの値を10倍したものであるが、実線Bで示す特性曲線から読み出す出力値と一点鎖線Cで示す特性曲線から読み出す出力値とが光量値Lの前後で逆転しないようになっていれば倍数は「10」に限るものではない。
【0044】このようにして、各奇数ラインの画素信号の信号レベルが規定値Sを超えているか否かを順次判別し、規定値Sを超えていないときはその奇数ラインの画素信号を画像メモリ48に転送し、その画素信号を画像メモリ48の対応するアドレスに書き込む一方、規定値Sを超えているときは同一の垂直アドレスにある隣接する偶数ラインの画素信号を10倍した上で、その画素信号を画像メモリ48に転送し、その画素信号を画像メモリ48の対応するアドレスに書き込む。
【0045】これにより、画像メモリ48には、それぞれ対となる互いに隣接する奇数ラインと偶数ラインのいずれか一方のラインの画素信号が記憶され、これによりフレーム画像が形成されることになる。このため、すべての奇数ラインと偶数ラインの画素信号(本実施形態では、垂直方向の32画素分)によりフレーム画像が形成される場合に比べ、垂直方向の画素数が半分になることから垂直方向の解像度が低下することになるが、予め水平走査ライン数を多めに設定して垂直方向の画素数を増加させておく等することにより実用面での弊害を生じないようにすることができる。なお、上述したように、第1の光学系12から出力されるスリット光により被写体表面が走査される1画素ピッチ毎に固体撮像素子34により撮像が行われ、複数のフレーム画像が画像メモリ48に順次記憶されることになる。
【0046】図1に戻り、装置制御部18は、演算処理を実行するCPU(Central Processing Unit)52と、処理プログラムやデータが記憶されているROM(Read-Only Memory)54と、データを一時的に記憶するRAM(Random Access Memory)56とから構成されている。CPU52には、複数のフレーム画像に基づいて上述した時間重心を求める重心演算部521と、求めた時間重心やスリット光の入射方向等から被写体の位置を求めて3次元形状を算出する3次元形状算出部522としての各機能実現部を備えている。
【0047】画像計測表示部20は、計測制御部601と形状表示部602とを有するパーソナルコンピュータ(パソコン)60と、装置制御部18とパソコン60とを接続するSCSIコントローラ62とを備えており、装置制御部18で算出された被写体の3次元形状が計測制御部601の制御動作により形状表示部602に表示される。なお、装置制御部18と計測制御部601とで被写体の3次元形状を算出すると共に、その算出した3次元形状を形状表示部602に表示する表示制御手段を構成する。
【0048】図7は、上記のように構成された3次元形状計測装置10における撮像装置の1フレーム分の動作を説明するためのフローチャートである。まず、被写体の1フレームの撮像が行われ(ステップ#1)、その後にパソコン60の操作によりCPU52を介して設定されたタイミングジェネレータ42の制御信号により第1の増幅器361の増幅率が第2の増幅器381の増幅率の10倍の値に設定され(ステップ#3)、引き続いて第2の増幅器381の増幅率が所定(第1の増幅器361の増幅率の10分の1)の値に設定される(ステップ#5)。
【0049】次いで、固体撮像素子34から奇数ライン及び偶数ラインの画素信号が取り出される一方、この取り出された奇数ラインの画素信号が第1の増幅器361で増幅されると共に、偶数ラインの画素信号が第2の増幅器381で増幅された上でFIFOメモリ40に逐次格納される(ステップ#7)。その後に、FIFOメモリ40から奇数ライン及び偶数ラインの画素信号が取り出され、DSP46のRAM461に順次格納される(ステップ#9)。
【0050】次いで、RAM461に格納されている各奇数ラインの画素信号のレベルが規定値(例えば、100)を超えているか否かがレベル判別部463により各画素毎に判別される(ステップ#11)。このステップ#11での判別が否定されると、その画素信号が画像メモリ48に転送され、対応するアドレスに格納される(ステップ#13)。また、ステップ#11での判別が肯定されると、その奇数ラインの画像信号と垂直アドレスが同一である隣接する偶数ラインの画素信号のレベルが乗算器462により10倍に増大され(ステップ#15)、その増大された画素信号が画像メモリ48に転送され、対応するアドレスに格納される(ステップ#17)。
【0051】次いで、1フレーム分のすべての奇数ラインの処理が終了したか否かが終了判別部465により判別される(ステップ#19)。このステップ#19での判別が肯定されると1フレーム分の撮像装置の動作は終了し、ステップ#19での判別が否定されるとステップ#11に戻って以降のステップが繰り返し実行される。
【0052】なお、1フレーム分の処理が終了すると、順次それに続く1フレーム分の撮像(本実施形態では、合計32フレーム分の撮像)が行われると共に、各フレーム画像の画素信号に対して同様の処理が実行され、画像メモリ48にすべてのフレーム画像の画素信号が格納されることで画像メモリ48への画素信号の取り込み動作が終了する。そして、画像メモリ48に格納された各フレーム画像の画素信号は、パソコン60の操作により読み出されると共に、時間重心等の所定の演算処理が実行されて3次元形状が算出され、この算出された被写体の3次元形状が形状表示部602に表示される。
【0053】図8は、本発明の第2の実施形態に係る撮像装置が適用される3次元形状計測装置の概略構成を示すブロック図である。なお、図1に示す第1の実施形態に係る3次元形状計測装置10と同一の構成要素については同一の参照符号を付すことにより詳細な説明を省略すると共に、以下においては第1の実施形態に係る3次元形状計測装置10との相違点を中心に説明する。図中における実線矢印は電気信号の流れを示し、破線矢印は光の流れを示している。
【0054】この第2の実施形態の3次元形状計測装置10’は、投光側である第1の光学系12´と、受光側である第2の光学系14’と、受光することで生成される画素信号に対し所定の信号処理を行う信号処理部16’と、第1,第2の光学系12’,14’及び信号処理部16’の動作を制御する装置制御部18’と、装置制御部18’に対して計測指示を行うと共に、被写体(測定対象物)の3次元形状を表示する画像計測表示部20’とを備えている。ここで、第1の光学系12’、装置制御部18’及び画像計測表示部20’は、第1の実施形態に係る3次元形状計測装置10の第1の光学系12、装置制御部18及び画像計測表示部20とそれぞれ同一の構成になるものであり、第2の光学系14’の構成のみが第1の実施形態のものと相違する。
【0055】なお、この第2の実施形態においても、撮像装置は、第1の実施形態の場合と同様に主として第2の光学系14’、信号処理部16’及び装置制御部18’により構成されるもので、被写体からの反射光を受けた固体撮像素子により生成されたフレーム画像を画像メモリに取り込むまでの動作を実行するものである。また、3次元形状計測装置は、画像メモリに取り込まれた複数のフレーム画像に基づき被写体の3次元形状を算出して表示部に表示する動作を実行するものである。
【0056】この第2の光学系14’は、固体撮像素子34’が水平転送レジスタを1つだけ有するものである点、及び、A/Dコンバータ36’を1つだけ有するものである点で第1の実施形態の固体撮像素子34と相違している。すなわち、固体撮像素子34’は、例えば図9の模式図に示すように、水平方向と垂直方向とに沿って配設された各画素を構成する複数の受光素子341’と、垂直方向の各列の受光素子341’に対応して配設された複数の垂直転送レジスタ342’と、各受光素子341’が被写体からの反射光を受光することで生成された画素信号を読み出す水平転送レジスタ343’とを有する2画素独立読出し方式のインターライン転送CCD(Charge-Coupled Device)からなるものである。
【0057】また、この固体撮像素子34’は、水平転送レジスタ343’から出力される画素信号を増幅する増幅器345’と、水平同期信号及び垂直同期信号を生成する同期信号発生部347’(図8)と、出力される奇数ライン及び偶数ラインの各画素信号にアドレスデータを与えるアドレス付与部348’(図8)とを備えている。
【0058】このように構成された固体撮像素子34’では、図10に示すように、最初のフィールドシフトパルスが供給されることで有効受光領域の全奇数ライン(第1ライン、第3ライン、第5ライン、…)の各受光素子341’の電荷(画素信号)が対応する垂直転送レジスタ342’に一度に取り出され、各垂直転送レジスタ342’に取り出された画素信号は各ライン単位で水平転送レジスタ343’に順に垂直転送され、水平転送レジスタ343’から増幅器345’を介して次段に出力される。これら奇数ラインの各受光素子341’から取り出された各画素信号には、同期信号発生部347’で生成された水平同期信号に基づいて水平方向のアドレスデータが与えられ、同期信号発生部347’で生成された垂直同期信号に基づいて垂直方向のアドレスデータが与えられる。
【0059】また、次のフィールドシフトパルスが供給されることで有効受光領域の全偶数ライン(第2ライン、第4ライン、第6ライン、…)の各受光素子341’の電荷(画素信号)が対応する垂直転送レジスタ342’に一度に取り出され、各垂直転送レジスタ342’に取り出された画素信号は各ライン単位で水平転送レジスタ343’に順に垂直転送され、水平転送レジスタ343’から増幅器345’を介して次段に出力される。これら偶数ラインの各受光素子341’から取り出された各画素信号には、同期信号発生部347’で生成された水平同期信号に基づいて水平方向のアドレスデータが与えられ、同期信号発生部347’で生成された垂直同期信号に基づいて垂直方向のアドレスデータが与えられる。すなわち、この第2の実施形態に係る固体撮像素子34’では、有効受光領域の全奇数ラインで構成される奇数フィールド及び有効受光領域の全偶数ラインで構成さる偶数フィールドのフィールド単位で画素信号が出力される。
【0060】また、A/Dコンバータ36’は、1つの増幅器361’を内蔵したものである。この増幅器361’は、タイミングジェネレータ42から供給される制御信号に基づき、固体撮像素子34’から奇数ライン(奇数フィールド)の画素信号が出力されるときと、固体撮像素子34’から偶数ライン(偶数フィールド)の画素信号が出力されるときとで増幅率が異なるように構成されている。
【0061】図11は、上記のように構成された3次元形状計測装置10’における撮像装置の1フレーム分の動作を説明するためのフローチャートである。まず、被写体の1フレーム分の撮像が行われる(ステップ#31)。なお、固体撮像素子34’からは、最初に奇数フィールドの画素信号が出力され、その後に偶数フィールドの画素信号が出力されるものとする。このため、増幅器361’の増幅率が、パソコン60の操作によりCPU52を介して設定されたタイミングジェネレータ42の制御信号により偶数フィールドの画素信号の場合の10倍の値に設定される(ステップ#33)。
【0062】次いで、固体撮像素子34’から取り出された有効受光領域の奇数フィールドの画素信号がライン毎に増幅器361’で増幅された上でA/D変換され、このA/D変換された奇数ラインの画素信号がFIFOメモリ40に逐次格納される(ステップ#35)。そして、FIFOメモリ40から奇数ラインの画素信号が取り出され、DSP46のRAM461に順次格納される(ステップ#37)。
【0063】次いで、有効受光領域における奇数フィールドの全ラインの画素信号がRAM461に取り込まれたか否かが終了判別部465で判別される(ステップ#39)。このステップ#39での判別が肯定されると、増幅器361’の増幅率がタイミングジェネレータ42の制御信号により偶数フィールドの画素信号を増幅するための所定の値(奇数フィールドの10分の1の値)に設定される(ステップ#41)。なお、ステップ#39での判別が否定されると、判別が肯定されるまで待機する。
【0064】次いで、固体撮像素子34’から取り出された有効受光領域の偶数フィールドの画素信号がライン毎に増幅器361’で増幅された上でA/D変換され、このA/D変換された偶数ラインの画素信号がFIFOメモリ40に逐次格納される(ステップ#43)。そして、FIFOメモリ40から偶数ラインの画素信号が取り出され、DSP46のRAM461に順次格納される(ステップ#45)。
【0065】次いで、RAM461に格納されている各奇数ラインの画素信号のレベルが規定値を超えているか否かがレベル判別部463により各画素毎に判別される(ステップ#47)。このステップ#47での判別が否定されると、その画素信号が画像メモリ48に転送され、対応するアドレスに格納される(ステップ#49)。また、ステップ#47での判別が肯定されると、その奇数ラインに隣接する偶数ラインであって、その奇数ラインの画像信号と垂直方向のアドレスが同一の画素信号のレベルが乗算器462により10倍に増大され(ステップ#51)、その増大された画素信号が画像メモリ48に転送され、対応するアドレスに格納される(ステップ#53)。
【0066】次いで、1フレーム分のすべての奇数ラインの処理が終了したか否かが終了判別部465により判別される(ステップ#55)。このステップ#55での判別が肯定されると1フレーム分の撮像装置の動作は終了し、ステップ#55での判別が否定されるとステップ#47に戻って以降のステップが繰り返し実行される。
【0067】なお、1フレーム分の処理が終了すると、順次それに続く1フレーム分の撮像(本実施形態では、合計32フレーム分の撮像)が行われると共に、各フレーム画像の画素信号に対して同様の処理が実行され、画像メモリ48にすべてのフレームの画素信号が格納されることで画像メモリ48への画素信号の取り込み動作が終了する。そして、画像メモリ48に格納された画素信号は、パソコン60の操作により読み出されると共に、時間重心等の所定の演算処理が実行されて3次元形状が算出され、この算出された被写体の3次元形状が形状表示部602に表示される。
【0068】本発明の撮像装置及び3次元形状計測装置は、上記実施形態のように構成されているので、入射光を分割するための光学系や受光特性の一致した2個の固体撮像素子を必要としないことから構造的に複雑化することなく容易にダイナミックレンジを拡大することができる。なお、本発明の撮像装置及び3次元形状計測装置は、上記実施形態のものに限定されるものではなく、以下に述べるような種々の変形態様を採用することができる。
【0069】(1)上記第1の実施形態における固体撮像素子34は、2つの水平転送レジスタを有する全画素読出し方式のインターライン転送CCDからなるものであるが、これに限るものではない。奇数ラインの画素信号と偶数ラインの画素信号とを分離して取り出すことができるものであれば如何なる構成のものであってもよい。また、第2の実施形態における固体撮像素子34’は、1つの水平転送レジスタを有する2画素独立読出し方式のインターライン転送CCDからなるものであるが、これに限るものではない。この場合も、奇数ラインの画素信号と偶数ラインの画素信号とを分離して取り出すことができるものであれば如何なる構成のものであってもよい。
【0070】(2)上記第1,第2の実施形態における固体撮像素子34,34’は、多数の受光素子341,341’が水平方向と垂直方向とにマトリックス状に配設されたエリアセンサからなるものであるが、これに限るものではない。例えば、多数の受光素子341,341’が水平方向にのみ一列に配設されてなるラインセンサからなるものであってもよい。この場合、ラインセンサを被写体に対し相対的に垂直方向に走査させることにより奇数ラインの画素信号と偶数ラインの画素信号とを順次得るようにすればよい。
【0071】(3)上記第1の実施形態における第1,第2のA/Dコンバータ36,38は、それぞれ第1,第2の増幅器361,381を内蔵したものであるが、これに限るものではない。例えば、第1,第2の増幅器361,381をA/Dコンバータ36,38の前段にA/Dコンバータ36,38とは構造的に独立した状態で設けるようにしてもよい。上記第2の実施形態におけるA/Dコンバータ36’も、増幅器361’を内蔵したものであるが、この増幅器361’についてもA/Dコンバータ36’の前段にA/Dコンバータ36’とは構造的に独立した状態で設けるようにすることができる。
【0072】(4)上記第1の実施形態における奇数ラインの画素信号を増幅する第1の増幅器361は、偶数ラインの画素信号を増幅する第2の増幅器381の10倍の増幅率に設定するようにしているが、これに限るものではない。この第1の増幅器361の増幅率は、第2の増幅器381の増幅率よりも大きくなるように、固体撮像素子34の電気的特性や被写体の明るさ等に応じて適宜設定すればよい。また、上記第2の実施形態における増幅器361’は、奇数ライン(奇数フィールド)の画素信号を増幅する場合に偶数ライン(偶数フィールド)の画素信号を増幅する場合の10倍の増幅率に設定するようにしているが、これに限るものではない。この奇数ライン(奇数フィールド)の画素信号を増幅する場合の増幅率は、偶数ライン(偶数フィールド)の画素信号を増幅する場合よりも大きくなるように、固体撮像素子34’の電気的特性や被写体の明るさ等に応じて適宜設定すればよい。
【0073】(5)上記第1,第2の実施形態では、奇数ライン(奇数フィールド)の画素信号を偶数ライン(偶数フィールド)の画素信号よりも大きな増幅率で増幅するようにしているが、これに限るものではない。偶数ライン(偶数フィールド)の画素信号を奇数ライン(奇数フィールド)の画素信号よりも大きな増幅率で増幅するようにしてもよい。要は、いずれか一方のライン(奇数ライン又は偶数ライン)の画素信号を残る他方のライン(偶数ライン又は奇数ライン)の画素信号よりも大きな増幅率で増幅するようにすればよい。
【0074】(6)上記第1,第2の実施形態では、固体撮像素子34,34’の撮像面における有効受光領域の奇数ライン及び偶数ラインの各画素信号によりフレーム画像を得るようにしているが、これに限るものではない。例えば、全奇数ライン及び全偶数ラインの各画素信号によりフレーム画像を得るようにしてもよい。なお、有効受光領域の画素信号によりフレーム画像を得る場合、画素信号の高速処理化を図ることができる。また、複数のフレーム画像から時間重心を求めて被写体の位置を算出することで被写体の3次元形状を求めるようにしているが、他の方法で被写体の3次元形状を求めることもできる。
【0075】(7)上記第1,第2の実施形態では、固体撮像素子34,34’としてCCDを用いているが、これに限るものではない。例えば、MOS型固体撮像素子を用いることも可能である。また、本発明に係る撮像装置は3次元形状計測装置に適用したものであるが、これに限るものではない。例えば、デジタルカメラ等に適用することも可能である。
【0076】
【発明の効果】以上説明したように、本発明の撮像装置によれば、固体撮像手段から出力された奇数ラインの画素信号及び偶数ラインの画素信号が大きい増幅率と小さい増幅率の互いに異なる増幅率で増幅されてA/D変換され、大きい増幅率で増幅された一方のラインの画素信号のレベルが規定値を超えていない場合に当該画素信号を画像記憶手段に転送して対応するアドレスに格納すると共に、大きい増幅率で増幅された一方のラインの画素信号のレベルが規定値を超えている場合に当該一方のラインに隣接する他方のラインの画素信号であって、垂直方向のアドレスが同一の画素信号を所定倍に増大した上で画像記憶手段に転送して対応するアドレスに格納するように構成されているので、構造的に複雑化させることなく容易にダイナミックレンジを拡大することができる。
【0077】また、このような撮像装置が適用される3次元形状計測装置によれば、被写体に暗い部分と明るい部分とが存在していても、ダイナミックレンジが拡大されることで被写体の3次元形状を確実に算出することができ、被写体の3次元形状を表示手段に容易に表示することができる。




 

 


     NEWS
会社検索順位 特許の出願数の順位が発表

URL変更
平成6年
平成7年
平成8年
平成9年
平成10年
平成11年
平成12年
平成13年


 
   お問い合わせ info@patentjp.com patentjp.com   Copyright 2007-2013