米国特許情報 | 欧州特許情報 | 国際公開(PCT)情報 | Google の米国特許検索
 
     特許分類
A 農業
B 衣類
C 家具
D 医学
E スポ−ツ;娯楽
F 加工処理操作
G 机上付属具
H 装飾
I 車両
J 包装;運搬
L 化学;冶金
M 繊維;紙;印刷
N 固定構造物
O 機械工学
P 武器
Q 照明
R 測定; 光学
S 写真;映画
T 計算機;電気通信
U 核技術
V 電気素子
W 発電
X 楽器;音響


  ホーム -> 計算機;電気通信 -> ミノルタ株式会社

発明の名称 3次元モデルの生成方法および装置並びにコンピュータプログラム
発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開2003−6618(P2003−6618A)
公開日 平成15年1月10日(2003.1.10)
出願番号 特願2001−193874(P2001−193874)
出願日 平成13年6月27日(2001.6.27)
代理人 【識別番号】100086933
【弁理士】
【氏名又は名称】久保 幸雄
【テーマコード(参考)】
2F065
5B050
5B057
5B080
5L096
【Fターム(参考)】
2F065 AA04 BB05 FF05 GG18 QQ31 
5B050 BA04 BA06 DA07 EA05 EA12 EA28
5B057 BA02 BA13 CA12 CA13 CA16 CB13 CB16 CD02 CD03 DA07 DC05
5B080 BA01 BA02 BA07 DA06
5L096 AA09 CA04 CA05 EA14 EA15 EA16 FA25 FA39 FA69
発明者 安永 晋 / 榊原 邦光
要約 課題
対象物を異なる視点位置から撮影して得られた複数の3次元形状データを精度よく統合して高精度の3次元モデルを生成すること。

解決手段
対象物の異なる視点位置に対応する3次元形状データおよび2次元画像を取得し、視点位置の異なる2つの2次元画像を特徴点により互いに対応付け、対応付けされた特徴点の座標を用いてカメラの回転と平行移動の方向とをパラメータとして2つの2次元画像のずれの度合いを表した評価関数が最小となるようにカメラの回転と平行移動の方向とを求め、2つの2次元画像の特徴点を用いて2つの3次元形状データ上の点を互いに対応付け、対応付けされた2つの3次元形状データ上の点の3次元座標を用いてカメラの平行移動の大きさを求め、求められたカメラの回転と平行移動の方向および大きさとに基づいて2つの3次元形状データの位置合わせを行って統合する。
特許請求の範囲
【請求項1】対象物の3次元形状データを得るために対象物を非接触で計測し且つ対象物の2次元画像を取得することの可能なカメラを用い、対象物についての3次元モデルを生成する方法であって、前記カメラによって対象物を異なる視点位置から複数回計測し、それぞれの視点位置に対応する3次元形状データおよび2次元画像を取得するステップと、視点位置の異なる2つの前記2次元画像について、複数の特徴点を抽出して互いに対応付けるステップと、対応付けされた前記特徴点の2次元座標を用いて、前記カメラの回転と平行移動の方向とをパラメータとして2つの前記2次元画像のずれの度合いを表した評価関数が最小となるように、2つの視点位置の間におけるカメラの回転と平行移動の方向とを求めるステップと、2つの前記2次元画像についての対応付けされた前記特徴点を用いて、各2次元画像と同じ視点位置で取得された2つの3次元形状データ上の点を互いに対応付けるステップと、対応付けされた2つの3次元形状データ上の点の3次元座標を用いて、2つの視点位置の間におけるカメラの平行移動の大きさを求めるステップと、求められたカメラの回転と平行移動の方向および大きさとに基づいて、2つの3次元形状データの位置合わせを行って統合するステップと、を有してなることを特徴とする3次元モデルの生成方法。
【請求項2】カメラを用いて異なる視点位置から対象物を撮影することにより取得された3次元形状データおよび2次元画像から対象物についての3次元モデルを生成する装置であって、視点位置の異なる2つの2次元画像について、複数の特徴点を抽出して互いに対応付ける手段と、対応付けされた前記特徴点の2次元座標を用いて、前記カメラの回転と平行移動の方向とをパラメータとして2つの前記2次元画像のずれの度合いを表した評価関数が最小となるように、2つの視点位置の間におけるカメラの回転と平行移動の方向とを求める手段と、2つの前記2次元画像についての対応付けされた前記特徴点を用いて、各2次元画像と同じ視点位置で取得された2つの3次元形状データ上の点を互いに対応付ける手段と、対応付けされた2つの3次元形状データ上の点の3次元座標を用いて、2つの視点位置の間におけるカメラの平行移動の大きさを求める手段と、求められたカメラの回転と平行移動の方向および大きさとに基づいて、2つの3次元形状データの位置合わせを行って統合する手段と、を有してなることを特徴とする3次元モデルの生成装置。
【請求項3】請求項2記載の3次元モデルの生成装置において、前記評価関数は、次の式【数1】

で示される。但し、【数2】

であり、(ui,vi)は、第1の視点位置での2次元画像のi番目の対応点の座標、(ui’,vi’)は、第2の視点位置での2次元画像のi番目の対応点の座標、Aはカメラの内部パラメータから定まる3×3行列、Eはカメラの回転と平行移動を表す3×3行列、Nは2次元画像の対応点の個数である。
【請求項4】前記カメラは、2次元画像を撮影することが可能な複数のカメラが所定の位置関係で固定されて構成された多眼カメラであり、前記3次元形状データは、視差を有する複数の2次元画像に基づいて3次元再構成を行うことによって取得する、請求項2記載の3次元モデルの生成装置。
【請求項5】対象物の3次元形状データを得るために対象物を非接触で計測し且つ対象物の2次元画像を取得することの可能なカメラと、視点位置の異なる2つの2次元画像について、複数の特徴点を抽出して互いに対応付ける手段と、対応付けされた前記特徴点の2次元座標を用いて、前記カメラの回転と平行移動の方向とをパラメータとして2つの前記2次元画像のずれの度合いを表した評価関数が最小となるように、2つの視点位置の間におけるカメラの回転と平行移動の方向とを求める手段と、2つの前記2次元画像についての対応付けされた前記特徴点を用いて、各2次元画像と同じ視点位置で取得された2つの3次元形状データ上の点を互いに対応付ける手段と、対応付けされた2つの3次元形状データ上の点の3次元座標を用いて、2つの視点位置の間におけるカメラの平行移動の大きさを求める手段と、求められたカメラの回転と平行移動の方向および大きさとに基づいて、2つの3次元形状データの位置合わせを行って統合する手段と、を有してなることを特徴とする3次元モデルの生成装置。
【請求項6】カメラを用いて異なる視点位置から対象物を撮影することにより取得された3次元形状データおよび2次元画像に基づいて異なる視点位置間のキャリブレーションを行う装置であって、視点位置の異なる2つの2次元画像について、複数の特徴点を抽出して互いに対応付ける手段と、2つの前記2次元画像についての対応付けされた前記特徴点を用いて、各2次元画像と同じ視点位置で取得された2つの3次元形状データ上の点を互いに対応付ける手段と、対応付けされた前記特徴点の2次元座標および3次元形状データ上の点の3次元座標を用いて、2つの視点位置の間におけるカメラの回転と平行移動とを求める手段と、を有してなることを特徴とするキャリブレーション装置。
【請求項7】1つのカメラを用いて異なる視点位置から対象物を撮影することにより取得された3次元形状データおよび2次元画像から対象物についての3次元モデルを生成するためのコンピュータプログラムであって、視点位置の異なる2つの2次元画像について、複数の特徴点を抽出して互いに対応付ける手段と、対応付けされた前記特徴点の2次元座標を用いて、前記カメラの回転と平行移動の方向とをパラメータとして2つの前記2次元画像のずれの度合いを表した評価関数が最小となるように、2つの視点位置の間におけるカメラの回転と平行移動の方向とを求める手段と、2つの前記2次元画像についての対応付けされた前記特徴点を用いて、各2次元画像と同じ視点位置で取得された2つの3次元形状データ上の点を互いに対応付ける手段と、対応付けされた2つの3次元形状データ上の点の3次元座標を用いて、2つの視点位置の間におけるカメラの平行移動の大きさを求める手段と、求められたカメラの回転と平行移動の方向および大きさとに基づいて、2つの3次元形状データの位置合わせを行って統合する手段と、を機能的に実現するための処理をコンピュータに実行させるためのコンピュータプログラム。
【請求項8】請求項7記載のコンピュータプログラムが記録されたコンピュータ読み取り可能な記録媒体。
発明の詳細な説明
【0001】
【発明の属する技術分野】本発明は、カメラを用いて対象物を異なる視点位置から撮影(計測を含む)し、これによって得られた複数の3次元形状データを統合して3次元モデルを生成する方法および装置、キャリブレーション装置、並びにコンピュータプログラムに関する。
【0002】
【従来の技術】従来より、対象物についての視差のある複数の画像(2次元画像)から3次元形状データを生成する技術が知られている。視差のある複数の画像を取得するために、複数のカメラが一体になった多眼カメラがしばしば用いられる。
【0003】多眼カメラでは、各カメラの外部パラメータ(カメラの位置姿勢)および内部パラメータ(焦点距離、画素ピッチなど)が予め校正されている。多眼カメラによって、対象物を撮影し、得られた複数の画像から対応点を検出し、三角測量の原理で3次元再構成を行って3次元形状データを得る。対応点の組をより多く検出するために、対象物にパターン光を投影して撮影する。
【0004】生成された3次元形状データに、対象物の2次元画像をマッピングすることにより、対象物についての忠実な3次元モデルが生成される。マッピングのための画像の撮影には、パターン光は邪魔になるので、3次元形状データを得るための撮影とは別に行う。
【0005】さて、対象物についての3次元モデルを生成するには、対象物について、その周囲から視点位置を変えて複数回の撮影を行う必要がある。複数回の撮影によって、視点位置の異なる複数の3次元形状データが得られ、これらを統合することによって対象物についての全体の3次元モデルが生成される。
【0006】
【発明が解決しようとする課題】しかし、3次元形状データを統合する際に、各3次元形状データのキャリブレーション、つまり各視点位置についてカメラのキャリブレーションを行う必要がある。
【0007】複数の3次元形状データ間のキャリブレーションを行うために、予め形状が分かっている標準物体を撮影し、得られた画像と標準物体上の点の座標とからカメラの投影行列を求めることが一般的に行われている。しかし、この方法では、標準物体を撮影してから目的の対象物を撮影するまでの間に、カメラを動かしてはいけない。したがって、カメラが固定されていない場合には適用できない。つまり、例えばカメラを手持ちで撮影することはできない。
【0008】カメラが固定されていない場合に、次の方法を用いる。すなわち、複数の視点位置から対象物を撮影し、複数の画像上の特徴点を対応付ける。対応付けによって複数の特徴点(対応点)の組を得る。対応点の組を用いて、第1の視点位置に対する第2の視点位置の相対的な位置および視線方向を求める。
【0009】しかし、この方法では、多くの対応点の組が必要である。但し、理論上は8個以上の組があればよいが、この方法が誤差に弱い点を考慮すると、かなり多くの対応点をとる必要がある。多くの対応点を得るためには、上に述べたようにパターン光を投影する。しかし、カメラを移動すると、カメラに付属したパターン投影装置も移動するので、対象物上のパターンの位置が移動してしまう。その結果、対応点が正しく求められない。
【0010】また、この方法には、第1の視点位置に対する第2の視点位置の回転および平行移動を求める際に、平行移動を表すベクトルには定数倍の自由度が残ってしまうという問題もある。
【0011】また、複数の3次元形状データ間のキャリブレーションを行うために、それら各3次元形状データ上の点の対応を用いる方法もある。しかし、その場合に、3次元形状データには輝度情報などがないため、対応付けを行うための特徴点の抽出が困難である。
【0012】このように、従来において、対象物を異なる視点位置から撮影して得られた複数の3次元形状データを統合する際に、キャリブレーションを行うことが容易でない。その結果、3次元形状データを精度よく統合して高精度の3次元モデルを生成することが容易でなかった。
【0013】本発明は、上述の問題に鑑みてなされたもので、対象物を異なる視点位置から撮影して得られた複数の3次元形状データを精度よく統合して高精度の3次元モデルを生成することを目的とする。
【0014】
【課題を解決するための手段】本発明に係る方法は、対象物の3次元形状データを得るために対象物を非接触で計測し且つ対象物の2次元画像を取得することの可能なカメラを用い、対象物についての3次元モデルを生成する方法であって、前記カメラによって対象物を異なる視点位置から複数回計測し、それぞれの視点位置に対応する3次元形状データおよび2次元画像を取得するステップと、視点位置の異なる2つの前記2次元画像について、複数の特徴点を抽出して互いに対応付けるステップと、対応付けされた前記特徴点の2次元座標を用いて、前記カメラの回転と平行移動の方向とをパラメータとして2つの前記2次元画像のずれの度合いを表した評価関数が最小となるように、2つの視点位置の間におけるカメラの回転と平行移動の方向とを求めるステップと、2つの前記2次元画像についての対応付けされた前記特徴点を用いて、各2次元画像と同じ視点位置で取得された2つの3次元形状データ上の点を互いに対応付けるステップと、対応付けされた2つの3次元形状データ上の点の3次元座標を用いて、2つの視点位置の間におけるカメラの平行移動の大きさを求めるステップと、求められたカメラの回転と平行移動の方向および大きさとに基づいて、2つの3次元形状データの位置合わせを行って統合するステップとを有してなる。
【0015】本発明に係る1つの実施形態による装置は、視点位置の異なる2つの2次元画像について、複数の特徴点を抽出して互いに対応付ける手段と、対応付けされた前記特徴点の2次元座標を用いて、前記カメラの回転と平行移動の方向とをパラメータとして2つの前記2次元画像のずれの度合いを表した評価関数が最小となるように、2つの視点位置の間におけるカメラの回転と平行移動の方向とを求める手段と、2つの前記2次元画像についての対応付けされた前記特徴点を用いて、各2次元画像と同じ視点位置で取得された2つの3次元形状データ上の点を互いに対応付ける手段と、対応付けされた2つの3次元形状データ上の点の3次元座標を用いて、2つの視点位置の間におけるカメラの平行移動の大きさを求める手段と、求められたカメラの回転と平行移動の方向および大きさとに基づいて、2つの3次元形状データの位置合わせを行って統合する手段とを有してなる。
【0016】
【発明の実施の形態】図1は本発明に係る生成装置1を示す図、図2は処理装置5の構成例を示すブロック図である。
【0017】図1において、生成装置1は、対象物Qを撮影するための多眼カメラ3、および処理装置5からなる。多眼カメラ3は、デジタル式の2つのカメラ3k,3lが互いに連結されて一体となった2眼カメラである。以降において、一方のカメラ3kに関する部材および要素の符号に「k」を付し、他方のカメラ3lに関する部材および要素の符号に「l(エル)」を付すことがある。
【0018】多眼カメラ3は、各カメラの内部パラメータおよび外部パラメータが予め校正され、投影行列が求められている。対象物Qを1回撮影することによって、対象物Qについての視差のある2枚の画像FDを得る。
【0019】多眼カメラ3には、対象物Qにパターン光を投影するパターン光投影装置3p、パターン光ありの撮影とパターン光なしの撮影とを連続的に実行させる連写制御部3rが設けられる。そして、多数の画像FDを記憶するメモリ、カメラパラメータを記憶するメモリ、画像FDを表示する液晶ディスプレイ、レリーズボタンなどの種々の操作ボタン、フラッシュ、入出力インタフェース、制御部、および電源部などが設けられる。
【0020】撮影された画像FD、または画像FDに編集を加えた画像は、入出力インタフェースを介して、処理装置5、その他の外部機器に転送可能である。また、画像FDを記憶したメモリを取り外すことによって外部機器に入力することも可能である。多眼カメラ3の機能の詳細については後述する。
【0021】処理装置5は、多眼カメラ3で得られた画像FDに対し、後述する種々の処理を行い、キャリブレーションを行い、3次元モデルMLを生成する。なお、処理装置5の機能を多眼カメラ3に内蔵し、多眼カメラ3において3次元モデルMLを生成するようにしてもよい。
【0022】図2に示すように、処理装置5は、装置本体10、磁気ディスク装置11、媒体ドライブ装置12、ディスプレイ装置13、キーボード14、およびマウス15などからなる。
【0023】装置本体10は、CPU、RAM、ROM、ビデオRAM、入出力ポート、および各種コントローラなどからなる。RAMおよびROMなどに記憶されたプログラムをCPUが実行することにより、以下に説明する種々の機能が実現される。
【0024】磁気ディスク装置11には、OS(Operating System) 、3次元モデルMLを生成するためのモデリングプログラムPR、その他のプログラム、入力された画像(2次元画像データ)FD、生成された3次元モデルML、その他のデータなどが格納されている。これらのプログラムおよびデータは、適時、装置本体10のRAMにローディングされる。
【0025】なお、モデリングプログラムPRには、3次元再構成処理、画像FDを対応付ける画像対応付け処理、3次元形状データDLを対応付ける3次元対応付け処理、移動量算出処理、統合処理、およびその他の処理のためのプログラムが含まれる。
【0026】媒体ドライブ装置12は、CD−ROM(CD)、フロッピィディスクFD、光磁気ディスク、コンパクトフラッシュ(登録商標)などの半導体メモリHM、その他の記録媒体にアクセスし、データまたはプログラムの読み書きを行う。記録媒体の種類に応じて適切なドライブ装置が用いられる。上に述べたモデリングプログラムPRは、これら記録媒体からインストールすることも可能である。画像FDなども記録媒体を介して入力することが可能である。
【0027】ディスプレイ装置13の表示面HGには、上に述べた種々のデータ、画像FD、モデリングプログラムPRによる処理過程の画像、生成された3次元モデルML、その他のデータまたは画像が表示される。
【0028】キーボード14およびマウス15は、ディスプレイ装置13に表示された画像FDに対して、ユーザが対応点を指定するために用いられる。その他、装置本体10に種々のデータを入力しまたは指令を与えるために用いられる。
【0029】処理装置5は、パーソナルコンピュータまたはワークステーションなどを用いて構成することが可能である。上に述べたプログラムおよびデータは、ネットワークNWを介して受信することにより取得することも可能である。
【0030】図3は多眼カメラ3で対象物Qを撮影する様子を示す図、図4は対象物Qを1回撮影する際のタイミング図、図5は3次元モデルMLの生成の流れを示す図、図6は3次元モデルMLの生成方法を説明する図である。
【0031】図3に示すように、多眼カメラ3によって、対象物Qを異なる視点位置から複数回撮影する。図の例では、第1の視点位置および第2の視点位置の2つの視点位置でそれぞれ撮影が行われる。それぞれの視点位置での撮影において、連写による2回の撮影が行われる。
【0032】図4において、多眼カメラ3のレリーズボタンを押すと、連写制御部3rの制御によって連写がスタートする。1回目の撮影ではパターン光が投影される。1回目の撮影から時間T1後に、2回目の撮影が、パターン光なしで行われる。これにより、それぞれの撮影において、2つのカメラ3k,3lによって対象物Qについての視差のある2枚の画像FDが得られる。なお、2回目の撮影では2枚の画像FDが得られるが、そのうち、基準となる一方のカメラで撮影された1枚の画像FDのみが用いられる。
【0033】図5に示すように、第1の視点位置における撮影によって、パターン光ありの視差のある2枚の画像FD1k,l、およびパターン光なし画像FD1hが得られる。
【0034】第2の視点位置における撮影によって、パターン光ありの視差のある2枚の画像FD2k,l、およびパターン光なし画像FD2hが得られる。なお、第1の視点位置を「視点1」、第2の視点位置を「視点2」、第1の視点位置における撮影を「第1撮影」、第2の視点位置における撮影を「第2撮影」、とそれぞれ記載することがある。
【0035】第1撮影および第2撮影によってそれぞれ得られた各2枚の画像FD1k,FD1lおよびFD2k,FD2lに基づいて、3次元再構成部31で3次元形状データDL1,DL2が生成される。
【0036】第1撮影および第2撮影によって得られた視点位置の異なる2つの画像FD1h,FD2hについて、対応付け部32により、複数の特徴点が抽出され互いの対応付けが行われる。なお、特徴点の抽出処理それ自体は、公知の方法により自動でまたは手動で行われる。
【0037】2つの画像FD1h,FD2hについての対応付けされた特徴点(画像対応点)PDを用いて、対応付け部33により、3次元形状データDL1,DL2上の点が対応付けられる。画像対応点PDについて、2次元座標が取得される。
【0038】つまり、対応付け部33により、画像FD1h,FD2hについての対応点PDと、2つの3次元形状データDL1,DL2上の点(3次元対応点)とが対応付けられる。3次元対応点PTについて、3次元座標が取得される。
【0039】画像対応点PDの2次元座標および3次元対応点PTの3次元座標を用いて、カメラ移動量算出部34により、2つの視点位置の間における多眼カメラ3の移動量M、つまり回転と平行移動の方向および大きさとが求められる。移動量Mを求めることが、視点位置間のキャリブレーションを行うこととなる。
【0040】カメラ移動量算出部34における移動量Mの算出方法には次の(1)(2)に示す2つの方法がある。
(1)3次元対応点PTの3次元座標のみを用いて、それらの3次元座標を用いて表される連立方程式を最小2乗法などで解くことにより、移動量Mを求める。
(2)まず、画像対応点PDの2次元座標を用いて、第1の評価関数が最小となるように、2つの視点位置の間における多眼カメラ3の回転と平行移動の方向(これらを「E」で表す)とを求める。ここでの第1の評価関数は、多眼カメラ3の回転と平行移動の方向とをパラメータとし、2つの画像FD1h,FD2hのずれの度合いを表すものを用いる。次に、3次元対応点PTの3次元座標を用いて、2つの視点位置の間における多眼カメラ3の平行移動の大きさを求める。
【0041】上に述べた(2)の方法は、例えば、画像FD1h,FD2hの一部についての画像対応点PDが、何らかの理由で3次元形状データDL1,DL2上の点と対応付けできない場合に有効である。そのような例として、多眼カメラ3が3つ以上のカメラからなる場合で、異なるカメラの組から得られた複数の3次元形状データDLの間で3次元座標が大きく異なり、データの信頼性が低いと判定された場合が挙げられる。これについては、後で説明を加える。
【0042】求められた移動量Mに基づいて、統合部35において、2つの3次元形状データDL1,DL2の位置合わせを行って統合する。これによって3次元モデルMLが生成される。必要に応じて、画像FDを3次元モデルMLにはりつける。その際に、求めた移動量Mによって、画像FDをはりつける位置を補正することにより、正確な位置にはりつけることができる。
【0043】上に述べた例では、2つの異なる視点位置から撮影して得た画像FDに基づいて処理を行った。しかし、対象物Qを、その上下方向をも含めて多数の視点位置から撮影し、得られた多数の画像FDに基づいて、上と同様の処理を繰り返すことにより、対象物Qの全体の3次元モデルMLを生成することが可能である。
【0044】次に、生成装置1における移動量Mの算出および3次元モデルMLの生成について、フローチャートを参照して説明する。図7は生成装置1における(1)の方法による3次元モデルの生成処理の流れを示すフローチャートである。
【0045】図7において、それぞれの視点位置において、多眼カメラ3により、対象物Qをパターン光ありとなしで2回撮影する(#11)。視点位置ごとに、パターン光ありで撮影した画像FDを用いて3次元再構成を行い、3次元形状データDLを得る(#12)。
【0046】2つの視点位置で得たパターン光なしの画像FDを用いて、画像対応点PDを求める(#13)。視点位置ごとに、画像対応点PDに対応する3次元形状データDL上の3次元対応点PTを求める(#14)。3次元対応点PTを用いて、視点位置間の移動量Mを求める(#15)。
【0047】以下、各ステップについてさらに詳しく説明する。以下において、多眼カメラ3のうちの特定の1つのカメラを「基準カメラ」、他のカメラを「参照カメラ」と呼称することがある。
【0048】ステップ#12において、パターン光ありの画像を用いて対応点検索を行い、その対応に基づいて、三角測距の原理で各点の3次元座標を求める。対応点検索の手法は、ブロック相関法、または勾配方程式を解く手法など、公知の手法を用いることができる。
【0049】ステップ#13において、異なる視点位置から得た基準カメラの画像FDを比較し、エッジ上の点などの特徴量が大きい特徴点(画像対応点PD)について、2つの視点位置の間の対応を求める。
【0050】ステップ#15において、ステップ#14で求めた視点位置ごとの3次元対応点PTを用いて、多眼カメラ3の移動量(回転・平行移動)Mを表す行列を、次の(1)式に示す連立方程式および拘束条件から求める。その際に、適当な評価関数を得ることにより、最小2乗法などを用いて求める。
【0051】
【数3】

【0052】なお、上の説明で「特徴点」とは3次元対応点PTのことであり、「3次元モデル」とは3次元形状データDLのことである。この方法では、理論上は3つ以上の3次元対応点PTから、行列Mを求めることができる。いずれかの視点位置における基準カメラの投影行列が分かっていれば、次の(2)式を用いてそれ以外の視点における投影行列を求めることができる。
【0053】P’=PM ……(2)
但し、P’は、第2の視点位置における基準カメラの投影行列(未知)
P は、第2の視点位置における基準カメラの投影行列(既知)
M は、(1)式で求めた回転・平行移動を表す行列(既知)
なお、カメラの内部パラメータが既知とすれば、いずれかの視点におけるカメラ座標系をすべての視点における座標系とみなすことにより、この視点における投影行列は既知であるとみなせる。
【0054】なお、投影行列については、徐剛著「3次元ビジョン」共立出版、1998年4月30日発行、第2章、第6章などを参照することができる。図8は生成装置1における(2)の方法による3次元モデルの生成処理の流れを示すフローチャートである。
【0055】図8において、ステップ#21〜23、25、27は、上に述べたステップ#11〜13、14、16と同じである。ステップ#24では、画像対応点PDに基づいて、多眼カメラ3の回転と平行移動の方向とを求める。
【0056】すなわち、第1撮影の画像FD1hについて、i番目の対応点(画像対応点)PDの座標を【0057】
【数4】

【0058】とし、第2撮影の画像FD2hについて、i番目の対応点(画像対応点)PDの座標を【0059】
【数5】

【0060】とする。各画像FD1h,FD2hの画像対応点PDの座標の集合は、【0061】
【数6】

【0062】で示される。カメラの内部パラメータから定まる3×3行列(既知)をA、カメラの回転と平行移動を表す3×3行列を(未知)をE、画像対応点PDの個数をNとすると、評価関数は次(3)式で示される。
【0063】
【数7】

【0064】そこで、(3)式を満たすEを求める。つまり、E=〔t〕x Rとなる〔t〕x およびRを求める。
【0065】得られたRは回転を表し、tは平行移動を表す。ここでは、tは方向のみが重要である。但し、Rは直交行列である。また、〔t〕x は、【0066】
【数8】

【0067】で表される行列である。つまり、対角成分が0であり、対角線に対して対称である。この方程式の形により、tには定数倍の自由度がある。このようにして、多眼カメラ3の回転と平行移動の方向とを求める。
【0068】ステップ#26において、3次元対応点PTを用いて、視点位置間の移動量Mを求める。その際に、回転を表すRはステップ#24で求められ、平行移動を表すtについても定数倍の自由度を除いてステップ#24で求められるので、ステップ#26では定数倍の部分を3次元対応点PTから求めることとなる。
【0069】このように、ステップ#24において、2つの画像FD1h,FD2hの画像対応点PDの座標に基づいてカメラの回転と平行移動の方向とを求め、3次元対応点PTからは平行移動の大きさのみを求める。このようにすることによって、3次元対応点PTから直接に移動量Rを求める場合と比較して、対象物Q上のより広い領域について正確な移動量Mを求めることができる。
【0070】その理由について以下に説明する。すなわち、図9(A)に示すように、対象物Q1を、カメラで第1の視点位置および第2の視点位置から撮影したとする。
【0071】第1の視点位置から撮影できる範囲は、図9(B)のA−B−Cの範囲であり、第2の視点位置から撮影できる範囲は、B−C−Dの範囲である。したがって、これらに共通の範囲は、B−Cの範囲である。つまり、画像FDについてはB−Cの範囲が共通であり、この範囲の領域において画像対応点PDを抽出することができる。
【0072】これに対して、カメラの視線方向と対象物Q1の法線方向のなす角が大きい部分については、精度よく3次元再構成を行うことが困難である。そのため、信頼性のある3次元形状データDLが得られる範囲は、図9(C)に示すように、第1の視点位置からはa−b−cの範囲、第2の視点位置からはb−c−dの範囲である。したがって、これらの共通の範囲は、b−cの範囲である。つまり、3次元形状データDLについてはb−cの範囲が共通であり、これら画像FDの場合のB−Cの範囲よりも狭い。この狭い範囲の領域においてのみ3次元対応点PTを抽出することができる。
【0073】そのため、3次元対応点PTについては、充分な個数を得ることができない。これに対して、画像対応点PDは充分な個数を得ることができる。そこで、まず、画像FD1h,FD2hの画像対応点PDの座標に基づいてカメラの回転と平行移動の方向とを求めておけば、あとは3次元対応点PTに基づいて平行移動の大きさを求めればよい。平行移動の大きさくらいであれば、3次元対応点PTが充分な個数でなくても、誤差が余り大きくなることなく求めることが可能である。したがって、全体として、移動量DRを精度よく求めることができる。
【0074】なお、各視点位置での3次元形状データDLを得る方法として、3次元形状データDLと画像FDとの間で対応付けが可能であれば、上に述べたステレオ画像法以外の種々の方法、例えば光切断法などによる3次元計測装置を用いて対象物から直接的に3次元形状データDLを得るようにしてもよい。
【0075】上に述べた実施形態の生成装置1によると、異なる視点位置の間の多眼カメラ3の移動量Mを精度よく求めることができる。したがって、複数の3次元形状データDL1,DL2を精度よく統合し、高精度の3次元モデルMLを生成することができる。
【0076】上に述べた実施形態においては、1回目の撮影でパターン光を投影したが、1回目の撮影ではパターン光を投影せず、2回目の撮影でパターン光を投影してもよい。また、対象物Qの形状または模様などから特徴点を抽出することができる場合には、パターン光を投影しなくてもよい。
【0077】上の実施形態において、多眼カメラ3、処理装置5、または生成装置1の全体または各部の構成、形状、個数、処理の内容または順序などは、本発明の趣旨に沿って適宜変更することができる。
【0078】
【発明の効果】本発明によると、複数の3次元形状データを精度よく統合し、高精度の3次元モデルを生成することができる。




 

 


     NEWS
会社検索順位 特許の出願数の順位が発表

URL変更
平成6年
平成7年
平成8年
平成9年
平成10年
平成11年
平成12年
平成13年


 
   お問い合わせ info@patentjp.com patentjp.com   Copyright 2007-2013