Warning: copy(.htaccess): failed to open stream: Permission denied in /home/jp321/public_html/header.php on line 8
撮像プロセス同定装置 - 株式会社日立製作所
米国特許情報 | 欧州特許情報 | 国際公開(PCT)情報 | Google の米国特許検索
 
     特許分類
A 農業
B 衣類
C 家具
D 医学
E スポ−ツ;娯楽
F 加工処理操作
G 机上付属具
H 装飾
I 車両
J 包装;運搬
L 化学;冶金
M 繊維;紙;印刷
N 固定構造物
O 機械工学
P 武器
Q 照明
R 測定; 光学
S 写真;映画
T 計算機;電気通信
U 核技術
V 電気素子
W 発電
X 楽器;音響


  ホーム -> 測定; 光学 -> 株式会社日立製作所

発明の名称 撮像プロセス同定装置
発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開平6−3132
公開日 平成6年(1994)1月11日
出願番号 特願平4−165745
出願日 平成4年(1992)6月24日
代理人 【弁理士】
【氏名又は名称】高田 幸彦
発明者 青木 利幸 / 亀島 鉱二
要約 目的


構成
照合手段4を設けて、ワイヤフレーム像と影像に写った物体像を重ね合わせることにより、各倍率に対する撮影手段1の位置を精度良く計測できる。この各倍率に対する撮影手段1の位置データに基づき、撮影手段1の位置,倍率,画面中心のずれを求める。
特許請求の範囲
【請求項1】物体を撮影し影像を生成する撮影手段、前記撮影手段の姿勢を計測する計測手段、前記物体の形状・位置の情報を有している物体情報記憶手段、影像情報を有する影像記憶手段、前記物体のワイヤフレーム像を生成するワイヤフレーム像生成手段、前記影像記憶手段より得られる影像に写った物体像と前記ワイヤフレーム生成手段より得られる前記ワイヤフレーム像を照合することにより、前記撮影手段の位置を計測する照合手段、前記影像と前記ワイヤフレーム像を表示する照合表示手段、前記撮影手段の位置・姿勢、前記照合表示手段の画面中心と前記撮像手段の光軸とのずれ、前記撮像手段の倍率の情報を有している撮像プロセス情報記憶装置、前記照合手段から得られる前記撮影手段の位置及び前記撮像プロセス情報記憶装置より得られる前記照合表示手段の画面中心と前記撮像手段の光軸とのずれ、前記撮像手段の倍率より、前記撮影手段の位置,倍率及び前記照合表示手段の画面中心と前記撮像手段の光軸とのずれの補正量を計算するパラメータ計算手段からなることを特徴とする撮像プロセス同定装置。
発明の詳細な説明
【0001】
【産業上の利用分野】本発明はプラントなどの大規模構造物の建設・保守における計測装置に関する。
【0002】
【従来の技術】プラント建設の合理化のために、特開平2−209562 号公報に記載されているアズビルドデータベースを用いた建設プロセスが提案された。このプロセスにおいては、次の技術が用いられている。
【0003】幾何モデルと単眼画像を動的に照合することにより、対象物の3次元位置を推定する技術として、次の発明がある。パターン力学の概念に基づく2自由度照合アルゴリズムが開発された。次いで、照合アルゴリズムを3自由度に拡張された。
【0004】そこで、画像を用いた計測のためのカメラの校正法としては、村井等による非測定用カメラの評定法と笹沢によるカメラのキャリブレーションがある。
【0005】前者の評定法では、写真用カメラの位置・姿勢,写真中心の主点のずれ、焦点距離,レンズの歪みを表す多項式の二つの係数,フィルムの湾曲を表す多項式の六つの係数の校正が行われた。その手法として、観測方程式の線形化を行い、地上での基準点の位置,写真上での基準点の位置をもとにして、最小二乗法による正規方程式を求め、その解より近似値の補正を行う。この作業の繰り返すことにより、未知パラメータを収束させた。
【0006】後者のキャリブレーションでは、CCDカメラを用いて、カメラの位置・姿勢,写真中心の主点のずれ,焦点距離,レンズの歪みを表す多項式の二つの係数の校正が行われた。手法としては、地上での基準点の位置,画面上での基準点の位置をもとにして、最小二乗法を用いて正規方程式を求め、正規方程式を解くことにより未知パラメータを求めた。
【0007】
【発明が解決しようとする課題】建設系作業では、作業の進行と共に構造物形状が絶えず変化する。実際、プラント等の構造物の建設に当たっては、事前に作り上げられた設計情報を工事の進行に合わせて具体化しながら、製作・搬入・取付けが行われる。このようなダイナミックな生産を一貫して支援するためには、刻々と変化する構造物の状況を絶えず設計データとして管理しなければならない。このようなダイナミックな設計情報は、アズビルドデータベースと呼ばれている。
【0008】さて、アズビルドデータベースの精度は、一般に、次の2点で規定されることになる。即ち、(1)物体の形状誤差、(2)物体の取付け誤差、である。このうち、(1)については、工場管理が可能である。したがって、本発明では(2)の問題のみを考察する。
【0009】さて、アズビルドデータベースを生成・維持するためには、頻繁に構造物を計測しなければならない。ここで、設計データが、物体の位置の予測データとして利用可能なことに着目すると、図3の様な対話型システムを構成することができる。
【0010】このシステムは次の手順で設計データベースをアズビルド化する。先ず、作業現場に設置したカメラを用いて物体を撮影し、ワークステーションの画面上に表示する。次に、設計データベースを検索し、計測対象物体のデータ(クラス)から対象物体の位置・姿勢情報(物体記述)を取り出し、コンピュータ・グラフィックスの手法を用いて物体のワイヤフレーム像を生成する。このワイヤフレーム像は、物体像に重ねて表示する。操作者は、このワイヤフレーム像と物体像を画面上で照合することにより、物体の位置を修正する。このように更新された位置データを用いて、現実に対応する物体データ(インスタンス)を作り出す。この手法を物体ごとに繰り返すことにより、時々刻々変化する構造物の状況がダイナミックな設計情報として管理されることになる。
【0011】図3に示す方法で物体モデルと物体画像を照合した場合、カメラ位置を基準とした物体位置が決定されることになる。この様なカメラ座標基準の位置・姿勢に関しては、自動計測アルゴリズムが開発され、精度確認もなされている。
【0012】従来技術では、画像上での基準点の位置に基づいて、カメラの校正が行われるため、この基準点の画面上の計測精度は画面の分解能を超えることはない。このため、画面の分解能以上の精度を出すには、基準点を多く計測しなければならない。
【0013】本発明の目的は、統計効果により精度良く計測できるパターン照合を用い、撮影手段の位置,倍率,画面中心のずれを精度良く求める撮像プロセス同定装置及び手順を提供することにある。
【0014】
【課題を解決するための手段】上記目的を達成するため、本発明の撮像プロセス同定装置は物体を撮影し影像を生成する撮影手段、前記撮影手段の姿勢を計測する計測手段、物体の形状・位置の情報を有している物体情報記憶手段、影像情報を有する影像記憶手段、物体のワイヤフレーム像を生成するワイヤフレーム像生成手段、前記影像記憶手段より得られる影像に写った物体像と前記ワイヤフレーム生成手段より得られるワイヤフレーム像を照合することにより、前記撮影手段の位置を計測する照合手段、前記影像と前記ワイヤフレーム像を表示する照合表示手段、前記撮影手段の位置・姿勢、前記照合表示手段の画面中心と前記撮像手段の光軸とのずれ、前記撮像手段の倍率の情報を有している撮像プロセス情報記憶装置、前記照合手段から得られる前記撮影手段の位置及び前記撮像プロセス情報記憶装置より得られる前記照合表示手段の画面中心と前記撮像手段の光軸とのずれ、前記撮像手段の倍率より、前記撮影手段の位置,倍率及び前記照合表示手段の画面中心と前記撮像手段の光軸とのずれの補正量を計算するパラメータ計算手段からなる。
【0015】
【作用】照合手段を設け、ワイヤフレーム像と物体像を重ね合わせることにより、各倍率に対する撮影手段の位置を精度良く計測することができる。この各倍率に対する撮影手段の位置データに基づき、撮影手段の位置,倍率,画面中心のずれを求める。
【0016】
【実施例】先ず、撮像プロセスの数理モデルの導出を行う。
【0017】カメラの位置・姿勢は計測毎に変化するため、カメラと測量機を組み合わせた装置を用いた。
【0018】撮像装置は次の過程を経て影像を作り出す。先ず受光段階で像は幾何学的な変換を受ける。この変換はレンズ及び受光素子の位置と大きさによって定まる。次に、像は電気的信号に変換され、ディスプレイに表示される。この段階で、像には電気的変形が発生する。本発明では、以上の像発生過程を次のようにモデル化する。
【0019】本装置では、構造上測量機中心とカメラ中心とが異なる。この偏差(カメラオフセット)を用いると、計測座標からカメラ座標への変換は次式で表される。
【0020】
【数1】

【0021】但し、α,β,γ,emx,emy,emzはカメラオフセットである。本装置では、角度オフセット(α,β)は0に設計してある。レンズが歪みを持たないとすると受光素子上の像は次式にしたがって作られることになる。
【0022】
【数2】

【0023】ここで、crx、及び、cryは、x、y方向のレンズ倍率である。ここで、レンズに対する受光素子のずれを考慮すると、受光素子の出力する像は次式で表現できる。
【0024】
【数3】

【0025】ここに、esx、esyは受光素子のずれを表すものである。受光素子の出力像は、光電変換及び電気的変換を経てワークステーションのメモリに格納される。このような変換において、画像の中心の変位および倍率の変化が生じる。このような画像の歪みは次式で表現することができる。
【0026】
【数4】

【0027】ここで、eix、eiyは受光素子中心と画像中心とのずれを、cix、ciyは受光素子と画像との倍率を表している。本装置の像はワークステーションのメモリ上に記憶され、同じメモリ上に生成されるワイヤフレーム像と照合される。したがって、ブラウン管の歪みは、原理的に考慮する必要がない。以上をまとめると、次式が得られる。
【0028】
【数5】

【0029】
【数6】

【0030】ここに、x,y,z :測量機に固定された座標系に関する物体位置xm,ym,zm :カメラ座標系に関する物体位置xi,yi :画面座標系に関する物体像の位置である。また、emx,emy,emz:測量機座標系に関するカメラの位置α,β,γ :測量機座標系に関するカメラの姿勢cx,cy :レンズ,光電変換,電気的変換を合わせた倍率ex,ey :画面座標系に関する光軸の変位であり、いずれも撮像装置の組立・設置状態に依存して変化するパラメータである。建設・保守作業環境では、撮像装置の厳格な管理は実際的ではないことを考慮して、本発明では、これらemx,emy,emz,α,β,γ,cx,cy,ex,eyを未知パラメータとして扱う。
【0031】さて、数5の未知パラメータ中のemx,emy,emzは計測システムの保守条件に依存するため、精度管理が容易でない。また、数6のcx,cyは、映像の電気的変位に依存するため、カメラとワークステーションの組み合わせにより、ばらつきが生じると予想される。但し、数5のα,β,γおよび数6のex,eyは、カメラ単体の組立精度のみにより決定されるため、比較的に誤差が小さいと考えられる。そこで、本発明では、α,βをex,eyに含めて同定することにする。このα,βをex,eyに含めたことによる誤差については、通常の計測条件では、カメラ光軸と測量器光軸とのずれ角は十分小さいと期待できる。このことに着目して、数5および数6のex を次式で定義されるetxで置き換える。また、γについてはワイヤフレームを物体像とを重ね合わせることにより求める。
【0032】このように未知パラメータを整理した場合には、撮像プロセスのモデルは次のように単純化される。
【0033】
【数7】

【0034】
【数8】

【0035】この時、未知パラメータはθ=(emx,emy,emz,cx,cy,ex,ey)となる。
【0036】
【数9】

【0037】但し、αはずれ角である。この時、画面中心と画面端の間には、高々次式で表される測定誤差erαが現われる。
【0038】
【数10】

【0039】ここで、θsはカメラの視野角を、zmはカメラと対象物体との距離である。今、θs =20度,zm =5000mmとし、θ=0.1 度としたとき、測定誤差は0.27mm となる。したがって、この置き換えによる誤差は、通常の建設系作業では許容範囲にあると考えられる。
【0040】数7および数8を用いると撮像プロセスをシミュレートすることができる。言い換えれば、数7および数8を用いて生成される対象物のワイヤフレームと物体像を重ね合わせることにより、対象物と撮像装置の相対的な位置・姿勢が検出できることになる。本発明では、このことを利用して、数7および数8の未知パラメータを同定する。
【0041】さて、対象物のワイヤフレームと物体像を重ね合わせる時、次の二つの原理が成立する。
【0042】(1)位置・姿勢の既知の物体像と、同一条件で生成したワイヤフレーム像は一致する。
【0043】(2)カメラ位置・姿勢の変化により、ワイヤフレーム像と物体像のずれには特有のパターンが生じる(図4参照)。
【0044】図4の説明を行う。物体に対して、カメラの位置・姿勢が変化したとき、移動形態に対応して特有の画像の歪みが生じる。この歪みはオプティカルフローと呼ばれる。オプティカルフローが入手できる場合には、カメラの移動量fを逆算できる。但し、zはオプティカルフローであり、um,urは画像及び物体モデルの拡散像を表す。また、γはゲインマトリクスである。
【0045】この原理に基づいて、撮像プロセスモデル数7および数8を同定する方法を考察する。問題は、x、y、zとxi、yiを与えて(すなわち形状・位置・姿勢が既知の物体像を用いて)、パラメータθ=(emx,emy,emz,cx,cy,ex,ey )を求めることにある。
【0046】さて、数7および数8は、xi,yiが未知パラメータに非線形に依存することを示している。このような状況では、パラメータ推定が困難となる。実際パラメータemxとex,emyとeyの変化に対してワイヤフレーム像は同傾向のずれを生じるため、照合時の切り分けができない。そこで、本発明では、繰り返し計算により、各未知パラメータを分解しながら推定することを試みた。
【0047】本発明で導入した繰り返し計算の原理を図6に示す。
【0048】図5には、簡単のためにx−zの関係のみが表示されている。繰り返し計算は以下のような手順で実行する。先ず、ex に初期値0を与え、物体1・2を計測する。但し、物体1は近傍に、物体2は遠方に配置するものとする。この時、各物体像は次式で表される位置に現われるはずである。
【0049】
【数11】

【0050】
【数12】

【0051】ところで、cxとemx,cxとemzの間には次の関係が成立する。
【0052】
【数13】

【0053】
【数14】

【0054】ただし、【0055】
【数15】

【0056】
【数16】

【0057】
【数17】

【0058】
【数18】

【0059】である。今、上記のように遠近二つの物体に関して倍率cx を変化させながら照合操作を行うと、数13および数14は2本のグラフを作り出すことになる。さて、これらの二本のグラフの交点に対応する倍率cxは、初めに設定したexが真値の場合には一致するはずである。換言すれば、cxの不一致はexの不一致を表している。この点に着目して、cxが一致しない場合には、exを次式にしたがって補正する。
【0060】
【数19】

【0061】但し、zm1,zm2はカメラ中心から各モデルまでの距離を、nはex を求める作業の繰返し回数を表している。この補正されたex を用いて、数11以下を繰り返す。この繰り返しが収束する場合には、全てのパラメータが推定されたことになる。
【0062】本発明の一実施例を図1により説明する。本発明例は、撮影手段1と、計測手段2と、計測手段2と接続された撮像プロセス情報記憶装置6と、撮像プロセス情報記憶装置6と接続されたワイヤフレーム像生成手段3と、撮影手段1とワイヤフレーム像生成手段3と接続された照合手段4と、照合手段4とワイヤフレーム像生成手段3と接続されたパラメータ計算手段5と、ワイヤフレーム像生成手段3と接続された物体情報記憶手段7と、撮影手段1と照合手段4と接続された影像情報記憶装置8を備えている装置を用いる。
【0063】撮影手段1では、対象物体を撮影する。計測手段2は、撮影手段1を組み合わされ、撮影手段1の姿勢を計測する。撮像プロセス情報記憶装置6は、撮影手段の位置・姿勢,画面中心の主点のずれ,焦点距離の情報を有している。ワイヤフレーム像生成手段3では、撮像プロセス上方と物体情報より、ワイヤフレーム像を生成する。照合手段4では、映像とワイヤフレーム像を照合することにより、撮影手段の位置を計測する。パラメータ計算手段5では、撮影手段の位置とその時の焦点距離より、撮影手段の位置,焦点距離と画面中心の補正量を計算する。物体情報記憶手段7では、物体の形状・位置の情報を有している。影像情報記憶手段8では、影像の情報を有している。
【0064】図1の撮像プロセス同定装置を用いて、図2に示す手順で撮像プロセスの同定を行う。
【0065】撮影手段との距離の異なる既知物体1・2を撮影する(ステップ1)。次に撮影手段の姿勢を、計測手段により計測する(ステップ2)。そして、照合手段および照合表示手段において、ワイヤフレームを物体像とを重ね合わせることにより、γを求める(ステップ3)。また、照合手段および照合表示手段において、画面中心のずれexを固定して、倍率cxを変化させながら物体1を計測する。具体的には、各倍率cx に対して、撮影手段の位置の横方向の値emx、撮影手段の位置の奥行き方向の値emzを計測する。この作業は、数11において、画面中心のずれex,倍率cxより、撮影手段の位置の横方向の値emx、撮影手段の位置の奥行き方向の値emzを求めることに対応する(ステップ4)。ステップ5では、物体2についてステップ4の作業を行う。この作業により、数12において、画面中心のずれex,倍率cxより、撮影手段の位置の横方向の値emx,撮影手段の位置の奥行き方向の値emzが求められたことになる。
【0066】ステップ6で、パラメータ計算手段において、物体1・2に対して最小2乗法を用いて、倍率cx と撮影手段の位置の奥行き方向の値emzの間の正規方程式をそれぞれ求め、これらの正規方程式の解を求める。この解を倍率cx の推定値とする。この作業は、物体1・2に対して数14のa1,b1を求め、これらの式の解を求めることに対応している。
【0067】ステップ7;パラメータ計算手段において、物体1・2に対して最小2乗法を用いて、倍率cx と撮影手段の位置の奥行き方向の値emzの間の正規方程式をそれぞれ求め、物体1・2に関して倍率の推定値cx に対する撮影手段の位置の横方向の値emx1,emx2を求める。この作業は、物体1・2に対して数13のa2,b2を求め、これらの式における倍率の推定値cxに対する撮影手段の位置の横方向の値を求めることに対応している。
【0068】ステップ8;倍率の推定値cxに対する撮影手段の位置の横方向の値emx1 ,emx2の差が0.5mm以内である場合、計算を終了する。そうでない場合には数19を用いて、画面中心のずれex の補正を行い、ステップ4へ戻る。
【0069】y−zの計測にかかわるパラメータに関してもステップ4からステップ8の手順で、撮像プロセスてを同定する。
【0070】
【発明の効果】本発明によれば、パターン照合により、撮影手段の位置,倍率,画面中心のずれに関して精度向上が図られる。また、パラメータ推定に必要な測定点の個数が少なく、撮影時の作業が減少する。




 

 


     NEWS
会社検索順位 特許の出願数の順位が発表

URL変更
平成6年
平成7年
平成8年
平成9年
平成10年
平成11年
平成12年
平成13年


 
   お問い合わせ info@patentjp.com patentjp.com   Copyright 2007-2013