米国特許情報 | 欧州特許情報 | 国際公開(PCT)情報 | Google の米国特許検索
 
     特許分類
A 農業
B 衣類
C 家具
D 医学
E スポ−ツ;娯楽
F 加工処理操作
G 机上付属具
H 装飾
I 車両
J 包装;運搬
L 化学;冶金
M 繊維;紙;印刷
N 固定構造物
O 機械工学
P 武器
Q 照明
R 測定; 光学
S 写真;映画
T 計算機;電気通信
U 核技術
V 電気素子
W 発電
X 楽器;音響


  ホーム -> 計算機;電気通信 -> クラリオン株式会社

発明の名称 カメラ補正装置及びカメラ補正方法
発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開2007−96964(P2007−96964A)
公開日 平成19年4月12日(2007.4.12)
出願番号 特願2005−285531(P2005−285531)
出願日 平成17年9月29日(2005.9.29)
代理人 【識別番号】100081961
【弁理士】
【氏名又は名称】木内 光春
発明者 奥山 義隆
要約 課題
実際のカメラ取付けパラメータを精度よく求め、マーカ表示や画像処理の精度を向上させることができるカメラ補正装置及びカメラ補正方法を提供する。

解決手段
車輌に設置されたカメラ1、制御部2、デフォルトパラメータ保存メモリ3、描画部4、モニタ5、外部入力インタフェース6を備える。制御部2は、デフォルトパラメータ保存メモリ3に保存されたデフォルトのカメラパラメータに基づいて、調整パターンをイメージした調整マーカの描画データを生成するマーカ生成部21、外部入力インタフェース6からの入力に応じて、デフォルトパラメータに対する角度調整幅を判定し、調整された新たなデフォルトパラメータを算出するパラメータ演算部22を含む。
特許請求の範囲
【請求項1】
移動体に取り付けられたカメラと、
前記カメラの調整用のパラメータを記憶するパラメータ記憶手段と
前記パラメータに基づいて、調整の指標となる調整マーカを生成するマーカ生成手段と、
前記調整マーカと前記カメラで撮影された調整パターンとを重畳表示する表示装置と、
前記調整マーカ及び前記調整パターンの表示が合うように指示入力する入力手段と、
前記入力手段からの指示入力に応じて、パラメータを演算するパラメータ演算手段とを有することを特徴とするカメラ補正装置。
【請求項2】
前記パラメータ記憶手段には、初期状態ではデフォルトのパラメータが記憶され、前記パラメータ演算手段による演算結果に応じて、パラメータを更新するように設定されていることを特徴とする請求項1記載のカメラ補正装置。
【請求項3】
前記パラメータ演算手段は、ロール角と、ヨー角と、ピッチ角とを用いて、回転角度を算出し、パラメータを補正するように設定されていることを特徴とする請求項1又は請求項2記載のカメラ補正装置。
【請求項4】
パラメータ記憶手段が、移動体に取り付けられたカメラの調整用のパラメータを記憶し、
マーカ生成手段が、前記パラメータに基づいて、調整の指標となる調整マーカを生成し、
表示装置が、前記調整マーカと前記カメラで撮影された調整パターンとを重畳表示し、
入力手段が、前記調整マーカ及び前記調整パターンの表示が合うように指示入力し、
パラメータ演算手段が、前記入力手段からの指示入力に応じて、パラメータを演算することを特徴とするカメラ補正方法。
【請求項5】
前記パラメータ記憶手段は、
初期状態ではデフォルトのパラメータを記憶し、
前記パラメータ演算手段による演算結果に応じて、パラメータを更新することを特徴とする請求項4記載のカメラ補正方法。
【請求項6】
前記パラメータ演算手段は、
ロール角と、ヨー角と、ピッチ角とを用いて、回転角度を算出し、パラメータを補正することを特徴とする請求項4又は請求項5記載のカメラ補正方法。
発明の詳細な説明
【技術分野】
【0001】
本発明は、例えば、車輌などの移動体に取り付けられるカメラの調整技術に係り、特に、カメラの取付けパラメータを調整するためのカメラ調整装置及びカメラ調整方法に関するものである。
【背景技術】
【0002】
車載カメラは、当初、運転者の死角となる箇所などの視認用に設置されており、単に生カメラ映像を内部の車載モニタに表示させていた。そして、利便性を向上させるため、歪みの少ない実カメラ映像上に、視認の目安となるような固定距離マーカを表示することなども行われるようになった。かかるカメラの調整に当たっては、カメラ映像を最終的に表示するモニタ上において、固定マーカの描画領域を調整するだけで十分であった。
【0003】
例えば、車輌の組立工場や修理工場等において、カメラを設置固定した後に、カメラ光軸の軸回りの回転調整及び上下・左右の位置角度調整(方向調整)を電子ソフト的に実行するキャリブレーションを、調整作業者の手入力によって行う技術が提案されている(特許文献1)。
【特許文献1】特開2005−77107号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
ところで、現在、車載カメラに使用されるレンズは視野の広いものが増えており、また生映像だけでなく視点変換等の様々な画像処理や、さらには車輌情報を利用して予測軌跡距離マーカを表示するといった機能を持つシステムも存在している。これらのシステムにおいては、カメラパラメータの誤差があると、それぞれの機能を十分に発揮できない。
【0005】
しかし、これらのシステムにおけるカメラパラメータの誤差は、従来のようなモニタ上での描画領域の変更では調整しきれない。これに対処するためには、システムの根幹となるカメラパラメータをキャリブレーションにより取得することが重要となる。しかし、従来技術ではそのようなカメラパラメータを取得することは不可能であった。
【0006】
本発明は、上記のような従来技術の問題点を解決するもので、その目的は、実際のカメラ取付けパラメータを精度よく求め、マーカ表示や画像処理の精度を向上させることができるカメラ補正装置及びカメラ補正方法を提供することにある。
【課題を解決するための手段】
【0007】
上記の目的を達成するため、請求項1の発明は、移動体に取り付けられたカメラと、前記カメラの調整用のパラメータを記憶するパラメータ記憶手段と、前記パラメータに基づいて、調整の指標となる調整マーカを生成するマーカ生成手段と、前記調整マーカと前記カメラで撮影された調整パターンとを重畳表示する表示装置と、前記調整マーカ及び前記調整パターンの表示が合うように指示入力する入力手段と、前記入力手段からの指示入力に応じて、パラメータを演算するパラメータ演算手段とを有することを特徴とする。
【0008】
請求項4の発明は、請求項1の発明を方法の観点から捉えたものであり、パラメータ記憶手段が、移動体に取り付けられたカメラの調整用のパラメータを記憶し、マーカ生成手段が、前記パラメータに基づいて、調整の指標となる調整マーカを生成し、表示装置が、前記調整マーカと前記カメラで撮影された調整パターンとを重畳表示し、入力手段が、前記調整マーカ及び前記調整パターンの表示が合うように指示入力し、パラメータ演算手段が、前記入力手段からの指示入力に応じて、パラメータを演算することを特徴とする。
【0009】
以上のような発明では、カメラで撮像した調整パターンと、カメラパラメータに基づいて生成された調整マーカを用いて、2つの画像が一致するように、入力手段によって調整していくことにより、パラメータを精度よく求めることができるので、マーカや画像処理の精度が向上する。
【0010】
請求項2の発明は、請求項1のカメラ補正装置において、前記パラメータ記憶手段には、初期状態ではデフォルトのパラメータが記憶され、前記パラメータ演算手段による演算結果に応じて、パラメータを更新するように設定されていることを特徴とする。
【0011】
請求項5の発明は、請求項2の発明を方法の観点から捉えたものであり、請求項4のカメラ補正方法において、前記パラメータ記憶手段は、初期状態ではデフォルトのパラメータを記憶し、前記パラメータ演算手段による演算結果に応じて、パラメータを更新することを特徴とする。
【0012】
以上のような発明では、初期状態ではデフォルトのパラメータを用いて調整し、調整結果を保存し、これを次のパラメータとすることにより、常に最新状態での調整が可能となる。
【0013】
請求項3の発明は、請求項1又は請求項2のカメラ補正装置において、前記パラメータ演算手段は、ロール角と、ヨー角と、ピッチ角とを用いて、回転角度を算出し、カメラパラメータを補正するように設定されていることを特徴とする。
【0014】
請求項6の発明は、請求項3の発明を方法の観点から捉えたものであり、請求項4又は請求項5記載のカメラ補正方法において、前記パラメータ演算手段は、ロール角と、ヨー角と、ピッチ角とを用いて、回転角度を算出し、カメラパラメータを補正することを特徴とする。
【0015】
以上のような発明では、ロール角と、ヨー角と、ピッチ角を用いることにより、カメラの姿勢を一意に決定可能な精度の高い演算が可能となる。
【発明の効果】
【0016】
以上のような本発明によれば、実際のカメラ取付けパラメータを精度よく求め、マーカ表示や画像処理の精度を向上させることができるカメラ補正装置及びカメラ補正方法を提供することができる。
【発明を実施するための最良の形態】
【0017】
次に、本発明を実施するための最良の形態(以下「実施形態」と呼ぶ)について図面を参照して具体的に説明する。なお、本実施形態は、マイクロコンピュータ、各種メモリ、入出力装置等をプログラムで制御することで実現できるが、この場合のハードウェアやプログラムの実現態様は各種変更可能である。したがって、以下の説明では、本発明及び本実施形態の各機能を実現する仮想的回路ブロックを用いる。
【0018】
[実施形態の概要]
車載カメラにおいては、取付け位置並びに取付け角度というパラメータが存在する。工業製品の取付け位置精度の誤差によるカメラ画像の誤差はそれほど大きなものではないと考えられるが、取付け角度精度の誤差がある場合、撮像方向の相違が著しくなるため、カメラ画像のずれはかなり大きくなると考えられる。
【0019】
本実施形態は、実際のカメラの画像に対して、仮想カメラパラメータから描かれたシミュレーション画像(調整マーク)を、仮想カメラパラメータを微調整しながら重ね合わせていき、実際のカメラ画像とシミュレーション画像とが最適に重なり合ったと判断した際のカメラ取付けパラメータを演算によって割り出して、これを実際のカメラ取付け角度パラメータとするものである。
【0020】
[1.実施形態の構成]
次に、本実施形態の構成を、図1及び図2を参照して説明する。すなわち、本実施形態は、図1に示すように、車輌に設置されたカメラ(車載カメラ)1、マイクロコンピュータによる制御部2、デフォルトパラメータを保存するためのデフォルトパラメータ保存メモリ3、表示データを描画する描画部4、描画部4により描画されたデータを表示するモニタ5、ユーザが調整を行うための外部入力インタフェース6を備えている。
【0021】
カメラ1の車輌との位置関係を、図2に例示する。ここで、任意の一点(例えば、リアシャフト中心から垂線を下ろした地面上の点)を座標原点とし、基本姿勢(例えば垂線方向で地面向き)を決定しておくことで、この車輌に取付けられるカメラ1の位置・姿勢は表現できるため、リアカメラ・サイドカメラ等の車輌に対する設置場所による区別はない。
【0022】
そして、カメラ1の姿勢は一般的にロール・ピッチ・ヨー角を用いて回転角度(θ、φ、ψ)で表され、これにより姿勢は一通りに決定される。つまり、いかように回転して姿勢を変えたカメラ1に対しても、このフォーマットに即したカメラパラメータを用意することが可能である。これを利用すると、既にデフォルトパラメータによりカメラ1の姿勢を変更した(θ、φ、ψで回転した)後、更に何らかの回転を加えたカメラ1の姿勢であっても、異なる任意のθ、φ、ψによって、新たな姿勢を表現することが可能となる。
【0023】
制御部2は、プログラムにより実現される機能として、マーカ生成部21とパラメータ演算部22を含んでいる。マーカ生成部21は、デフォルトパラメータ保存メモリ3に保存されたデフォルトのカメラパラメータに基づいて、調整パターンをイメージした調整マーカの描画データを生成する手段である。パラメータ演算部22は、外部入力インタフェース6からの入力に応じて、デフォルトパラメータに対する角度調整幅を判定し、調整された新たなデフォルトパラメータを算出する手段である。
【0024】
描画部4は、制御部2において生成された描画データを保存する描画データメモリ41と、描画データメモリ41に保存されたデジタルの描画データが、カメラ1からのアナログの実カメラ映像に重なるように合成(スーパーインポーズ)する描画ブロック42を有している。モニタ5は、LCD等の車載用の表示装置であり、描画ブロック42で合成された画像を表示する。外部入力インタフェース6は、調整マーカが実画像の調整パターンと一致するように指示入力する手段である。なお、外部入力インタフェース6としては、スイッチやカーソル等を備えたリモコンとすることもできるが、タッチパネルの機能を備えたモニタ5に兼用させることもできる。この場合、制御部2は、操作用の描画データを生成する機能を備える。例えば、表示されたボタンや矢印等に触れることにより、調整対象に所定量の変化が生じるように設定することが考えられる。
【0025】
[2.実施形態の作用]
[処理の流れ]
以上のような本実施形態によるカメラパラメータ調整手順を、図3のフローチャートに従って説明する。まず、初期状態として、車輌後方にキャリブレーションを実行するに相応しい何らかの調整パターンを用意する。この調整パターンは、車輌からの距離等の情報は既知であるものとする。マーカ生成部21は、デフォルトパラメータ保存メモリ3に保存されたデフォルトのカメラパラメータを読み出して(ステップ301)、これに基づいて、調整パターンをイメージした調整マーカを生成する(ステップ302)。生成された調整マーカは描画データメモリ41に描画され、描画ブロック42において、カメラ1が調整パターンを撮影した映像と合成され、モニタ5に表示される(ステップ303)。
【0026】
デフォルトのカメラパラメータが実際の取付け角度パラメータからずれているとすると、図4に示すように、調整パターンに対して、調整マーカがずれた映像が得られているはずである。この例では、調整パターンは、車輌後方の地面に定型のマットを並べることによって市松模様を構成している。また、調整マーカは、各マットの辺に対応する格子状の枠線である。そこで、これを見たユーザは、外部入力インタフェース6を用いて操作入力することにより、実際の調整パターンを写した映像に調整マーカを合わせていく(ステップ304)。つまり、ユーザが操作するごとに、後述するパラメータ演算部22によるデフォルトパラメータの読み出し(ステップ305)、回転行列の演算が行われる(ステップ306)。そして、マーカ生成部21により操作後の調整マーカが生成され(ステップ307)、モニタ5に表示される(ステップ308)。さらに、回転後の角度の算出(ステップ309)が行われ、最新のデフォルトパラメータに置きかわる。
【0027】
これを見たユーザは、図5に示すように、調整マーカが調整パターンに一致している場合には、外部入力インタフェース6を用いて調整の終了を指示入力する(ステップ310)。すると、ステップ309で演算されていたデフォルトパラメータが、デフォルトパラメータ保存メモリ3に保存される(ステップ311)。調整マーカが調整パターンに一致していない場合には、ステップ304以降の処理を繰り返す。このように、カメラ1のデフォルトパラメータを変化させて最適な角度を推定していくことになる。
【0028】
[演算処理]
以上のようなカメラパラメータの調整は、回転行列の演算により行われるが、その具体的な方法を次に説明する。まず、カメラ1はデフォルトパラメータの回転角度(θ、φ、ψ)が与えられ、任意の点は、数学的には次のような回転行列Rの演算により姿勢変換後の座標を得る。なお、Xinは姿勢回転前の座標点であり、 Xoutはカメラパラメータで姿勢回転後の座標点である。
【0029】
【数1】


【数2】


【0030】
このように、変換対象に対して、回転行列を左からψ・θ・φの順に演算している。回転行列RDを計算すると次のようになっている。
【数3】


【0031】
この回転行列に角度のデフォルトパラメータを代入した後、座標に対して演算させることで回転が実行される。
【0032】
キャリブレーションをする際には、この状態から更に回転を加えて調整をすることになるが、例えばψ(光軸)を軸にΔψだけ回転させる場合には回転行列R(Δψ)を左から追加して次のような計算になる。
【数4】


【0033】
ここで、(θ0、φ0、ψ0、Δψ)はそれぞれ具体的な数値が与えられるので、変数を用いることなく、3×3行列で表すことができる。
【0034】
また、どのような姿勢変換も任意のθ、φ、ψによって表現することが可能であるから、RDa=RDとすると調整後のカメラ1の姿勢もθ、φ、ψによって表現することが可能である。
【0035】
実際には、
【数5】


として、RDa=RDから必要部分だけ切り出すと、
【数6】


と、恒等式が与えられる。
【数7】


【0036】
ここから、カメラ角度の基本的な条件が0°≦θ<90°,−90°<φ・ψ<90°であることを利用して、計算を進める。なお、この例は、リアカメラの場合である。サイドカメラになるとψの範囲は変化するが、角度の調整幅がそれほど大きくなるとは考え難い。
【数8】


【0037】
以上のようにして得られたカメラ取付け角度を、デフォルトパラメータと置き換える。これで、1つの角度の調整が終了するか、いずれかの外部入力インタフェース(ボタンなど)6を1回操作した際の調整が反映される。
【0038】
この操作を繰り返すことで、モニタ5を見ながら常に最新状態からの位置合わせが実現できる。最終的に、地面に用意された調整パターンに対して画面上の調整パターンが重なった時のパラメータが、車輌に取り付けられたカメラ1の実際の取付け角度となる。この最終的なカメラ取付け角度をデフォルトパラメータ保存メモリ3に保存し、カメラ取付け角度パラメータとすることで、キャリブレーションが完了する。
【0039】
[3.実施形態の効果]
以上のような本実施形態によれば、カメラ1で撮像した調整パターンと、カメラパラメータに基づいて生成された調整マーカを用いて、2つの画像が一致するように、外部入力インタフェース6によって調整していくことにより、カメラパラメータを精度よく求めることができるので、可変のマーカや画像処理の精度が向上する。従って、例えば、本実施形態を使用し、ヘッドアップディスプレイ(モニタ)上に安全車間距離ラインを表示することで、運転手に対して認識しやすく視界内で邪魔にならないシンプルな注意喚起を行うことが可能になる。これにより、運転の支援が行われ追突事故の可能性の減少が図られる。
【0040】
また、初期状態ではデフォルトのパラメータを用いて調整し、調整結果を保存し、これを次のパラメータとすることにより、常に最新状態での調整が可能となる。さらに、ロール角、ヨー角、ピッチ角を用いることにより、カメラの姿勢を一意に決定可能なパラメータを効率よく演算できる。
【0041】
[4.他の実施形態]
なお、本発明は上記実施形態に限定されるものではない。すなわち、使用するカメラ、モニタの数、種類、仕様、規格等は自由である。カメラやモニタの設置位置や設置角度も自由である。調整パターンや調整マークの態様も、上記の実施形態で例示したものには限定されない。入力手段についても、ユーザが操作入力可能なものであればよい。従って、表示された調整マーク自体をタッチして調整するようにしてもよい。本発明を、車載用のコンピュータ(ナビゲーションシステムや音響機器としての機能を備えたもの等)において実現してもよい。また、本発明はあらゆる車輌に適用可能であるが、その他の移動体に適用してもよい。さらに、本発明は、上記のような処理をコンピュータに実行させるプログラム、そのようなプログラムを記録したコンピュータ読取可能な記憶媒体としても把握できる。
【図面の簡単な説明】
【0042】
【図1】本発明の実施形態の構成を示す簡略ブロック図である。
【図2】本発明の実施形態に用いる車載カメラの設置例を示す説明図である。
【図3】本発明の実施形態におけるカメラパラメータ調整手順を示すフローチャートである。
【図4】本発明の実施形態における調整マーカと調整パターンのずれの表示画面例を示す説明図である。
【図5】本発明の実施形態における調整マーカと調整パターンの一致した表示画面例を示す説明図である。
【符号の説明】
【0043】
1…カメラ
2…制御部
3…デフォルトパラメータ保存メモリ
4…モニタ
4…描画部
5…モニタ
6…外部入力インタフェース
21…マーカ生成部
22…パラメータ演算部
41…描画データメモリ
42…描画ブロック




 

 


     NEWS
会社検索順位 特許の出願数の順位が発表

URL変更
平成6年
平成7年
平成8年
平成9年
平成10年
平成11年
平成12年
平成13年


 
   お問い合わせ info@patentjp.com patentjp.com   Copyright 2007-2013