米国特許情報 | 欧州特許情報 | 国際公開(PCT)情報 | Google の米国特許検索
 
     特許分類
A 農業
B 衣類
C 家具
D 医学
E スポ−ツ;娯楽
F 加工処理操作
G 机上付属具
H 装飾
I 車両
J 包装;運搬
L 化学;冶金
M 繊維;紙;印刷
N 固定構造物
O 機械工学
P 武器
Q 照明
R 測定; 光学
S 写真;映画
T 計算機;電気通信
U 核技術
V 電気素子
W 発電
X 楽器;音響


  ホーム -> 計算機;電気通信 -> 日産自動車株式会社

発明の名称 画像合成装置および画像合成方法
発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開2003−111074(P2003−111074A)
公開日 平成15年4月11日(2003.4.11)
出願番号 特願2001−304830(P2001−304830)
出願日 平成13年10月1日(2001.10.1)
代理人 【識別番号】100075753
【弁理士】
【氏名又は名称】和泉 良彦
【テーマコード(参考)】
5B057
5C023
5C054
5C076
5C079
【Fターム(参考)】
5B057 AA16 BA02 BA19 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CC03 CE08 CE11 CE17 CH18 DA07 DA20 DB02 DB06 DB09 DC30 DC36 
5C023 AA01 AA11 BA01 BA11 CA01
5C054 AA01 CA04 CC02 EA05 FC03 FC07 FC11 FE11 FF01 GC03 HA28 HA30
5C076 AA19 AA26 AA27 BA06
5C079 LA40 LB01 NA29
発明者 大泉 謙
要約 課題
複数のカメラで撮影された合成画像の色や輝度を正確に表現することのできる画像合成装置および画像合成方法を提供する。

解決手段
複数のカメラ1、2と、画像合成装置3からなり、画像合成装置は、撮像対象面のある注目点に対し、該注目点とカメラとの距離が最も近いカメラを選択し、そのカメラで撮影された該注目点の色および輝度を、該注目点の色および輝度とし、同じ処理を撮像対象面の全体について行うことにより、複数のカメラの画像を合成する画像合成装置。複数のカメラのうち、注目点に距離のより近いカメラを選択し、その色と輝度を採用するため、カメラの単位画素当たりに対する撮像面の面積が小さいカメラを選ぶことになるので、色や輝度の精度がよい合成画像が得られる。
特許請求の範囲
【請求項1】複数のカメラと、画像処理手段からなり、前記画像処理手段は、撮像対象面のある注目点に対し、該注目点とカメラとの距離が最も近いカメラを選択し、そのカメラで撮影された該注目点の色および輝度を、該注目点の色および輝度とし、同じ処理を撮像対象面の全体について行うことにより、複数のカメラの画像を合成することを特徴とする画像合成装置。
【請求項2】複数のカメラと、画像処理手段からなり、前記画像処理手段は、撮像対象面のある注目点に対し、各カメラで撮像された該注目点の色および輝度を、該注目点とカメラn(nは任意のカメラを示す)との距離Lnを用いた関数f(Ln)で求められた強度Snを用いて合成し、その結果を該注目点の色および輝度とし、同じ処理を撮像対象面の全体について行うことにより、複数のカメラの画像を合成することを特徴とする画像合成装置。
【請求項3】複数のカメラと、画像処理手段からなり、前記画像処理手段は、撮像対象面のある注目点に対し、該注目点とカメラとを結んだ直線と前記撮像対象面との成す角度が、垂直に最も近いカメラを選択し、そのカメラで撮影された該注目点の色および輝度を、該注目点の色および輝度とし、同じ処理を撮像対象面の全体について行うことにより、複数のカメラの画像を合成することを特徴とする画像合成装置。
【請求項4】複数のカメラと、画像処理手段からなり、前記画像処理手段は、撮像対象面のある注目点に対し、各カメラで撮像された該注目点の色および輝度を、該注目点とカメラとを結んだ直線と前記撮像対象面との成す角度αn(nは任意のカメラを示す)を用いた関数f(αn)で求められた強度Snを用いて合成し、その結果を該注目点の色および輝度とし、同じ処理を撮像対象面の全体について行うことにより、複数のカメラの画像を合成することを特徴とする画像合成装置。
【請求項5】複数のカメラと、画像処理手段からなり、前記画像処理手段は、撮像対象面のある注目点に対し、各カメラで撮像された該注目点の色および輝度を、該注目点とカメラn(nは任意のカメラを示す)との距離Lnと、該注目点とカメラとを結んだ直線と前記撮像対象面との成す角度αn(nは任意のカメラを示す)と、を用いた関数f(Ln,αn)で求められた強度Snを用いて合成し、その結果を該注目点の色および輝度とし、同じ処理を撮像対象面の全体について行うことにより、複数のカメラの画像を合成することを特徴とする画像合成装置。
【請求項6】請求項1乃至請求項5の何れかに記載の画像合成装置において、前記画像処理手段は、合成画像を作成するための仮想カメラを演算処理上で設定し、前記注目点と各画素との対応を、前記仮想カメラの位置とカメラ特性に応じて設定し、各画素について求められた色と輝度を、前記仮想カメラの対応する画素の色と輝度とすることにより、複数のカメラの画像を合成した画像を仮想カメラの画像として作成することを特徴とする画像合成装置。
【請求項7】複数のカメラでそれぞれ撮像した画像を合成する画像合成方法であって、撮像対象面のある注目点に対し、該注目点とカメラとの距離が最も近いカメラを選択し、そのカメラで撮影された該注目点の色および輝度を、該注目点の色および輝度とし、同じ処理を撮像対象面の全体について行うことにより、複数のカメラの画像を合成することを特徴とする画像合成方法。
【請求項8】複数のカメラでそれぞれ撮像した画像を合成する画像合成方法であって、撮像対象面のある注目点に対し、各カメラで撮像された該注目点の色および輝度を、該注目点とカメラn(nは任意のカメラを示す)との距離Lnを用いた関数f(Ln)で求められた強度Snを用いて合成し、その結果を該注目点の色および輝度とし、同じ処理を撮像対象面の全体について行うことにより、複数のカメラの画像を合成することを特徴とする画像合成方法。
【請求項9】複数のカメラでそれぞれ撮像した画像を合成する画像合成方法であって、撮像対象面のある注目点に対し、該注目点とカメラとを結んだ直線と前記撮像対象面との成す角度が、垂直に最も近いカメラを選択し、そのカメラで撮影された該注目点の色および輝度を、該注目点の色および輝度とし、同じ処理を撮像対象面の全体について行うことにより、複数のカメラの画像を合成することを特徴とする画像合成方法。
【請求項10】複数のカメラでそれぞれ撮像した画像を合成する画像合成方法であって、撮像対象面のある注目点に対し、各カメラで撮像された該注目点の色および輝度を、該注目点とカメラとを結んだ直線と前記撮像対象面との成す角度αn(nは任意のカメラを示す)を用いた関数f(αn)で求められた強度Snを用いて合成し、その結果を該注目点の色および輝度とし、同じ処理を撮像対象面の全体について行うことにより、複数のカメラの画像を合成することを特徴とする画像合成方法。
【請求項11】複数のカメラでそれぞれ撮像した画像を合成する画像合成方法であって、撮像対象面のある注目点に対し、各カメラで撮像された該注目点の色および輝度を、該注目点とカメラn(nは任意のカメラを示す)との距離Lnと、該注目点とカメラとを結んだ直線と前記撮像対象面との成す角度αn(nは任意のカメラを示す)と、を用いた関数f(Ln,αn)で求められた強度Snを用いて合成し、その結果を該注目点の色および輝度とし、同じ処理を撮像対象面の全体について行うことにより、複数のカメラの画像を合成することを特徴とする画像合成方法。
【請求項12】請求項7乃至請求項11の何れかに記載の画像合成方法において、合成画像を作成するための仮想カメラを演算処理上で設定し、前記注目点と各画素との対応を、前記仮想カメラの位置とカメラ特性に応じて設定し、各画素について求められた色と輝度を、前記仮想カメラの対応する画素の色と輝度とすることにより、複数のカメラの画像を合成した画像を仮想カメラの画像として作成することを特徴とする画像合成方法。
発明の詳細な説明
【0001】
【発明の属する技術分野】本発明は複数のカメラで撮像された複数の画像を合成して一つの画像にする技術に関し、例えば車両の周囲を撮像した画像から他車両の接近等を検出する装置などに応用される技術である。
【0002】
【従来の技術】複数の電子式カメラ(例えばCCDカメラ)で撮影された画像は、カメラの個体差や撮影する位置などによって、同じ部分の画像を撮影しても必ずしも色や輝度が一致するとは限らない。したがって複数のカメラで撮像した画像を合成して一つの画像にする場合には、合成部位(継ぎ目)については特別な処理を行う必要がある。従来において、合成部位の濃淡差を目立たなくする技術として特開平11−55682号公報に記載の技術がある。上記従来技術では、両方のカメラで撮影されている重複部位の色や輝度については、両カメラ画像の色や輝度の平均値を用いるか、もしくはどちらか一方のカメラに合わせることで、合成部位を目立たなくしている。
【0003】
【発明が解決しようとする課題】しかしながら、上記従来技術では、カメラの向きや位置を考慮せずに、単純に両カメラ画像の色や輝度の平均値を用いるか、もしくはどちらか一方のカメラに合わせたりするため、合成部位の映像の色や輝度が、必ずしも正確に表現されないという問題があった。
【0004】本発明は上記のごとき従来技術の問題を解決するためになされたものであり、複数のカメラで撮影された合成画像の色や輝度を正確に表現することのできる画像合成装置および画像合成方法を提供することを目的とする。
【0005】
【課題を解決するための手段】上記の目的を達成するため、本発明においては特許請求の範囲に記載するように構成している。すなわち、本発明においては、複数のカメラで撮像された部位について、より正確に色や輝度を撮影していると判断されるカメラの画像を採用することで合成画像の色や輝度を正確に表現するように構成している。まず、請求項1〜請求項6は、画像合成装置に関する発明であり、請求項1においては、撮像対象面のある注目点に対し、該注目点とカメラとの距離が最も近いカメラを選択し、そのカメラで撮影された該注目点の色および輝度を、該注目点の色および輝度とし、同じ処理を撮像対象面の全体について行うことにより、複数のカメラの画像を合成するように構成している。
【0006】また、請求項2においては、撮像対象面のある注目点に対し、各カメラで撮像された該注目点の色および輝度を、該注目点とカメラnとの距離Lnを用いた関数f(Ln)で求められた強度Snを用いて合成し、その結果を該注目点の色および輝度とし、同じ処理を撮像対象面の全体について行うことにより、複数のカメラの画像を合成するように構成している。
【0007】また、請求項3においては、撮像対象面のある注目点に対し、該注目点とカメラとを結んだ直線と前記撮像対象面との成す角度が、垂直に最も近いカメラを選択し、そのカメラで撮影された該注目点の色および輝度を、該注目点の色および輝度とし、同じ処理を撮像対象面の全体について行うことにより、複数のカメラの画像を合成するように構成している。
【0008】また、請求項4においては、撮像対象面のある注目点に対し、各カメラで撮像された該注目点の色および輝度を、該注目点とカメラとを結んだ直線と前記撮像対象面との成す角度αnを用いた関数f(αn)で求められた強度Snを用いて合成し、その結果を該注目点の色および輝度とし、同じ処理を撮像対象面の全体について行うことにより、複数のカメラの画像を合成するように構成している。
【0009】また、請求項5においては、撮像対象面のある注目点に対し、各カメラで撮像された該注目点の色および輝度を、該注目点とカメラnとの距離Lnと、該注目点とカメラとを結んだ直線と前記撮像対象面との成す角度αnと、を用いた関数f(Ln,αn)で求められた強度Snを用いて合成し、その結果を該注目点の色および輝度とし、同じ処理を撮像対象面の全体について行うことにより、複数のカメラの画像を合成するように構成している。
【0010】また、請求項6においては、請求項1乃至請求項5の何れかに記載の画像合成装置において、画像処理手段は、合成画像を作成するための仮想カメラを演算処理上で設定し、前記注目点と各画素との対応を、前記仮想カメラの位置とカメラ特性に応じて設定し、各画素について求められた色と輝度を、前記仮想カメラの対応する画素の色と輝度とすることにより、複数のカメラの画像を合成した画像を仮想カメラの画像として作成するように構成している。
【0011】また、請求項7〜請求項12は画像合成方法についての発明であり、その内容は請求項7は請求項1に、請求項8は請求項2に、請求項9は請求項3に、請求項10は請求項4に、請求項11は請求項5に、請求項12は請求項6に、それぞれ対応している。
【0012】
【発明の効果】請求項1によれば、複数のカメラのうち、注目点に距離のより近いカメラを選択し、その色と輝度を採用するため、カメラの単位画素当たりに対する撮像面の面積が小さいカメラを選ぶことになるので、色や輝度の精度がよい合成画像が得られる、という効果がある。
【0013】請求項2によれば、注目点とカメラとの距離Lnを用いた関数f(Ln)で求められた強度Snを用いて合成するので、画像の継ぎ目を目立たせないようにしながら、現物に近い色や輝度がよい画像が得られる、という効果がある。
【0014】請求項3によれば、注目点の存在する撮像対象面(基準面)に対して垂直に近いカメラを選択し、その色と輝度を採用するため、カメラの単位画素当たりに対する撮像面の面積が小さいカメラを選ぶことになり、立体物の影が少なく、かつ、色や輝度の精度がよい画像が得られる、という効果がある。
【0015】請求項4によれば、注目点とカメラとを結んだ直線と撮像対象面との成す角度αnを用いた関数f(αn)で求められた強度Snを用いて合成するので、画像の継ぎ目を目立たせないようにしながら、現物に近い色や輝度がよい画像が得られる、という効果がある。
【0016】請求項5によれば、注目点とカメラnとの距離Lnと、注目点とカメラとを結んだ直線と撮像対象面との成す角度αnと、を用いた関数f(Ln,αn)で求められた強度Snを用いて合成しているので、画像の継ぎ目を目立たせないようにしながら、現物に近い色や輝度がよい画像が得られる、という効果がある。
【0017】請求項6によれば、仮想カメラを演算処理上で設定し、各画素について求められた色と輝度を、仮想カメラの対応する画素の色と輝度とすることにより、複数のカメラの画像を合成した画像を仮想カメラの画像として作成することができるので、請求項1〜請求項5に記載の発明を容易に実施することが出来る。
【0018】また、請求項7〜請求項12に記載の発明においては、請求項1〜請求項6の対応する請求項と同様の効果が得られる。
【0019】
【発明の実施の形態】図1は、本発明を車両用の接近警報装置に応用した場合の一実施例を示すブロック図である。図1において、1は車両の前方を撮像するカメラ(例えばCCDカメラ等の電子式カメラ)、2は車両の右側方を撮像するカメラ、3は画像合成装置、4は接近警報装置、5は車両である。
【0020】カメラ1は車両前方を撮像し、カメラ2は車両右側方を撮像する。画像合成装置3は、上記二つのカメラの画像信号を入力し、それらを合成して車両の前方から右側方までの広い範囲、つまり自車両の前方を走行中の車両や右側の追越し車線を走行している他の車両を含む画像を作成する。接近警報装置4は、上記の画像から、自車両に接近する可能性のある車両、例えば前方を走行中の車両や追越し車線を走行中の他車両を検出し、それらの車両が自車両に過剰接近するおそれがある場合に警報を発して運転者に注意を促す。
【0021】本発明は、上記のごとき複数のカメラの画像を合成する場合に、画像が重複する範囲における画像処理を巧みに行う技術に関するものであり、図1の画像合成装置3の内容についての発明である。なお、本発明は画像合成技術についての発明であり、図1の例のような接近警報装置に限らず多方面に応用可能である。例えば車両用の場合に、図1のようにカメラを車両の左右方向にそれぞれ設けるだけではなく、車両の上下方向にそれぞれ設けてもよい。また、車両用に限らず他の一般的な用途にも応用可能である。例えばビルの屋上に設置された東西南北撮影用の4個のカメラの画像を合成するような用途にも適用可能である。
【0022】以下、本発明の画像合成方法に関して5つの実施例について説明する。
(実施例1)図2は、本発明の合成方法におけるxyz座標空間上のカメラの配置を示す図である。図2において、101と102は実際のカメラ(例えばCCD等を用いた電子式カメラ)、103は合成画像を作成するための仮想カメラ(演算処理において仮想されたカメラ)である。ここでは説明の簡略化のために、カメラモデルとしては一般的なピンホールカメラを用いる。カメラ位置を示す代表点はピンホールカメラのピンホールの位置とし、ピンホールカメラの投影面の中心から垂直に伸ばした直線上にピンホールがあり、カメラの向きは、投影面の中心からピンホールヘのベクトルと同じ方向とする。実在のカメラ101、102および仮想カメラ103ともにこのカメラモデルを用いて説明する。もちろん、カメラモデルは実際のカメラを正確に表現する、もっと複雑なものを用いてもよい。
【0023】まず、仮想カメラ103を図示の位置に設置したと仮定し、仮想カメラ103の任意の画素Vに注目すると、画素Vの投影面上の位置と仮想カメラ103の向きから、画素Vに入射する光線の方向を計算することができる。したがって、仮想カメラ103の位置と向きを用いて、xyz空間における光線の位置と向きを計算できる。これをベクトル104(黒太線の矢印)とする。本実施例でのカメラモデルでは、ベクトル104の始点は仮想カメラ103の位置となる。
【0024】ここで基準面を設定する。基準面は撮像対象となる注目点が存在する面である。本実施例ではxy平面全体を基準面として設定する。なお、基準面は複数の有限/無限面積の平面の組み合わせで設定してもよい。次に、ベクトル104をベクトルの向きに延長した半直線と基準面との交点105(注目点)を求める。基準面が複数ある場合は、最初に交差する基準面を用いる。上記の結果、ベクトル104をベクトルの向きに延長した半直線が基準面と交点を持たない場合は、注目した画素Vの色と輝度は計算不能とし、あらかじめ設定した色と輝度(例として、色=黒、輝度=0など)を画素Vの値とする。
【0025】次に、交点105が存在する場合は、交点105がカメラ101およびカメラ102の撮像範囲に入っているか否かを調べる。なお、カメラ101およびカメラ102においても、仮想カメラ103の場合と同様に、位置と向きを用いて、xyz空間における光線の位置と向きを計算できる。
【0026】交点105が、どのカメラの撮像範囲にも入っていない場合は、注目した画素Vの色と輝度は計算不能とし、あらかじめ設定した色と輝度(例として、色=黒、輝度=0など)を画素Vの値とする。
【0027】交点105がどれか一つのカメラの撮像範囲に入っている場合は、そのカメラのどの画素に交点105が映っているかを計算し、その計算で求められた画素の色および輝度を、画素Vの色および輝度とする。
【0028】交点105が複数のカメラの撮像範囲に入っている場合には、まず計算対象から交点105を撮像していないカメラを除去した後、図3に示すように、カメラnと交点105の距離Ln(カメラ101の場合は距離201、カメラ102の場合は距離202とする)を各カメラに関して求め、もっとも距離Lnの値が小さいカメラを選択する。ただし、距離Lnが0となったカメラは計算から除外する。上記のように、距離Lnの値が最も小さいカメラ、つまり交点105までの距離が最も近いカメラは、単位画素に相当する撮像面の面積が最も小さいので、色や輝度の精度がよい画像が得られる。このとき、距離Lnが等しいカメラが複数存在した場合には、カメラ設置位置が、より高い位置にあるカメラを決定する。距離Lnも高さも等しい場合には、条件的に同等なので、単純に処理上の利便のために割り振ったカメラ番号の若い順で優先度を決定する。
【0029】次に、選択したカメラのどの画素に交点105が映っているかを計算し、その計算で求まった画素の色および輝度を、画素Vの色および輝度とする。なお、図2、図3は実際のカメラが2台の場合を例示しているが、カメラが3台以上ある場合も同様の方法で処理出来る。
【0030】上記の処理を仮想カメラ103の全画素について行なうことにより、仮想カメラ103の全画像を作成する。これにより、カメラ101とカメラ102でそれぞれ撮像した画像を、仮想カメラ103の画面上に合成画像として実現することが出来る。
【0031】なお、カメラ101、102と仮想カメラ103の位置、基準面の設定などの変更がない限り、画素と画素の対応関係は変わらないので、一度だけ計算を行ない、その結果をテーブルとして保存し、2回目以降はテーブルを参照して計算量を減らすように構成してもよい。また、上記のごとき本発明を具体化する場合には、演算装置としてコンピュータを用い、上記のごとき画像処理を行うソフトウエアを用意すれば容易に実現することが出来る。上記のように、距離Lnの値が最も小さいカメラ、つまり注目点(交点105)までの距離が最も近いカメラは、単位画素に相当する撮像面の面積が最も小さいので、色や輝度の精度がよい画像が得られる。したがって色や輝度の精度がよい合成画像が得られる。
【0032】(実施例2)実施例2においても、実際のカメラ101とカメラ102および仮想カメラ103の配置、ベクトル104、基準面、交点105などに関しては、実施例1と同様である。まず、ベクトル104をベクトルの向きに延長した半直線が基準面と交点を持たない場合は、注目した画素Vの色と輝度は計算不能とし、あらかじめ設定した色と輝度(例として、色=黒、輝度=0など)を画素Vの値とする。
【0033】次に、交点105が存在する場合は、交点105がカメラ101およびカメラ102の撮像範囲に入っているか否かを調べる。なお、カメラ101およびカメラ102においても、仮想カメラ103の場合と同様に、位置と向きを用いて、xyz空間における光線の位置と向きを計算できる。
【0034】交点105が、どのカメラの撮像範囲にも入っていない場合は、注目した画素Vの色と輝度は計算不能とし、あらかじめ設定した色と輝度(例として、色=黒、輝度=0など)を画素Vの値とする。
【0035】交点105がどれか一つのカメラの撮像範囲に入っている場合は、そのカメラのどの画素に交点105が映っているかを計算し、その計算で求められた画素の色および輝度を、画素Vの色および輝度とする。
【0036】交点105が複数のカメラの撮像範囲に入っている場合には、まず計算対象から交点105を撮像していないカメラを除去した後、図3に示すように、カメラnと交点105の距離Ln(カメラ101の場合、距離201、カメラ102の場合、距離202)を各カメラに関して求める。距離Lnが0となったカメラは計算から除外する。
【0037】次に、距離Lnを用いた関数f(Ln)を用いて、各カメラの画素の強度Snを算出する。関数f(Ln)の例としては、各画素が撮像する範囲はカメラと撮像対象の距離の2乗に比例して大きくなるので、近いカメラのほうがより詳細な範囲に対しての色と輝度を取得しているものと判断し、f(Ln)=1/Ln …(数1)
で表すことが考えられる。この(数1)式を用いた場合、たとえば距離201と距離202の比率が2:1の場合には、色の適用比率は、0.25:1となる。
【0038】次に、各カメラのどの画素に交点105が映っているかを計算し、その計算で求まった画素の値および輝度を、強度Snに比例してブレンディングし、画素Vの色および輝度とする。なお、適用比率の異なる色同士のブレンディング手法は、コンピュータグラフィックスの分野で、公知の手法である。カメラが3台以上ある場合も同様の手法を用いて計算できる。
【0039】上記の処理を仮想カメラ103の全画素について行なうことにより、仮想カメラ103の全画像を作成する。これにより、カメラ101とカメラ102でそれぞれ撮像した画像を、仮想カメラ103の画面上に合成画像として実現することが出来る。なお、実施例1と同様に、一度だけ計算を行ない、その結果をテーブルとして保存し、2回目以降はそのテーブルを参照して計算量を減らすように構成してもよい。上記のように、実施例2は、交点105が複数のカメラの撮像範囲に入っている場合の処理内容について実施例1と異なっており、その他は同様である。
【0040】実施例2においては、注目点とカメラとの距離Lnを用いた関数f(Ln)で求められた強度Snを用いて合成するので、画像の継ぎ目を目立たせないようにしながら、現物に近い色や輝度がよい画像が得られる。
【0041】(実施例3)実施例3においても、実際のカメラ101とカメラ102および仮想カメラ103の配置、ベクトル104、基準面、交点105などに関しては、実施例1と同様である。まず、ベクトル104をベクトルの向きに延長した半直線が基準面と交点を持たない場合は、注目した画素Vの色と輝度は計算不能とし、あらかじめ設定した色と輝度(例として、色=黒、輝度=0など)を画素Vの値とする。
【0042】次に、交点105が存在する場合は、交点105がカメラ101およびカメラ102の撮像範囲に入っているか否かを調べる。なお、カメラ101およびカメラ102においても、仮想カメラ103の場合と同様に、位置と向きを用いて、xyz空間における光線の位置と向きを計算できる。
【0043】交点105が、どのカメラの撮像範囲にも入っていない場合は、注目した画素Vの色と輝度は計算不能とし、あらかじめ設定した色と輝度(例として、色=黒、輝度=0など)を画素Vの値とする。
【0044】交点105がどれか一つのカメラの撮像範囲に入っている場合は、そのカメラのどの画素に交点105が映っているかを計算し、その計算で求められた画素の色および輝度を、画素Vの色および輝度とする。
【0045】交点105が複数のカメラの撮像範囲に入っている場合には、まず計算対象から交点105を撮像していないカメラを除去した後、図4に示すように、カメラnと交点105を結ぶ線分と基準面との成す角度αn(カメラ101の場合は角度301、カメラ102の場合は角度302とする)を各カメラに関して求め、角度αnの値が90度に最も近いカメラを選択する。上記のように、角度αnの値が90度に最も近いカメラ、つまり撮像面を垂直方向に近い角度から撮像するカメラは、単位画素に相当する撮像面の面積が最も小さく、かつ、影の影響も少ないので、色や輝度の精度がよい画像が得られる。
【0046】このとき、角度αnが等しいカメラが複数存在した場合には、実施例1のようにカメラnと交点105の距離Lnがより短いカメラを選択する。角度αnも距離Lnも等しい場合には、条件が同じなので、単純に処理上の利便のために割り振ったカメラ番号の若い順で優先度を決定する。
【0047】次に、選択したカメラのどの画素に交点105が映っているかを計算し、その計算で求められた画素の色および輝度を、画素Vの色および輝度とする。上記の処理を仮想カメラ103の全画素について行なうことにより、仮想カメラ103の全画像を作成する。これにより、カメラ101とカメラ102でそれぞれ撮像した画像を、仮想カメラ103の画面上に合成画像として実現することが出来る。カメラが3台以上ある場合も同様の手法を用いて計算できる。なお、実施例1と同様に、一度だけ計算を行ない、その結果をテーブルとして保存し、2回目以降はそのテーブルを参照して計算量を減らすように構成してもよい。
【0048】上記のように、実施例3は、交点105が複数のカメラの撮像範囲に入っている場合の処理内容について実施例1や実施例2と異なっており、その他は同様である。
【0049】実施例3においては、注目点の存在する撮像対象面(基準面)に対して垂直に近いカメラを選択し、その色と輝度を採用するため、カメラの単位画素当たりに対する撮像面の面積が小さいカメラを選ぶことになり、立体物の影が少なく、かつ、色や輝度の精度がよい画像が得られる。
【0050】(実施例4)実施例4においても、実際のカメラ101とカメラ102および仮想カメラ103の配置、ベクトル104、基準面、交点105などに関しては、実施例1と同様である。まず、ベクトル104をベクトルの向きに延長した半直線が基準面と交点を持たない場合は、注目した画素Vの色と輝度は計算不能とし、あらかじめ設定した色と輝度(例として、色=黒、輝度=0など)を画素Vの値とする。
【0051】次に、交点105が存在する場合は、交点105がカメラ101およびカメラ102の撮像範囲に入っているか否かを調べる。なお、カメラ101およびカメラ102においても、仮想カメラ103の場合と同様に、位置と向きを用いて、xyz空間における光線の位置と向きを計算できる。
【0052】交点105が、どのカメラの撮像範囲にも入っていない場合は、注目した画素Vの色と輝度は計算不能とし、あらかじめ設定した色と輝度(例として、色=黒、輝度=0など)を画素Vの値とする。
【0053】交点105がどれか一つのカメラの撮像範囲に入っている場合は、そのカメラのどの画素に交点105が映っているかを計算し、その計算で求められた画素の色および輝度を、画素Vの色および輝度とする。
【0054】交点105が複数のカメラの撮像範囲に入っている場合には、まず計算対象から交点105を撮影していないカメラを除外したあとで、図4でカメラnと交点105を結ぶ線分と、基準面とのなす角度αnを各カメラに関して求める。
【0055】次に、角度αn(カメラ101の場合は角度301、カメラ102の場合は角度302とする)を用いた関数f(αn)を用いて、各カメラの画素の強度Snを算出する。関数f(αn)の例としては、各画素が撮像する範囲は、角度αn(0〜90度)が0に近いほど大きくなるので、角度αnが90度に近いカメラの方がより詳細な範囲に対しての色と輝度を取得していると判断されるので、f(αn)=sin αn …(数2)
で表すことが考えられる(詳細後述)。この(数2)式の場合、たとえば角度301が90度、角度302が30度の場合には、色の混合比率は1:0.5となる。
【0056】次に、各カメラのどの画素に交点105が映っているかを計算し、その計算で求められた画素の色および輝度を、強度Snに比例してブレンディングし、画素Vの色および輝度とする。適用比率の異なる色同士のブレンディング手法は、コンピュータグラフィックスの分野で、公知の手法である。
【0057】上記の処理を仮想カメラ103の全画素について行なうことにより、仮想カメラ103の全画像を作成する。これにより、カメラ101とカメラ102でそれぞれ撮像した画像を、仮想カメラ103の画面上に合成画像として実現することが出来る。カメラが3台以上ある場合も同様の手法を用いて計算できる。なお、実施例1と同様に、一度だけ計算を行ない、その結果をテーブルとして保存し、2回目以降はそのテーブルを参照して計算量を減らすように構成してもよい。
【0058】上記のように、実施例4は、交点105が複数のカメラの撮像範囲に入っている場合の処理内容について実施例1〜実施例3と異なっており、その他は同様である。
【0059】実施例4においては、注目点とカメラとを結んだ直線と撮像対象面との成す角度αnを用いた関数f(αn)で求められた強度Snを用いて合成するので、画像の継ぎ目を目立たせないようにしながら、現物に近い色や輝度がよい画像が得られる。
【0060】(実施例5)実施例5においても、実際のカメラ101とカメラ102および仮想カメラ103の配置、ベクトル104、基準面、交点105などに関しては、実施例1と同様である。まず、ベクトル104をベクトルの向きに延長した半直線が基準面と交点を持たない場合は、注目した画素Vの色と輝度は計算不能とし、あらかじめ設定した色と輝度(例として、色=黒、輝度=0など)を画素Vの値とする。
【0061】次に、交点105が存在する場合は、交点105がカメラ101およびカメラ102の撮像範囲に入っているか否かを調べる。なお、カメラ101およびカメラ102においても、仮想カメラ103の場合と同様に、位置と向きを用いて、xyz空間における光線の位置と向きを計算できる。
【0062】交点105が、どのカメラの撮像範囲にも入っていない場合は、注目した画素Vの色と輝度は計算不能とし、あらかじめ設定した色と輝度(例として、色=黒、輝度=0など)を画素Vの値とする。
【0063】交点105がどれか一つのカメラの撮像範囲に入っている場合は、そのカメラのどの画素に交点105が映っているかを計算し、その計算で求められた画素の色および輝度を、画素Vの色および輝度とする。
【0064】交点105が複数のカメラの撮像範囲に入っている場合には、まず計算対象から交点105を撮影していないカメラを除外したあとで、図4に示すように、カメラnと交点105を結ぶ線分と、基準面とのなす角度αn(カメラ101の場合は角度301、カメラ102の場合は角度302とする)とし、図3に示すように、カメラnと交点105の距離Ln(カメラ101の場合は距離201、カメラ102の場合は距離202とする)を各カメラに関して求める。距離Lnが0となったカメラは計算から除外する。
【0065】次に、距離Lnと角度αnを用いた関数f(Ln,αn)を用いて、各カメラの画素の強度Snを算出する。関数f(Ln,αn)の例としては、各画素が撮像する範囲は、カメラと撮像対象の距離の2乗に比例して大きくなり、また、各画素が撮像する範囲は、角度αn(0〜90度)が0に近いほど大きくなるので、距離Lnが近く、角度αnが90度に近いカメラのほうがより詳細な範囲に対しての色と輝度を取得しているものと判断し、f(Ln,αn)=sin αn/Ln …(数3)
で表すことが考えられる。この(数3)式の場合、たとえば距離201と距離202の比率が3:1、角度301が90度、角度302が30度の場合には、色の混合比率は、2:9となる。
【0066】次に、各カメラのどの画素に交点105が映っているかを計算し、その計算で求まった画素の値および輝度を、強度Snに比例してブレンディングし、画素Vの色および輝度とする。なお、適用比率の異なる色同士のブレンディング手法は、コンピュータグラフィックスの分野で、公知の手法である。カメラが3台以上ある場合も同様の手法を用いて計算できる。
【0067】上記の処理を仮想カメラ103の全画素について行なうことにより、仮想カメラ103の全画像を作成する。これにより、カメラ101とカメラ102でそれぞれ撮像した画像を、仮想カメラ103の画面上に合成画像として実現することが出来る。なお、実施例1と同様に、一度だけ計算を行ない、その結果をテーブルとして保存し、2回目以降はそのテーブルを参照して計算量を減らすように構成してもよい。
【0068】上記のように、実施例5は、交点105が複数のカメラの撮像範囲に入っている場合の処理内容について実施例1〜実施例4と異なっており、その他は同様である。
【0069】実施例5においては、注目点とカメラnとの距離Lnと、注目点とカメラとを結んだ直線と撮像対象面との成す角度αnと、を用いた関数f(Ln,αn)で求められた強度Snを用いて合成しているので、画像の継ぎ目を目立たせないようにしながら、現物に近い色や輝度がよい画像が得られる。
【0070】ここで、前記(数1)〜(数3)式について説明する。図5および図6は(数2)式を説明するための図であり、図5は斜視図、図6(a)は側面図、図6(b)はθ=90度の場合における側面図である。カメラのCCD画素面110における画素Vとピンホール111と撮像範囲V’(ピンホールを介して画素Vが撮像する範囲)との位置関係は、図5に示すごときものとする。この場合、基準面はxy平面である。
【0071】撮像範囲V’(斜線で囲んだ部分)の面積Sは、ピンホール111とxy平面上の点C(画素Vの中心点に対応する点)との距離L(図6のL参照)と、画素Vの中心と点Cとを結んだ直線とxy平面との成す角度θと、に応じて変化する。なお、CCD画素面110とピンホール111との位置関係は一定とする。
【0072】上記の角度θと面積Sとの関係を、図6(b)に示したθ=90度の場合における面積S1を基準として示せば、下記(数4)式で近似できる。
S=S1(1/sinθ) …(数4)
ただし、θ≫α αは図6に示す角度また、面積Sは距離Lに対しては、その2乗に比例する。
S=kL …(数5)
ただし、kは定数前記のように、単位画素Vが撮像する面積V’の小さい方が色と輝度の精度が高いと考えられるので、(数1)式に示した関数においては、(数5)式の逆数で、f(Ln)=1/Lnとし、(数2)式に示した関数においては、(数4)式の逆数で、f(αn)=sin αnとし、(数3)式に示した関数においては、(数4)式と(数5)式を組み合わせた式の逆数で、f(Ln,αn)=sin αn/Lnとしている。




 

 


     NEWS
会社検索順位 特許の出願数の順位が発表

URL変更
平成6年
平成7年
平成8年
平成9年
平成10年
平成11年
平成12年
平成13年


 
   お問い合わせ info@patentjp.com patentjp.com   Copyright 2007-2013