米国特許情報 | 欧州特許情報 | 国際公開(PCT)情報 | Google の米国特許検索
 
     特許分類
A 農業
B 衣類
C 家具
D 医学
E スポ−ツ;娯楽
F 加工処理操作
G 机上付属具
H 装飾
I 車両
J 包装;運搬
L 化学;冶金
M 繊維;紙;印刷
N 固定構造物
O 機械工学
P 武器
Q 照明
R 測定; 光学
S 写真;映画
T 計算機;電気通信
U 核技術
V 電気素子
W 発電
X 楽器;音響


  ホーム -> 測定; 光学 -> 富士フイルム株式会社

発明の名称 車載カメラシステム、オブジェクト位置検出システム、及びオブジェクト位置検出方法
発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開2007−51976(P2007−51976A)
公開日 平成19年3月1日(2007.3.1)
出願番号 特願2005−238837(P2005−238837)
出願日 平成17年8月19日(2005.8.19)
代理人 【識別番号】100104156
【弁理士】
【氏名又は名称】龍華 明裕
発明者 曽我 孝
要約 課題
障害物が一方のカメラの撮像範囲外に移動した場合に障害物までの距離を適切に算出することができるシステムを提供すること。

解決手段
本発明に係る車載カメラシステムは、同一のオブジェクトを撮像する第1及び第2撮像部と、第1時刻に第1及び第2撮像部によって撮像された画像に基づいて、第1時刻でのオブジェクトまでの距離を算出する第1オブジェクト距離算出部と、第1時刻で第1及び第2撮像部の撮像範囲内に存在したオブジェクトが、第1時刻から所定時間後の第2時刻において第1撮像部の撮像範囲内で第2撮像部の撮像範囲外に移動すると、第1時刻と第2時刻に第1撮像部によって撮像された画像でのオブジェクト長の差を算出するオブジェクト長さ差算出部と、オブジェクト長の差及び第1オブジェクト距離算出部が算出した距離に基づいて第2時刻におけるオブジェクトまでの距離を算出する第2オブジェクト距離算出部とを備える。
特許請求の範囲
【請求項1】
同一のオブジェクトを撮像する第1撮像部及び第2撮像部と、
第1の時刻に前記第1撮像部及び前記第2撮像部によってそれぞれ撮像された2つの画像に基づいて、第1の時刻におけるオブジェクトまでの距離を算出する第1オブジェクト距離算出部と、
第1の時刻において前記第1撮像部及び前記第2撮像部の撮像範囲内に存在したオブジェクトが、第1の時刻から所定時間が経過した第2の時刻において前記第1撮像部の撮像範囲内であって前記第2撮像部の撮像範囲外に移動した場合に、第1の時刻に前記第1撮像部によって撮像された画像におけるオブジェクトの長さと、第2の時刻に前記第1撮像部によって撮像された画像におけるオブジェクトの長さとの差を算出するオブジェクト長さ差算出部と、
前記オブジェクト長さ差算出部が算出した画像におけるオブジェクトの長さの差、及び前記第1オブジェクト距離算出部が算出した第1の時刻におけるオブジェクトまでの距離に基づいて、第2の時刻におけるオブジェクトまでの距離を算出する第2オブジェクト距離算出部と
を備える車載カメラシステム。
【請求項2】
第1の時刻に前記第1撮像部及び前記第2撮像部によってそれぞれ撮像された2つの画像に基づいて、第1の時刻におけるオブジェクトの方向を算出する第1オブジェクト方向算出部と、
第1の時刻において前記第1撮像部及び前記第2撮像部の撮像範囲内に存在したオブジェクトが、第2の時刻において前記第1撮像部の撮像範囲内であって前記第2撮像部の撮像範囲外に移動した場合に、第1の時刻に前記第1撮像部によって撮像された画像におけるオブジェクトの位置と、第2の時刻に前記第1撮像部によって撮像された画像におけるオブジェクトの位置との差を算出するオブジェクト位置差算出部と、
前記オブジェクト位置差算出部が算出した画像におけるオブジェクトの位置の差、及び前記第1オブジェクト方向算出部が算出した第1の時刻におけるオブジェクトの方向に基づいて、第2の時刻におけるオブジェクトまでの方向を算出する第2オブジェクト方向算出部と
をさらに備える請求項1に記載の車載カメラシステム。
【請求項3】
第1の時刻に前記第1撮像部及び前記第2撮像部によってそれぞれ撮像された2つの画像に基づいて、オブジェクトの立体画像を生成する立体画像生成部と、
第1の時刻において前記第1撮像部及び前記第2撮像部の撮像範囲内に存在したオブジェクトが、第2の時刻において前記第1撮像部の撮像範囲内であって前記第2撮像部の撮像範囲外に移動した場合に、第2の時刻に前記第1撮像部によって撮像されたオブジェクトの画像と、前記立体画像生成部が生成したオブジェクトの立体画像とを比較することによって、第2の時刻におけるオブジェクトの方向を算出するオブジェクト方向算出部と
をさらに備える請求項1に記載の車載カメラシステム。
【請求項4】
前記第2オブジェクト距離算出部が算出した第2の時刻におけるオブジェクトまでの距離を運転者に通知するオブジェクト位置通知部
をさらに備える請求項1に記載の車載カメラシステム。
【請求項5】
同一のオブジェクトを第1撮像部及び第2撮像部によって撮像する撮像段階と、
第1の時刻に前記撮像段階において撮像された2つの画像に基づいて、第1の時刻におけるオブジェクトまでの距離を算出する第1オブジェクト距離算出段階と、
第1の時刻において前記第1撮像部及び前記第2撮像部における撮像範囲内に存在したオブジェクトが、第1の時刻から所定時間が経過した第2の時刻において前記第1撮像部における撮像範囲内であって前記第2撮像部における撮像範囲外に移動した場合に、第1の時刻に前記第1撮像部において撮像された画像におけるオブジェクトの長さと、第2の時刻に前記第1撮像部において撮像された画像におけるオブジェクトの長さとの差を算出するオブジェクト長さ差算出段階と、
前記オブジェクト長さ差算出段階において算出された画像におけるオブジェクトの長さの差、及び前記第1オブジェクト距離算出段階において算出された第1の時刻におけるオブジェクトまでの距離に基づいて、第2の時刻におけるオブジェクトまでの距離を算出する第2オブジェクト距離算出段階と
を備えるオブジェクト位置検出方法。
【請求項6】
同一のオブジェクトを撮像する第1撮像部及び第2撮像部と、
第1の時刻に前記第1撮像部及び前記第2撮像部によってそれぞれ撮像された2つの画像に基づいて、オブジェクトの立体画像を生成する立体画像生成部と、
第1の時刻に前記第1撮像部及び前記第2撮像部によってそれぞれ撮像された2つの画像に基づいて、第1の時刻におけるオブジェクトまでの距離を算出する第1オブジェクト距離算出部と、
第1の時刻において前記第1撮像部及び前記第2撮像部の撮像範囲内に存在したオブジェクトが、第1の時刻から所定時間が経過した第2の時刻において前記第1撮像部の撮像範囲内であって前記第2撮像部の撮像範囲外に移動した場合に、前記立体画像生成部が生成したオブジェクトの立体画像、前記第1オブジェクト距離算出部が算出した第1の時刻におけるオブジェクトまでの距離、第1の時刻に前記第1撮像部によって撮像された平面画像、及び第2の時刻に前記第1撮像部によって撮像された平面画像に基づいて、第2の時刻におけるオブジェクトの位置を算出するオブジェクト位置算出部と
を備えるオブジェクト位置検出システム。
【請求項7】
前記オブジェクト位置算出部は、
第2の時刻に前記第1撮像部によって撮像されたオブジェクトの画像と、前記立体画像生成部が生成したオブジェクトの立体画像とを比較することによって、第2の時刻におけるオブジェクトの方向を算出するオブジェクト方向算出部
を有する請求項6に記載のオブジェクト位置検出システム。
【請求項8】
前記オブジェクト位置算出部は、
第1の時刻に前記第1撮像部によって撮像された平面画像におけるオブジェクトの長さと、第2の時刻に前記第1撮像部によって撮像された平面画像におけるオブジェクトの長さとの差を算出するオブジェクト長さ差算出部と、
前記オブジェクト長さ差算出部が算出した画像におけるオブジェクトの長さの差、及び前記第1オブジェクト距離算出部が算出した第1の時刻におけるオブジェクトまでの距離に基づいて、第2の時刻におけるオブジェクトまでの距離を算出する第2オブジェクト距離算出部と
を有する請求項6に記載のオブジェクト位置検出システム。
【請求項9】
第1撮像部及び第2撮像部によって同一のオブジェクトを撮像する撮像段階と、
第1の時刻に前記撮像段階において撮像された2つの画像に基づいて、オブジェクトの立体画像を生成する立体画像生成段階と、
第1の時刻に前記第1撮像部及び前記第2撮像部においてそれぞれ撮像された2つの画像に基づいて、第1の時刻におけるオブジェクトまでの距離を算出する第1オブジェクト距離算出段階と、
第1の時刻において前記第1撮像部及び前記第2撮像部における撮像範囲内に存在したオブジェクトが、第1の時刻から所定時間が経過した第2の時刻において前記第1撮像部における撮像範囲内であって前記第2撮像部における撮像範囲外に移動した場合に、前記立体画像生成段階において生成されたオブジェクトの立体画像、前記第1オブジェクト距離算出段階において算出された第1の時刻におけるオブジェクトまでの距離、第1の時刻に前記第1撮像部において撮像された平面画像、及び第2の時刻に前記第1撮像部において撮像された平面画像に基づいて、第2の時刻におけるオブジェクトの位置を算出するオブジェクト位置算出段階と
を備えるオブジェクト位置検出方法。
発明の詳細な説明
【技術分野】
【0001】
本発明は、車載カメラシステム、オブジェクト位置検出システム、及びオブジェクト位置検出方法に関する。特に本発明は、車載された複数の撮像装置によりオブジェクトを撮像する車載カメラシステム及びオブジェクト位置検出方法、並びに、複数の撮像装置によりオブジェクトの位置を算出するオブジェクト位置検出システム及びオブジェクト位置検出方法に関する。
【背景技術】
【0002】
複数のカメラにより車両の周囲の異なる方向を撮影して、各カメラの画像を車載情報LANを介して転送し、モニタに表示させるシステムが知られている(例えば、特許文献1参照。)。
【特許文献1】特開平2002−063681号公報
【発明の開示】
【発明が解決しようとする課題】
【0003】
しかし、特許文献1には、複数のカメラによって得られた車両の周囲の画像から、車両の周囲の障害物の位置の変化を推定する技術については開示されていない。障害物が複数のカメラの撮像範囲内に位置していない場合であっても、障害物の位置を推定することができるのが望ましい。
【0004】
そこで本発明は、上記の課題を解決することができる車載カメラシステム、オブジェクト位置検出システム、及びオブジェクト位置検出方法を提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。
【課題を解決するための手段】
【0005】
本発明の第1の形態における車載カメラシステムは、同一のオブジェクトを撮像する第1撮像部及び第2撮像部と、第1の時刻に第1撮像部及び第2撮像部によってそれぞれ撮像された2つの画像に基づいて、第1の時刻におけるオブジェクトまでの距離を算出する第1オブジェクト距離算出部と、第1の時刻において第1撮像部及び第2撮像部の撮像範囲内に存在したオブジェクトが、第1の時刻から所定時間が経過した第2の時刻において第1撮像部の撮像範囲内であって第2撮像部の撮像範囲外に移動した場合に、第1の時刻に第1撮像部によって撮像された画像におけるオブジェクトの長さと、第2の時刻に第1撮像部によって撮像された画像におけるオブジェクトの長さとの差を算出するオブジェクト長さ差算出部と、オブジェクト長さ差算出部が算出した画像におけるオブジェクトの長さの差、及び第1オブジェクト距離算出部が算出した第1の時刻におけるオブジェクトまでの距離に基づいて、第2の時刻におけるオブジェクトまでの距離を算出する第2オブジェクト距離算出部とを備える。
【0006】
第1の時刻に第1撮像部及び第2撮像部によってそれぞれ撮像された2つの画像に基づいて、第1の時刻におけるオブジェクトの方向を算出する第1オブジェクト方向算出部と、第1の時刻において第1撮像部及び第2撮像部の撮像範囲内に存在したオブジェクトが、第2の時刻において第1撮像部の撮像範囲内であって第2撮像部の撮像範囲外に移動した場合に、第1の時刻に第1撮像部によって撮像された画像におけるオブジェクトの位置と、第2の時刻に第1撮像部によって撮像された画像におけるオブジェクトの位置との差を算出するオブジェクト位置差算出部と、オブジェクト位置差算出部が算出した画像におけるオブジェクトの位置の差、及び第1オブジェクト方向算出部が算出した第1の時刻におけるオブジェクトの方向に基づいて、第2の時刻におけるオブジェクトまでの方向を算出する第2オブジェクト方向算出部とをさらに備えてよい。
【0007】
第1の時刻に第1撮像部及び第2撮像部によってそれぞれ撮像された2つの画像に基づいて、オブジェクトの立体画像を生成する立体画像生成部と、第1の時刻において第1撮像部及び第2撮像部の撮像範囲内に存在したオブジェクトが、第2の時刻において第1撮像部の撮像範囲内であって第2撮像部の撮像範囲外に移動した場合に、第2の時刻に第1撮像部によって撮像されたオブジェクトの画像と、立体画像生成部が生成したオブジェクトの立体画像とを比較することによって、第2の時刻におけるオブジェクトの方向を算出するオブジェクト方向算出部とをさらに備えてよい。
【0008】
第2オブジェクト距離算出部が算出した第2の時刻におけるオブジェクトまでの距離を運転者に通知するオブジェクト位置通知部をさらに備えてよい。
【0009】
本発明の第2の形態におけるオブジェクト位置算出方法は、第1撮像部及び第2撮像部により同一のオブジェクトを撮像する撮像段階と、第1の時刻に撮像段階において撮像された2つの画像に基づいて、第1の時刻におけるオブジェクトまでの距離を算出する第1オブジェクト距離算出段階と、第1の時刻において第1撮像部及び第2撮像部における撮像範囲内に存在したオブジェクトが、第1の時刻から所定時間が経過した第2の時刻において第1撮像部における撮像範囲内であって第2撮像部における撮像範囲外に移動した場合に、第1の時刻に第1撮像部において撮像された画像におけるオブジェクトの長さと、第2の時刻に第1撮像部において撮像された画像におけるオブジェクトの長さとの差を算出するオブジェクト長さ差算出段階と、オブジェクト長さ差算出段階において算出された画像におけるオブジェクトの長さの差、及び第1オブジェクト距離算出段階において算出された第1の時刻におけるオブジェクトまでの距離に基づいて、第2の時刻におけるオブジェクトまでの距離を算出する第2オブジェクト距離算出段階とを備える。
【0010】
本発明の第3の形態におけるオブジェクト位置検出システムは、同一のオブジェクトを撮像する第1撮像部及び第2撮像部と、第1の時刻に第1撮像部及び第2撮像部によってそれぞれ撮像された2つの画像に基づいて、オブジェクトの立体画像を生成する立体画像生成部と、第1の時刻に第1撮像部及び第2撮像部によってそれぞれ撮像された2つの画像に基づいて、第1の時刻におけるオブジェクトまでの距離を算出する第1オブジェクト距離算出部と、第1の時刻において第1撮像部及び第2撮像部の撮像範囲内に存在したオブジェクトが、第1の時刻から所定時間が経過した第2の時刻において第1撮像部の撮像範囲内であって第2撮像部の撮像範囲外に移動した場合に、立体画像生成部が生成したオブジェクトの立体画像、第1オブジェクト距離算出部が算出した第1の時刻におけるオブジェクトまでの距離、第1の時刻に第1撮像部によって撮像された平面画像、及び第2の時刻に第1撮像部によって撮像された平面画像に基づいて、第2の時刻におけるオブジェクトの位置を算出するオブジェクト位置算出部とを備える。
【0011】
オブジェクト位置算出部は、第2の時刻に第1撮像部によって撮像されたオブジェクトの画像と、立体画像生成部が生成したオブジェクトの立体画像とを比較することによって、第2の時刻におけるオブジェクトの方向を算出するオブジェクト方向算出部を有してよい。
【0012】
オブジェクト位置算出部は、第1の時刻に第1撮像部によって撮像された平面画像におけるオブジェクトの長さと、第2の時刻に第1撮像部によって撮像された平面画像におけるオブジェクトの長さとの差を算出するオブジェクト長さ差算出部と、オブジェクト長さ差算出部が算出した画像におけるオブジェクトの長さの差、及び第1オブジェクト距離算出部が算出した第1の時刻におけるオブジェクトまでの距離に基づいて、第2の時刻におけるオブジェクトまでの距離を算出する第2オブジェクト距離算出部とを有してよい。
【0013】
本発明の第4の形態におけるオブジェクト位置算出方法は、第1撮像部及び第2撮像部によって同一のオブジェクトを撮像する撮像段階と、第1の時刻に撮像段階において撮像された2つの画像に基づいて、オブジェクトの立体画像を生成する立体画像生成段階と、第1の時刻に第1撮像部及び第2撮像部においてそれぞれ撮像された2つの画像に基づいて、第1の時刻におけるオブジェクトまでの距離を算出する第1オブジェクト距離算出段階と、第1の時刻において第1撮像部及び第2撮像部における撮像範囲内に存在したオブジェクトが、第1の時刻から所定時間が経過した第2の時刻において第1撮像部における撮像範囲内であって第2撮像部における撮像範囲外に移動した場合に、立体画像生成段階において生成されたオブジェクトの立体画像、第1オブジェクト距離算出段階において算出された第1の時刻におけるオブジェクトまでの距離、第1の時刻に第1撮像部において撮像された平面画像、及び第2の時刻に第1撮像部において撮像された平面画像に基づいて、第2の時刻におけるオブジェクトの位置を算出するオブジェクト位置算出段階とを備える。
【0014】
なお上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた発明となりうる。
【発明の効果】
【0015】
本発明によれば、一方のカメラの撮像範囲から障害物が外れた場合でも、障害物までの距離を適切に算出することができる車載カメラシステムを提供することができる。
【発明を実施するための最良の形態】
【0016】
以下、発明の実施形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【0017】
図1は、この発明の一実施形態におけるオブジェクト位置検出システム100の利用環境の一例を示す。本オブジェクト位置検出システム100は、複数のカメラ110及び120、並びに表示装置140を備えている。本実施形態におけるオブジェクト位置検出システム100は、車両130に搭載されて、この発明における車載カメラシステムとして機能する。オブジェクト位置検出システム100は、車両130に設けられた複数のカメラ110及び120によって撮像された画像から、車両130に対する障害物150の位置を検出する。
【0018】
そして、障害物150の車両130に対する相対的な移動によって、障害物150がカメラ120の撮像範囲の外に移動した場合に、障害物150がカメラ110の撮像範囲内にあれば、カメラ110によって撮像された障害物150の大きさの変化から車両130に対して障害物150が移動した量を算出する。また、オブジェクト位置検出システム100は、カメラ110によって撮像された画像における障害物150の位置の変化から、車両130に対して障害物150が移動した移動方向を算出する。そして、オブジェクト位置検出システム100は、障害物150がカメラ120の撮像範囲の外に移動したタイミングにおける障害物150の車両130からの距離及び方向を算出する。そして、表示装置140は、算出した車両130からの距離及び方向を表示して、130の運転者に通知する。
【0019】
なお、オブジェクト位置検出システム100では、複数のカメラ110及び120によって撮像された障害物150の画像から障害物150の3次元画像を予め生成して記憶しておく。そして、障害物150がカメラ120の撮像範囲の外に移動した場合に、3次元画像を各視点から見ることによって得られる障害物150の平面画像と、カメラ110に写った障害物150の平面画像を比較することによって、障害物150がカメラ120の撮像範囲の外に移動したタイミングにおける障害物150の方向を算出してもよい。なお、カメラ110は、車両130の前方、側面、後面のいずれから撮像してよい。
【0020】
なお、表示装置140は、例えばカーナビゲーションシステムにおけるディスプレイであってよい。また、表示装置140は、車両130から障害物150までの距離及び方向を、数値、イメージ等によって表示してよい。他にも、表示装置140は、カメラ110による障害物150の画像を表示してもよい。また、表示装置140は、車両130のフロントガラス、ドアガラス、バックガラス等のガラス面に投影表示してよい。これにより、運転者は、視線を大きく動かすことなく、障害物150の位置を確認することができる。なお、表示装置140は、運転席の位置に対して障害物150が位置する方向に存在するガラスに投影表示してもよい。具体的には、表示装置140は、ガラス面における運転者の目線と障害物150との交点の近傍に投影表示してもよい。また、表示装置140は、障害物150の立体画像に基づいて、運転者から見た障害物150の画像を表示してよい。
【0021】
以上説明したように、オブジェクト位置検出システム100によると、車両130又は障害物150の移動によって、一方のカメラ120で障害物150を撮像することができなくなった場合に、一のカメラ110の撮像範囲内に障害物150があれば、障害物150の位置を適切に算出して運転者に提供することができる。
【0022】
図2は、オブジェクト位置検出システム100のブロック構成の一例を示す。本例におけるオブジェクト位置検出システム100は、車載カメラシステムとして機能する。オブジェクト位置検出システム100は、第1撮像部210、第2撮像部220、オブジェクト長さ差算出部240、第1オブジェクト距離算出部241、第2オブジェクト距離算出部242、オブジェクト位置差算出部250、第1オブジェクト方向算出部251、第2オブジェクト方向算出部252、オブジェクト方向算出部255、立体画像生成部260、及びオブジェクト位置通知部270を備える。
【0023】
第1撮像部210及び第2撮像部220は、同一のオブジェクトを撮像する。具体的には、第1撮像部210及び第2撮像部220は、互いに異なる方向から同一のオブジェクトを撮像する。なお、図1に関連して説明した障害物150は、本実施形態におけるオブジェクトの一例である。
【0024】
第1オブジェクト距離算出部241は、第1の時刻に第1撮像部210及び第2撮像部220によってそれぞれ撮像された2つの画像に基づいて、第1の時刻におけるオブジェクトまでの距離を算出する。具体的には、第1オブジェクト距離算出部241は、三角測量の原理を用いて、第1の時刻におけるオブジェクトまでの距離を算出する。
【0025】
オブジェクト長さ差算出部240は、第1の時刻において第1撮像部210及び第2撮像部220の撮像範囲内に存在したオブジェクトが、第1の時刻から所定時間が経過した第2の時刻において第1撮像部210の撮像範囲内であって第2撮像部220の撮像範囲外に移動した場合に、第1の時刻に第1撮像部210によって撮像された画像におけるオブジェクトの長さと、第2の時刻に第1撮像部210によって撮像された画像におけるオブジェクトの長さとの差を算出する。
【0026】
そして、第2オブジェクト距離算出部242は、オブジェクト長さ差算出部240が算出した画像におけるオブジェクトの長さの差、及び第1オブジェクト距離算出部241が算出した第1の時刻におけるオブジェクトまでの距離に基づいて、第2の時刻におけるオブジェクトまでの距離を算出する。このため、オブジェクトと第2撮像部220との相対位置の変化によって、第2の時刻においてオブジェクトが第2撮像部220の撮像範囲から外れてしまった場合であっても、オブジェクトまでの距離を的確に算出することができる。
【0027】
第1オブジェクト方向算出部251は、第1の時刻に第1撮像部210及び第2撮像部220によってそれぞれ撮像された2つの画像に基づいて、第1の時刻におけるオブジェクトの方向を算出する。具体的には、第1オブジェクト距離算出部241は、三角測量の原理を用いて、第1の時刻におけるオブジェクトまでの距離を算出する。
【0028】
オブジェクト位置差算出部250は、第1の時刻において第1撮像部210及び第2撮像部220の撮像範囲内に存在したオブジェクトが、第2の時刻において第1撮像部210の撮像範囲内であって第2撮像部220の撮像範囲外に移動した場合に、第1の時刻に第1撮像部210によって撮像された画像におけるオブジェクトの位置と、第2の時刻に第1撮像部210によって撮像された画像におけるオブジェクトの位置との差を算出する。
【0029】
そして、第2オブジェクト方向算出部252は、オブジェクト位置差算出部250が算出した画像におけるオブジェクトの位置の差、及び第1オブジェクト方向算出部251が算出した第1の時刻におけるオブジェクトの方向に基づいて、第2の時刻におけるオブジェクトまでの方向を算出する。このため、オブジェクトと第2撮像部220との相対位置の変化によって、第2の時刻においてオブジェクトが第2撮像部220の撮像範囲から外れてしまった場合であっても、オブジェクトが位置する方向を的確に算出することができる。
【0030】
立体画像生成部260は、第1の時刻に第1撮像部210及び第2撮像部220によってそれぞれ撮像された2つの画像に基づいて、オブジェクトの立体画像を生成する。具体的には、立体画像生成部260は、三角測量の原理を用いて、オブジェクトを構成する各領域の座標を算出することによって、立体画像を生成する。なお、立体画像生成部260は、オブジェクトの各領域の三次元空間における座標を立体画像として生成してよい。
【0031】
そして、オブジェクト方向算出部255は、第1の時刻において第1撮像部210及び第2撮像部220の撮像範囲内に存在したオブジェクトが、第2の時刻において第1撮像部210の撮像範囲内であって第2撮像部220の撮像範囲外に移動した場合に、第2の時刻に第1撮像部210によって撮像されたオブジェクトの画像と、立体画像生成部260が生成したオブジェクトの立体画像とを比較することによって、第2の時刻におけるオブジェクトの方向を算出する。具体的には、オブジェクト方向算出部255は、立体画像生成部260が生成した立体画像に基づいて、視点位置を変えながら各視点からのオブジェクトの平面画像を生成して、生成したオブジェクトの平面画像と第1撮像部210によって撮像されたオブジェクトの平面画像とをマッチングすることによって、第2の時刻におけるオブジェクトの方向を算出する。
【0032】
このように、オブジェクト方向算出部255が立体画像に基づいてオブジェクトの方向を算出するので、例えば車両130が車庫入れをしている場合等、車両130が直進している場合に比べて第1撮像部210及び第2撮像部220の撮像方向の空間的な変化の自由度が高い場合であっても、障害物の位置する方向を適切に算出することができる。
【0033】
オブジェクト位置通知部270は、第2オブジェクト距離算出部242が算出した第2の時刻におけるオブジェクトまでの距離を運転者に通知する。また、オブジェクト位置通知部270は、第2オブジェクト距離算出部242が算出した第2の時刻におけるオブジェクトまでの方向を運転者に通知する。なお、オブジェクト位置通知部270は、例えば、図1に関連して説明した表示装置140として機能する。
【0034】
以上説明したオブジェクト位置検出システム100によれば、障害物150がと車両130との相位置が変化することによって、複数のカメラで障害物150を捉えることができなくなった場合であっても、車両130に対する障害物150の位置を特定することができる。このため、例えばハンドルの舵角、車両130のスピード等に基づいて障害物150の位置を特定するシステムに比べて、自転車等、車両130に対して移動する障害物150の位置を適切に特定することができる。
【0035】
図3は、第2オブジェクト距離算出部242及び第2オブジェクト方向算出部252がオブジェクトの距離及び方向を特定する方法の一例を示す。オブジェクト350は、時刻t1において、第1撮像部210及び第2撮像部220の撮像範囲内に位置する。そして、第1撮像部210及び第2撮像部220は、時刻t1においてそれぞれ平面画像315及び325を撮像する。
【0036】
その後、オブジェクト350が第1撮像部210及び第2撮像部220に対して移動することによって、時刻t2において、オブジェクト350は第1撮像部210の撮像範囲内であって、第2撮像部220の撮像範囲外になる。時刻t2において、第1撮像部210はオブジェクト350の画像を含む平面画像317を撮像し、第2撮像部220は、オブジェクト350の画像を含まない平面画像327を撮像する。
【0037】
第1オブジェクト距離算出部241は、第1の時刻において撮像された平面画像315及び325のそれぞれにおいて、エッジ抽出等によってオブジェクト350の輪郭を抽出して、抽出した輪郭のパターンマッチング等によって、平面画像315及び325の双方に含まれるオブジェクト350の位置を特定する。なお、第1オブジェクト距離算出部241は、平面画像315及び325に含まれる色の一致度にさらに基づいて、平面画像315及び325の双方に含まれるオブジェクト350の位置を特定してもよい。
【0038】
例えば、オブジェクト350の点P1は、平面画像315及び325における位置P11及びP12の位置に現れている。そして、第1オブジェクト距離算出部241は、平面画像315におけるP1の位置の画像に対応する撮像素子の位置と第1撮像部210の焦点とを結ぶ線311を算出する。第1オブジェクト距離算出部241は、第2撮像部220によって得られた平面画像325についても同様に、平面画像325におけるP2の位置の画像が得られる撮像素子の位置と第2撮像部220の焦点とを結ぶ線321を算出する。そして、第1オブジェクト距離算出部241は、線321と線311とが交わる点をP1の位置として算出する。
【0039】
そして、オブジェクト長さ差算出部240は、平面画像315におけるオブジェクト350の像の長さl1と、平面画像317におけるオブジェクト350の像の長さl2とを算出する。そして、第2オブジェクト距離算出部242は、長さl1と長さl2の大きさの違いに基づいて、時刻t1から時刻t2にかけてオブジェクト350が移動した距離を算出する。具体的には、第2オブジェクト距離算出部242は、長さl1とl2との長さの比及び時刻t1におけるオブジェクト350までの距離に基づいて、時刻t2における第1撮像部210からオブジェクト350までの距離を算出する。
【0040】
なお、第1撮像部210及び第2撮像部220が、車両130等の、2次元的な移動が主である移動体に搭載される場合には、オブジェクト長さ差算出部240は、移動体の移動平面に直交する方向の長さ成分の差を算出することが望ましい。例えば、第1オブジェクト距離算出部241は、オブジェクト350が人物である場合に、人物の体の幅を算出するのではなく、人物の背の高さを算出する。これにより、車両130の移動に応じたオブジェクト350までの距離を適切に算出することができる。また、オブジェクト長さ差算出部240は、人物の頭部等、オブジェクト350の一部の高さの差を算出してもよい。これにより、オブジェクト位置検出システム100は、例えば、時刻t1において人物の全身が写っており、時刻t2において同じ人物の頭部だけが写っている場合でも、頭部の高さに基づいて時刻t2における人物の位置を推定することができる。
【0041】
また、第1オブジェクト方向算出部251は、平面画像315及び平面画像325から算出されるオブジェクト350の位置に基づいて、オブジェクト350の移動車両130において予め定められた基準点からP1への方向を算出する。そして、オブジェクト位置差算出部250は、平面画像315及び317におけるオブジェクト350の位置の、車両130の主となる移動平面上における位置の差(例えば、P11からP21のベクトルの水平方向成分Δx)を算出する。そして、第2オブジェクト方向算出部252は、当該位置の差に基づいて、時刻t1から時刻t2にかけて、オブジェクト350の移動方向と移動量(例えばベクトルΔX)を算出する。そして、第2オブジェクト方向算出部252は、第1の時刻に算出したオブジェクト350への方向と、第1の時刻におけるオブジェクト350までの距離と、オブジェクト350の移動方向及び移動量とに基づいて、第2の時刻において第1撮像部210からオブジェクト350への方向321を算出することができる。
【0042】
なお、オブジェクト位置通知部270は、時刻t2におけるオブジェクト350の距離及び方向を運転手に通知する場合に、算出された時刻t2の位置から車両130に最も近い領域からの距離及び方向を通知してよい。例えば、オブジェクト位置通知部270は、予め車両130の空間情報を格納しておき、時刻t2におけるオブジェクト350の距離及び方向、車両130の空間情報、及び第1撮像部210の位置に基づいて、オブジェクト350に最も近い車両130の位置を特定し、当該位置からオブジェクト350までの距離及び方向を運転手に通知してよい。
【0043】
また、立体画像生成部260は、時刻t1において撮像された平面画像315及び325から、画像における各領域の位置を算出することによって、オブジェクト350の3次元空間における座標を算出して、算出した座標情報を3次元画像として記憶する。そして、オブジェクト方向算出部255は、x、y、z座標を所定の空間間隔で視点を変更しながら、立体画像生成部260が算出した座標情報に基づいて各視点から見たオブジェクト350の平面画像を生成する。そしてオブジェクト方向算出部255は、平面画像を所定の倍率で拡縮した画像と、第1撮像部210の画像とのオブジェクト350の画像とをマッチングすることによってオブジェクト350の画像の一致度を算出する。そして、オブジェクト方向算出部255は、最も高い一致度が算出された方向を、時刻t2におけるオブジェクト350の方向として決定する。
【0044】
立体画像生成部260によって、立体画像に基づいてオブジェクト350の位置を特定するので、第1撮像部210及び第2撮像部220に対してオブジェクト350が高い空間的自由度で移動する場合であっても、オブジェクト350の位置を適切に特定することができる。
【0045】
図4は、オブジェクト位置検出システム100の他の例のブロック構成を示す。本実施形態においては、オブジェクト位置検出システム100は、オブジェクトまでの距離を算出する。オブジェクト位置検出システム100は、第1撮像部210、第2撮像部220、第1オブジェクト距離算出部241、オブジェクト位置算出部230、立体画像生成部260、及びオブジェクト位置通知部270を備える。オブジェクト位置算出部230は、オブジェクト長さ差算出部240、第2オブジェクト距離算出部242、及びオブジェクト方向算出部255を有する。なお、本例において、第1撮像部210、第2撮像部220、第1オブジェクト距離算出部241、オブジェクト長さ差算出部240、第2オブジェクト距離算出部242の具体的な機能及び動作は、図1から図4に関連して説明したオブジェクト位置検出システム100における第1撮像部210、第2撮像部220、第1オブジェクト距離算出部241、オブジェクト長さ差算出部240、第2オブジェクト距離算出部242の機能及び動作と同一であるので、説明を省略する。
【0046】
オブジェクト位置算出部230は、第1の時刻において第1撮像部210及び第2撮像部220の撮像範囲内に存在したオブジェクトが、第1の時刻から所定時間が経過した第2の時刻において第1撮像部210の撮像範囲内であって第2撮像部220の撮像範囲外に移動した場合に、立体画像生成部260が生成したオブジェクトの立体画像、第1オブジェクト距離算出部241が算出した第1の時刻におけるオブジェクトまでの距離、第1の時刻に第1撮像部210によって撮像された平面画像、及び第2の時刻に第1撮像部210によって撮像された平面画像に基づいて、第2の時刻におけるオブジェクトの位置を算出する。
【0047】
具体的には、オブジェクト方向算出部255が算出する第2の時刻におけるオブジェクトの方向、及び第2オブジェクト距離算出部242が算出する第2の時刻におけるオブジェクトの位置を、第2の時刻におけるオブジェクトの位置として算出する。
【0048】
オブジェクト位置通知部270は、オブジェクト位置算出部230が算出した第2の時刻におけるオブジェクトの位置をオブジェクト位置検出システム100のユーザに通知する。本実施形態におけるオブジェクト位置検出システム100によると、立体画像に基づいてオブジェクトの位置を算出するので、車両130等以外に、第1撮像部210及び第2撮像部220の設置場所の自由度をより高くすることができる。例えば、工業用ロボットのアームの先端等、空間的な移動自由度の高い機器に第1撮像部210及び第2撮像部220を設けることができる。
【0049】
以上説明したように、本実施形態におけるオブジェクト位置検出システム100によれば、複数のカメラでオブジェクトを撮像しておくことによって、オブジェクトが移動することで1つのカメラでしかオブジェクトを撮像できなくなった場合でも、オブジェクトの位置をユーザに提供することができる。
【0050】
以上、実施形態を用いて本発明を説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。上記実施形態に、多様な変更又は改良を加えることができる。そのような変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【図面の簡単な説明】
【0051】
【図1】オブジェクト位置検出システム100の利用環境の一例を示す図である。
【図2】オブジェクト位置検出システム100のブロック構成の一例を示す図である。
【図3】オブジェクトの距離及び方向を特定する方法の一例を示す図である。
【図4】オブジェクト位置検出システム100のブロック構成の他の一例を示す図である。
【符号の説明】
【0052】
100 オブジェクト位置検出システム
110 カメラ
120 カメラ
130 車両
140 表示装置
150 障害物
210 第1撮像部
220 第2撮像部
230 オブジェクト位置算出部
240 オブジェクト長さ差算出部
241 第1オブジェクト距離算出部
242 第2オブジェクト距離算出部
250 オブジェクト位置差算出部
251 第1オブジェクト方向算出部
252 第2オブジェクト方向算出部
255 オブジェクト方向算出部
260 立体画像生成部
270 オブジェクト位置通知部




 

 


     NEWS
会社検索順位 特許の出願数の順位が発表

URL変更
平成6年
平成7年
平成8年
平成9年
平成10年
平成11年
平成12年
平成13年


 
   お問い合わせ info@patentjp.com patentjp.com   Copyright 2007-2013