米国特許情報 | 欧州特許情報 | 国際公開(PCT)情報 | Google の米国特許検索
 
     特許分類
A 農業
B 衣類
C 家具
D 医学
E スポ−ツ;娯楽
F 加工処理操作
G 机上付属具
H 装飾
I 車両
J 包装;運搬
L 化学;冶金
M 繊維;紙;印刷
N 固定構造物
O 機械工学
P 武器
Q 照明
R 測定; 光学
S 写真;映画
T 計算機;電気通信
U 核技術
V 電気素子
W 発電
X 楽器;音響


  ホーム -> 計算機;電気通信 -> クラリオン株式会社

発明の名称 車両周囲表示システム
発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開2007−96496(P2007−96496A)
公開日 平成19年4月12日(2007.4.12)
出願番号 特願2005−280390(P2005−280390)
出願日 平成17年9月27日(2005.9.27)
代理人 【識別番号】100118094
【弁理士】
【氏名又は名称】殿元 基城
発明者 石井 勝市
要約 課題
車両の下方の路面状況を明示すると共に、その路面状況に対応する車両のタイヤ位置を運転者が容易に判断することができる車両周囲表示システムを提供する。

解決手段
本発明に係る画像周囲表示装置20は、車両の進行方向を撮像する撮像手段21と、撮像手段21で撮像された画像を俯瞰画像へ変換する俯瞰変換手段22と、変換された俯瞰画像に基づいて車両の下方の路面状況を示す周囲画像37を作成する周囲画像作成手段25と、作成された周囲画像37に対して、車両のタイヤ位置を示す仮想車両画像41を重畳する車両画像重畳手段26と、車両画像重畳手段26により仮想車両画像41が重畳された周囲画像37を表示する表示手段とを備える。
特許請求の範囲
【請求項1】
車両の進行方向を撮像する撮像手段と、
該撮像手段で撮像された画像を俯瞰画像へ変換する俯瞰変換手段と、
該俯瞰変換手段によって変換された俯瞰画像に基づいて、前記車両の下方の路面状況を示す周囲画像を作成する周囲画像作成手段と、
該周囲画像作成手段により作成された周囲画像に対して、前記車両のタイヤ位置を示す仮想車両画像を重畳する車両画像重畳手段と、
該車両画像重畳手段により前記仮想車両画像が重畳された周囲画像を表示する表示手段と
を備えることを特徴とする車両周囲表示システム。
【請求項2】
前記周囲画像作成手段は、前記俯瞰変換手段によって変換された俯瞰画像を、前記撮像手段により撮像された順番でつなぎ合わせることによって、前記周囲画像を作成することを特徴とする請求項1に記載の車両周囲表示システム。
【請求項3】
前記車両の移動距離を検出する移動距離検出手段を備え、
前記周囲画像作成手段は、前記移動距離検出手段により検出された移動距離に基づいて、つなぎ合わせを行う前記俯瞰画像の範囲を決定する
ことを特徴とする請求項2に記載の車両周囲表示システム。
【請求項4】
前記車両の操舵角を検出する操舵角検出手段を備え、
前記周囲画像作成手段は、前記操舵角検出手段により検出された操舵角に応じて前記周囲画像を回転させる
ことを特徴とする請求項1乃至請求項3のいずれか1項に記載の車両周囲表示システム。
【請求項5】
前記撮像手段は前記車両の進行方向に対して1台しか設置されていないことを特徴とする請求項1乃至請求項3のいずれか1項に記載の車両周囲表示システム。
発明の詳細な説明
【技術分野】
【0001】
本発明は、車両の進行方向を撮影した映像を俯瞰画像に変換して表示手段で表示させることによって、運転者の車両状況判断を支援する車両周囲表示システムに関する。
【背景技術】
【0002】
カーナビゲーションシステムの普及に伴い、地図情報を表示するためのディスプレイを車内に搭載する車が多くなってきた。今日では、車両後部に車両後方を撮影するカメラを設置し、ディスプレイにカメラの映像を表示させることによって駐車支援を行うシステムが提供されている。
【0003】
例えば、トランク先端部やナンバープレートの照明位置などにカメラを設置し、ディスプレイに車両後方の映像を映し出すことによって、トラック等の車両後方視界が悪い車両において駐車操作を行う場合や運転初心者が駐車操作を行う場合等に、安全に車両を駐車スペースに誘導することが可能となる。
【0004】
しかしながら、駐車支援に用いられるカメラは、広い視野角度で車両後方を撮影するために広角レンズを用いることが多く、図17(a)に示すように、撮影された映像の端部1が歪んでしまう傾向にあった。さらに、ナンバープレートの照明位置などにカメラを設置した場合には、カメラの撮影視点が低くなってしまうため、運転者が車両と周囲との位置関係を正確に判断することが困難であるという問題があった。
【0005】
このような問題を解決するために、カメラにより撮影された画像を車両上空より擬似的に見下ろした平面画像(俯瞰画像)に変換することによって、車両と周囲との位置関係を把握しやすくする方法が提案されている(例えば、特許文献1参照)。
【0006】
しかしながら、特許文献1に示すような俯瞰画像技術を用いて車両後方の映像を俯瞰画像に変換すると、車両近傍の様子をカメラで撮影することができないため車両近傍側の周囲の様子を画像(図17(b)における符号2部分)として表示することができないという問題があった(図17(b)参照)。
【0007】
このような欠点を避けるために、図18(a)に示すように、車両5に4台のカメラ3a〜3dを設置して車両5の前後左右の様子を撮影し、図18(b)に示すように4つのカメラ3a〜3dで撮影された映像をそれぞれ俯瞰画像に変換・合成することによって、車両の周囲の状況を俯瞰画像6として運転者に提供する方法が提案されている。
【特許文献1】特開2003−209835号公報(第2−3頁、第4図、第7図)
【発明の開示】
【発明が解決しようとする課題】
【0008】
ところで、運転者が駐車操作を行う場合には、車両周囲の状況を判断するだけでなく、車止め等の地面上の障害物とダイヤとの位置関係を把握する必要がある。地面上の障害物とタイヤとの状況を把握することができるシステムがあれば、単に駐車操作を行う場合だけでなく、轍などの路面凹凸部の回避や縁石の乗り上げを防止する点において有効に利用することができるが、図18(b)に示すような俯瞰画像の合成では車両の下方の路面状況を表示することができないという問題があった。
【0009】
地面上の障害物とダイヤとの位置関係を把握するために、各タイヤ位置近傍に各タイヤ専用のカメラを設置する方法が考えられるが、システム規模が大きくなると共にシステムの複雑化・高コスト化を招いてしまうため、現実に車両に設置することが困難であるという問題があった。
【0010】
本発明は上記問題に鑑みてなされたものであり、車両の下方の路面状況を明示すると共に、その路面状況に対応する車両のタイヤ位置を運転者が容易に判断することができる車両周囲表示システムを提供することを課題とする。
【課題を解決するための手段】
【0011】
上記課題を解決するために、本発明に係る車両周囲表示システムは、車両の進行方向を撮像する撮像手段と、該撮像手段で撮像された画像を俯瞰画像へ変換する俯瞰変換手段と、該俯瞰変換手段によって変換された俯瞰画像に基づいて、前記車両の下方の路面状況を示す周囲画像を作成する周囲画像作成手段と、該周囲画像作成手段により作成された周囲画像に対して、前記車両のタイヤ位置を示す仮想車両画像を重畳する車両画像重畳手段と、該車両画像重畳手段により前記仮想車両画像が重畳された周囲画像を表示する表示手段とを備えることを特徴とする。
【0012】
また、前記周囲画像作成手段が、前記俯瞰変換手段によって変換された俯瞰画像を、前記撮像手段により撮像された順番でつなぎ合わせることによって、前記周囲画像を作成するものであってもよい。
【0013】
さらに、前記車両の移動距離を検出する移動距離検出手段を備え、前記周囲画像作成手段は、前記移動距離検出手段により検出された移動距離に基づいて、つなぎ合わせを行う前記俯瞰画像の範囲を決定するものであってもよい。
【0014】
また、前記車両の操舵角を検出する操舵角検出手段を備え、前記周囲画像作成手段は、前記操舵角検出手段により検出された操舵角に応じて前記周囲画像を回転させるものであってもよい。
【0015】
さらに、前記撮像手段は前記車両の進行方向に対して1台しか設置されないものであってもよい。
【発明の効果】
【0016】
本発明に係る車両周囲表示システムでは、撮像手段により撮影された時間が異なる俯瞰画像をつなぎ合わせることによって、車両進行時に撮影した画像を周囲画像として再構築することができるので、車両近傍の俯瞰画像まで周囲情報として表示手段に表示することができ、車両周囲の全ての情報を運転者に提示することが可能となる。
【0017】
特に、車両の真下となってしまう部分まで周囲画像として表示手段に表示させることができるため、運転者は車両の下方の路面状況を容易に判断することができる。また、仮想車両画像が周囲画像に重畳表示されるため、運転者は車両の下方の路面状況に対し、車両のタイヤがどの位置に存在するかを視覚的に判断することができ、タイヤと路面上の障害物との関係を容易に把握することが可能となる。
【発明を実施するための最良の形態】
【0018】
以下、本発明に係る車両周囲表示システムを、図面を用いて詳細に説明する。
【実施例1】
【0019】
図1は、実施例1に係る車両周囲表示システムの概略構成を示したブロック図である。車両周囲表示システム20は、カメラ(撮像手段)21と、俯瞰変換ユニット(俯瞰変換手段)22と、操舵角検出部(操舵角検出手段)23と、移動距離検出部(移動距離検出手段)24と、画像処理部(周囲画像作成手段)25と、画像重畳部(車両画像重畳手段)26と、画像データ記憶部27と、ディスプレイ(表示手段)28と、画像処理用メモリ29とを有している。
【0020】
カメラ21は、車両の進行方向側の中央端部に1台設けられており、車両走行時に路面状況を撮影するため視点をやや下方に向けた状態で設置されている。カメラ21には広角レンズが用いられており、車両の進行方向側の様子をより広い視野で撮影することが可能となっている。なお、本実施形態においては、説明の便宜上カメラ21を車両の中央前端部に設置するものとするが、必ずしもカメラ21を車両前端部に設置する必要はなく、車両の進行方向側に設置されていれば、車両後端部に設置してもよい。
【0021】
俯瞰変換ユニット22は、カメラ21により撮影された路面画像の歪みを修整して車両の上方より真下を見下ろした画面へと俯瞰変換し、また必要に応じて画像の拡大/縮小を行う。なお、俯瞰画像に変換する技術は、特開平3−99952号公報、特開平9−171348号公報、特開2001−114048号公報、特開2001−116567号公報等に公開されており、いわゆる当業者にとって公知の技術であるため、その詳細な説明は省略する。
【0022】
操舵角検出部23は、運転者がハンドルを回転することにより出力されるパルス信号を検出することによって、ハンドルが中立位置を基準としてどの程度操舵されているかを判断する。操舵角検出部23は、検出された操舵角情報を画像処理部25に出力する。
【0023】
移動距離検出部24は、車両の走行(移動)に伴って出力される車速パルスをカウントすることによって車両の移動距離を検出する。移動距離検出部24は、検出された移動距離情報を画像処理部25に出力する。
【0024】
画像処理部25は、俯瞰変換ユニット22により変換された俯瞰画像を取得して車両の周囲を示す車両周囲画像(周囲画像)を作成する処理を行う。画像処理用メモリ29は、画像処理部25が車両周囲画像を作成する際に使用する作業用メモリとして用いられる。
【0025】
画像処理部25が車両周囲画像を作成する手順を、図2〜図5を用いて説明する。
【0026】
カメラ21で撮影された映像は、俯瞰変換ユニット22によって一定のタイミングで俯瞰画像に変換され、画像処理部25に出力される。このため、車両が走行している状態においてカメラ21で撮影され映像が俯瞰変換ユニット22により俯瞰画像に変換されると、撮影された時間変化(経時変化)に応じて異なる俯瞰画像が作成される。画像処理部25は、この俯瞰画像のうち異なる部分(俯瞰画像部)をつなぎ合わせることによって車両周囲画像を作成する。
【0027】
図2(a)は、時刻Tにおいてカメラ21で撮影され、俯瞰変換ユニット22で変換された俯瞰画像を示しており、図中の丸記号は、障害物31を示している。これに対して、図2(b)は、時刻TよりもΔtだけ前の時間にカメラ21で撮影され、俯瞰変換ユニット22で変換された俯瞰画像を示している。図2(a)、(b)に示すように、時間T−Δtにおいて撮影された障害物31は、車両がΔt時間に移動した(近づいた)状態となってカメラ21で撮影される。このことからわかるように、図2(b)には図2(a)には表示されていない、車両が時間Δtだけ移動した距離分の画像33が記録されていることとなる。
【0028】
画像処理部25は、変換された俯瞰画像の経時的変化を考慮して俯瞰画像から一定の画像33を抽出し、抽出された部分をつなぎ合わせることによって車両の周囲の俯瞰画像35を作成する(図3(a)参照)。なお、画像33の抽出範囲は、移動距離検出部24により検出される移動距離を考慮して決定される。
【0029】
そして、制御処理部は、時間Tにおいて作成された俯瞰画像のうち車両近傍部の画像36(図2(a)、図3(b)参照)を、作成された俯瞰画像35に重ね合わせることによって車両周囲画像37(図4(a)参照)を作成する。なお、図3(a)、図4(a)において、符号38は時間T−2ΔTに撮影された映像より作成された俯瞰画像を示し、符号39は時間T-3Δt時間の俯瞰画像を示している。
【0030】
さらに、画像処理部25は、操舵角検出部23より取得した操舵角情報に基づいて既に作成された車両周囲画像37を回転させることによって、車両周囲画像37で示される周囲状況と現実の車両の周囲状況とが一致するように画像処理を施す。
【0031】
図5(a)は、車両走行状態においてハンドルが中立位置に操舵された場合にディスプレイ28に表示される映像を示したものであり、車両周囲画像37に対して後述する仮想車両画像41が重畳(合成)描画されている。一方で、図5(b)は、車両走行状態においてハンドルが左に回転された場合にディスプレイ28に表示される映像を示したものであり、同様に、車両周囲画像37に対して仮想車両画像41が重畳(合成)描画されている。
【0032】
図5(a)においては、ハンドルが中立位置にあるため、つなぎ合わされた俯瞰画像の連結部42が互いに水平になっているのに対して、図5(b)においては、ハンドルが左に回転された状態にあるため、俯瞰画像をつなぎ合わせる際に、左に回転させた俯瞰画像に対して新たな俯瞰画像がつなぎ合わされることとなる。このため、連結部42が画面左側から右下方向に傾斜した状態となる。このように、画像処理部25は、移動距離及びハンドルの操舵角に応じて俯瞰画像を抽出し、つなぎ合わせ、回転させることによって、車両周囲画像37で示される周囲状況と現実の車両の周囲状況とを一致させ、車両の真下の状況をも含む車両周囲画像37を作成する。
【0033】
画像データ記憶部27には、上述した仮想車両画像41が記憶されている。仮想車両画像41は、図4(b)に示すように、車両の輪郭41aと車両のタイヤ位置を示すタイヤ画像41bとサイドミラーを示すミラー画像41cとにより構成されており、車両周囲画像37の縮尺比率に車両の輪郭41aの全長・全幅、タイヤ画像41bの配置位置等が対応するように大きさが調整されている。
【0034】
画像重畳部26は、画像処理部25により作成された車両周囲画像37と、画像データ記憶部27に記憶された仮想車両画像41とを重畳させる機能を有している。仮想車両画像41を車両周囲画像37に重畳させてディスプレイ28に表示させることにより、運転者は車両の周囲の状況を容易に把握することが可能となる。
【0035】
ディスプレイ28は、画像重畳部26で重畳された車両周囲画像37と仮想車両画像41とを表示する。ディスプレイ5は、車両のインストルメントパネル上部に載置されたり、インストルメントパネルのカーオーディオ設置スペースにビルトインされたりすることによって、運転者が視認しやすい場所に設置される。なお、ディスプレイ5は、画像重畳部26により重畳された映像を表示するためだけに設置するものでもよいし、カーナビゲーションシステムの地図情報表示用のディスプレイと兼用するものであってもよい。
【0036】
次に図6に示すフローチャート及び図7に示す説明図を用いて、本発明に係る車両周囲表示システム20によりカメラ21で車両進行方向の映像を撮影してから、ディスプレイ28に車両周囲画像37と仮想車両画像41との重畳画像が表示される間での処理を説明する。
【0037】
まずカメラ21により撮影された車両後方の映像は俯瞰変換ユニット22へ出力され、俯瞰画像に変換される。変換された俯瞰画像は画像処理部25に出力される。
【0038】
画像処理部25では、取得した俯瞰画像を画像処理用メモリ29に記録するとともに(ステップS1)、移動距離検出部24から移動距離情報を取得し(ステップS2)、さらに操舵角検出部23から操舵角情報を取得する(ステップS3)。
【0039】
その後、画像処理部25は、図7に示すように、記録された俯瞰画像45から車両近傍部を示す台形状の俯瞰画像部A1と、俯瞰画像部A1に隣接する俯瞰画像部A2とを切り出す(ステップS4)。
【0040】
なお、俯瞰画像部A2の切り出しは、移動距離検出部24により取得した移動距離情報に応じて決定される。例えば、前回(例えば時間T−Δt)の俯瞰画像部B1の切り出しが行われてから、今回(例えば時間T)の俯瞰画像部A2の切り出しが行われるまでに車両が少ししか移動しなかった場合、前回の俯瞰画像で示される車両周囲の状況と今回の俯瞰画像とで示される車両周囲の状況とには、あまり相違がないため、俯瞰画像部A2を切り出す面積(範囲)は小さくなる。一方で、前回(例えば時間T−Δt)の俯瞰画像部B1の切り出しが行われてから、今回(例えば時間T)の俯瞰画像部A2の切り出しが行われるまでに車両が長い距離移動した場合、前回の俯瞰画像で示される車両周囲の状況と今回の俯瞰画像とで示される車両周囲の状況とでは、表示される車両周囲の状況が大きく異なるため、俯瞰画像部A2を切り出す面積(範囲)は大きくなる。
【0041】
そして、画像処理部25は、操舵角検出部23より取得した操舵角情報に基づいて、切り出し時間の異なる俯瞰画像部B1、B2・・をつなぎ合わせることによって予め作成されている車両周囲画像を回転変換させる(ステップS5)。例えば、ハンドルが左に回転されている場合には、図7に示すように車両周囲画像37左に回転させて、現実の車両の周囲状態と対応するように車両周囲画像の修正を行う。
【0042】
その後、画像処理部25は、回転が行われた車両周囲画像に対して、切り出した俯瞰画像部A2をつなぎ合わせることによって、新たに車両周囲画像37aを作成する(ステップS6)。ここで、車両周囲画像37aを作成する場合、本実施形態ではカメラ21が車両の中央前端部に設置され、設置された方向に車両が移動する(つまり、車両が前進する)場合を説明しているので、図7に示すように、新しい俯瞰画像部A2が古い俯瞰画像部B1、B2・・・の上側に位置するようにしてつなぎ合わされる。
【0043】
そして画像処理部25は、作成された車両周囲画像37aにおける車両位置を考慮して、ディスプレイ28に表示させるための車両周囲画像37bを一定範囲で切り出し、さらに俯瞰画像部A1を重畳させることによって画像重畳部26に出力する車両周囲画像37を作成する(ステップS7)。
【0044】
画像処理部25は、作成された車両周囲画像37を画像重畳部26に出力し(ステップS8)、画像重畳部26では、取得した車両周囲画像37と、画像データ記憶部27に記憶される仮想車両画像41とを重畳させて、ディスプレイ28に表示させる。
【0045】
その後、画像処理部25は、上述した処理を繰り返し実行することによって車両周囲の状況をリアルタイムに表す車両周囲画像37を作成し、ディスプレイ28に表示させる。
【0046】
このように、本発明に係る車両周囲表示システム20を用いることによって、1台のカメラ21と1台の俯瞰変換ユニット22だけで車両の前後左右の周囲状況を俯瞰画像として運転者に提示することができるので、システムコストの低廉化を図ることができる共に、システムの複雑化、大型化を回避することが可能となる。
【0047】
また、カメラにより撮影された時間が異なる俯瞰画像を切り出し・つなぎ合わせることによって、車両進行時に撮影した画像を車両周囲画像として再構築することができるので、車両近傍の俯瞰画像まで周囲情報としてディスプレイ28に表示することができ、車両周囲の全ての情報を運転者に提示することが可能となる。
【0048】
特に、車両の真下となってしまう部分まで車両周囲画像37としてディスプレイ28に表示させることができるため、運転者は車両の下方の路面状況を容易に判断することができる。また、仮想車両画像41が車両周囲画像37に重畳表示されるため、運転者は車両の下方の路面状況に対し、車両のタイヤがどの位置に存在するかを視覚的に判断することができ、タイヤと路面上の障害物との関係を容易に把握することができる。
【実施例2】
【0049】
次に実施例2に係る車両周囲表示システムについて説明する。なお、実施例1において説明した構成部分と同様の機能を有する構成部分については、同一の符号を用いて説明を行うと共に、実施例2におけるその構成部分の説明は省略するものとする。
【0050】
実施例1において説明した車両周囲システムでは、車両の中央部前端に1台しかカメラ21を設置しなかったが、カメラ21を車両前端部だけでなく後端部にも設置する構成としてもよい。
【0051】
図8は、実施例2に係る車両周囲表示システム20aの概略構成を示したブロック図である。車両周囲表示システム20aは、2台のカメラ21f,21rと、俯瞰変換ユニット22と、操舵角検出部23と、移動距離検出部24と、画像処理部25と、画像重畳部26と、画像データ記憶部27と、ディスプレイ28と、画像処理用メモリ29と、シフト操舵検出部50と、切換器51とを有している。
【0052】
カメラ21fは車両の前端部に設置されたカメラであり、カメラ21rは車両の後端部に設置されたカメラである。
【0053】
シフト操作検出部50は、シフトレバーが運転者によりどの位置に操作されているかを検出し、検出されたシフトレバーのシフト位置情報を画像処理部25と切換器51とに対して出力する。
【0054】
切換器51は、シフト操作検出部50より受信したシフト位置情報に基づいて、俯瞰変換ユニット22に出力されるカメラ映像の切り換えを行う。
【0055】
次に、車両周囲表示システム20aにおける処理を、図8に示すフローチャート及び図9に示す説明図を用いて説明する。
【0056】
まず、カメラ21f又はカメラ21rで撮影された車両前方又は車両後方の映像が俯瞰変換ユニット22へ出力される。カメラ21fとカメラ21rとの出力選択は、シフトレバーの操作状態に応じて切換器51よって判断され、シフトレバーが車両を前進させるシフト位置に操作されている場合(つまり、車両が前進する場合)には、カメラ21fで撮影され映像が俯瞰変換ユニット22に出力され、シフトレバーが車両を後退させるシフト位置(リバース位置)に操作されている場合(つまり、車両が後退している場合)には、カメラ21rで撮影され映像が俯瞰変換ユニット22に出力される。
【0057】
俯瞰変換ユニット22は、取得したカメラの映像を俯瞰画像に変換し、変換した俯瞰画像を画像処理部25に出力する。
【0058】
画像処理部25は、シフト操作検出部50よりシフトレバーの操作情報を取得する(ステップS10)。取得された操作状況よりシフトレバーがリバース位置に操作されていない場合(つまり、車両が前進する場合)には、図7に示す車両周囲画像の作成処理(ステップS1〜S8)を実行する。ステップS1〜S8の具体的な処理は、実施例1において既に説明されているため、ここでの説明は省略する。
【0059】
一方で、シフト操作検出部50より取得した操作状況よってシフトレバーがリバースに操作されている場合(つまり、車両が後退する場合)、画像処理部25は、車両が後退する状態における車両周囲画像37を作成する必要があると判断して、次述する処理を実行する。
【0060】
画像処理部25は、取得した俯瞰画像45を画像処理用メモリ29に記録するとともに(ステップS11)、移動距離検出部24から移動距離情報を取得し(ステップS12)、操舵角検出部23から操舵角情報を取得する(ステップS13)。
【0061】
その後、画像処理部25は、図10に示すように、記録された俯瞰画像45から車両近傍部を示す台形状の俯瞰画像部A3と、俯瞰画像部A3に隣接する俯瞰画像部A4とを切り出す(ステップS14)。なお、俯瞰画像部A4の切り出しは、移動距離検出部24により取得した移動距離情報に応じて決定される。
【0062】
そして、画像処理部25は、切り出された俯瞰画像部A3と俯瞰画像部A4とを180度回転させて上下を逆さまにする(ステップS15)。車両後端部に設置されたカメラの映像により俯瞰画像を作成すると、車両後方側が俯瞰画像の上側になってしまう。しかしながら、車両前方側が上側になるように俯瞰画像をディスプレイ28に表示させないと、運転者が違和感を感じてしまい、車両周囲の状況を俯瞰画像から瞬時に判断することが困難となってしまう。そのため、画像処理部25は、切り取った俯瞰画像部A3、A4を逆さまにし、車両前方側が上側となるように車両周囲画像37aを作成する。
【0063】
画像処理部25は、切り出し時間の異なる俯瞰画像部C1、C2・・をつなぎ合わせることによって予め作成されている車両周囲画像を回転変換させる(ステップS16)。
【0064】
その後、画像処理部25は、切り出した俯瞰画像部A4を、回転が行われた車両周囲画像につなぎ合わせることによって、新たに車両周囲画像37aを作成する(ステップS17)。ここで作成する車両周囲画像37aは、新しい俯瞰画像部A4が古い俯瞰画像部C1、C2・・・の下側に位置するようにして順次つなぎ合わされる。このように新しい俯瞰画像部A4を下側して新しい俯瞰画像を作成することによって、車両周囲画像37aの下側を車両後方側とした車両周囲画像37aを作成することが可能となる。
【0065】
さらに、画像処理部25は、作成された車両周囲画像37aにおける車両位置を考慮して、ディスプレイ28に表示させるための車両周囲画像37bを一定範囲で切り出し、俯瞰画像部A3を車両周囲画像37bの一番下部分に重畳させることによって画像重畳部26に出力する車両周囲画像37を作成する(ステップS18)。
【0066】
画像処理部25は、作成された車両周囲画像37を画像重畳部26に出力し(ステップS19)、画像重畳部26では、取得した車両周囲画像37と画像データ記憶部27に記憶される仮想車両画像41とを重畳させて、ディスプレイ28に表示させる。
【0067】
上述したように、本実施例に係る車両周囲表示システム20aは、車両の前端部及び後端部にカメラ21f、21rをそれぞれ設置し、シフトレバーの操作状態に応じてカメラ21f、21rの撮影画像を切り替えて車両周囲画像37を作成することができるため、車両の進行方向に限定されることなく車両の周囲状況を俯瞰画像として提供することができ、運転者が容易に周囲状況を判断することができる。
【実施例3】
【0068】
次に、実施例3に係る車両周囲表示システム20bについて説明する。なお、実施例1及び実施例2において説明した構成部分と同様の機能を有する構成部分については、同一の符号を用いて説明を行うと共に、実施例3におけるその構成部分の説明は省略するものとする。
【0069】
実施例1及び実施例2では、車両の進行方向のみ、具体的には車両の前端部及び後端部にのみカメラを設置することとしたが、必ずしもカメラの設置位置は車両の進行方向のみに限定される必要はなく、車両進行方向を撮影するカメラに加えて車両の側方等を撮影するカメラを加えることにより車両周囲画像を作成しても良い。
【0070】
図11は、実施例3に係る車両周囲表示システム20bの概略構成を示したブロック図である。車両周囲表示システム20bは、4台のカメラ21a〜21dと、4台の俯瞰変換ユニット22a〜22dと、操舵角検出部23と、移動距離検出部24と、画像処理部25と、画像重畳部26と、画像データ記憶部27と、ディスプレイ28と、画像処理用メモリ29と、シフト操舵検出部50と、2台の切換器51a、51bとを有している。
【0071】
4台のカメラ21a〜21dは、図18(a)に示すカメラ3a〜3dと同様に、車両の前後左右をそれぞれ撮影できる位置に個別に設置される。具体的には、カメラ21aは車両の前方向を撮影するために車両前端部に設置され、カメラ21bは車両の後方向を撮影するために車両後端部に設置され、カメラ21cは車両の左側方向を撮影するために車両左側のサイドミラーに設置され、カメラ21dは車両の右側方向を撮影するために車両右側のサイドミラーに設置される。
【0072】
俯瞰変換ユニット22a〜22dは、各カメラ21a〜21dにより撮影された映像を俯瞰画像に変換する。具体的には、俯瞰変換ユニット22aがカメラ21aにより撮影された映像を俯瞰画像に変換し、俯瞰変換ユニット22bがカメラ21bにより撮影された映像を俯瞰画像に変換し、俯瞰変換ユニット22cがカメラ21cにより撮影された映像を俯瞰画像に変換し、俯瞰変換ユニット22dがカメラ21dにより撮影された映像を俯瞰画像に変換する。ここで、俯瞰変換ユニット22c、22dと次述する切換器51bにより画像重畳部26に接続された俯瞰変換ユニット(22a又は22b)とは、変換された俯瞰画像の一部を切り出した重畳用の俯瞰画像を作成する。例えば、図15に示すように、画像変換ユニット22cは、作成された俯瞰画像61より、重畳画像部56を切り出して重畳用の俯瞰画像63を作成する。
【0073】
切換器51aは俯瞰変換ユニット22aにより変換され俯瞰画像と、俯瞰変換ユニット22bにより変換された俯瞰画像とのどちらか一方の俯瞰画像を選択して画像処理部25部に送出する機能を有しており、切換器51bは、切換器51aにより選択されなかった方の俯瞰変換ユニットを選択して、該当する俯瞰変換ユニットの俯瞰画像を画像重畳部26に出力する。切換器51a、51bの切り換え選択は、実施例2の切換器51と同様に、シフト操作検出部50の検出結果に基づいて実行される。
【0074】
切換器51aは、シフトレバーが車両を前進させるシフト位置に操作された場合には、俯瞰変換ユニット22aと画像処理部25とを接続させ、シフトレバーが車両を後退させるシフト位置(リバース位置)に操作された場合には、俯瞰変換ユニット22bと画像処理部25とを接続させる。また、切換器51bは、シフトレバーが車両を前進させるシフト位置に操作された場合には、俯瞰変換ユニット22bと画像重畳部26とを接続させ、シフトレバーが車両を後退させるシフト位置(リバース位置)に操作された場合には、俯瞰変換ユニット22aと画像重畳部26とを接続させる。
【0075】
次に、車両周囲表示システム20bにおける処理を、図12〜図15示す図面を用いて説明する。
【0076】
まず、各カメラ21a〜21dにより撮影された映像が各俯瞰変換ユニット22a〜22dへ出力される。俯瞰変換ユニット22a〜22dでは、取得した映像を俯瞰画像に変換する。具体的に、俯瞰変換ユニット22cは、カメラ22cより取得した映像を、図13の符号61に示すような俯瞰画像に変換し、俯瞰変換ユニット22dは、カメラ22dより取得した映像を、図13の符号62に示すような俯瞰画像に変換する。さらに、俯瞰変換ユニット22c、22dは、変換された俯瞰画像61、62を、画像重畳部26における重畳処理に適した俯瞰画像63、64に変換して画像重畳部26に出力する。
【0077】
俯瞰変換ユニット22a及び俯瞰変換ユニット22bで変換された俯瞰画像は、切換器51a、51bの切り換えに応じて、一方が画像処理部25に出力され、他方が画像重畳部26に出力される。
【0078】
画像処理部25は、シフト操作検出部50よりシフト位置情報を取得し、シフトレバーがリバース位置に操作されている否かの判断を行う(ステップS20)。取得されたシフト位置情報よりシフトレバーがリバース位置に操作されていない場合(つまり、車両が前進する場合)には、車両前方を撮影するカメラ21aの俯瞰画像に基づいて車両周囲画像37を作成するものと判断し、俯瞰変換ユニット22aより、俯瞰画像45を取得して画像処理用メモリ29に記録する(ステップS21)。さらに、画像処理部25は、移動距離検出部24から移動距離情報を取得し(ステップS22)、操舵角検出部23から操舵角情報を取得する(ステップS23)。
【0079】
その後、画像処理部25は、図13に示すように、記録された俯瞰画像45から車両近傍部を示す台形状の俯瞰画像部A5と、俯瞰画像部A5に隣接する俯瞰画像部A6とを切り出す(ステップS24)。なお、俯瞰画像部A6の切り出しは、移動距離検出部24により取得した移動距離情報に応じて決定される。
【0080】
そして、画像処理部25は、操舵角検出部23より取得した操舵角情報に基づいて、切り出し時間が異なる俯瞰画像部D1、D2・・をつなぎ合わせることによって予め作成されている車両周囲画像を回転変換させ(ステップS25)、現実の車両の周囲状態と対応するように車両周囲画像の修正を行う。
【0081】
その後、画像処理部25は、回転が行われた車両周囲画像に対して、切り出した俯瞰画像A6をつなぎ合わせることによって、新たな車両周囲画像37aを作成する(ステップS26)。尚、ステップS26における処理は、シフトレバーがリバース位置以外の位置に操作された場合(ステップS20においてNO場合)の処理に該当するので、図13に示すように、新しい俯瞰画像部A6を古い俯瞰画像部D1、D2・・・の上側に位置するようにしてつなぎ合わせることによって、新しい俯瞰画像部A6が車両周囲画像37aの上側に位置するようにして車両周囲画像が作成される。
【0082】
そして画像処理部25は、作成された車両周囲画像37aにおける車両位置を考慮して、ディスプレイ28に表示させるための車両周囲画像37bを一定範囲で切り出し、さらに俯瞰画像部A5を重畳させることによって画像重畳部26に出力する車両周囲画像37cを作成する(ステップS27)。画像処理部25は、作成された車両周囲画像37cを画像重畳部26に出力する(ステップS28)。
【0083】
一方で、カメラ21bで撮影された映像は、俯瞰変換ユニット22bにより、図13に示す俯瞰画像65に変換された後、重畳に適した俯瞰画像66となって画像重畳部26に出力される。
【0084】
画像重畳部26は、図13に示すように、俯瞰変換ユニット22cにより作成された俯瞰画像63と、俯瞰変換ユニット22dにより作成された俯瞰画像64と、俯瞰変換ユニット22bにより作成された俯瞰画像66と重畳させることによって、車両の左右及び後方の映像に基づいて作成される俯瞰画像67を生成する。次いで、画像重畳部26は、画像処理部25より取得した車両周囲画像37cに対して俯瞰画像67を重畳させることによって、図15(a)に示すような車両周囲画像37を作成する。さらに、画像重畳部26は、作成された車両周囲画像37に対して画像データ記憶部27に記憶される仮想車両画像41とを重畳させ(図15(b))、仮想車両画像41が重畳された車両周囲画像37をディスプレイ28に出力する。
【0085】
取得された操作状況よりシフトレバーがリバース位置に操作されている場合(つまり、車両が後退する場合)には、車両後方を撮影するカメラ21bの俯瞰画像に基づいて車両周囲画像37を作成するものと判断し、俯瞰変換ユニット22bより、俯瞰画像45を取得して画像処理用メモリ29に記録する(ステップS29)。さらに、画像処理部25は、移動距離検出部24から移動距離情報を取得し(ステップS30)、操舵角検出部23から操舵角情報を取得する(ステップS31)。
【0086】
そして、画像処理部25は、図16に示すように、俯瞰画像45より俯瞰画像部A7と俯瞰画像部A8を切り出し(ステップS32)、切り出された俯瞰画像部A7と俯瞰画像部A8とを180度回転させて上下を逆さまにすることによって(ステップS33)、車両前方側が上側となるように車両周囲画像37aを作成する。
【0087】
その後、画像処理部25は、切り出し時間が異なる俯瞰画像部E1、E2・・をつなぎ合わせることによって予め作成されている車両周囲画像を回転させる(ステップS34)。
【0088】
その後、画像処理部25は、切り出した俯瞰画像部A8を、回転が行われた車両周囲画像につなぎ合わせることよって、新たに車両周囲画像37aを作成する(ステップS35)。ここで作成する車両周囲画像37aは、新しい俯瞰画像部A8が古い俯瞰画像部E1、E2・・・の下側に位置するようにして順次つなぎ合わされる。このように新しい俯瞰画像部A8を下側して新しい車両周囲画像37aを作成することによって、車両周囲画像37aの下側を車両後方側とした車両周囲画像37aを作成することが可能となる。
【0089】
さらに、画像処理部25は、作成された車両周囲画像37aにおける車両位置を考慮して、ディスプレイ28に表示させるための車両周囲画像37bを一定範囲で切り出し、俯瞰画像部A7を車両周囲画像37bの一番下部分に重畳させることによって画像重畳部26に出力する車両周囲画像37cを作成する(ステップS36)。画像処理部25は、作成された車両周囲画像37cを画像重畳部26に出力する(ステップS37)。
【0090】
一方で、カメラ21aで撮影された映像は、俯瞰変換ユニット22aにより、図16に示す俯瞰画像68に変換された後、重畳に適した俯瞰画像69となって画像重畳部26に出力される。
【0091】
画像重畳部26は、図16に示すように、俯瞰変換ユニット22cにより作成された俯瞰画像63と、俯瞰変換ユニット22dにより作成された俯瞰画像64と、俯瞰変換ユニット22aにより作成された俯瞰画像69とを重畳させることによって、車両の左右及び前方の映像に基づいて作成される俯瞰画像70を生成する。次いで、画像重畳部26は、画像処理部25より取得した車両周囲画像37cに対して俯瞰画像70を重畳させることによって車両周囲画像37を作成する。さらに、画像重畳部26は、作成された車両周囲画像37に対して画像データ記憶部27に記憶される仮想車両画像41とを重畳させ、仮想車両画像41が重畳された車両周囲画像37をディスプレイ28に出力する。
【0092】
その後、画像処理部25は、上述した処理を繰り返し実行することによって車両周囲の状況をリアルタイムに表す車両周囲画像37を作成し、ディスプレイ28に表示させる。
【0093】
このように、実施例3に係る車両周囲表示システム20bを用いることによって、実施例1及び実施例2に示す車両周囲表示システムと同様に、車両の真下となってしまう部分まで車両周囲画像37としてディスプレイ28に表示させることができるため、運転者は車両の下方の路面状況を容易に判断することができる。また、仮想車両画像41が車両周囲画像37に重畳表示されるため、運転者は車両の下方の路面状況に対し、車両のタイヤがどの位置に存在するかを視覚的に判断することができ、タイヤと路面上の障害物との関係を容易に把握することができる。
【0094】
以上、本発明に係る車両周囲表示システム20〜20bを、図面を用いて説明したが、本発明に係る車両周囲表示システムは上述したものに限定されるものではない。当業者であれば特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到しうることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【図面の簡単な説明】
【0095】
【図1】実施例1に係る車両周囲表示システムの概略構成を示したブロック図である。
【図2】(a)は時間Tにおける俯瞰画像を示し、(b)は時間T−Δtにおける俯瞰画像を示した図である。
【図3】俯瞰画像を切り出して作成される車両周囲画像を示したものであり、(a)は時間T−Δtまでの俯瞰画像部をつなぎ合わせた車両周囲画像であり、(b)は時間Tにおいて切り出された俯瞰画像部である。
【図4】(a)は、図3(a)の俯瞰画像と図3(b)の俯瞰画像とを重畳させた図であり、(b)は仮想車両画像を示した図である。
【図5】(a)はハンドルが中立位置にある車両の車両周囲画像と仮想車両画像とを重畳させた図であり、(b)はハンドルが左に回転された車両の車両周囲画像と仮想車両画像とを重畳させた図である。
【図6】実施例1おいて画像処理部が行う処理を示したフローチャートである。
【図7】図6に示すフローチャートにおいて作成される車両周囲画像の作成手順を示した説明図である。
【図8】実施例2に係る車両周囲表示システムの概略構成を示したブロック図である。
【図9】実施例2おいて画像処理部が行う処理を示したフローチャートである。
【図10】図9に示すフローチャートにおいて作成される車両周囲画像の作成手順を示した説明図である。
【図11】実施例3に係る車両周囲表示システムの概略構成を示したブロック図である。
【図12】実施例3おいて画像処理部が行う処理を示したフローチャートである。
【図13】図11に示すフローチャートにおいて作成される車両周囲画像の作成手順を示した説明図である。
【図14】俯瞰画像ユニットで変換された俯瞰画像より重畳に適した俯瞰画像を作成する処理を説明した図である。
【図15】(a)は画像重畳部において作成される車両周囲画像を示し、(b)は(a)に示す車両周囲画像に対して仮想車両画像を重畳させた画像を示している。
【図16】図11に示すフローチャートにおいて作成される車両周囲画像の作成手順を示した他の説明図である。
【図17】(a)広角レンズを備えたカメラにより撮影された映像を示した図であり、(b)は(a)で示される映像を俯瞰画像に変換した図である。
【図18】(a)は4台のカメラを車両に設置した様子を示しており、(b)は(a)に示すカメラで撮影された俯瞰画像をつなぎ合わせて作成した車両周囲画像を示した図である。
【符号の説明】
【0096】
20、20a、20b …車両周囲表示システム
21、21f、21r、21a、21b、21c、21d …カメラ
22、22a、22b、22c、22d …俯瞰変換ユニット
23 …操舵角検出部
24 …移動距離検出部
25 …画像処理部
26 …画像重畳部
27 …画像データ記憶部
28 …ディスプレイ
29 …画像処理用メモリ
31 …障害物
37、37a、37b …車両周囲画像
41 …仮想車両画像
42 …連結部
50 …シフト操作検出部
51、51a、51b …切換器




 

 


     NEWS
会社検索順位 特許の出願数の順位が発表

URL変更
平成6年
平成7年
平成8年
平成9年
平成10年
平成11年
平成12年
平成13年


 
   お問い合わせ info@patentjp.com patentjp.com   Copyright 2007-2013