Warning: copy(.htaccess): failed to open stream: Permission denied in /home/jp321/public_html/header.php on line 8

Warning: fopen(data/log202007100630.log): failed to open stream: No space left on device in /home/jp321/public_html/header.php on line 106

Warning: flock() expects parameter 1 to be resource, boolean given in /home/jp321/public_html/header.php on line 107

Warning: fclose() expects parameter 1 to be resource, boolean given in /home/jp321/public_html/header.php on line 112
車両用表示装置 - 日産自動車株式会社
米国特許情報 | 欧州特許情報 | 国際公開(PCT)情報 | Google の米国特許検索
 
     特許分類
A 農業
B 衣類
C 家具
D 医学
E スポ−ツ;娯楽
F 加工処理操作
G 机上付属具
H 装飾
I 車両
J 包装;運搬
L 化学;冶金
M 繊維;紙;印刷
N 固定構造物
O 機械工学
P 武器
Q 照明
R 測定; 光学
S 写真;映画
T 計算機;電気通信
U 核技術
V 電気素子
W 発電
X 楽器;音響


  ホーム -> 計算機;電気通信 -> 日産自動車株式会社

発明の名称 車両用表示装置
発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開2003−309844(P2003−309844A)
公開日 平成15年10月31日(2003.10.31)
出願番号 特願2002−116039(P2002−116039)
出願日 平成14年4月18日(2002.4.18)
代理人 【識別番号】100084412
【弁理士】
【氏名又は名称】永井 冬紀
【テーマコード(参考)】
5B057
5C054
5H180
5L096
【Fターム(参考)】
5B057 AA16 BA02 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CD05 CD11 CE03 CE08 DA06 DA16 DC08 DC09 DC25 DC33 
5C054 AA01 CH02 CH08 FC12 FD03 FE13 HA30
5H180 AA01 CC04 LL01 LL02 LL04 LL08 LL17
5L096 AA02 AA06 BA04 CA05 DA01 EA03 FA04 FA06 FA64 FA67 FA69 GA38 HA07
発明者 井上 裕史 / 山本 泰秀 / 高橋 利彰
要約 課題
車両の上方から見た歪みのない車両の周囲画像を表示する。

解決手段
撮像手段により撮像された車両周囲の映像を車両上方の視点から見た車両周囲画像に変換し、その車両周囲画像上で他の車両を検出する。そして、他車両の検出結果に基づいて、他車両を車両上方の視点から見た疑似車両画像を描画し、車両周囲画像上の他車両の位置に疑似車両画像を上書きして合成し、その合成された画像を表示する。
特許請求の範囲
【請求項1】車両に設置されて車両の周囲を撮像する撮像手段と、前記撮像手段により撮像された車両周囲の映像を車両上方の視点から見た車両周囲画像に変換する透視変換手段と、前記透視変換手段の車両周囲画像上で他の車両を検出する他車両検出手段と、前記他車両検出手段による他車両の検出結果に基づいて、他車両を車両上方の視点から見た疑似車両画像を描画する疑似車両描画手段と、前記透視変換手段により変換された車両周囲画像上の前記他車両検出手段により検出された他車両の位置に、前記疑似車両描画手段により描画された疑似車両画像を上書きして合成する画像合成手段と、前記画像合成手段により合成された画像を表示する表示手段とを備えることを特徴とする車両用表示装置。
【請求項2】車両に設置されて車両の周囲を撮像する撮像手段と、前記撮像手段により撮像された車両周囲の映像上で他の車両を検出する他車両検出手段と、前記他車両検出手段による他車両の検出結果に基づいて、他車両を車両上方の視点から見た疑似車両画像を描画する疑似車両描画手段と、前記撮像手段により撮像された車両周囲の映像を車両上方の視点から見た車両周囲画像に変換する透視変換手段と、前記透視変換手段により変換された車両周囲画像上の前記他車両検出手段により検出された他車両の位置に、前記疑似車両描画手段により描画された疑似車両画像を上書きして合成する画像合成手段と、前記画像合成手段により合成された画像を表示する表示手段とを備えることを特徴とする車両用表示装置。
【請求項3】請求項1または請求項2に記載の車両用表示装置において、前記撮像手段は複数個あり、前記透視変換手段は、それぞれの前記撮像手段により撮像された車両周囲の映像を車両上方の視点から見た車両周囲画像に変換し、それらの車両周囲画像を1枚の車両周囲画像に合成することを特徴とする車両用表示装置。
【請求項4】請求項1〜3のいずれかの項に記載の車両用表示装置において、前記他車両検出手段は、前記透視変換手段の車両周囲画像上または前記撮像手段の車両周囲映像上で他車両の車輪を検出し、他車両の位置を検出することを特徴とする車両用表示装置。
【請求項5】請求項4に記載の車両用表示装置において、前記疑似車両描画手段は、前記他車両検出手段により検出された車輪位置に基づいて他車両のホイールベースを推定し、推定したホイールベースに見合う疑似車両画像を描画することを特徴とする車両用表示装置。
【請求項6】請求項5に記載の車両用表示装置において、前記疑似車両描画手段は、前記ホイールベースから推定される他車両の全長よりも長い全長の疑似車両画像を描画することを特徴とする車両用表示装置。
【請求項7】請求項1〜6のいずれかの項に記載の車両用表示装置において、前記疑似車両描画手段は、前記他車両検出手段により検出された他車両の中の自車の前後の他車両に対しては、それらの他車両と同一のボディーカラーの疑似車両画像を描画することを特徴とする車両用表示装置。
発明の詳細な説明
【0001】
【発明の属する技術分野】本発明は車両周囲の映像を表示する装置に関する。
【0002】
【従来の技術】車両の外周部に配置した複数のカメラで車両の周囲を撮像し、撮像した車両周囲の映像を合成して自車上方からの画像を生成する表示装置が知られている(例えば特開平11−151975号公報参照)。
【0003】
【発明が解決しようとする課題】しかしながら、上述した従来の車両用表示装置では、車両外周部に設置されたカメラの映像を無限遠に近い高さの視点から見た映像に透視変換する際に、正しく上方から見た映像に変換されず、歪んだ映像になってしまうという問題がある。
【0004】例えば図11に示すように車両後方のルーフに設置されたカメラ101により自車両後方の車両102を撮像し、撮像した映像を車両上方から見た画像に透視変換すると、図12に示すように車両上方から見た画像と異なる歪んだ画像になる。
【0005】本発明の目的は、車両の上方から見た歪みのない車両の周囲画像を表示することにある。
【0006】
【課題を解決するための手段】(1) 請求項1の発明は、車両に設置されて車両の周囲を撮像する撮像手段と、前記撮像手段により撮像された車両周囲の映像を車両上方の視点から見た車両周囲画像に変換する透視変換手段と、前記透視変換手段の車両周囲画像上で他の車両を検出する他車両検出手段と、前記他車両検出手段による他車両の検出結果に基づいて、他車両を車両上方の視点から見た疑似車両画像を描画する疑似車両描画手段と、前記透視変換手段により変換された車両周囲画像上の前記他車両検出手段により検出された他車両の位置に、前記疑似車両描画手段により描画された疑似車両画像を上書きして合成する画像合成手段と、前記画像合成手段により合成された画像を表示する表示手段とを備える。
(2) 請求項2の発明は、車両に設置されて車両の周囲を撮像する撮像手段と、前記撮像手段により撮像された車両周囲の映像上で他の車両を検出する他車両検出手段と、前記他車両検出手段による他車両の検出結果に基づいて、他車両を車両上方の視点から見た疑似車両画像を描画する疑似車両描画手段と、前記撮像手段により撮像された車両周囲の映像を車両上方の視点から見た車両周囲画像に変換する透視変換手段と、前記透視変換手段により変換された車両周囲画像上の前記他車両検出手段により検出された他車両の位置に、前記疑似車両描画手段により描画された疑似車両画像を上書きして合成する画像合成手段と、前記画像合成手段により合成された画像を表示する表示手段とを備える。
(3) 請求項3の車両用表示装置は、前記撮像手段は複数個あり、前記透視変換手段は、それぞれの前記撮像手段により撮像された車両周囲の映像を車両上方の視点から見た車両周囲画像に変換し、それらの車両周囲画像を1枚の車両周囲画像に合成するようにしたものである。
(4) 請求項4の車両用表示装置は、前記他車両検出手段によって、前記透視変換手段の車両周囲画像上または前記撮像手段の車両周囲映像上で他車両の車輪を検出し、他車両の位置を検出するようにしたものである。
(5) 請求項5の車両用表示装置は、前記疑似車両描画手段によって、前記他車両検出手段により検出された車輪位置に基づいて他車両のホイールベースを推定し、推定したホイールベースに見合う疑似車両画像を描画するようにしたものである。
(6) 請求項6の車両用表示装置は、前記疑似車両描画手段によって、前記ホイールベースから推定される他車両の全長よりも長い全長の疑似車両画像を描画するようにしたものである。
(7) 請求項7の車両用表示装置は、前記疑似車両描画手段によって、前記他車両検出手段により検出された他車両の中の自車の前後の他車両に対しては、それらの他車両と同一のボディーカラーの疑似車両画像を描画するようにしたものである。
【0007】
【発明の効果】(1) 請求項1の発明によれば、車両の上方から見た歪みのない車両の周囲画像を表示することができ、車両乗員が車両周囲画像の歪みにより他車までの距離や方向を誤認識したり、違和感を感じるようなことが避けられる。
(2) 請求項2の発明によれば、請求項1の上記効果に加え、他車の位置を正確に検出することができる。
(3) 請求項3の発明によれば、車両周囲の広い範囲の車両周囲画像を表示することができる。
(4) 請求項4の発明によれば、一般的な車両の車輪は黒色をしており、どのような種類の車両に対してもその位置を正確に検出することができる。
(5) 請求項5の発明によれば、実際の大きさと形状に近い他車の画像を表示することができる。
(6) 請求項6の発明によれば、疑似車両画像から実際の歪んだ他車の画像がはみ出して表示されるのを防止することができる。
(7) 請求項7の発明によれば、疑似車両画像から実際の歪んだ他車の画像がはみ出して表示されても、乗員に違和感を感じさせることがない。
【0008】
【発明の実施の形態】−−−発明の第1の実施の形態−−−図1は第1の実施の形態の構成を示す。複数のカメラ1a、1b、1c、1d、・・を車両外周部の高い位置に適当な間隔で配置し、車両周囲を撮像する。図2にカメラの配置例を示す。この例では、各カメラ1a、1b、・・の撮影画角を互いにオーバーラップさせて8台のカメラ1a〜1hを車両外縁部に配置している。なお、この実施の形態では8台のカメラを車両5の外周部に配置した例を示すが、車両周囲を撮像するカメラの台数と配置についてはこの実施の形態に限定されない。また、図2に示すカメラの配置例では車両の全周にわたってカメラを配置し、車両の周囲を撮像する例を示すが、車両後方や車両側方など、車両周辺の一部を撮像するように1個または複数個のカメラを配置する車両用表示装置に対しても本願発明を適用することができる。
【0009】撮像条件検出装置2は、各カメラ1a、1b、1c、1d、・・ごとの設置場所、撮影レンズの光軸の向き、撮影レンズの特性などのカメラの撮影条件を検出する。画像処理装置3はマイクロコンピューターとメモリやA/Dコンバーターなどの周辺部品から構成され、複数のカメラ1a、1b、1c、1d、・・で撮像された車両周囲の映像を合成し、車両の上方から見た歪みのない車両の周囲画像をディスプレイ4に表示する。
【0010】画像処理装置3は、マイクロコンピューターのソフトウエア形態により車輪検出部3a、疑似車両画像描画部3b、周囲映像合成部3cおよび画像合成部3dを備えている。車輪検出部3aは、車両周囲の映像を画像処理して映像に含まれる他車の車輪を検出する。疑似車両画像描画部3bは、車輪検出部3aで検出された他車の車輪位置に合わせて、車両を上方から見た擬似的な画像(以下、疑似車両画像という)を描画する。周囲映像合成部3cは、複数のカメラ1a、1b、1c、1d、・・により撮像された複数の車両周囲映像をそれぞれ車両上方の視点から見た車両周囲画像に透視変換し、それらの車両周囲画像を1枚に合成する。画像合成部3dは、周囲映像合成部3cにより1枚に合成された車両周囲画像と、疑似車両画像描画部3bにより描画された疑似車両画像とを合成して車両周囲の画像を生成する。
【0011】次に、駐車場などで自車両を駐車する場合を例に上げて、第1の実施の形態の動作を説明する。図3は、画像処理装置3のマイクロコンピューターで実行される車両周囲画像表示プログラムを示すフローチャートである。画像処理装置3は装置の電源が投入されるとこのプログラムを繰り返し実行する。ステップ1において、車両周辺に配置された複数のカメラ1a、1b、・・により車両周囲を撮像する。続くステップ2で、周囲映像合成部3cは、各カメラ1a、1b、・・で撮像した車両周囲の映像を、撮像条件検出装置2により検出した各カメラ1a、1b、・・の設置場所、撮影レンズの光軸の向き、撮影レンズの特性などの撮影条件に基づいて車両上方の視点から見た画像に透視変換し合成する。
【0012】図4は車両右側後方のカメラ1fで撮像した映像を示す。自車両5の右側後方には他の車両6が駐車されている。図5は、複数のカメラ1a、1b、・・で撮像された複数の車両周囲映像をそれぞれ車両上方を視点にした画像に透視変換し、自車両5の疑似画像5aを中心に合成した画像を示す。図5において、自車両5の右側後方に駐車されている他の車両6の映像は、車両右側後方のカメラ1fで撮像した映像を車両上方から見た画像に透視変換し合成したものであるが、車両のルーフ近くに設置されたカメラ1fの映像を無限遠に近い高さの視点から見た画像に変換しても正しく上方から見た画像に変換されず、歪んだ画像になっている。なお、自車両5は車両外周部に設置された複数のカメラ1a、1b、・・では撮像されないので、予め自車両5の疑似画像5aを作成しておき、車両周囲画像と合成する。
【0013】この第1の実施の形態では、次のようにして車両の上方から見た歪みのない車両の周囲画像を生成する。車輪は通常、黒色であり、カメラ1a、1b、・・で撮像した映像において円や楕円などの特徴のある形状をしているため、車両周囲の画像の中から円や楕円などの形状をした黒色部分を抽出することによって、容易に車輪を識別することができる。また、車両周囲画像中の車輪は位置によって形状が異なって見えるため、車輪の形状により自車と他車の位置を認識することができる。つまり、車両周囲画像上の位置に応じた車輪検出用パターンを予め生成して記憶しておき、車両周囲画像上でパターンマッチングを行い、一致したパターンに基づいて自車と他車の位置関係を認識することができる。
【0014】ステップ3において、車輪検出部3aは、パターンマッチングする車両周囲画像を黒色系と黒色系以外に分け、黒色系をそのままとし、黒色系以外を白色として白黒画像に変換する。なお、黒色でも金属色と識別できるものは白色とする。そして、変換後の白黒画像のエッジをある明度差で強調処理した画像を生成する。図6に白黒画像のエッジを強調処理した画像例を示す。
【0015】上述したように、図6に示す車両周囲画像上の位置によって他の車両6の車輪の形が変わって見えるため、車両周囲画像上の位置ごとの車両検出用パターンを用いてパターンマッチングを行い、自車5の位置を基準とする他車6の車輪位置を検出する。ステップ4で、疑似車両画像描画部3bは他車6の車輪位置に見合った疑似車両画像を描画する。
【0016】ステップ5で、画像合成部3dは、周囲映像合成部3cにより1枚に合成された車両周囲画像上の車輪検出部3aにより検出された車輪位置に、疑似車両画像描画部3bにより描画された疑似車両画像を上書きして合成し、図7に示すような車両周囲画像を生成する。図7において、6aが疑似車両画像描画部3bにより描画された疑似車両画像である。この疑似車両画像6aと図5に示す他車6の画像とを比較すると、図5に示す他車6の画像が斜め上方から見たように歪んだ画像であるのに対し、図7に示す疑似車両画像6aは正しく上方から画像になっている。ステップ6において、画像処理装置3は合成された自車両5の周囲画像をディスプレイ4に表示する。
【0017】このように、第1の実施の形態によれば、カメラ1a、1b、・・で撮像し車両上方の視点から見た画像に透視変換して合成した車両周囲画像の中から他車6の車輪を検出し、他車6の車輪位置に見合った他車6の疑似車両画像6aを描画し、車両周囲画像に疑似車両画像6aを上書き合成して表示するようにしたので、車両の上方から見た歪みのない車両の周囲画像を表示することができ、車両乗員が車両周囲画像の歪みにより他車までの距離や方向を誤認識したり、違和感を感じるようなことが避けられる。
【0018】−−−発明の第2の実施の形態−−−上述した第1の実施の形態では、自車外周部の複数のカメラで撮像した映像を車両上方から見た車両周囲画像に透視変換した後、予め用意した車輪検出用パターンを用いてパターンマッチングを行い、他車の車輪位置を検出する例を示した。この車輪位置の検出方法によれば、車両周囲画像上の位置に応じた歪んだ車輪検出用パターンを用意する必要がある。この第2の実施の形態では、車両上方から見た画像に透視変換する前のカメラで撮像した映像上でパターンマッチングを行う。
【0019】カメラで撮像した映像に映る車輪の形は円形または楕円形になり、上下の伸縮率と大きさは撮影距離、すなわち自車との距離に関係する。したがって、カメラで撮像した映像上の位置に応じて車輪形状の上下の伸縮率と大きさが変化する。また、映像上の上下方向を基準とする車両の傾きに応じて車輪形状の左右の伸縮率が変化する。
【0020】そこで、この第2の実施の形態では、図8に示すように、カメラの映像上の上下位置に応じて上下の伸縮率と大きさを変えた複数の車輪検出用パターンを用意し、カメラの映像上の車輪位置に対応する車輪検出用パターンを選択し、車両の傾きに応じて車輪検出用パターンの左右の伸縮率を変える。そして、このような車輪検出用パターンを用いて、図9に示すように、カメラの映像上でパターンマッチングを行い、他車の車輪位置を検出する。なお、図9に示す例では、上述したようにパターンマッチングするカメラの映像を黒色系と黒色系以外に分け、黒色系をそのままとし、黒色系以外を白色として白黒画像に変換する。そして、白黒画像のエッジをある明度差で強調処理した画像を生成し、その画像上で車輪検出用パターンを用いて他車の車輪を検出する。
【0021】この第2の実施の形態によれば、カメラにより撮像された映像上において、検出位置に応じた車輪検出用パターンを用い、車両の傾きに応じて車輪検出用パターンの左右の伸縮率を変えながらパターンマッチングを行うようにしたので、カメラの映像を車両上方から見た画像に透視変換した後の車両周囲画像上でパターンマッチングを行う第1の実施の形態の方法に比べ、他車の車輪位置を正確に検出することができる。なお、他車の車輪位置の検出方法以外の動作については上述した第1の実施の形態の動作と同様であり、説明を省略する。
【0022】上述した第1および第2の実施の形態において、図6に示すようにパターンマッチングを行う画像上の車輪形状は円形もしくは楕円形となるから、図10に示すように、画像上の検出点から放射方向にエッジを検出していき、2つの同心円状のエッジが検出され、それらのエッジ形状が車輪の条件に合致したら車輪と見なすようにする。
【0023】また、車輪検出部3aにより検出された車輪位置により他車のホイールベースを認識できるので、疑似車両画像描画部3bにより他車のホイールベースに見合った疑似車両画像を描画し、画像合成部3dにより車両周囲画像上に疑似車両画像を上書き合成することによって、実際の大きさと形状に近い他車の画像を表示することができる。
【0024】なお、上述した第1および第2の実施の形態において、疑似車両画像より実際の歪んだ車両が大きく、疑似車両画像からはみ出して表示される可能性がある。そこで、他車のホイールベースから考えられる平均的な全長よりも長い全長の疑似車両画像を描画し、疑似車両画像から実際の歪んだ他車の画像がはみ出して表示されるのを防止することができる。ただし、多少のはみ出しがあったとしても、自車の横に駐車されている他車の全長は自車の駐車動作の支障にならないので、問題はない。
【0025】また、自車の前後に駐車されている他車に対しては、この他車と疑似車両画像のボディーカラーを同一にすることによって、疑似車両画像から実際の歪んだ他車の画像がはみ出して表示されても、乗員に違和感を感じさせることがない。
【0026】特許請求の範囲の構成要素と一実施の形態の構成要素との対応関係は次の通りである。カメラ1a〜1hが撮像手段を、画像処理装置3が透視変換手段、他車両検出手段、疑似車両描画手段および画像合成手段を、ディスプレイ4が表示手段をそれぞれ構成する。なお、本発明の特徴的な機能を損なわない限り、各構成要素は上記構成に限定されるものではない。




 

 


     NEWS
会社検索順位 特許の出願数の順位が発表

URL変更
平成6年
平成7年
平成8年
平成9年
平成10年
平成11年
平成12年
平成13年


 
   お問い合わせ info@patentjp.com patentjp.com   Copyright 2007-2013