Warning: fopen(data/log202007092321.log): failed to open stream: No space left on device in /home/jp321/public_html/header.php on line 106

Warning: flock() expects parameter 1 to be resource, boolean given in /home/jp321/public_html/header.php on line 107

Warning: fclose() expects parameter 1 to be resource, boolean given in /home/jp321/public_html/header.php on line 112
カメラの汚れ検出装置およびカメラの汚れ検出方法 - 日産自動車株式会社
米国特許情報 | 欧州特許情報 | 国際公開(PCT)情報 | Google の米国特許検索
 
     特許分類
A 農業
B 衣類
C 家具
D 医学
E スポ−ツ;娯楽
F 加工処理操作
G 机上付属具
H 装飾
I 車両
J 包装;運搬
L 化学;冶金
M 繊維;紙;印刷
N 固定構造物
O 機械工学
P 武器
Q 照明
R 測定; 光学
S 写真;映画
T 計算機;電気通信
U 核技術
V 電気素子
W 発電
X 楽器;音響


  ホーム -> 計算機;電気通信 -> 日産自動車株式会社

発明の名称 カメラの汚れ検出装置およびカメラの汚れ検出方法
発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開2003−259358(P2003−259358A)
公開日 平成15年9月12日(2003.9.12)
出願番号 特願2002−60114(P2002−60114)
出願日 平成14年3月6日(2002.3.6)
代理人 【識別番号】100084412
【弁理士】
【氏名又は名称】永井 冬紀
【テーマコード(参考)】
2H102
5B057
5C022
5C054
5L096
【Fターム(参考)】
2H102 AB00 
5B057 AA16 CA12 CA16 DB02 DC22 DC32 DC36
5C022 AA04 AC66
5C054 CH01 EA01 EA05 ED07 FC01 FC04 FF07 GB11 GB18 HA30
5L096 BA02 BA04 GA08 GA09 JA11
発明者 河合 昭夫 / 大友 美佳
要約 課題
カメラの汚れ検出装置において、カメラの設置の自由度を確保する。

解決手段
車両に設置され、所定範囲を撮像するカメラの汚れを検出するカメラの汚れ検出装置において、車両が移動している時に、異なるタイミングにてカメラ1a,1bにて撮像された2つの映像に含まれる濃度値の差分を抽出する差分抽出手段2と、差分抽出手段2により複数抽出された映像の濃度値の差分を積算する差分積算手段2と、差分積算手段2により積算された濃度値の映像に基づいて、カメラ1a,1bの汚れを検出する汚れ検出手段2とを備える。
特許請求の範囲
【請求項1】移動体に設置され、所定範囲を撮像するカメラの汚れを検出するカメラの汚れ検出装置において、前記移動体が移動している時に、異なるタイミングにて前記カメラにて撮像された複数の映像の差分を抽出する差分抽出手段と、前記差分抽出手段により抽出された映像の差分を積算する差分積算手段と、前記差分積算手段により積算された映像の差分に基づいて、前記カメラの汚れを検出する汚れ検出手段とを備えることを特徴とするカメラの汚れ検出装置。
【請求項2】請求項1に記載のカメラの汚れ検出装置において、前記差分抽出手段は、前記複数の映像の濃度値の差分を抽出し、前記汚れ検出手段は、前記差分積算手段により積算された前記濃度値が所定の濃度値以下の領域に汚れが存在すると判断して前記カメラの汚れを検出することを特徴とするカメラの汚れ検出装置。
【請求項3】請求項2に記載のカメラの汚れ検出装置において、前記汚れ検出手段は、前記差分積算手段により積算された前記濃度値が一定濃度値を示す面積が所定面積以上である場合に、前記カメラに汚れが存在すると判断して前記カメラの汚れを検出することを特徴とするカメラの汚れ検出装置。
【請求項4】請求項1〜3のいずれかに記載のカメラの汚れ検出装置において、前記移動体の移動速度を検出する速度検出手段をさらに備え、前記差分積算手段は、前記移動体の移動速度が速い程、前記映像の差分を積算する回数を多くすることを特徴とするカメラの汚れ検出装置。
【請求項5】請求項1〜3のいずれかに記載のカメラの汚れ検出装置において、前記移動体の移動速度を検出する速度検出手段をさらに備え、前記差分抽出手段は、前記移動体の移動速度が遅い程、時間間隔の大きいタイミングにて撮像された2つの映像の差分を抽出することを特徴とするカメラの汚れ検出装置。
【請求項6】移動体に設置され、所定範囲を撮像するカメラの汚れを検出するカメラの汚れ検出方法において、カメラにより異なるタイミングにて複数の映像を撮像し、前記複数の映像の差分を抽出し、前記抽出した複数の映像の差分を積算することにより、カメラの汚れを検出することを特徴とするカメラの汚れ検出方法。
【請求項7】請求項6に記載のカメラの汚れ検出方法において、前記複数の映像の差分の抽出は、前記複数の映像の濃度値の差分を抽出し、前記積算された濃度値が所定の濃度値以下の領域に汚れが存在すると判断して前記カメラの汚れを検出することを特徴とするカメラの汚れ検出方法。
【請求項8】請求項7に記載のカメラの汚れ検出方法において、前記積算された前記濃度値が一定濃度値を示す面積が所定面積以上である場合に、前記カメラに汚れが存在すると判断して前記カメラの汚れを検出することを特徴とするカメラの汚れ検出方法。
【請求項9】請求項6〜8のいずれかに記載のカメラの汚れ検出方法において、前記移動体の移動速度が速い程、前記映像の差分を積算する回数を多くすることを特徴とするカメラの汚れ検出方法。
【請求項10】請求項6〜9のいずれかに記載のカメラの汚れ検出方法において、前記移動体の移動速度が遅い程、時間間隔の大きいタイミングにて撮像された2つの映像の差分を抽出することを特徴とするカメラの汚れ検出方法。
発明の詳細な説明
【0001】
【発明の属する技術分野】本発明は、移動体に搭載されるカメラのレンズの汚れを検出する装置および汚れを検出する方法に関する。
【0002】
【従来の技術】車両にカメラを搭載することにより、前方を走行している車両を検出したり、先行車両までの距離を検出する装置が知られている(例えば、特開2001−199260号公報)。この装置に用いられるカメラは、主に車両走行中に用いられるため、レンズの前面に汚れが付着しやすい。レンズの汚れがひどくなると、先行車両等の被写体を正確に検出することができなくなるので、車載カメラに付着する汚れを検出して、運転者に清掃を促したり、自動的に洗浄したりする手段を備える必要がある。
【0003】上述した特開平2001−199260号公報では、同一の撮像範囲を有する2台のカメラを備え、それぞれのカメラで撮像される画像を比較することによって、レンズに付着した汚れを検出する方法が開示されている。すなわち、2台のカメラにより撮像された画像の輝度分布を比較し、両者の一致度が低く、かつ、このような状態が連続する場合には、レンズの表面に汚れが付着しているか、レンズに傷があると判断する。
【0004】
【発明が解決しようとする課題】しかしながら、上述した従来の方法では、同一の撮像範囲の輝度分布を比較するために複数台のカメラの撮像範囲が重なるように設置しなければならず、カメラの設置の自由度を確保することができなかった。
【0005】本発明の目的は、カメラの設置の自由度を確保することができるカメラの汚れ検出装置およびカメラの汚れ検出方法を提供することにある。
【0006】
【課題を解決するための手段】一実施の形態を示す図1,図2を参照して本発明を説明する。
(1)請求項1の発明は、移動体10に設置され、所定範囲を撮像するカメラ1a,1bの汚れを検出するカメラの汚れ検出装置において、移動体10が移動している時に、異なるタイミングにてカメラ1a,1bにて撮像された複数の映像の差分を抽出する差分抽出手段2と、差分抽出手段2により抽出された映像の差分を積算する差分積算手段2と、差分積算手段2により積算された映像の差分に基づいて、カメラ1a,1bの汚れを検出する汚れ検出手段2とを備えることにより、上記目的を達成する。
(2)請求項2の発明は、請求項1のカメラの汚れ検出装置において、差分抽出手段2は、複数の映像の濃度値の差分を抽出し、汚れ検出手段2は、差分積算手段2により積算された濃度値が所定の濃度値以下の領域に汚れが存在すると判断してカメラ1a,1bの汚れを検出することを特徴とする。
(3)請求項3の発明は、請求項2のカメラの汚れ検出装置において、汚れ検出手段2は、差分積算手段2により積算された濃度値が一定濃度値を示す面積が所定面積以上である場合に、カメラ1a,1bに汚れが存在すると判断してカメラの汚れを検出することを特徴とする。
(4)請求項4の発明は、請求項1〜3のいずれかのカメラの汚れ検出装置において、移動体10の移動速度を検出する速度検出手段6をさらに備え、差分積算手段2は、移動体10の移動速度が速い程、映像の差分を積算する回数を多くすることを特徴とする。
(5)請求項5の発明は、請求項1〜3のいずれかのカメラの汚れ検出装置において、移動体10の移動速度を検出する速度検出手段6をさらに備え、差分抽出手段2は、移動体10の移動速度が遅い程、時間間隔の大きいタイミングにて撮像された2つの映像の差分を抽出することを特徴とする。
(6)請求項6の発明は、移動体10に設置され、所定範囲を撮像するカメラ1a,1bの汚れを検出するカメラの汚れ検出方法において、カメラ1a,1bにより異なるタイミングにて複数の映像を撮像し、複数の映像の差分を抽出し、抽出した複数の映像の差分を積算することにより、カメラの汚れを検出することにより、上記目的を達成する。
(7)請求項7の発明は、請求項6のカメラの汚れ検出方法において、複数の映像の差分の抽出は、複数の映像の濃度値の差分を抽出し、積算された濃度値が所定の濃度値以下の領域に汚れが存在すると判断してカメラ1a,1bの汚れを検出することを特徴とする。
(8)請求項8の発明は、請求項7のカメラの汚れ検出方法において、積算された濃度値が一定濃度値を示す面積が所定面積以上である場合に、カメラ1a,1bに汚れが存在すると判断してカメラ1a,1bの汚れを検出することを特徴とする。
(9)請求項9の発明は、請求項6〜8のいずれかのカメラの汚れ検出方法において、移動体10の移動速度が速い程、映像の差分を積算する回数を多くすることを特徴とする。
(10)請求項10の発明は、請求項6〜9のいずれかのカメラの汚れ検出方法において、移動体10の移動速度が遅い程、時間間隔の大きいタイミングにて撮像された2つの映像の差分を抽出することを特徴とする。
【0007】なお、上記課題を解決するための手段の項では、本発明をわかりやすく説明するために実施の形態の図1,図2と対応づけたが、これにより本発明が実施の形態に限定されるものではない。
【0008】
【発明の効果】本発明によれば、次のような効果を奏する。
(1)請求項1〜10の発明によれば、1台のカメラを用いてカメラのレンズに付着する汚れを検出することができるので、カメラの設置の自由度を確保することができる。
(2)請求項3および8の発明によれば、濃度がほとんど変化しない微小領域を汚れ領域であると誤検知することを防ぐことができる。
(3)請求項4,5,9,10の発明によれば、移動体の速度に関わらず、正確にカメラのレンズの汚れを検出することができる。
【0009】
【発明の実施の形態】本実施の形態におけるカメラの汚れ検出装置に用いられる2台のカメラ1a,1bは、図1に示すように、それぞれ車両10のフロントサイド左右に設置される。カメラ1aは車両進行方向の右側を、カメラ1bは車両進行方向の左側をそれぞれ撮像するものである。本実施の形態では、このカメラ1a,1bを用いて、図1に示すように、交差点で交差する道路の左右奥行き方向を撮影し、撮影した画像に対して画像処理を施すことによって自車両10に接近する車両の存在を検出する車両周辺監視装置を例に挙げて説明する。この車両周辺監視装置により、接近車両を検出したときは、警告表示やブザー等によって接近車両をドライバに報知する。
【0010】図2は、本発明によるカメラの汚れ検出装置の一実施の形態の構成を示す図である。一実施の形態のカメラの汚れ検出装置は、2台のカメラ1a,1bと、画像処理コントローラ2と、オーディオビジュアルコントロール装置3(以下、単にコントロール装置3と呼ぶ)と、ディスプレイ4と、ナビゲーション装置5と、車速センサ6と、ブザー7と、側方検知スイッチ8とを備える。
【0011】車両10のフロントサイド左右に設置されたCCDカメラ1a,1bにより撮像された画像は、映像信号Sa,Sbとして画像処理コントローラ2に送られる。画像処理コントローラ2は、映像信号Sa,Sbに対してフィルタリング処理や各種演算処理等を実行する。また、画像処理コントローラ2は、CCDカメラ1aまたは1bのいずれか一方により撮像される画像に基づいた映像信号S1、または双方のカメラ1a,1bにより撮像される画像を合成して得られる映像信号S1をコントロール装置3に出力する。さらに画像処理コントローラ2は、映像信号Sa,Sbに画像処理を施した結果に基づいて、必要な情報を報知信号Sdとしてコントロール装置3に出力する。
【0012】ナビゲーション装置5は、GPS等を利用して自車両の位置を検出する機能や、自車両の現在地から目的地までのルートを検索する機能を有する。コントロール装置3は、ナビゲーション装置5により検出される自車位置や、車両周辺地図、誘導経路などのいわゆるナビゲーション情報やオーディオビジュアル機能を制御するための表示や、CCDカメラ1a,1bにより撮像される車両周囲の画像表示などの様々な情報表示を制御する機能を備えている。コントロール装置3は、画像処理コントローラ2から出力される画像の切替や、画像処理の実行を指令するための制御信号Scを画像処理コントローラ2に出力する。また、ディスプレイ4に表示させるための映像信号S2をディスプレイ4に出力する。
【0013】ディスプレイ4は、車室内にてドライバが視認できる位置に備えられ、コントロール装置3から入力される映像信号S2に基づいて、ナビゲーション情報やCCDカメラ1a,1bで撮像される映像を表示する。車速センサ6は、自車両の走行速度を計測し、計測した速度に比例したパルスをコントロール装置3に出力する。ブザー7は、後述する方法により自車両に接近してくる車両を検知した場合等、ドライバに警告を促す必要がある場合に、アラーム音を発生する。
【0014】側方検知スイッチ8は、CCDカメラ1a,1bによる撮像を開始したり、撮像された画像情報に基づいて側方から接近する車両を検知するためのプログラムを起動するためのスイッチであり、ドライバ等によって操作される。側方検知スイッチ8がオンの時に後述する条件が満足されると、画像処理コントローラ2により側方検知制御が行われる。また、側方検知スイッチ8がオフの時には、後述する条件が満たされていても、側方検知制御は行われない。
【0015】図3は、画像処理コントローラ2の内部構成を示す図である。画像処理コントローラ2は、デコーダ2aと、画像処理専用ICと、エンコーダ2cと、画像メモリ2dと、ROM2eと、画像処理制御CPU2fとを備える。CCDカメラ1a,1bから出力された映像信号Sa,Sbは、デコーダ2aに入力される。デコーダ2aは、入力された映像信号Sa,Sbをそれぞれデジタルデータに変換して、画像処理専用IC2bに出力する。画像処理専用IC2bは、A/D変換処理が行われた画像データに対して各種の演算処理を実行する。演算処理が行われた画像データは、エンコーダ2cに出力される。エンコーダ2cは、演算処理が行われた画像データにD/A変換処理を施す。D/A変換処理が行われた後の映像信号S1は、コントロール装置3に出力される。
【0016】上述した画像処理専用IC2bと、画像メモリ2d、ROM2e、画像処理制御CPU2fとは、それぞれ共通のバスにより接続されている。画像メモリ2dには、入力された画像データや処理実行中のデータを一次的に保存することができる。なお、画像メモリ2dには、処理に必要な複数の画像を記憶するための所定容量が用意される。ROM2eには、CCDカメラ1a,1bにより撮像された画像に基づいて自車両に接近してくる車両を検出するためのプログラムや、CCDカメラ1a,1bのレンズの汚れを検出するためのプログラムを含む画像処理プログラムが格納されている。画像処理制御CPU2fは、コントロール装置3から送信されてくる制御信号Scに基づいて、画像処理の実行を行うタイミングや各種信号の入出力を制御する。
【0017】図4(a),(b)は、図1に示すようにカメラ1a,1bを搭載した車両10がT地路にさしかかった時に、カメラ1aにて進行方向右側を撮影した画像を示す図である。図4(a),(b)には、自車両に接近してくる車両20や建物30等がそれぞれ示されている。図4(a)はCCDカメラ1aが正常な状態、すなわち、レンズに汚れが付着していない状態で撮影された画像であり、図4(b)はCCDカメラ1aのレンズに汚れが付着している状態で撮影された画像である。この汚れは、車両の走行中に泥などが付着することにより生じるものである。
【0018】ここでレンズに付着している汚れ領域を図4(b)に示すように、A,Bとする。以下では、CCDカメラ1aまたは1bにて撮影された画像に基づいて、レンズに付着している汚れ領域A,Bを抽出することにより、カメラ1a,1bの汚れを検出する方法について説明する。
【0019】図5は、例えば、自車両10が見通しの悪いT地路や交差点にさしかかった時に、カメラ1a,1bを用いて、側方から接近してくる車両を検出するための制御手順を示す一実施の形態のフローチャートである。この制御は、画像処理コントローラ2内に設けられている画像処理専用IC2bおよびコントロール装置3により行われる。ステップS10から始まる制御は、図示しないイグニッションスイッチがオンとなることにより始まる。
【0020】ステップS10では、後述するカメラの汚れを検出するプログラムをスタートさせるための汚れ検知タイマをセットして、ステップS20に進む。ステップS20では、ナビゲーション装置5からコントロール装置3に入力されるナビゲーション情報のうち、コントロール装置3で選択される地図情報や自車位置情報等の情報をディスプレイ4に表示する。すなわち、ドライバ等が図示しない操作ボタンを操作することにより、ドライバ等が表示を要求する情報がコントロール装置3で選択されて、ディスプレイ4に表示される。コントロール装置3で選択された情報がディスプレイ4に表示されると、ステップS30に進む。
【0021】ステップS30では、コントロール装置3が、車速センサ6から入力されるパルスに基づいて、自車両の車速を算出する。なお、コントロール装置3で算出された車速データは、制御信号Scとして画像処理コントローラ2に随時出力される。車速が検出されるとステップS40に進む。ステップS40では、ステップS30で検出した車速が所定値以上であるか否かを判定する。この所定値は、ステップS20でディスプレイ4に表示したナビゲーション画面を継続して表示するための条件値であり、本実施の形態では10km/hとする。すなわち、ステップS40で車速が所定値以上であると判定するとステップS20に戻り、ナビゲーション画面を継続してディスプレイ4に表示する。一方、車速が所定値未満であると判定するとステップS50に進む。
【0022】ステップS50では、側方検知スイッチ8からコントロール装置3に入力される信号に基づいて、側方検知スイッチ8がオンであるか否かを判定する。オンであると判定するとステップS60に進み、オンではないと判定するとステップS20に戻る。ステップS50で判定された結果、すなわち、側方検知スイッチ8のオン/オフの状態は、制御信号Scとして画像処理コントローラ2に送られる。
【0023】ステップS60では、後述する制御プログラムによる行われるカメラの汚れ判定処理の結果に基づいて、カメラ1a,1bのレンズに汚れが付着しているか否かを判定する。汚れが付着していると判定するとステップS110に進み、汚れが付着していないと判定するとステップS70に進む。ステップS70では、図4(a)に示すように、カメラ1aにより撮像された画像をディスプレイ4に表示する。すなわち、画像処理コントローラ2は、カメラ1aから入力される映像信号Saに基づいた映像信号S1をコントロール装置S1に出力する。コントロール装置3が、映像信号S1に基づいた映像信号S2をディスプレイ4に出力することにより、撮像画像をディスプレイ4に表示する。なお、ディスプレイ4に表示する画像は、カメラ1bにより撮像されたものでもよい。
【0024】カメラ1aで撮像された画像をディスプレイ4に表示するとステップS80に進む。ステップS80では、ディスプレイ4に表示された画像の中から、自車両に接近する車両が存在するか否かを判定するための側方接近車両検知処理を実行する。この処理は、画像処理制御CPU2fが行う信号の入出力制御に基づいて画像処理コントローラ2に入力された画像データに対して、画像処理専用IC2bが各種の処理を施すことにより行われる。自車両に接近してくる移動体の検出アルゴリズムについては、背景差分法やオプティカルフロー法などの公知の方法を用いるため、詳しい説明は省略する。
【0025】ステップS90では、ステップS80で行った接近車両検知処理の結果に基づいて、自車両に接近してくる車両があるか否かを判定する。自車両に接近してくる車両が存在すると判定するとステップS100に進み、存在しないと判定するとステップS50に戻る。ステップS100では、ディスプレイ4に、接近車両が存在することを知らせる表示を行うとともに、ブザー7から警告音を出力させる。
【0026】図6は、接近車両20が存在することを知らせるためのアラーム表示を示す図である。図6に示すように、カメラ1aで撮像された画像に対して、接近車両20を示すための枠40が重ねられている。この処理は、撮像された画像のうち、ステップS80の接近車両検知処理にて検知された接近車両の部分に対して、画像処理コントローラ2の画像処理専用ICが画像処理を施すことにより行われる。画像処理後の画像は、映像信号S1としてコントロール装置3に出力され、ディスプレイ4に表示される。また、接近車両が検知された場合には、画像処理コントローラ2から報知信号Sdがコントロール装置3に入力されるので、この報知信号Sdに基づいてブザー7から警告音が発せられる。接近車両20が存在する旨のアラーム表示をディスプレイ4に行うと、ステップS50に戻る。
【0027】ステップS60でカメラ1aのレンズが汚れていると判定されてステップS110に進むと、ディスプレイ4にカメラ1aのレンズが汚れている旨のアラーム表示が行われる。すなわち、画像処理コントローラ2の画像処理専用IC2bが後述する方法によりカメラ1aのレンズに汚れが付着していると判定すると、汚れが付着している旨の報知信号Sdがコントロール装置3に出力される。コントロール装置3は、この報知信号Sdに基づいて、図7に示すようなアラーム表示をディスプレイ4に表示する。カメラが汚れている旨のアラーム表示を行うとステップS50に戻り、再度側方検知スイッチ8がオンになっているか否かの判定が行われる。
【0028】図8は、カメラのレンズの汚れの有無を判定する制御手順を示す一実施の形態のフローチャートである。この制御は、画像処理コントローラ2内に設けられている画像処理専用IC2bにより行われる。上述したように、図5に示すフローチャートによる制御が開始されると、汚れ検知タイマがセットされる(ステップS10)。このタイマは任意に設定することができるが、本実施の形態では60秒とする。従って、図5に示すフローチャートによる制御が行われている時でも、60秒ごとにステップS200以後の処理(以下では、割り込み処理と呼ぶ)が行われるものとする。
【0029】ステップS200では、画像メモリ2dの所定領域に設定されている、後述する画像積算メモリをクリアしてステップS210に進む。ステップS210では、車速センサ6から入力されるパルスに基づいて、自車両の車速が所定値以上であるか否かを判定する。後述するステップS250では、異なるタイミングで撮像された2枚の画像の差分画像を求めるが、この2枚の画像の差異が明確に現れるように、車速の判定しきい値である所定値を定めておく。本実施の形態では、この所定値を30km/hとする。車速が所定値以上であると判定するとステップS220に進む。一方、車速が所定値未満であると判定すると、カメラの汚れを正確に検出することができないので、割り込み処理を終了する。
【0030】ステップS220では、カメラ1aにより撮像された画像FTを画像処理コントローラ2に入力してステップS230に進む。ステップS230では、画像の入力周期を管理するタイマをセットして、ステップS240に進む。ステップS240では、ステップS220で入力された画像FTを画像メモリ2dに記憶して、ステップS250に進む。
【0031】ステップS250では、ステップS240で記憶された画像FTと、前回の入力タイミングにて入力・記憶された画像FTn−1との差分処理を行うことにより、差分画像FSを求める。差分処理では、画像FTの全領域の濃度と画像FTn−1の全領域の濃度との差を求める。差分画像FSを求めるとステップS260に進む。ステップS260では、ステップS250で求めた差分画像FSを、画像メモリ2dの所定領域に設定されている画像積算メモリに加算して、積算画像Fsumを求め、記憶する。積算画像Fsumを求めるとステップS270に進む。
【0032】ステップS270では、ステップS260で差分画像FSを画像積算メモリに加算する回数が所定回数行われたか否かを判定する。本実施の形態では、この所定回数を4回とする。すなわち、画像積算メモリに差分画像FSを4回加算して最終的な積算画像Fsumを求めるまでは、上述したステップS210〜ステップS260の処理が繰り返し行われる。ステップS260で行う加算処理が所定回数行われたと判定するとステップS290に進み、所定回数行われていないと判定するとステップS280に進む。
【0033】ステップS280では、次のタイミングにて撮像画像を入力するためにステップS230でセットされたタイマが所定時間を経過したか否かを判定する。上述したステップS250では、2枚の画像の差分画像FSを求めているが、後述するように2枚の画像の差異は明確であることが好ましい。従って、本実施の形態では、このタイマ時間を1秒とする。ステップS230でセットしたタイマが所定時間である1秒を経過していないと判定すると、所定時間を経過するまでステップS280で待機する。一方、タイマが所定時間を経過したと判定するとステップS210に戻り、次の撮像画像を入力するための処理が行われる。
【0034】上述した処理を図9(a)〜(e)および図10(a)〜(e)に示す画像を用いて説明する。これらの画像は、256階調(8ビット)の白黒画像とし、白が濃度0、黒が濃度255で表現されるものとする。画像積算メモリに記憶されている画像をクリア(ステップS200)した後に車速が所定値以上であると判定すると(ステップS210)、カメラ1aにて撮像した画像を取得して画像メモリ2dに記憶する(ステップS240)。図9(a)は、画像積算メモリのクリア後に、最初に画像メモリ2dに記憶された画像FT1を示す図であり、建物が示されている。
【0035】次に、図9(b)に示すように、所定時間経過後(ステップS280)の画像FT2を取得して画像メモリ2dに記憶する。本実施の形態では、自車両の車速が30km/h以上であり、また、画像FT1を取得してから1秒経過後に、次の画像FT2を取得しているので、自車両の移動量に応じて、画像FT1と画像FT2とは異なるものとなる。図9(a),(b)では、両画像FT1,FT2には同じ建物が移っているが、視点位置は異なっている。画像処理専用IC2bは、画像FT2と画像FT1との差分処理を行い(ステップS250)、求めた差分画像FS2を画像積算メモリに記憶する(ステップS260)。
【0036】図10(a)は、図9(a)に示す画像FT1と図9(b)に示す画像FT2との差分処理により求めた差分画像FS2を示している。画像フレーム間で差分処理を行うと、同一の濃度情報を有する領域は濃度差がゼロであるので、差分画像FS2の中では、この領域は白色(濃度0)で表現される。すなわち、カメラ1aのレンズに存在する汚れ領域AおよびBは、画像FT1およびFT2において、同一の位置に同一の形状・大きさにて存在するので、差分画像FS2において、濃度ゼロの領域となる。
【0037】また、汚れ領域A,B以外の領域でも、同一の建物の壁や窓、同一の路面などの濃度が同一となる領域や濃度が非常に近い領域が存在する。差分画像FS2においてこれらの領域は、濃度がゼロ、あるいは、濃度値が非常に小さい領域C,D,E,Fとして表される。領域A〜F以外の領域においても、両画像FT1とFT2の濃度差による濃淡画像が得られる。図10(a)では、図の明確化のために、領域A〜F以外の領域は同一色にて表現しているが、実際には濃淡が異なるランダムなパターンとなる。
【0038】さらに次のタイミングにて、図9(c)に示される画像FT3を取得して画像メモリ2dに記憶する。差分画像FS2を求めた時と同様の方法により、画像FT3と画像FT2を用いて差分画像FS3を求め、画像積算メモリに加算・記憶する。図10(b)は、差分画像FS3を示す図である。差分画像FS3においても、領域AおよびBの濃度はゼロである。図9(a)には、領域AおよびB以外に、濃度がゼロ、あるいは、濃度値が非常に小さい領域G,H,I,J,K,Lが示されている。
【0039】画像積算メモリには、前回の処理で求められた差分画像FS2が記憶されているので、この差分画像FS2に新たに求めた差分画像FS3を加算して積算画像Fsumを求める(ステップS260)。なお、差分画像FS2を求めた時には、画像積算メモリは予めクリアされているので(ステップS200)、差分画像FS2が積算画像Fsumとして画像積算メモリに記憶される。
【0040】上述した方法により、順次画像FT4(図9(c))、画像FT5(図9(d))を取得し、差分画像FS4(図10(c))、差分画像FS5(図10(d))を求める。また、求めた差分画像FS4,FS5を、画像積算メモリに記憶されている積算画像Fsumに加算することにより、新たな積算画像Fsumを順次求める。本実施の形態では、画像積算メモリに差分画像FSnを4回加算することにより(ステップS270)、最終的な積算画像Fsumを求めている。最終的に得られる積算画像Fsumを図10(e)に示す。
【0041】上述したように、差分画像FS2〜FS5において、汚れ領域AおよびBの濃度はゼロである。従って、これらの差分画像FS2〜FS5を加算して得られる最終的な積算画像Fsumにおける汚れ領域AおよびBの濃度もゼロとなる。また、濃度ゼロ以外の領域においては、画像FS2〜FS5における濃度情報が順次積算されていくので、最終的な積算画像Fsumにおける濃度値は高いものとなる。ただし、図10(e)に示すように、領域AおよびB以外にも、濃度値が小さい領域が存在する。図10(e)では、領域A,Bや濃度値の小さい領域以外の領域を同一色にて表現しているが、実際には濃淡が異なるランダムなパターンであり、濃度情報は一様ではない。
【0042】再び図8に示すフローチャートに戻って説明を続ける。ステップS290では、画像積算メモリに記憶されている積算画像Fsumから、所定濃度値以下の領域を抽出する。本実施の形態では、この所定濃度値を30とする。図10(e)に示す積算画像Fsumにおいて、領域AおよびB等の白色で示される領域の濃度値が30以下であれば、これらの領域が全て抽出される。所定濃度値以下の領域を抽出するとステップS300に進む。
【0043】ステップS300では、ステップS290で抽出した領域の中に、所定面積以上の領域があるか否かを判定する。この所定面積は、接近車両等を検知するための画像処理に影響を与える面積を考慮して予め定めておく。図10(e)に示される積算画像Fsumでは、比較的面積の大きい領域AおよびBが抽出されるものとする。ステップS290で抽出した領域の中に、所定面積以上の領域があると判定するとステップS310に進み、所定面積以上の領域が存在しないと判定すると、この割り込み処理を終了する。ステップS310では、カメラ1aのレンズが汚れていることを示す汚れ付着判定信号を報知信号Sdに載せて、コントロール装置3に出力し、本割り込み処理を終了する。
【0044】図11は、画像の濃度情報の変化を説明するための図である。図11(a)〜(d)は、それぞれ差分画像の濃度情報を示す図であり、図11(e)は、図11(a)〜図11(d)に示す差分画像を積算して得られる積算画像Fsumの濃度情報を示す図である。図中の数字は、濃度値を示している。例えば、図11(a)に示す差分画像において、領域a0の濃度値は10、領域a1の濃度値は0、領域a2の濃度値は5である。
【0045】図11(e)に示す積算画像Fsumの領域e1は、図11(a)〜(d)にそれぞれ示される、同一の位置、形状および大きさを有する領域a1,b1,c1,d1の濃度値を加算した領域であり、濃度値はゼロである。領域e1を除く領域e0,e2,e3,e4,e5,e6の濃度値は、図11(e)に示す通りである。この場合、濃度値が30以下の領域e1(濃度値0)が、汚れ領域の候補として抽出され、所定面積以上の大きさであれば、汚れ領域であると判定される。
【0046】上述したカメラの汚れ検出制御によれば、画像積算メモリをクリア(ステップS200)した後、自車両の車速が所定値以上であればカメラ1aにて撮像される画像FTを取得する(ステップS210,S220)。次の画像FTn+1を取り込むタイミングを管理するタイマをセットし(ステップS230)、取得した画像FTを画像メモリ2dに記憶する(ステップS240)。この画像FTと前回の処理にて取得した画像FTn−1との差分処理を行うことにより差分画像FSを求め(ステップS250)、画像積算メモリに加算して積算画像Fsumを求め、画像積算メモリに記憶する(ステップS260)。
【0047】ステップS260で行う加算処理が所定回数行われていないと判定すると(ステップS270)、ステップS230でセットしたタイマが所定時間経過した後に、ステップS210〜ステップS260までの処理を繰り返す。加算処理を所定回数行うと、最終的な積算画像Fsumから所定濃度値以下の領域を抽出し(ステップS290)、抽出した領域の中に所定面積以上の領域があるか否かを判定する(ステップS300)。所定面積以上の領域がある場合には、汚れ付着判定信号を報知信号Sdに載せてコントロール装置3に出力する(ステップS310)。
【0048】このような制御により、カメラを搭載した車両の移動時においても、カメラのレンズの汚れを正確に検出することができる。また、カメラ1a,1bを用いて接近車両や自車両周辺の建造物を検出する車両周辺監視装置が元々備えている画像処理機能を用いることができるので、低コストにてレンズの汚れを検出することができる。さらに、レンズの汚れを検出するために複数台のカメラを用いる必要がないので、低コスト・小スペースを実現することができるとともに、カメラ1a,1bの設置場所の自由度を確保することができる。
【0049】また、所定濃度値以下の領域を抽出(ステップS290)した後、抽出した領域のうち所定面積以上の領域が存在する場合に(ステップS300)、汚れ付着判定信号をコントロール装置3出力しているので(ステップS310)、積算画像Fsumの中に濃度値が小さく、かつ、画像処理に影響を与えない微少面積が存在する場合にまで、汚れ付着判定信号を出力して、ディスプレイ4にアラーム表示を行うことを防ぐことができる。さらに、車両の走行中に、本来の車両周辺監視機能の動作と同時にレンズの汚れを検出することができるので、ドライバはカメラに汚れが付着する等の異常が発生して、車両周辺監視装置が正常に動作しなくなる可能性があることを直ちに認知することができる。
【0050】本発明は、上述した一実施の形態に限定されることはない。例えば、上述した一実施の形態では、カメラの汚れ検出装置を、自車両10のフロントエンドに設置されたカメラ1a,1bを用いて、フロント側方から接近してくる車両を検出する車両周囲監視装置に適用した例について説明したが、カメラの設置場所、および、対象とするシステムはこれに限定されることはない。例えば、車両の後方部に設置したカメラを用いて、自車両の後方から接近してくる隣接車線走行車両を検知してドライバに報知する後側方警報装置にも、本発明のカメラの汚れ検出装置を適用することができる。ただし、この場合には、自車両が高速走行していても撮像した画像の路面領域が著しい変化を伴わない場合があるので、差分画像FSを積算する回数を多くすることが望ましい。
【0051】上述した一実施の形態では、カメラの汚れ検出装置を車両に搭載した例について説明したが、車両は乗用車や、トラック等の大型車等の車種に制限されることはない。また、車両に限らず、船舶や飛行機などの移動する物体にも適用することができる。
【0052】上述した一実施の形態では、差分画像FSを求めるために次の画像を取得するタイミングを管理するタイマを1秒としたが(ステップS230)、タイマ時間は任意に設定することができる。すなわち、1秒以外の任意の時間に設定してもよいし、自車両の車速に応じた可変の値としてもよい。自車両の車速に応じてタイマ時間を変える場合には、車速が遅い程タイマ時間を長くするように設定しておけば、車速に関わらず2枚の画像の差異が明確となる画像を取得することができる。
【0053】さらに、上述した一実施の形態では、画像メモリ2dの所定領域に設定されている画像積算メモリに差分画像FSを加算する回数を4回としたが、この回数も任意に定めることができる。この場合、加算回数を増やすほど、汚れ領域以外の濃度が同一ではない領域の濃度値は増加するので、濃度値に変化が無い領域を抽出しやすくなる。また、タイマ時間と同様に、車速が速い程加算回数を多くするように設定しておけば、車速に関わらず汚れ領域を正確に検出することが可能となる。
【0054】また、接近車両が存在することを報知する際(ステップS100)や、カメラのレンズに汚れが付着していることを報知する際(ステップS110)にブザー7から警告音を発したが、警告音以外に合成音声を用いてもよい。
【0055】特許請求の範囲の構成要素と一実施の形態の構成要素との対応関係は次の通りである。すなわち、画像処理コントローラ2が差分抽出手段と差分積算手段と汚れ検出手段を、速度センサ6が速度検出手段をそれぞれ構成する。なお、本発明の特徴的な機能を損なわない限り、各構成要素は上記構成に限定されるものではない。




 

 


     NEWS
会社検索順位 特許の出願数の順位が発表

URL変更
平成6年
平成7年
平成8年
平成9年
平成10年
平成11年
平成12年
平成13年


 
   お問い合わせ info@patentjp.com patentjp.com   Copyright 2007-2013