米国特許情報 | 欧州特許情報 | 国際公開(PCT)情報 | Google の米国特許検索
 
     特許分類
A 農業
B 衣類
C 家具
D 医学
E スポ−ツ;娯楽
F 加工処理操作
G 机上付属具
H 装飾
I 車両
J 包装;運搬
L 化学;冶金
M 繊維;紙;印刷
N 固定構造物
O 機械工学
P 武器
Q 照明
R 測定; 光学
S 写真;映画
T 計算機;電気通信
U 核技術
V 電気素子
W 発電
X 楽器;音響


  ホーム -> 計算機;電気通信 -> 日産自動車株式会社

発明の名称 車両用走行路認識装置
発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開2003−99761(P2003−99761A)
公開日 平成15年4月4日(2003.4.4)
出願番号 特願2001−287792(P2001−287792)
出願日 平成13年9月20日(2001.9.20)
代理人 【識別番号】100066980
【弁理士】
【氏名又は名称】森 哲也 (外2名)
【テーマコード(参考)】
2F065
5B057
5L096
【Fターム(参考)】
2F065 AA01 CC00 FF04 JJ03 JJ26 QQ18 QQ31 
5B057 AA16 BA02 BA26 DA06 DB02 DC09 DC36
5L096 BA04 CA14 EA03 FA03 FA14 FA73 GA02 GA32 JA03
発明者 白土 良太
要約 課題
製造コストを小さくするとともに、車室内空間を大きくする。

解決手段
検出するレーンマーカが線状であるときには(ステップS102「Yes」)、自車両前方の状況を撮像した画像に対して自車両遠方の画像を抽出する前処理を施し、その抽出した画像に基づいて線状のレーンマーカを検出し(ステップS103)、その線状のレーンマーカの情報に基づいて走行車線を認識する(ステップS105)と共に、検出するレーンマーカが点状であるときには(ステップS102「No」)、自車両前方の状況を撮像した画像に対して自車両近傍の画像を抽出する前処理を施し、その抽出した画像に基づいて点状のレーンマーカを検出し(ステップS109)、その点状のレーンマーカの情報に基づいて走行車線を認識する(ステップS111)。
特許請求の範囲
【請求項1】 自車両前方の状況を撮像する撮像手段と、検出するレーンマーカの形状を指示するレーンマーカ形状指示手段と、そのレーンマーカ形状指示手段で線状のレーンマーカの検出が指示されているときに、前記撮像手段で撮像された画像に対して自車両遠方の画像を抽出する前処理を施す線検出前処理手段と、前記線検出前処理手段で抽出された画像に基づいて線状のレーンマーカを検出する線状レーンマーカ検出手段と、前記レーンマーカ形状指示手段で点状のレーンマーカの検出が指示されているときに、前記撮像手段で撮像された画像に対して自車両近傍の画像を抽出する前処理を施す点検出前処理手段と、前記点検出前処理手段で抽出された画像に基づいて点状のレーンマーカを検出する点状レーンマーカ検出手段と、前記線状レーンマーカ検出手段又は前記点状レーンマーカ検出手段で検出されたレーンマーカの情報に基づいて走行車線を認識する走行車線認識手段を備えたことを特徴とする車両用走行路認識装置。
【請求項2】 前記線検出前処理手段は、前記撮像手段で撮像された画像に対して消失点近傍の領域を抽出する前処理を施すことを特徴とする請求項1に記載の車両用走行路認識装置。
【請求項3】前記点検出前処理手段は、前記撮像手段で撮像された全画像に対して所定の画素を間引いて画像を抽出する前処理を施すことを特徴とする請求項1又は請求項2に記載の車両用走行路認識装置。
【請求項4】 前記線状レーンマーカ検出手段及び前記点状レーンマーカ検出手段は、同一の撮像手段で撮像された画像に基づいて線状又は点状のレーンマーカを検出することを特徴とする請求項1乃至請求項3のいずれかに記載の車両用走行路認識装置。
【請求項5】 前記レーンマーカ形状指示手段は、前記線状レーンマーカ検出手段で線状のレーンマーカを検出できなかったときに、点状のレーンマーカの検出を指示することを特徴とする請求項1乃至請求項4のいずれかに記載の車両用走行路認識装置。
【請求項6】 前記レーンマーカ形状指示手段は、前記点状レーンマーカ検出手段で点状のレーンマーカを検出できなかったときに、線状のレーンマーカの検出を指示することを特徴とする請求項1乃至請求項5のいずれかに記載の車両用走行路認識装置。
発明の詳細な説明
【0001】
【発明の属する技術分野】この発明は、CCDカメラ等の撮像手段で撮像された画像に基づいて線状又は点状のレーンマーカを検出し、その検出結果に基づいて自車両前方の走行車線を認識する車両用走行路認識装置に関する。
【0002】
【従来の技術】従来、この種の装置としては、例えば特開平9−96507号公報に記載されている「車両前方の路上線検出装置」のように、撮像手段として視野角が広い(広角)カメラや視野角が狭い(望遠)カメラといった、複数のカメラを備えたものが知られている。
【0003】そのような車両用走行路認識装置では、レーンマーカとして線状のものが用いられているときには、望遠カメラで自車両遠方を撮像してレーンマーカを検出し、自車両遠方の走行車線を認識していた。また、レーンマーカとして点状のものが用いられているときには、広角カメラで自車両近傍を撮像してレーンマーカを検出し、自車両近傍の走行車線を認識していた。
【0004】
【発明が解決しようとする課題】しかしながら、上記従来の車両用走行路認識装置にあっては、広角カメラや望遠カメラといった複数のカメラを備えるため、製造コストが大きくなってしまうという問題点や、車室内空間が小さくなってしまうという問題点等があった。そこで、本発明は上記従来の技術の未解決の問題点に着目してなされたものであって、製造コストを小さくすることや、車室内空間を大きくすることができる車両用走行路認識装置を提供することを課題とする。
【0005】
【課題を解決するための手段】上記課題を解決するために、請求項1に係る発明である車両用走行路認識装置にあっては、自車両前方の状況を撮像する撮像手段と、検出するレーンマーカの形状を指示するレーンマーカ形状指示手段と、そのレーンマーカ形状指示手段で線状のレーンマーカの検出が指示されているときに、前記撮像手段で撮像された画像に対して自車両遠方の画像を抽出する前処理を施す線検出前処理手段と、前記線検出前処理手段で抽出された画像に基づいて線状のレーンマーカを検出する線状レーンマーカ検出手段と、前記レーンマーカ形状指示手段で点状のレーンマーカの検出が指示されているときに、前記撮像手段で撮像された画像に対して自車両近傍の画像を抽出する前処理を施す点検出前処理手段と、前記点検出前処理手段で抽出された画像に基づいて点状のレーンマーカを検出する点状レーンマーカ検出手段と、前記線状レーンマーカ検出手段又は前記点状レーンマーカ検出手段で検出されたレーンマーカの情報に基づいて走行車線を認識する走行車線認識手段を備えたことを特徴とする。
【0006】また、請求項2に係る発明は、請求項1に記載の発明である車両用走行路認識装置において、前記線検出前処理手段は、前記撮像手段で撮像された画像に対して消失点近傍の領域を抽出する前処理を施すことを特徴とする。さらに、請求項3に係る発明は、請求項1又は請求項2に記載の発明である車両用走行路認識装置において、前記点検出前処理手段は、前記撮像手段で撮像された全画像に対して所定の画素を間引いて画像を抽出する前処理を施すことを特徴とする。
【0007】また、請求項4に係る発明は、請求項1乃至請求項3のいずれかに記載の発明である車両用走行路認識装置において、前記線状レーンマーカ検出手段及び前記点状レーンマーカ検出手段は、同一の撮像手段で撮像された画像に基づいて線状又は点状のレーンマーカを検出することを特徴とする。さらに、請求項5に係る発明は、請求項1乃至請求項4のいずれかに記載の発明である車両用走行路認識装置において、前記レーンマーカ形状指示手段は、前記線状レーンマーカ検出手段で線状のレーンマーカを検出できなかったときに、点状のレーンマーカの検出を指示することを特徴とする。
【0008】また、請求項6に係る発明は、請求項1乃至請求項5のいずれかに記載の発明である車両用走行路認識装置において、前記レーンマーカ形状指示手段は、前記点状レーンマーカ検出手段で点状のレーンマーカを検出できなかったときに、線状のレーンマーカの検出を指示することを特徴とする。
【0009】
【発明の効果】したがって、請求項1の発明に係る車両用走行路認識装置によれば、検出するレーンマーカが線状であるときには、自車両前方の状況を撮像した画像に対して自車両遠方の画像を抽出する前処理を施し、その抽出した画像に基づいて線状のレーンマーカを検出し、その線状のレーンマーカの情報に基づいて走行車線を認識すると共に、検出するレーンマーカが点状であるときには、自車両前方の状況を撮像した画像に対して自車両近傍の画像を抽出する前処理を施し、その抽出した画像に基づいて点状のレーンマーカを検出し、その点状のレーンマーカの情報に基づいて走行車線を認識するため、請求項4に記載されているように、点状のレーンマーカの検出と線状のレーンマーカの検出とを同一の撮像手段で撮像された画像に基づいて行うことができ、1台の撮像手段で構成することができるので、製造コストを小さくすることや、車室内空間を大きくすることができる。
【0010】また、請求項2の発明に係る車両用走行路認識装置によれば、検出するレーンマーカが線状であるときには、自車両前方の状況を撮像した画像に対して消失点近傍の領域を抽出する前処理を施し、その前処理を施した画像に基づいて線状のレーンマーカを検出し、その線状のレーンマーカの情報に基づいて走行車線を認識するというように、遠方のレーンマーカの情報に基づいて走行車線を認識するため、遠方の走行車線を精度良く認識することができる。また、線状のレーンマーカを検出するための画像処理等の対象領域が小さくなるため、処理能力の低い安価な画像処理装置で構成することができ、製造コストをより小さくすることができる。
【0011】また、請求項3の発明に係る車両用走行路認識装置によれば、検出するレーンマーカが点状であるときには、自車両前方の状況を撮像した全画像に対して所定の画素を間引く前処理を施して、その前処理を施した画像に基づいて点状のレーンマーカを検出し、その点状のレーンマーカの情報に基づいて走行車線を認識するというように、近傍から遠方のレーンマーカの情報に基づいて走行車線を認識するため、走行車線を精度良く認識することができる。また、点状のレーンマーカを検出するための画像処理等の対象とする画素数が少なくなるため、処理能力の低い安価な画像処理装置で構成することができ、製造コストをより小さくすることができる。
【0012】さらに、請求項5に係る発明である車両用走行路認識装置にあっては、線状のレーンマーカを検出できなかったときには、点状のレーンマーカの検出を指示するようにしたため、走行中にレーンマーカの形状が線状から点状に変化しても、すぐに対応することができる。さらに、請求項6に係る発明である車両用走行路認識装置にあっては、点状のレーンマーカを検出できなかったときには、線状のレーンマーカの検出を指示するようにしたため、走行中にレーンマーカの形状が点状から線状に変化しても、すぐに対応することができる。
【0013】
【発明の実施の形態】以下、本発明の車両用走行路認識装置の実施形態を図面に基づいて説明する。図1は、本発明の実施形態を示す概略構成図である。図中、1は単焦点の広角レンズが取り付けられているCCDカメラ等の単眼カメラであって、車室内のインナーミラーステー等の固定部に設置されて車両前方状況を撮像し、撮像した画像信号をカメラコントローラ2に出力する。
【0014】カメラコントローラ2は、マイクロコンピュータのソフトウェア形態によって、図2に示す制御ブロックを構成しており、その制御ブロックは、レーンマーカ形状指示部3と、線検出前処理部4と、線状レーンマーカ検出部5と、点検出前処理部6、点状レーンマーカ検出部7と、道路環境認識部8を備え、それらの構成要素を用いて走行路認識処理を実行し、単眼カメラ1から入力される画像信号に基いて自車両の走行車線を認識する。
【0015】なお、レーンマーカ形状指示部3はレーンマーカの形状を指示する処理であり、線検出前処理部4はレーンマーカ形状指示部3が線状のレーンマーカの検出を指示しているときに、単眼カメラ1から入力される画像データに対して線状のレーンマーカを検出するための前処理を施す処理であり、線状レーンマーカ検出部5は線検出前処理部4で前記前処理を施された画像データから線状のレーンマーカを検出する処理である。一方、点検出前処理部6は、レーンマーカ形状指示部3が点状のレーンマーカを検出するように指示しているときに、単眼カメラ1から入力される画像データに対して点状のレーンマーカを検出するための前処理を施す処理であり、点状レーンマーカ検出部7は点検出前処理部6で前記前処理を施された画像データから点状のレーンマーカを検出する処理であり、道路環境認識部8は線状レーンマーカ検出部5又は点状レーンマーカ検出部7で検出されたレーンマーカの情報に基づいて自車両の走行車線を認識する処理である。
【0016】カメラコントローラ2で実行される走行路認識処理は、イグニッションキー等のスイッチが操作されたときに実行される処理であって、具体的には、図3のフローチャートに示すように、まず、そのステップS100で、図4に示すように、レーンマーカが実線又は破線で構成されているものとして、線状のレーンマーカを検出することを示す線検出フラグF1を「1」のセット状態にする等、所定のパラメータを初期化する初期化処理を実行してから、ステップS101に移行する。
【0017】前記ステップS101では、単眼カメラ1で撮像された画像信号を読み込み、その画像信号を垂直方向に2m分割すると共に水平方向に2n分割して2m×2n画素の画像データとしてメモリに保存してから、ステップS102に移行する。前記ステップS102は、上述の検出処理切換部3に対応するステップであって、線検出フラグF1が「1」のセット状態であるか否かを判定し、セット状態であるときには(Yes)ステップS103に移行し、そうでないときには(No)ステップS109に移行する。
【0018】前記ステップS103は、上述の線検出処理部4及び線状レーンマーカ検出部5に対応するステップであって、前記ステップS101で保存した画像データに基づいて線検出処理を実行してから、ステップS104に移行する。なお、線検出処理では、図5に示すように、前記ステップS101でメモリに保存した画像データのうちから、当該画像データが表す画像の消失点(FOE)を中心として、m×n画素(垂直方向にm行、水平方向にn列)の画像データを抽出し、その画像データに空間一次微分やbough変換等を施して、線分成分としてレーンマーカを検出する。
【0019】前記ステップS104では、前記ステップS103で実行された線検出処理で線成分としてレーンマーカを検出できたか否かを判定し、検出できたときには(Yes)ステップS105に移行し、そうでないときには(No)ステップS107に移行する。線成分としてレーンマーカを検出できたか否かを判定する方法は、どのようなものであってもよく、例えば、前記ステップS103で抽出した画像データの長さに対して、検出した線分成分の全長の割合が所定値以上であるときに、レーンマーカを検出できたと判定し、そうでないときには、レーンマーカを検出できなかったと判定すればよい。
【0020】前記ステップS105は、上述の道路環境認識部に対応するステップであって、前記ステップS103で検出されたレーンマーカの線成分に基づいて走行車線の形状等を認識する道路認識処理を実行してから、ステップS106に移行する。なお、道路認識処理では、予め設定されている走行車線の形状を表すモデル式のうちから、ステップS103で検出された線成分に最も一致するモデル式を、最小二乗法等を用いて算出する。
【0021】前記ステップS106では、線検出フラグF1を「1」のセット状態にしてから、前記ステップS101に再び移行する。一方、前記ステップS107では、同時刻の画像データを用いて点検出処理を実行しているか否かを判定し、既に実行しているときには(Yes)ステップS108に移行し、そうでないときには(No)前記ステップS109に移行する。
【0022】前記ステップS108では、前記ステップS103の線検出処理及び後述するステップS109の点検出処理でレーンマーカを検出できず、前記ステップS105や後述するステップS111で道路認識処理を実行することができなかったことが、所定回数以上連続して発生しているか否かを判定し、所定回数以上連続して発生していると判定したときには(Yes)前記ステップS100に再び移行し、そうでないときには(No)ステップS101に再び移行する。
【0023】一方、前記ステップS109は、上述の点検出前処理部6及び点状レーンマーカ検出7に対応するステップであって、前記ステップS101で保存した画像データに基づいて点検出処理を実行してから、ステップS110に移行する。なお、点検出処理では、図6に示すように、前記ステップS101でメモリに保存した画像データのうちから、垂直方向に1行おきに間引くと共に水平方向に1列おきに間引いたm×n画素(垂直方向にm行、水平方向にn列)の画像データを抽出し、その画像データにパターンマッチング等を施して、点状のレーンマーカを検出する。なお、m×n画素の画像データを抽出する手順は、どのような手順であってもよく、例えば前記ステップS101でメモリに保存した画像データのうちから垂直・水平座標値が偶数の画素を抽出すると共に、その抽出した画素の座標値を2で除して算出した新たな座標値に、前記抽出した画素の値を代入して作成してもよい。
【0024】このように画像データを間引いてデータ容量を小さくする方法によれば、図7(a)に示すように、前記ステップS103で行った消失点付近の画像データ以外を除去してデータ容量を小さくする方法に比べ、図7(b)に示すように、多くのレーンマーカの情報を含む画像データを抽出することができる。前記ステップS110では、前記ステップS109で実行された点検出処理で点状のレーンマーカを検出できたか否かを判定し、検出できたときには(Yes)ステップS111に移行し、そうでないときには(No)ステップS113に移行する。点状のレーンマーカを検出できたか否かを判定する方法としては、どのようなものでもよく、例えば、前記ステップS109でパターンマッチングによって検出したレーンマーカの点数が所定値以上であるときに、レーンマーカを検出できたと判定し、そうでないときには、レーンマーカを検出できなかったと判定すればよい。
【0025】前記ステップS111は、上述の道路環境認識部8に対応するステップであって、前記ステップS109で検出された点状のレーンマーカに基づいて走行車線の形状を認識する道路認識処理を実行してから、ステップS112に移行する。なお、道路認識処理では、予め設定されている走行車線の形状を表すモデル式のうちから、ステップS109で検出された点状のレーンマーカに最も一致するモデル式を、最小二乗法などを用いて算出する。
【0026】前記ステップS112では、線検出フラグF1を「0」のリセット状態にしてから、前記ステップS101に移行する。一方、前記ステップS113では、同時刻の画像データを用いて線検出処理を実行しているか否かを判定し、既に実行しているときには(Yes)ステップS114に移行し、そうでないときには(No)前記ステップS103に移行する。
【0027】前記ステップS114では、前記ステップS103の線検出処理及び前記ステップS109の点検出処理でレーンマーカを検出できず、前記ステップS105や前記ステップS111で道路認識処理を実行することができなかったことが、所定回数以上連続して発生しているか否かを判定し、所定回数以上連続して発生していると判定したときには(Yes)前記ステップS100に再び移行し、そうでないときには(No)ステップS101に再び移行する。
【0028】次に、本実施形態の車両用走行路認識装置の動作を、具体的状況に基づいて詳細に説明する。まず、運転者がエンジン始動時にイグニッションキー等のスイッチを操作して、線状のレーンマーカで区切られた走行車線を走行しているとする。すると、カメラコントローラ2で走行路認識処理が実行されて、図3のフローチャートに示すように、まず、そのステップS100で、線検出フラグF1が「1」のセット状態にする初期化処理が実行され、ステップS101で、単眼カメラ1で撮像された画像信号が読み込まれ、その画像信号が垂直方向に2m分割されると共に水平方向に2n分割されて2m×2n画素の画像データとしてメモリに保存され、また、線検出フラグF1が「1」のセット状態であるため、ステップS102の判定が「Yes」となり、ステップS103で、ステップS101で保存された画像データに基づいて線検出処理が実行され、図5に示すように、前記ステップS101でメモリに保存された画像データのうちから、当該画像データが表す画像の消失点(FOE)を中心として、m×n画素(垂直方向にm行、水平方向にn列)の画像データが抽出され、その画像データに空間一次微分やbough変換等が施されて、線分成分としてレーンマーカが検出される。
【0029】このように、本実施形態にあっては、検出するレーンマーカが線状であるときには、自車両前方の状況を撮像した画像に対して消失点近傍の領域を抽出する前処理を施し、その前処理を施した画像に基づいて線状のレーンマーカを検出するというように、遠方のレーンマーカに基づいて走行車線を認識するため、遠方の走行車線を精度良く認識することができる。また、線状のレーンマーカを検出するための画像処理等の対象領域が小さくなるため、処理能力の低い安価な画像処理装置で構成することができ、製造コストを小さくすることができる。
【0030】ここで、前記ステップS103で抽出した画像データの長さに対して、検出した線分成分の全長の割合が所定値以上であったとする。すると、ステップS104の判定が「Yes」となり、ステップS105で、前記ステップS103で検出されたレーンマーカの線成分に基づいて走行車線の形状等を認識する道路認識処理が実行され、予め設定されている走行車線の形状を表すモデル式のうちから、ステップS103で検出された線成分に最も一致するモデル式が、最小二乗法等を用いて算出され、ステップS106で、線検出フラグF1が「1」のセット状態にされた後、上記フローが前記ステップS101から再び繰り返される。
【0031】上記フローが繰り返されているうちに、走行車線を区切るレーンマーカが点状のものに変化したとする。すると、カメラコントローラ2で実行される走行路認識処理は、ステップS101〜S103を経て、ステップS104の判定が「No」となり、また、同時刻の画像データを用いて点検出処理を実行していないので、ステップS107の判定が「No」となり、ステップS109で、前記ステップS101で保存した画像データに基づいて点検出処理が実行され、図7に示すように、前記ステップS101でメモリに保存された画像データのうちから、垂直方向に1行おきに間引くと共に水平方向に1列おきに間引いたm×n画素(垂直方向にm行、水平方向にn列)の画像データが抽出され、その画像データにパターンマッチング等が施されて、点状のレーンマーカが検出される。
【0032】このように、本実施形態にあっては、線状のレーンマーカを検出できなかったときには、点状のレーンマーカを検出するようにしたため、走行中にレーンマーカの形状が線状から点状に変化しても、すぐに対応することができる。また、検出するレーンマーカが点状であるときには、自車両前方の状況を撮像した全画像に対して所定の画素を間引く前処理を施して、その前処理を施した画像に対して走行車線を認識するというように、近傍から遠方のレーンマーカの情報に基づいて走行車線を認識するため、走行車線を精度良く認識することができる。また、点状のレーンマーカを検出するための画像処理等の対象とする画素数が少なくなるため、処理能力の低い安価な画像処理装置で構成することができ、製造コストをより小さくすることができる。
【0033】ここで、前記ステップS109でパターンマッチングによって検出されたレーンマーカの点数が所定値以上であったとする。すると、ステップS110の判定が「Yes」となり、ステップS111で、前記ステップS109で検出された点状のレーンマーカに基づいて走行車線の形状を認識する道路認識処理が実行され、予め設定されている走行車線の形状を表すモデル式のうちから、ステップS109で検出された点状のレーンマーカに最も一致するモデル式が、最小二乗法などを用いて算出され、ステップS112で、線検出フラグF1が「0」のリセット状態にされた後、上記フローが前記ステップS101から繰り返される。
【0034】また、上記フローが繰り返されているうちに、走行車線を区切るレーンマーカが再び線状のものに変化したとする。すると、カメラコントローラ2で実行される走行路認識処理は、ステップS101〜S109を経て、ステップS110の判定が「No」となり、また、同時刻の画像データを用いて線検出処理を実行していないので、ステップS113の判定が「No」となり、ステップS103〜S106を経て、線検出処理を行うフローが再び前記ステップS101から繰り返される。
【0035】このように、本実施形態にあっては、点状のレーンマーカを検出できなかったときには、線状のレーンマーカを検出するようにしたため、走行中にレーンマーカの形状が点状から線状に変化しても、すぐに対応することができる。また、1台の撮像手段で点状のレーンマーカと線状のレーンマーカとの両方に対応できるので、製造コストを小さくすることや、車室内空間を大きくすることができる。
【0036】なお、本実施形態にあっては、撮像手段は単眼カメラ1に対応し、レーンマーカ形状指示手段は線検出フラグF1に対応し、線検出前処理手段及び線状レーンマーカ検出手段はステップS103に対応し、点検出前処理手段及び点状レーンマーカ検出手段はステップS109に対応し、走行車線認識手段はステップS105及びS111に対応する。
【0037】また、上記実施の形態は本発明の車両用走行路認識装置の一例を示したものであり、装置の構成等を限定するものではない。




 

 


     NEWS
会社検索順位 特許の出願数の順位が発表

URL変更
平成6年
平成7年
平成8年
平成9年
平成10年
平成11年
平成12年
平成13年


 
   お問い合わせ info@patentjp.com patentjp.com   Copyright 2007-2013