米国特許情報 | 欧州特許情報 | 国際公開(PCT)情報 | Google の米国特許検索
 
     特許分類
A 農業
B 衣類
C 家具
D 医学
E スポ−ツ;娯楽
F 加工処理操作
G 机上付属具
H 装飾
I 車両
J 包装;運搬
L 化学;冶金
M 繊維;紙;印刷
N 固定構造物
O 機械工学
P 武器
Q 照明
R 測定; 光学
S 写真;映画
T 計算機;電気通信
U 核技術
V 電気素子
W 発電
X 楽器;音響


  ホーム -> 測定; 光学 -> トヨタ自動車株式会社

発明の名称 走行路認識装置
発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開2007−52730(P2007−52730A)
公開日 平成19年3月1日(2007.3.1)
出願番号 特願2005−238959(P2005−238959)
出願日 平成17年8月19日(2005.8.19)
代理人 【識別番号】100088155
【弁理士】
【氏名又は名称】長谷川 芳樹
発明者 宮下 亨裕
要約 課題
走行路上の多重区分線の種類を正確に認識することができる走行路認識装置を提供する。

解決手段
走行路認識装置2は、車両の前方の多重区分線の撮像画像に基づいて、多重区分線中の車線境界(白線)を検出する白線検出ECU6とを有している。白線検出ECU6の記憶部16には、多重区分線を構成する各標示線の組み合わせ(本数・太さ)の情報であるテンプレートと各標示線の線種(実線・破線)の情報である線種情報とを含む複数種類の照合用パターンが予め記憶されている。白線検出ECU6は、多重区分線の撮像画像から多重区分線を抽出し、これに基づいて多重区分線を構成する各標示線の線種を判別すると共に多重区分線区間であるかどうかを判定し、それらの結果と照合用パターンとの照合を行うことにより、多重区分線の種類を識別する。
特許請求の範囲
【請求項1】
車両が走行する走行路の撮像画像に基づいて、前記走行路上に設けられ複数の標示線からなる多重区分線を認識する走行路認識装置において、
前記多重区分線を構成する各標示線の組み合わせの情報であるテンプレートと前記多重区分線を構成する各標示線の線種の情報である線種情報とを含む複数種類の照合用パターンを予め記憶しておく記憶手段と、
前記撮像画像に基づいて前記多重区分線を抽出する多重区分線抽出手段と、
前記抽出した多重区分線を構成する各標示線の線種を判別する判別手段と、
前記抽出した多重区分線に対応するテンプレートの種類を判定する判定手段と、
前記判別手段の判別結果と、前記判定手段の判定結果と、前記照合用パターンとの照合に基づいて、前記多重区分線の種類を識別する識別手段とを備えることを特徴とする走行路認識装置。
【請求項2】
前記識別手段は、前記車両の進行方向に対して左右両側の領域における前記多重区分線の種類をそれぞれ独立に識別することを特徴とする請求項1記載の走行路認識装置。
【請求項3】
前記テンプレートは、前記多重区分線を構成する標示線の本数及び前記各標示線の太さの情報であることを特徴とする請求項1または2記載の走行路認識装置。
【請求項4】
前記記憶手段は、前記標示線の本数が3本であると共に、前記各標示線の線種が破線である3重線に対応する照合用パターンを記憶していることを特徴とする請求項3記載の走行路認識装置。
【請求項5】
前記記憶手段は、前記標示線の本数が2本であると共に、一側の標示線の線種が実線または破線であり、他側の標示線の線種が破線であり且つその太さが前記一側の標示線よりも太い異幅2重線に対応する照合用パターンを記憶していることを特徴とする請求項3記載の走行路認識装置。
【請求項6】
前記識別手段は、前記車両の進行方向に対して左右どちらの領域における前記多重区分線の種類の識別を行っているかに応じて、前記一側の標示線の線種が実線である前記照合用パターンの照合を行わないことを特徴とする請求項5記載の走行路認識装置。
【請求項7】
前記記憶手段は、前記標示線の本数が2本であると共に、一側の標示線の線種が実線または破線の一方であり、他側の標示線の線種が破線の他方であり且つ前記一側の標示線と実質的に同じ太さを有する同幅2重線に対応する照合用パターンを記憶していることを特徴とする請求項3記載の走行路認識装置。
【請求項8】
前記記憶手段は、前記各標示線の線種の情報である線種情報の代わりに、前記多重区分線の種類の情報を含む照合用パターンを予め記憶しており、
前記識別手段は、識別した多重区分線の種類と前記記憶手段に記憶した多重区分線の種類との比較結果と、前記判定手段の判定結果と、前記照合用パターンとの照合に基づいて、前記多重区分線の種類を識別することを特徴とする請求項7記載の走行路認識装置。
【請求項9】
前記記憶手段は、前記標示線の本数が2本であると共に、前記各標示線の線種が共に実線である中抜け2重線に対応した照合用パターンを記憶しており、
前記識別手段は、前記車両の進行方向に対して左側領域における前記多重区分線の識別において、前記中抜け2重線に対応した照合用パターンとの照合を行わないことを特徴とする請求項3記載の走行路認識装置。
【請求項10】
前記識別手段で識別した前記多重区分線の種類に基づいて、前記車両の走行に用いる車線境界を設定する手段を更に備えることを特徴とする請求項1〜9のいずれか一項記載の走行路認識装置。







発明の詳細な説明
【技術分野】
【0001】
本発明は、自動車等の車両に搭載され、車両が走行する走行路上の多重区分線の種類を認識する走行路認識装置に関するものである。
【背景技術】
【0002】
従来の走行路認識装置としては、例えば特許文献1に記載されているように、左側の多重区分線と右側の多重区分線との撮像画像に基づいて、左側の多重区分線を構成する各標示線(白線や走行誘導線等)と右側の多重区分線を構成する各標示線との間隔を検出し、その間隔が時系列的に最も適切な左右1対の標示線を、車両の走行に用いる車線境界と設定したものが知られている。
【特許文献1】特開2003−168198号公報
【発明の開示】
【発明が解決しようとする課題】
【0003】
しかしながら、上記従来技術においては、時系列的な推定に基づく左右の標示線の間隔だけで車線境界を判断しているので、例えば左右両側の多重区分線が2重線の場合には、左側では2重線の外側の線を車線境界とし、右側では2重線の内側の線を車線境界とする等といった誤認識が起こりやすくなる。そこで、正確な車線境界を得るためには、左右両側の多重区分線の種類を正しく認識する必要がある。
【0004】
本発明の目的は、走行路上の多重区分線の種類を正確に認識することができる走行路認識装置を提供することである。
【課題を解決するための手段】
【0005】
本発明は、車両が走行する走行路の撮像画像に基づいて、走行路上に設けられ複数の標示線からなる多重区分線を認識する走行路認識装置において、多重区分線を構成する各標示線の組み合わせの情報であるテンプレートと多重区分線を構成する各標示線の線種の情報である線種情報とからなる複数種類の照合用パターンを予め記憶しておく記憶手段と、撮像画像に基づいて多重区分線を抽出する多重区分線抽出手段と、抽出した多重区分線を構成する各標示線の線種を判別する判別手段と、抽出した多重区分線に対応するテンプレートの種類を判定する判定手段と、判別手段の判別結果と、判定手段の判定結果と、照合用パターンとの照合に基づいて、多重区分線の種類を識別する識別手段とを備えることを特徴とするものである。
【0006】
このように多重区分線の種類を識別する際に、多重区分線を構成する各標示線の組み合わせに加えて、各標示線の線種(実線または破線)についても考慮して、照合用パターンとの照合を実施することにより、多重区分線の種類の認識率を向上させることができる。例えば多重区分線としての2重線の中には、太さの異なる2重線と太さの同じ2重線とがある。太さの異なる2重線では、一側の標示線が実線または破線であり、他側の標示線が破線である。太さの同じ2重線では、一側の標示線が実線及び破線のいずれか一方であり、他側の標示線が実線及び破線の他方である。ここで、多重区分線の認識では、撮像カメラの撮像精度等を考慮して、ある程度の抽出マージンをもたせている。このため、走行路上の2重線が撮像されたときに、太さの異なる2重線でもあり、太さの同じ2重線でもあると判定される可能性がある。しかし、太さの異なる2重線と太さの同じ2重線とでは、上述したように各標示線の線種の形態が異なるものがあるため、多重区分線を構成する各標示線が実線か破線かの判別を行うことにより、どちらの2重線であるかを正確に判別することが可能となる。
【0007】
好ましくは、識別手段は、車両の進行方向に対して左右両側の領域における多重区分線の種類をそれぞれ独立に識別する。車両の進行方向に対して左側領域と右側領域とでは、多重区分線を構成する各標示線の組み合わせや線種が異なることもある。このため、判別手段の判別結果と判定手段の判定結果と照合用パターンとの照合を左右両側の領域で独立に行うことにより、走行路上の多重区分線の種類を左右両側において正確に認識することができる。
【0008】
また、好ましくは、テンプレートは、多重区分線を構成する標示線の本数及び各標示線の太さの情報である。多重区分線としては、標示線が2本の2重線や、標示線が3本の3重線がある。また、2重線の中には、標示線の太さが異なるものや、標示線の太さが同じものがある。従って、これらの種類の多重区分線を認識することが可能となる。
【0009】
このとき、好ましくは、記憶手段は、標示線の本数が3本であると共に、各標示線の線種が破線である3重線に対応する照合用パターンを記憶している。この場合には、走行路上の3重線を正確に認識することができる。
【0010】
また、記憶手段は、標示線の本数が2本であると共に、一側の標示線の線種が実線または破線であり、他側の標示線の線種が破線であり且つその太さが一側の標示線よりも太い異幅2重線に対応する照合用パターンを記憶していても良い。この場合には、走行路上の右太2重線及び左太2重線を正確に認識することができる。
【0011】
このとき、識別手段は、車両の進行方向に対して左右どちらの領域における多重区分線の種類の識別を行っているかに応じて、一側の標示線の線種が実線である照合用パターンの照合を行わないことが好ましい。右太2重線及び左太2重線といった異幅2重線では、車両の進行方向に対して左右両側のどちらに存在するかによって、細い方の標示線の線種が必ず破線となる場合がある。この場合には、一側の標示線の線種が実線である照合用パターンの照合を必要としないので、処理の簡略化を図ることができる。
【0012】
さらに、記憶手段は、標示線の本数が2本であると共に、一側の標示線の線種が実線または破線の一方であり、他側の標示線の線種が破線の他方であり且つ一側の標示線と実質的に同じ太さを有する同幅2重線に対応する照合用パターンを記憶していても良い。この場合には、走行路上の両太2重線及び両細2重線を正確に認識することができる。
【0013】
このとき、記憶手段は、各標示線の線種の情報である線種情報の代わりに、多重区分線の種類の情報を含む照合用パターンを予め記憶しており、識別手段は、識別した多重区分線の種類と記憶手段に記憶した多重区分線の種類との比較結果と、判定手段の判定結果と、照合用パターンとの照合に基づいて、多重区分線の種類を識別することが好ましい。両太2重線及び両細2重線といった同幅2重線では、車両の進行方向に対して左右両側のどちらに存在するかによって、標示線の実線判別を行わずに、過去の多重区分線の種類の識別結果を用いて現在の多重区分線の種類を識別しても良い場合がある。この場合には、標示線の線種が実線である照合用パターンの照合を必要としないので、処理の簡略化を図ることができる。
【0014】
また、記憶手段は、標示線の本数が2本であると共に、各標示線の線種が共に実線である中抜け2重線に対応した照合用パターンを記憶しており、識別手段は、車両の進行方向に対して左側領域における多重区分線の識別において、中抜け2重線に対応した照合用パターンとの照合を行わないようにしても良い。多重区分線の中には、対面通行の2車線区間として、上り線及び下り線の何れか一方を暫定的に共用している暫定供用部と呼ばれるものがある。この暫定供用部は、車両の進行方向に対して右側領域にしか存在しないものであり、2本の標示線が共に実線である中抜け2重線構造となっている。従って、車両の進行方向に対して右側領域における多重区分線の種類の識別においては、中抜け2重線に対応した照合用パターンを用意しておくことで、3重線、異幅2重線及び同幅2重線といった基本的な多重区分線だけでなく、暫定供用部についても確実に認識することができる。また、車両の進行方向に対して左側領域における多重区分線の種類の識別においては、中抜け2重線である照合用パターンの照合が不要となる。
【0015】
また、好ましくは、識別手段で識別した多重区分線の種類に基づいて、車両の走行に用いる車線境界を設定する手段を更に備える。これにより、例えば車両を多重区分線の車線境界に応じて走行させるように車両の操舵制御を行うことで、車両の走行位置をキープしたり、車両の車線逸脱を防止することができる。
【発明の効果】
【0016】
本発明によれば、車両が走行する走行路上の多重区分線の種類を正確に認識することができる。これにより、例えば車両の操舵制御において、車両を左側に車線変更させることができるか否か等の判断を正しく行うことが可能となる。
【発明を実施するための最良の形態】
【0017】
以下、本発明に係わる走行路認識装置の好適な実施形態について、図面を参照して詳細に説明する。
【0018】
図1は、本発明に係わる走行路認識装置の一実施形態を備えた操舵制御システムを示す概略ブロック図である。同図において、操舵制御システム1は、自動車等の車両に搭載されるものである。操舵制御システム1は、走行路認識装置2と、操舵支援ECU(Electronic Control Unit)3と、電動パワーステアリングECU4とを備えている。
【0019】
走行路認識装置2は、車両が走行する走行路上に描かれた多重区分線の種類を認識する装置である。走行路認識装置2は、車両の前方の多重区分線を撮像する前方カメラ5と、この前方カメラ5の撮像画像に基づいて、車両の走行に用いる多重区分線中の車線境界(白線)を検出する白線検出ECU6とを有している。
【0020】
操舵支援ECU3は、白線検出ECU6で検出された車線境界と、車速センサ7、ヨーレートセンサ8及びレインセンサ9の検出値とに基づいて、車両の操舵支援を行うように電動パワーステアリングECU4を制御する。電動パワーステアリングECU4は、操舵支援ECU3からの制御信号に応じてステアリング装置10を駆動する。
【0021】
図2は、白線検出ECU6の機能ブロック図である。同図において、白線検出ECU6は、多重区分線抽出部11と、実線破線判別部12と、多重区分線区間判定部13と、多重区分線種類識別部14と、車線境界設定部15と、記憶部16とを有している。
【0022】
多重区分線抽出部11は、前方カメラ5の撮像画像を取得し、2値化処理やエッジ抽出
等の画像処理を行い、その画像データを図3に示すような鳥瞰画像データに射影変換し、その鳥瞰画像データに基づいて多重区分線を抽出する。なお、鳥瞰画像データにおいて破線で囲まれた部分が処理領域Pとなる。この処理領域Pは、図4に示すように遠方領域Paと近傍領域Pbとに分割される。前方カメラ5から撮像位置までの距離Iは、例えば7mである。そして、遠方領域Pa及び近傍領域Pbの距離Nは、何れも例えば10mである。
【0023】
具体的には、多重区分線抽出部11は、まず図5に示すように、鳥瞰画像データの処理領域Pをライン毎にエッジ抽出し、遠方領域Pa及び近傍領域Pbで抽出されたエッジ点をそれぞれハフ変換して、直線近似を行うことにより、多重区分線Qを抽出する。この処理は、各領域Pa,Pbの左右両側で別々に行う。つまり、多重区分線Qの抽出は、鳥瞰画像データの左側遠方領域、左側近傍領域、右側遠方領域、右側近傍領域において行われることになる。
【0024】
ここで、多重区分線としては、図6に示すように、3重線、右太2重線、左太2重線、両太2重線、両細2重線がある。右太2重線及び左太2重線は異幅2重線であり、両太2重線及び両細2重線は同幅2重線である。
【0025】
図6(a)に示すように、3重線20は標示線21a〜21cからなっている。標示線21a〜21cは、何れも破線である。両側の標示線21a,21cは、走行誘導線であり、真ん中の標示線21bよりも太くなっている。
【0026】
図6(b)に示すように、右太2重線22は標示線23a,23bからなり、左側の標示線23aよりも右側の標示線23bが太くなっている。左側の細い標示線23aは破線であり、右側の太い標示線23bは走行誘導線なので破線である。もう1つの右太2重線24は標示線25a,25bからなり、左側の標示線25aよりも右側の標示線25bが太くなっている。左側の細い標示線25aは実線であり、右側の太い標示線25bは走行誘導線なので破線である。
【0027】
図6(c)に示すように、左太2重線26は標示線27a,27bからなり、右側の標示線27bよりも左側の標示線27aが太くなっている。右側の細い標示線27bは破線であり、左側の太い標示線27aは走行誘導線なので破線である。もう1つの左太2重線28は標示線29a,29bからなり、右側の標示線29bよりも左側の標示線29aが太くなっている。右側の細い標示線29bは実線であり、左側の太い標示線29aは走行誘導線なので破線である。
【0028】
図6(d)に示すように、両太2重線30は標示線31a,31bからなり、標示線31a,31bの太さが実質的に同じである。左側の標示線31aは実線であり、右側の標示線31bは走行誘導線なので破線である。もう1つの両太2重線32は標示線33a,33bからなり、標示線33a,33bの太さが実質的に同じである。左側の標示線33aは走行誘導線なので破線であり、右側の標示線33bは実線である。
【0029】
図6(e)に示すように、両細2重線34は標示線35a,35bからなり、標示線35a,35bの太さが実質的に同じである。左側の標示線35aは実線であり、右側の標示線35bは走行誘導線なので破線である。もう1つの両細2重線36は標示線37a,37bからなり、標示線37a,37bの太さが実質的に同じである。左側の標示線37aは走行誘導線なので破線であり、右側の標示線37bは実線である。
【0030】
実線破線判別部12は、多重区分線抽出部11で抽出された多重区分線(以下、多重区分線の抽出データ)に基づいて、多重区分線を構成する各標示線の線種(実線または破線)を判別する。具体的には、各領域Pa,Pbの全てのライン上のエッジ点でハフ変換された直線の投票値を100%とした場合、投票値が基準値(例えば80%)より大きいときには、その直線が実線と判断され、そうでないときには、当該直線が破線と判断される。
【0031】
多重区分線区間判定部13は、多重区分線の抽出データに基づいて、走行路上の多重区分線が連続している区間(多重区分線区間)であるかどうかを判定する。この判定処理は、予め記憶部16に記憶されている複数種類の照合用パターンを用いて行われる。照合用パターンは、多重区分線を構成する各標示線の組み合わせ(本数及び太さ)の情報である多重線テンプレートと、多重区分線を構成する各標示線の線種の情報である線種情報と、多重区分線の種類の情報とを含んでいる。そして、多重区分線区間判定部13は、多重区分線の抽出データに対応する多重線テンプレートの種類を判定する。
【0032】
具体的には、多重線テンプレートとしては、図7(a)〜図7(e)に示すように、3重線テンプレート、右太2重線テンプレート、左太2重線テンプレート、両太2重線テンプレート、両細2重線テンプレートがある。3重線テンプレートは、図6(a)に示す3重線20に対応したテンプレートである。右太2重線テンプレートは、図6(b)に示す右太2重線22,24に対応したテンプレートであり、左太2重線テンプレートは、図6(c)に示す左太2重線26,28に対応したテンプレートである。両太2重線テンプレートは、図6(d)に示す両太2重線30,32に対応したテンプレートであり、両細2重線テンプレートは、図6(e)に示す両細2重線34,36に対応したテンプレートである。
【0033】
このような各種多重区分線に対応した多重線テンプレートを用いて、多重区分線の抽出データ(エッジ点をハフ変換して直線近似した結果のエッジ線の組み合わせ)と多重線テンプレートとの照合を、上記のように鳥瞰画像データの遠方領域及び近傍領域の左右それぞれで行う。このとき、例えば3重線テンプレートとの照合では、図8に示すように、左側の標示線の幅W、真ん中の標示線の幅W、右側の標示線の幅W、左側の標示線と真ん中の標示線との間隔D、真ん中の標示線と右側の標示線との間隔D、左側の標示線における両エッジ線の傾きの差、真ん中の標示線における両エッジ線の傾きの差、右側の標示線における両エッジ線の傾きの差などをパラメータとする。
【0034】
また、多重区分線の中には、図9に示すように暫定供用部と称される2重線もある。暫定供用部は、例えば高速道路の上り線及び下り線をそれぞれ2車線建設予定の路線で、上り線及び下り線のいずれか一方のみが完成している場合に、対面通行の2車線区間として、上り線及び下り線のいずれか一方を暫定的に供用している区間である。図9(a)に示す暫定供用部38は、ブロック等といった特殊な中央線39の両側に白線40を介してオレンジ線41をそれぞれ設けたものである。図9(b)に示す暫定供用部42は、中央線39の両側に間隔を隔ててオレンジ線41をそれぞれ設けたものである。つまり、暫定供用部42では、中央線39とオレンジ線41との間の領域はアスファルトとなっている。なお、白線40及びオレンジ線41は、いずれも実線である。
【0035】
暫定供用部用のテンプレートとしては、例えば図10に示すような中抜け2重線が用いられる。図10(a)に示す中抜け2重線テンプレートは、図9(a)に示す暫定供用部38に対応しており、各標示線Xの幅が白線40の幅とオレンジ線41の幅との合計に対応して太くなっている。図10(b)に示す中抜け2重線テンプレートは、図9(b)に示す暫定供用部42に対応しており、各標示線Xの幅がオレンジ線41のみの幅に対応して細くなっている。
【0036】
多重区分線区間判定部13では、そのような多重区分線区間の判定を鳥瞰画像データの遠方領域及び近傍領域で左右独立に行い、左右の判定結果が揃ったところで、多重区分線区間とみなす。具体的には、鳥瞰画像データの近傍領域で、多重区分線の抽出データが所定回(例えば3回)連続して何れかの多重線テンプレートと一致した後、鳥瞰画像データの遠方領域で、多重区分線の抽出データが所定回(例えば3回)連続して同じ多重線テンプレートと一致すれば、多重区分線区間であると判断する。また、鳥瞰画像データの遠方領域で、多重区分線の抽出データが所定回連続して何れかの多重線テンプレートと一致した後、鳥瞰画像データの近傍領域で、多重区分線の抽出データが所定回連続して同じ多重線テンプレートと一致したときにも、多重区分線区間であると判断する。このとき、鳥瞰画像データの近傍領域及び遠方領域の両方で、多重区分線の抽出データが所定回連続して何れかの多重線テンプレートと一致した後、更に鳥瞰画像データの近傍領域及び遠方領域で、多重区分線の抽出データが所定回連続して同じ多重線テンプレートと一致することがあっても勿論良い。
【0037】
このように多重区分線の連続性を判断することにより、ノイズ等により実際の多重区分線とは異なる種類の多重区分線が瞬間的に判定されても、その判定結果はカットされることになる。従って、実際には多重区分線区間でないにも拘わらず、誤って多重区分線区間と判定されることを防止できる。
【0038】
ここで、多重区分線の抽出データが所定回連続して多重線テンプレートと一致した後に、多重区分線の抽出データと多重線テンプレートとの不一致が鳥瞰画像データの近傍領域及び遠方領域で所定回(例えば2回)続いた場合には、多重区分線区間が終了したと仮判定する。この仮判定は、鳥瞰画像データの遠方領域及び近傍領域で左右独立に行い、左右両側のうち多重区分線区間が終了したと仮判定された側のみ有効となる。
【0039】
そして、多重区分線の抽出データと多重線テンプレートとの不一致が更にそのまま所定回数(例えば3回)続いた場合には、正式に多重区分線区間が終了したと判定する。この多重区分線区間の終了判定は、鳥瞰画像データの遠方領域及び近傍領域で左右独立に行い、左右両側のうち何れか一方において多重区分線区間が終了したと判定されると、左右両側で多重区分線区間が終了したものとみなされる。また、多重区分線の抽出データと多重線テンプレートとの不一致が当該回数に達するまでに、鳥瞰画像データの近傍領域または遠方領域で多重区分線の抽出データが多重線テンプレートに一致した場合には、多重区分線区間が終了したという仮判定が解除され、多重区分線区間がそのまま継続しているとみなされる。
【0040】
多重区分線種類識別部14は、実線破線判別部12の判別結果と多重区分線区間判定部13の判定結果とを用いて、鳥瞰画像データに基づいて抽出された多重区分線の種類(3重線、右太2重線、左太2重線、両太2重線、両細2重線、暫定供用部)を識別する。多重区分線種類識別部14では、個別の多重線テンプレートとの一致の連続を基本とする識別を行う。ただし、多重区分線の抽出データと多重線テンプレートとの一致連続回数は、上述した多重区分線区間判定部13による多重区分線区間の判定時よりも少なくて良く、鳥瞰画像データの遠方領域及び近傍領域の何れかで例えば4回連続して一致すれば良い。
【0041】
多重区分線種類識別部14による多重区分線の種類の識別は、上述した多重区分線区間判定部13による多重区分線区間の判定とは独立で行われ、多重区分線区間の判定の成立と同時に有効となる。また、多重区分線の種類の識別は、鳥瞰画像データの遠方領域及び近傍領域で左右独立に行われる。以下、多重区分線の種類を識別する考え方について説明する。
【0042】
ここで、3重線(図6(a)参照)の車線境界は、真ん中の標示線である。右太2重線(図6(b)参照)の車線境界は、左側の標示線である。左太2重線(図6(c)参照)の車線境界は、右側の標示線である。両太2重線(図6(d)参照)の車線境界は、車両の進行方向に対して左側にあるときは左側の標示線であり、車両の進行方向に対して右側にあるときは右側の標示線である。両細2重線(図6(e)参照)の車線境界は、両太2重線の車線境界と同様である。暫定供用部(図9参照)の車線境界は、左右両側の標示線(オレンジ線)である。なお、車線境界は、車両が走行するための車線(走行レーンとも言う)を区画する白線である。
【0043】
3重線は、車線と車線との境界のみにあり、車線と路肩との境界には無い。このため、3重線の車線境界(真ん中の標示線)は、常に破線である。従って、3重線区間の判別の条件としては、
(遠方または近傍での3重線テンプレートとの一致が連続数回)AND(車線境界候補が破線判定)
となる。なお、車線境界候補としたのは、この時点では未だ正式に車線境界と確定していないからである。
【0044】
右太2重線は、右側の路肩にあることは無い。このため、右太2重線が車両の進行方向に対して右側領域にある場合には、車線と車線との境界にあることになるため、右太2重線の車線境界(左側の細い標示線)は破線になる。従って、右太2重線区間の判別の条件としては、
左側領域:(遠方または近傍での右太2重線テンプレートとの一致が連続数回)
右側領域:(遠方または近傍での右太2重線テンプレートとの一致が連続数回)AND (車線境界候補が破線判定)
となる。
【0045】
左太2重線は、左側の路肩にあることは無い。このため、左太2重線が車両の進行方向に対して左側領域にある場合には、車線と車線との境界にあることになるため、左太2重線の車線境界(右側の細い標示線)は破線になる。従って、左太2重線区間の判別の条件としては、
左側領域:(遠方または近傍での左太2重線テンプレートとの一致が連続数回)AND (車線境界候補が破線判定)
右側領域:(遠方または近傍での左太2重線テンプレートとの一致が連続数回)
となる。
【0046】
両太2重線は、路肩と車線との境界にのみある。このため、両太2重線が車両の進行方向に対して左側領域にある場合には、車線境界(左側の標示線)が実線になり、両太2重線が車両の進行方向に対して右側領域にある場合には、車線境界(右側の標示線)が実線になる。また、車両の進行方向に対して左側領域において、車線境界(左側の標示線)が実線でなくても、左太2重線と判定されなければ、たとえ右太2重線と重なっても、車線境界の設定が可能となる。また、車両の進行方向に対して右側領域において、車線境界(右側の標示線)が実線でなくても、右太2重線と判定されなければ、たとえ左太2重線と重なっても、車線境界の設定が可能となる。従って、両太2重線区間の判別の条件としては、
左側領域:(遠方または近傍での両太2重線テンプレートとの一致が連続数回)AND {(車線境界候補が実線判定)OR(過去に左太2重線区間識別でないこと)}
右側領域:(遠方または近傍での両太2重線テンプレートとの一致が連続数回)AND {(車線境界候補が実線判定)OR(過去に右太2重線区間識別でないこと)}
となる。
【0047】
両細2重線は、路肩と車線との境界にのみあるので、両太2重線と同様に考えられる。従って、両細2重線区間の判別の条件としては、
左側領域:(遠方または近傍での両細2重線テンプレートとの一致が連続数回)AND {(車線境界候補が実線判定)OR(過去に左太2重線区間判別でないこと)}
右側領域:(遠方または近傍での両細2重線テンプレートとの一致が連続数回)AND {(車線境界候補が実線判定)OR(過去に右太2重線区間判別でないこと)}
となる。
【0048】
暫定供用部は、対面通行の区間なので、車両の進行方向に対して右側領域に限られる。また、対面通行の区間では、暫定供用部の車線境界(両外側の標示線)は実線である。従って、暫定供用部の判別の条件としては、
(右側領域における遠方または近傍での中抜け2重線テンプレートとの一致が連続数回)AND(車線境界候補が実線判定)
となる。
【0049】
つまり、3重線、右太2重線、左太2重線及び暫定供用部の識別は、実線破線判別部12の判別結果と、多重区分線区間判定部13の判定結果と、照合用パターンとの照合に基づいて行われる。また、両太2重線及び両細2重線の識別は、実線破線判別部12の判別結果と、多重区分線区間判定部13の判定結果と、照合用パターンとの照合に基づいて行われるか、或いは過去(前回)に識別された多重区分線と予め記憶部16に記憶された多重区分線の種類との比較結果と、多重区分線区間判定部13の判定結果と、照合用パターンとの照合に基づいて行われる。
【0050】
このような考え方を基にした多重区分線種類識別部14の処理手順の詳細を図11及び図12に示す。図11は、車両の進行方向に対して左側領域についての処理手順を示したものである。
【0051】
図11において、まず多重区分線の抽出データを3重線テンプレートと照合し、両者の一致が所定回連続したかどうかを判断する(手順101)。このとき、多重区分線の抽出データと3重線テンプレートとの一致が所定回連続したときは、実線破線判別部12の判別結果に基づいて、多重区分線の抽出データの車線境界候補(真ん中の標示線)が破線かどうかを判断し(手順102)、当該車線境界候補が破線のときは、3重線区間であると識別する(手順103)。手順101において多重区分線の抽出データと3重線テンプレートとの一致が所定回連続していないと判断されたとき、手順102において車線境界候補が破線でないと判断されたときは、3重線区間でないと識別する(手順104)。
【0052】
また、手順101〜104の処理と並行して、多重区分線の抽出データを右太2重線テンプレートと照合し、両者の一致が所定回連続したかどうかを判断する(手順105)。このとき、抽出データと右太2重線テンプレートとの一致が所定回連続したときは、右太2重線区間であると識別し(手順106)、両者の一致が所定回連続していないときは、右太2重線区間でないと識別する(手順107)。
【0053】
さらに、手順101〜104の処理と並行して、実線破線判別部12の判別結果に基づいて、多重区分線の抽出データの車線境界候補(左側の標示線)が破線かどうかを判断する(手順108)。このとき、当該車線境界候補が破線のときは、多重区分線の抽出データを左太2重線テンプレートと照合し、両者の一致が所定回連続したかどうかを判断し(手順109)、抽出データと左太2重線テンプレートとの一致が所定回連続したときは、左太2重線区間であると識別する(手順110)。
【0054】
手順109において抽出データと左太2重線テンプレートとの一致が所定回連続していないと判断されたときは、多重区分線の抽出データを両細2重線テンプレートと照合し、両者の一致が所定回連続したかどうかを判断する(手順111)。そして、抽出データと両細2重線テンプレートとの一致が所定回連続したときは、両細2重線区間であると識別し(手順112)、両者の一致が所定回連続していないときは、両細2重線区間でないと識別する(手順113)。
【0055】
また、手順111〜113の処理と並行して、多重区分線の抽出データを両太2重線テンプレートと照合し、両者の一致が所定回連続したかどうかを判断する(手順114)。そして、抽出データと両太2重線テンプレートとの一致が所定回連続したときは、両太2重線区間であると識別し(手順115)、両者の一致が所定回連続していないときは、両太2重線区間でないと識別する(手順116)。
【0056】
手順108において多重区分線の抽出データの車線境界候補が破線でないと判断されたときは、多重区分線の抽出データを両細2重線テンプレートと照合し、両者の一致が所定回連続したかどうかを判断する(手順117)。そして、抽出データと両細2重線テンプレートとの一致が所定回連続したときは、両細2重線区間であると識別し(手順118)、両者の一致が所定回連続していないときは、両細2重線区間でないと識別する(手順119)。
【0057】
また、手順117〜119の処理と並行して、多重区分線の抽出データを両太2重線テンプレートと照合し、両者の一致が所定回連続したかどうかを判断する(手順120)。そして、抽出データと両太2重線テンプレートとの一致が所定回連続したときは、両太2重線区間であると識別し(手順121)、両者の一致が所定回連続していないときは、両太2重線区間でないと識別する(手順122)。
【0058】
図12は、車両の進行方向に対して右側領域についての処理手順を示したものである。図12において、まず多重区分線の抽出データを3重線テンプレートと照合し、両者の一致が所定回連続したかどうかを判断する(手順131)。このとき、抽出データと3重線テンプレートとの一致が所定回連続したときは、実線破線判別部12の判別結果に基づいて、多重区分線の抽出データの車線境界候補(真ん中の標示線)が破線かどうかを判断し(手順132)、当該車線境界候補が破線のときは、3重線区間であると識別する(手順133)。手順131において多重区分線の抽出データと3重線テンプレートとの一致が所定回連続していないと判断されたとき、手順132において車線境界候補が破線でないと判断されたときは、3重線区間でないと識別する(手順134)。
【0059】
また、手順131〜134の処理と並行して、多重区分線の抽出データを左太2重線テンプレートと照合し、両者の一致が所定回連続したかどうかを判断する(手順135)。このとき、抽出データと左太2重線テンプレートとの一致が所定回連続したときは、左太2重線区間であると識別し(手順136)、両者の一致が所定回連続していないときは、左太2重線区間でないと識別する(手順137)。
【0060】
さらに、手順131〜134の処理と並行して、実線破線判別部12の判別結果に基づいて、多重区分線の抽出データの車線境界候補(右側の標示線)が破線かどうかを判断する(手順138)。このとき、当該車線境界候補が破線のときは、多重区分線の抽出データを右太2重線テンプレートと照合し、両者の一致が所定数連続したかどうかを判断し(手順139)、抽出データと右太2重線テンプレートとの一致が所定回連続したときは、右太2重線区間であると識別する(手順140)。
【0061】
手順139において抽出データと右太2重線テンプレートとの一致が所定回連続していないと判断されたときは、多重区分線の抽出データを両細2重線テンプレートと照合し、両者の一致が所定回連続したかどうかを判断する(手順141)。そして、抽出データと両細2重線テンプレートとの一致が所定回連続したときは、両細2重線区間であると識別し(手順142)、両者の一致が所定回連続していないときは、両細2重線区間でないと識別する(手順143)。
【0062】
また、手順141〜143の処理と並行して、多重区分線の抽出データを両太2重線テンプレートと照合し、両者の一致が所定回連続したかどうかを判断する(手順144)。そして、抽出データと両太2重線テンプレートとの一致が所定回連続したときは、両太2重線区間であると識別し(手順145)、両者の一致が所定回連続していないときは、両太2重線区間でないと識別する(手順146)。
【0063】
手順138において多重区分線の抽出データの車線境界候補が破線でないと判断されたときは、多重区分線の抽出データを両細2重線テンプレートと照合し、両者の一致が所定回連続したかどうかを判断する(手順147)。そして、抽出データと両細2重線テンプレートとの一致が所定回連続したときは、両細2重線区間であると識別し(手順148)、両者の一致が所定回連続していないときは、両細2重線区間でないと識別する(手順149)。
【0064】
また、手順147〜149の処理と並行して、多重区分線の抽出データを両太2重線テンプレートと照合し、両者の一致が所定回連続したかどうかを判断する(手順150)。そして、抽出データと両太2重線テンプレートとの一致が所定回連続したときは、両太2重線区間であると識別し(手順151)、両者の一致が所定回連続していないときは、両太2重線区間でないと識別する(手順152)。
【0065】
さらに、手順131〜134の処理と並行して、多重区分線の抽出データを中抜け2重線テンプレートと照合し、両者の一致が所定回連続したかどうかを判断する(手順153)。そして、抽出データと中抜け2重線テンプレートとの一致が所定回連続したときは、暫定供用部であると識別し(手順154)、両者の一致が所定回連続していないときは、暫定供用部でないと識別する(手順155)。
【0066】
なお、このような多重区分線種類識別部14による多重区分線の種類の識別処理においても、上述した多重線区間の判定処理と同様に、各種多重線区間の終了に関する仮判定がある。
【0067】
また、暫定供用部かどうかの判断は、車両の進行方向に対して右側領域についての処理だけにあるので、車両の進行方向に対して左側領域についての処理を簡略化することができる。
【0068】
車線境界設定部15は、多重区分線区間判定部13の判定結果を用いて、多重区分線種類識別部14で判別された多重区分線の車線境界を設定する。3重線、右太2重線、左太2重線、両細太2重線、両太2重線及び暫定供用部の車線境界は、上述した通りである。
【0069】
ここで、3重線テンプレートは、2重線テンプレートを含んでいる形となっている。このため、3重線と2重線(右太2重線、左太2重線、両細2重線、両太2重線)とが重なり、車線境界の設定が不安定になることがある。従って、3重線区間と2重線区間とが重なって判別されたときは、3重線区間の車線境界候補を優先して、車線境界と決定する。また、3重線区間とそれ以外の多重線区間とが重なって判別されたときは、同様に3重線区間の車線境界候補を優先して、車線境界と決定する。
【0070】
次に、以上のように構成した走行路認識装置2による多重区分線の種類の認識について一例を挙げて説明する。ここで、車両が走行している道路は、図13に示すように、車両の進行方向に対して左側領域に右太2重線があり、車両の進行方向に対して右側領域に3重線があるものとする。
【0071】
前方カメラ5の撮像画像から得られる多重区分線の抽出データと多重線テンプレートとの照合結果は、図14中の表に示す通りである。この表から分かるように、道路の左側領域では、当然の事ながら多重区分線の抽出データと右太2重線テンプレートとの一致が多く見られる。また、道路の右側領域では、当然の事ながら多重区分線の抽出データと3重線テンプレートとの一致が多く見られる。ただし、3重線は右太2重線を含んだ形状を有しているので、道路の右側領域では、多重区分線の抽出データと右太2重線テンプレートとの一致も多少見られる。
【0072】
白線検出ECU6の多重区分線区間判定部13による多重線区間の判定処理は、以下のようにして行われる。即ち、道路の左側領域では、遠方領域及び近傍領域で多重区分線の抽出データと右太2重線テンプレートとの一致が3回続いた後、近傍領域で多重区分線の抽出データと右太2重線テンプレートとの一致が3回続いたタイミングTにおいて、左側の多重区分線が多重線区間であると判定される。道路の右側領域では、近傍領域で多重区分線の抽出データと3重線テンプレートとの一致が3回続いた後、遠方領域で多重区分線の抽出データと3重線テンプレートとの一致が3回続いたタイミングTにおいて、右側の多重区分線が多重線区間であると判定される。多重区分線区間の判定処理では、上述したように左右両側の領域での判定が揃ったところで多重区分線区間と判定されるので、タイミングTにおいて、車両が走行している道路の多重区分線が多重線区間であると判定される。
【0073】
白線検出ECU6の実線破線判別部12による多重区分線の線種の判別処理は、以下のようにして行われる。即ち、上述したように、右太2重線の車線境界は左側の標示線であり、3重線の車線境界は真ん中の標示線である。このため、左側領域における多重区分線の車線境界候補となる細い線は実線であると判別され、右側領域における多重区分線の車線境界候補となる細い線は破線であると判別される。
【0074】
白線検出ECU6の多重区分線種類識別部14による多重区分線区間の識別処理は、以下のようにして行われる。即ち、道路の左側領域では、遠方領域または近傍領域で多重区分線の抽出データと右太2重線テンプレートとの一致が4回続いたタイミングTにおいて、左側の多重区分線が右太2重線区間であると判別される。
【0075】
道路の右側領域では、タイミングTにおいて遠方領域または近傍領域で多重区分線の抽出データと3重線テンプレートとの一致が4回続いている。これに加え、3重線の車線境界候補は、上記のように破線と判別されている。これにより、上記のタイミングTにおいて、右側の多重区分線が3重線区間であると判別される。
【0076】
また、道路の右側領域では、タイミングTにおいて遠方領域または近傍領域で多重区分線の抽出データと右太2重線テンプレートとの一致が4回続いており、しかも右太2重線の車線境界候補は、上記のように破線と判別されている。これにより、上記のタイミングTにおいて、右側の多重区分線が右太2重線であると判別される。つまり、当該タイミングTでは、右側の多重区分線が3重線及び右太2重線と重ねて判別されることになる。
【0077】
ただし、その後、タイミングTにおいて遠方領域及び近傍領域で多重区分線の抽出データと右太2重線テンプレートとの不一致が2回続いているので、当該タイミングTにおいて、右側の多重区分線が右太2重線区間でないと仮判定される。そして、タイミングTにおいて遠方領域及び近傍領域で多重区分線の抽出データと右太2重線テンプレートとの不一致が更に引き続いて3回続いているので、当該タイミングTにおいて、右側の多重区分線が明らかに右太2重線区間でないと判定される。
【0078】
車線境界設定部15による車線境界の設定処理は、以下のようにして行われる。即ち、多重区分線が多重線区間であると判定されるタイミングTまでは、多重線区間でないと判定された時の車線境界の設定方法(詳細については省略)により車線境界が決定される。多重区分線が多重線区間であると判定されると、道路の左側領域の多重区分線では、右太2重線の車線境界が選択され、道路の右側領域の多重区分線では、3重線の車線境界が選択される。右側領域の多重区分線では、3重線と右太2重線とが重ねて判別される部分があるが、この場合には3重線を優先して車線境界が決定されるため、やはり3重線の車線境界が選択されることになる。
【0079】
ところで、一般に白線認識では、画像データのエッジ抽出精度やカメラの撮像精度等から、白線のエッジは誤差をもって抽出されるので、エッジ抽出データである白線の太さは、ある程度の誤差をもつことになる。このため、白線を確実に認識するためには、本来の太さの白線のみを抽出するのではなく、本来の白線よりも多少太い白線や、本来の白線よりも多少細い白線も抽出する、いわば検出マージンを考慮する必要がある。従って、検出マージンのとり方によっては、太い白線と細い白線との中間の太さをもった白線が抽出されたときに、太い白線でもあり、細い白線でもあると判断されてしまう場合がある。これにより、例えば道路の左側の多重区分線が左太2重線及び両太2重線と重ねて判別されてしまうことがある。また、本来の多重区分線である2重線が、ノイズ等によって3重線と判別されてしまうこともある。
【0080】
これに対し本実施形態では、多重区分線を構成する各標示線の組み合わせ(本数及び太さ)の情報である多重線テンプレートと各標示線の線種(実線及び破線)の情報である線種情報とを含んだ複数種類の照合用パターンを予め用意しておく。そして、前方カメラ5の撮像画像から得られる多重区分線の抽出データに基づいて、多重区分線を構成する各標示線の線種を判別すると共に多重区分線区間であるかどうかを判定し、それらの結果と照合用パターンとの照合を行うので、多重区分線の種類を正確に識別することができる。
【0081】
例えば、道路の左側の多重区分線が左太2重線及び両太2重線と重ねて判別される可能性がある場合でも、車線境界が実線か破線かを判別することで、どちらの多重区分線であるかを正確に識別することができる。また、車線境界が実線か破線かを判別することにより、多重区分線が3重線であるか2重線であるか、更に多重区分線が2重線であるならば、どの種類の2重線であるかといったことを正確に識別することができる。
【0082】
これにより、車線境界設定部15によってレーンキープや車線逸脱防止の基準となる車線境界を正しく設定することが可能となる。また、例えば左側の車線に進路変更できるかどうかの判断が正しく行える。その結果、車両の操舵支援を有効に実施することが可能となる。
【0083】
なお、上記実施形態では、多重区分線区間判定部13及び多重区分線種類識別部14において、多重区分線区間の判定及び多重区分線の種類識別の精度をより上げるために、多重線テンプレートとの一致が複数回連続しているかを判断するものとしたが、特にこの手法に限られず、多重線テンプレートとの一致が1回だけの結果から多重区分線区間の判定等を行っても良い。
【0084】
また、上記実施形態の走行路認識装置2は、操舵制御システム1に適用したものであるが、本発明は、車両に搭載される他の走行支援システム等にも適用可能である。
【図面の簡単な説明】
【0085】
【図1】本発明に係わる走行路認識装置の一実施形態を備えた操舵制御システムを示す概略ブロック図である。
【図2】図1に示す白線検出ECUの機能ブロック図である。
【図3】図2に示す画像処理部で実施される画像データの射影変換を示す図である。
【図4】図3に示す鳥瞰画像データの処理領域を示す概念図である。
【図5】図2に示す実線破線判別部により実線または破線の判別を行う概念を示す図である。
【図6】道路上に設けられた多重区分線の種類の具体例を示す図である。
【図7】図6に示す多重区分線の種類に対応する各種多重線テンプレートを示す図である。
【図8】図7に示す3重線テンプレートとの照合を行う際のパラメータを示す図である。
【図9】道路上に設けられた暫定供用部を示す図である。
【図10】図9に示す暫定供用部に対応する中抜け2重線テンプレートを示す概略図である。
【図11】図2に示す多重区分線種類判別部による判別処理手順(左側領域)の詳細を示すフローチャートである。
【図12】図2に示す多重区分線種類判別部による判別処理手順(右側領域)の詳細を示すフローチャートである。
【図13】道路上の左右両側に描かれた多重区分線の種類の一例を示す図である。
【図14】図2に示す走行路認識装置により多重区分線の種類を認識する動作の一例を示す表及びタイミングチャートである。
【符号の説明】
【0086】
2…走行路認識装置、6…白線検出ECU、11…多重区分線抽出部(多重区分線抽出手段)、12…実線破線判別部(判別手段)、13…多重区分線区間判定部(判定手段)、14…多重区分線種類識別部(識別手段)、15…車線境界設定部(車線境界を設定する手段)、16…記憶部(記憶手段)。




 

 


     NEWS
会社検索順位 特許の出願数の順位が発表

URL変更
平成6年
平成7年
平成8年
平成9年
平成10年
平成11年
平成12年
平成13年


 
   お問い合わせ info@patentjp.com patentjp.com   Copyright 2007-2013