米国特許情報 | 欧州特許情報 | 国際公開(PCT)情報 | Google の米国特許検索
 
     特許分類
A 農業
B 衣類
C 家具
D 医学
E スポ−ツ;娯楽
F 加工処理操作
G 机上付属具
H 装飾
I 車両
J 包装;運搬
L 化学;冶金
M 繊維;紙;印刷
N 固定構造物
O 機械工学
P 武器
Q 照明
R 測定; 光学
S 写真;映画
T 計算機;電気通信
U 核技術
V 電気素子
W 発電
X 楽器;音響


  ホーム -> 計算機;電気通信 -> 日産自動車株式会社

発明の名称 道路白線認識装置
発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開2003−331295(P2003−331295A)
公開日 平成15年11月21日(2003.11.21)
出願番号 特願2002−138562(P2002−138562)
出願日 平成14年5月14日(2002.5.14)
代理人 【識別番号】100066980
【弁理士】
【氏名又は名称】森 哲也 (外2名)
【テーマコード(参考)】
2F065
5B057
5H180
5L096
【Fターム(参考)】
2F065 AA51 CC40 DD04 DD06 FF04 JJ26 QQ03 QQ08 QQ17 QQ24 QQ25 QQ29 QQ31 QQ36 
5B057 AA16 CA08 CA12 CA16 CB12 CB16 DA08 DB02 DC16
5H180 CC04 LL01 LL02 LL04 LL15
5L096 BA04 FA06 FA10 FA62 FA69 GA04 GA38 GA51
発明者 古性 裕之
要約 課題
道路白線の白線候補点の検出に要する処理時間を短縮する。

解決手段
ウィンドウ内の各画素に対し、x軸及びy軸方向の輝度変化率を算出して(ステップS22)これに基づき道路白線に相当する直線の傾きを算出し(ステップS23)、前記輝度変化率に基づくトータル輝度変化率が閾値以上であり且つ、輝度変化率に基づく直線の傾きと、前回推定時の道路モデルから推定した道路白線に相当する直線の傾きとの差が閾値以下のとき、この画素を白線候補と判断する(ステップS25)。白線候補点の画素を通り且つ算出した傾きを有する直線と、ウィンドウのy軸方向中心に位置する直線との交点のx座標を算出し、該当するx座標に対応するハフ空間への投票を行い、投票数の多いx座標に該当する画素を、最終的に、このウィンドウの白線候補点とする。
特許請求の範囲
【請求項1】 車両前方の道路を撮像する撮像手段を備え、当該撮像手段で撮像した撮像画像から道路白線候補点を検出し、これに基づき道路白線を認識するようにした道路白線認識装置において、投影された前記道路白線のエッジ方向を、前記撮像画像の輝度変化状況に基づき前記撮像画像上の各座標位置において推定し、当該エッジ方向に基づいて前記座標位置における前記道路白線の近似直線を推定する近似直線推定手段と、当該近似直線推定手段で推定した推定近似直線と前記撮像画像の垂直又は水平方向と平行な予め設定した基準直線との交点座標を検出する交点検出手段と、前記撮像画像の前記基準直線上の座標位置が前記交点座標として検出された回数を座標位置毎にカウントするカウント手段と、前記交点座標として検出された座標位置のうち、前記カウント手段によるカウント値の多いものから所定数の座標位置を、前記白線候補点として検出する白線候補点検出手段と、を備えることを特徴とする道路白線認識装置。
【請求項2】 前記基準直線は、前記撮像画像の水平方向と平行な直線であることを特徴とする請求項1記載の道路白線認識装置。
【請求項3】 前記白線候補点に基づき、道路モデルを推定するようにした道路白線認識装置であって、前回推定した道路モデルに基づき前記撮像画像に投影された道路白線のエッジ方向を算出するエッジ方向算出手段を備え、前記交点検出手段は、前記近似直線推定手段で推定したエッジ方向と、前記エッジ方向算出手段で算出したエッジ方向との偏差が予め設定したしきい値以下であるとき、前記推定近似直線と前記基準直線との交点座標を検出するようになっていることを特徴とする請求項1又は2記載の道路白線認識装置。
【請求項4】 前記撮像画像に対して複数の探索領域を設定し、当該探索領域毎に前記白線候補点の検出を行うようになっていることを特徴とする請求項1乃至3の何れかに記載の道路白線認識装置。
【請求項5】 前記基準直線は、前記探索領域の水平方向と平行であり且つ前記探索領域の垂直方向中央の位置座標を有する直線であることを特徴とする請求項4記載の道路白線認識装置。
【請求項6】 前記カウント手段は、前記基準直線上の座標位置毎のカウント値を格納するための記憶領域を有し、前記交点座標を検出したとき、前記記憶領域の前記交点座標に対応するカウント値をインクリメントするようになっていることを特徴とする請求項1乃至5の何れかに記載の道路白線認識装置。
【請求項7】 前記近似直線推定手段は、各座標位置における輝度変化率に基づいて輝度の変化方向を表す輝度変化ベクトルを検出し、当該輝度変化ベクトルと直交する方向を前記エッジ方向として検出するようになっていることを特徴とする請求項1乃至6の何れかに記載の道路白線認識装置。
【請求項8】 前記交点検出手段は、前記輝度変化ベクトルの大きさが、予め設定したしきい値よりも大きいとき、前記推定近似直線と前記基準直線との交点座標を検出するようになっていることを特徴とする請求項7記載の道路白線認識装置。
発明の詳細な説明
【0001】
【発明の属する技術分野】この発明は、道路上の通行区分帯表示用の道路白線を認識するための道路白線認識装置に関する。
【0002】
【従来の技術】従来より、自車両前方の道路を撮像手段によって撮像し、この撮像画像によって道路白線を認識し、自車両と白線との関係を、車両の自動制御又は一部自動制御に用いる技術が提案されている。例えば、特開2001−34770号公報等においては、撮像画像から道路白線を構成する白線候補点を検出し、撮像画像における白線候補点の位置座標に基づき道路白線の形状や道路白線に対する車両姿勢を推定するようにしている。
【0003】前記道路白線の検出には、前記特開2001−34770号公報に示すように、道路白線と路面との輝度の違いを利用して検出する方法が用いられている。この方法では、道路白線と路面との境界の輝度の差は大きく、この輝度差が道路白線に沿って現れるため、撮像画像において輝度変化の大きい点列を、道路白線と路面との境界線と仮定するようにしている。
【0004】図10は、その一例を示したものである。図10において、点列の位置を表す座標系は、撮像画像左上を基準とし、水平右方向をx軸の正、垂直下方向をy軸の負としている。そして、図10においては、道路白線と路面との境界で、且つ、車線内側を白線候補点としている。図10に示すように、撮像画像には、真の白線候補点以外に、偽の白線候補点すなわちノイズが存在する。このノイズを除去するために、画像処理の代表的手法であるハフ変換が適用されている。
【0005】このハフ変換は、座標空間からパラメータ空間へ変換するようにしたものである。例えば、座標{x,y}を通過する直線は、パラメータa及びbを用いて、次式(1)と表すことができる。
x=a・y+b ……(1)
したがって、白線候補点の座標を{x,y}と仮定した場合、前記パラメータaを定めると、前記(1)式から、パラメータbを特定することができる。このパラメータ{a,b}を量子化し、図11に示すように、横軸をa、縦軸をbとする配列においてパラメータ{a,b}に対応するマスを“1”だけ増加させる。なお、図11において、配列の空欄は、“0”を意味している。
【0006】この作業を、白線候補点全てに対して行うと、その結果、図12に示す配列を得ることができる。なお、図12においては、簡略のため空欄としているが、実際には、前記白線候補点に基づいて前記(1)式を満足するパラメータ{a,b}に応じた値がそれぞれ設定されることになる。前記図12に示す配列において、ある要素{ar ,br }の数Zr は、次式(2)を満足する{x,y}が貫く直線に属する白線候補点数を表している。
【0007】
x=ar ・y+br ……(2)
そして、前記配列の要素つまり白線候補点数が、所定値以上のものを、白線候補線とする。これにより、撮像画像上に、複数の直線が現れた場合でも全て検出できることがわかる。また、ノイズがのった白線候補点を貫く候補線は、白線候補点数が少ないため、白線候補線とは判断されない。したがって、ノイズがのった白線候補点は、白線候補線の推定に影響を与えることはない。
【0008】このようにして設定される、前記図12に示す配列を、ここでは、ハフ空間と呼ぶ。そして、白線候補点{x,y}からハフ空間へ変換するという意味で、前記ハフ空間を求めることを、ハフ変換と呼んでいる。このように、ハフ変換では、データの中にノイズが含まれるものが存在しても、真のデータの候補点数が最大となれば、推定結果に与えないという長所があり、これはすなわち、推定がロバストであるということができる。
【0009】
【発明が解決しようとする課題】しかしながら、上記従来の白線検出方法においては、演算量が膨大であるという問題がある。つまり、例えば、ハフ変換を直線検出に適用した場合、図12から直線を選択するためには、ハフ空間で極大値を与えるマスを選択する必要がある。この極大値の探索は、一般に、図13に示すフローチャートにしたがって行われる。
【0010】すなわち、まず、ステップS101で、次式(3)に示すように、ハフ空間で、極大値を与えるマスの行及び列番号(x,y)を格納するための領域を初期化する。
candidate[i][j] =0; ……(3)
i =1,2,……h (h: 極大候補を格納する数) j =0,1 なお、式中のiは候補番号を表す。また、j=0に対応する領域には、極大候補点のx座標、j=1に対応する領域には極大候補点のy座標が代入される。
【0011】次いで、ステップS102で、図14に示すように、ハフ空間の3×3のマスをひとまとまりとして選択する。そして、選択した3×3のマスについて、その中央に位置するマスに設定されている値が、その周囲のマスに設定されている値よりも大きいとき、この中央に位置するマスは極大候補であると判断する(ステップS103)。
【0012】そして、極大候補であると判断されないときには、ステップS104からそのまま後述のステップS106に移行し、極大候補であると判断されたときには、ステップS104からステップS105に移行し、極大候補集合の並び替えを行う。つまり、極大候補として先に検出されているマスの集合である極大候補集合と、ステップS103で新たに極大候補として検出されたマスとについて、極大候補値が大きい順に並ぶように、極大候補集合を並び替える。
【0013】例えば、極大候補集合として3つの極大候補を格納するものとし、3つの極大候補値を次式(4)に示すように表す。なお、ハフ空間をhspace[x][y]で表し、x,yは、図11或いは図12の行及び列を表す。また、xi=candidate[i][0] 、yi=candidate[i][1] (i=1〜3)である。
【0014】
【数1】

【0015】ここで、ステップS103で新たに極大候補として検出されたマスの極大候補値をvと表すものとする。例えば、この極大候補値vが、第1極大候補値と、第2極大候補値との間の値であるとすると、vが新たな第2極大候補値、もとの第2極大候補値が第3極大候補値となる。したがって、第2及び第3の極大候補値に対応するマスを修正するための、次式(5)で表される一連の操作が行われる。なお、(5)式中のx,yは、極大候補のマスの行及び列番号である。
【0016】
【数2】

【0017】そして、ステップS106の処理で、3×3のマスのまとまりを全て選択し、これらについて上述の処理を行ったかどうかを判定し、全てを選択していないときには、ステップS102に戻って上記と同様に、極大候補値かどうかの判定を行って極大候補集合の並び替えを行い、3×3のマスのまとまりを全て選択したとき、処理を終了する。
【0018】以上の処理を行うことによって、極大候補値のうちの、上位3つを、第1から第3の極大候補として記憶することができる。ここで、ハフ空間の行数を“n”、列数を“m”とすると、ステップS102からステップS106の処理の繰り返し回数は、(n−2)×(m−2)回であり、また、その繰り返しの中に現れる、ステップS103では8回の比較処理を行うため、全体の比較演算は、(n−2)×(m−2)×8回となる。この演算は、リアルタイムでの画像処理を必要とするプロセッサにおいては、非常に負荷となっている。
【0019】この演算量を減らすために、単に、設定されている値が最大であるマスを選択することも考えられるが、一般に、貫く画素数が最大を与える白線候補線が、真の道路境界線を示しているとはいえない場合が多い。その結果、道路形状の誤推定や、道路に対する自車両の姿勢の誤推定が発生することになる。このため、ハフ変換に代表される白線候補点の検出処理以降の処理がいかなるものであれ、白線候補点を選択する段階では、その候補を複数挙げておくことが望ましい。しかしながら、上述のように演算量の多い処理方式を用いて実時間で実行した場合、その処理時間が長くなり、それにつれて、無駄時間が長くなる。
【0020】このため、例えば、このようにして算出した道路モデルに基づいて処理を行う車線追従装置等の制御性を向上させるためにも、白線候補点を、より短時間で的確に検出することのできる方法が望まれていた。そこで、この発明は、上記従来の未解決の問題に着目してなされたものであり、道路白線の白線候補点をより短時間で的確に検出することの可能な道路白線認識装置を提供することを目的としている。
【0021】
【課題を解決するための手段】上記目的を達成するために、本発明の請求項1に係る道路白線認識装置は、車両前方の道路を撮像する撮像手段を備え、当該撮像手段で撮像した撮像画像から道路白線候補点を検出し、これに基づき道路白線を認識するようにした道路白線認識装置において、投影された前記道路白線のエッジ方向を、前記撮像画像の輝度変化状況に基づき前記撮像画像上の各座標位置において推定し、当該エッジ方向に基づいて前記座標位置における前記道路白線の近似直線を推定する近似直線推定手段と、当該近似直線推定手段で推定した推定近似直線と前記撮像画像の垂直又は水平方向と平行な予め設定した基準直線との交点座標を検出する交点検出手段と、前記撮像画像の前記基準直線上の座標位置が前記交点座標として検出された回数を座標位置毎にカウントするカウント手段と、前記交点座標として検出された座標位置のうち、前記カウント手段によるカウント値の多いものから所定数の座標位置を、前記白線候補点として検出する白線候補点検出手段と、を備えることを特徴としている。
【0022】また、請求項2に係る道路白線認識装置は、前記基準直線は、前記撮像画像の水平方向と平行な直線であることを特徴としている。また、請求項3に係る道路白線認識装置は、前記白線候補点に基づき、道路モデルを推定するようにした道路白線認識装置であって、前回推定した道路モデルに基づき前記撮像画像に投影された道路白線のエッジ方向を算出するエッジ方向算出手段を備え、前記交点検出手段は、前記近似直線推定手段で推定したエッジ方向と、前記エッジ方向算出手段で算出したエッジ方向との偏差が予め設定したしきい値以下であるとき、前記推定近似直線と前記基準直線との交点座標を検出するようになっていることを特徴としている。
【0023】また、請求項4に係る道路白線認識装置は、前記撮像画像に対して複数の探索領域を設定し、当該探索領域毎に前記白線候補点の検出を行うようになっていることを特徴としている。また、請求項5に係る道路白線認識装置は、前記基準直線は、前記探索領域の水平方向と平行であり且つ前記探索領域の垂直方向中央の位置座標を有する直線であることを特徴としている。
【0024】また、請求項6に係る道路白線認識装置は、前記カウント手段は、前記基準直線上の座標位置毎のカウント値を格納するための記憶領域を有し、前記交点座標を検出したとき、前記記憶領域の前記交点座標に対応するカウント値をインクリメントするようになっていることを特徴としている。また、請求項7に係る道路白線認識装置は、前記近似直線推定手段は、各座標位置における輝度変化率に基づいて輝度の変化方向を表す輝度変化ベクトルを検出し、当該輝度変化ベクトルと直交する方向を前記エッジ方向として検出するようになっていることを特徴としている。
【0025】さらに、請求項8に係る道路白線認識装置は、前記交点検出手段は、前記輝度変化ベクトルの大きさが、予め設定したしきい値よりも大きいとき、前記推定近似直線と前記基準直線との交点座標を検出するようになっていることを特徴としている。
【0026】
【発明の効果】本発明の請求項1に係る道路白線認識装置によれば、投影された道路白線のエッジ方向を撮像画像の輝度変化状況に基づき各座標位置において推定し、このエッジ方向に基づいて各座標位置における道路白線の近似直線を推定する。そして、推定した推定近似直線と撮像画像の垂直又は水平方向と平行な予め設定した基準直線との交点座標を検出し、この基準直線上の座標位置が交点座標として検出された回数を座標位置毎にカウントし、カウント値の多いものから所定数の座標位置を、白線候補点として検出するようにしたから、カウント値の多いものを探索する際の比較演算回数を大幅に削減することができ、白線候補点演算に要する処理時間の短縮を図ることができる。
【0027】また、請求項2に係る道路白線認識装置によれば、撮像画像の水平方向と平行な直線を基準直線とするようにしたから、撮像画像においてその上下方向に伸びる道路白線に応じた近似直線との交点を的確に検出することができ、白線候補点の検出を高精度に行うことができる。また、請求項3に係る道路白線認識装置によれば、前回推定した道路モデルに基づくエッジ方向と、輝度変化状況に基づき推定したエッジ方向との偏差がしきい値以下であるときに、交点座標を検出するようにしたから、誤認識したエッジ方向に基づいて交点座標が検出されることを回避し、白線候補点の検出精度を向上させることができる。
【0028】また、請求項4に係る道路白線認識装置によれば、撮像画像に対して複数の探索領域を設定し、探索領域毎に前記白線候補点の検出を行うようにしたから、一般に曲線からなる道路白線の近似直線への近似誤差を低減することができ、この近似誤差に伴う白線候補点の検出精度の低下を抑制することができる。また、請求項5に係る道路白線認識装置によれば、探索領域の水平方向と平行であり且つ探索領域の垂直方向中央の位置座標を有する直線を基準直線として設定するようにしたから、一般に曲線からなる道路白線の近似直線への近似誤差を低減することができ、この近似誤差に伴う白線候補点の検出精度の低下を抑制することができる。
【0029】また、請求項6に係る道路白線認識装置によれば、交点座標を検出したときには、記憶領域の交点座標に対応するカウント値をインクリメントするようにしたから、交点座標のカウントを容易に行うことができる。また、請求項7に係る道路白線認識装置によれば、各座標位置における輝度変化率に基づいて輝度の変化方向を表す輝度変化ベクトルを検出し、この輝度変化ベクトルと直交する方向をエッジ方向として検出するようにしたから、容易且つ的確にエッジ方向を検出することができる。
【0030】さらに、請求項8に係る道路白線認識装置によれば、輝度変化ベクトルの大きさが、予め設定したしきい値よりも大きいときに交点座標を検出するようにしたから、輝度変化ベクトルの大きさが小さく道路白線のエッジ部であるとみなすことができないときには、交点座標は検出されないから、エッジ部でない座標位置が白線候補点として誤検出されることを回避し、白線候補点の検出を的確に行うことができる。
【0031】
【発明の実施の形態】以下、本発明の実施の形態を図面に基づいて説明する。図1は、本発明を適用した道路白線認識装置の一実施形態を示す構成図である。図1において、CCDカメラ等で構成される撮像装置1は、例えば、車幅方向中央の、車室内のフロントウィンドウ上部に取り付けられ、車両前部の道路を含む車両の周囲環境を撮像する。
【0032】前記撮像装置1で撮像された撮像情報は、処理装置2に入力され、処理装置2は、前記撮像情報をもとに、白線候補点の検出を行い、白線候補点の検出結果に基づいて道路モデルを表す道路パラメータを推定する。図2は、処理装置2で実行される道路白線を検出するための道路白線検出処理の処理手順の一例を示すフローチャートである。なお、この道路白線検出処理は、予め設定した所定周期で実行される。
【0033】まず、ステップS1で、撮像装置1で撮像した前方画像の撮像情報を読み込み、次いでステップS2で、読み込んだ撮像情報からなる撮像画像に対し、図3に示すように、左右の道路白線に相当する位置に複数のウィンドウを設定する。図3の場合には、6個のウィンドウを設定している。このウィンドウは、道路白線以外の白線を道路白線として誤認識することを回避するために設けたものである。なお、図3に示すように、撮像画像においては、例えばその左上座標を基準とし、水平右方向をx軸の正方向、垂直下方向をy軸の正方向とする。
【0034】前記各ウィンドウにおいて、そのy方向、つまり画像上下方向のウィンドウ位置は予め設定しておく。例えば、図4に示すように、各ウィンドウのy方向の中心位置をycとし、その幅ydを固定しておく。一方、前記ウィンドウのx方向、つまり画像左右方向のウィンドウ位置は、前回の処理周期における道路白線検出処理の処理結果に基づき得られた道路モデルに基づいて設定する。
【0035】ここで、一般に、曲線路を考慮した道路形状は、道路モデルのパラメータを{A,B,C,D,H}とすると、次式(6)で表すことができることが知られている。なお、(6)式中のAは、車両の車線に対する横変位、Bは道路曲率に相当する値、Cは車両の車線に対するヨー角、Dはピッチ角、Hはカメラ(撮像装置1)の高さである。また、E0 は車線幅(すなわち、左側の道路白線の中央と右側の道路白線の中央との間の距離)、fはカメラ(撮像装置1)の透視変換定数、{xw ,yw }は撮像画像上における白線候補点の座標である。また、iは左側道路白線の場合には“0”、右側道路白線の場合には“1”を表す。
【0036】
w =(-A+i*E0)*(yw +f*D)/H −B*H*f2/(yw +f*D)−C*f ……(6)
ここで、ウィンドウのx軸方向の中心位置座標をxcとすると、この中心位置座標xcは、前記(6)式及び予め設定したy軸方向の中心位置座標ycから算出することができる。なお、ウィンドウのX軸方向の幅xdは固定値でもよく、また、例えば、特開平8−261756号公報に記載されているように、前述の道路モデルのパラメータ{A,B,C,D,H}の分散から合理的に設定するようにしてもよい。
【0037】次いで、ステップS3に移行し、検索対象のウィンドウを設定する。例えば、図3で設定した各ウィンドウを識別するための識別番号の一番若いもの、図3の場合n=1を検索対象のウィンドウとして設定する。次いで、ステップS4に移行し、前回の道路モデルの推定結果に基づき、ウィンドウのy軸方向の中心位置座標ycにおいて想定される直線の傾き[dx/dy]nsを算出する。すなわち、前記(6)式をyで微分し、次式(7)を得る。なお、(7)式中の添字nは、n番目のウィンドウを表し、添字sは想定値であることを表す。
【0038】
[dx/dy] ns= (-A+i*E0)/H +B*H*f2/(yc+f*D)2 ……(7)
次いで、ステップS5に移行し、ウィンドウのy方向中心座標yc位置に存在する画素の個数rn に等しい、記憶領域hspace[g] (g=0,1,2,……,rn )を、1次元ハフ空間として用意し、この記憶領域hspace[g] をクリアにしておく。
【0039】なお、gと画素のx座標とは、図5に示すように、ウィンドウの左端に位置する画素のx座標をg0 としたとき、x=g+g0 を満足するものとする。次いで、ステップS6に移行し、図6に示すフローチャートにしたがって、ウィンドウ内の全ての画素に対し、以下の処理を施しハフ変換を行う。なお、ウィンドウ内の各画素を添字mにより区別している。
【0040】まず、ステップS21で、ハフ変換対象の画素を選択する。次いで、ステップS22に移行し、x方向及びy方向の輝度の変化率(微分)を算出する。ノイズ除去のため、ソーベルフィルタやプレビットフィルタを用いてもよい。また、例えば、輝度の差分を求めるようにしてもよい。これは、例えば、(xm ,ym )をm番目の画素のx,y座標とし、このx,y座標の画素の輝度をbright(xm,ym )とすると、x方向及びy方向の輝度の差分txm ,tym は次式(8)で算出することができる。
【0041】
【数3】

【0042】次いで、ステップS23に移行し、白線候補点が直線的に並んでいると仮定し、その直線の傾き [dx/dy]m を次式(9)に示すように、輝度変化率から算出する。
【0043】
[dx/dy]m =−tym /txm ……(9)
この(9)式は、次のようにして導かれる。すなわち、 [dx/dy]m は、yが“1”変化したときの、xの変化量を表す。つまり、この直線の方向ベクトルは、( [dx/dy]m ,1)である。また、前記x方向及びy方向の輝度の差分値は、輝度の変化方向を表す、輝度変化ベクトル(txm ,tym )とみなすことができる。前記方向べクトル( [dx/dy]m ,1)と輝度変化ベクトル(txm ,tym )とは、図7に示すように直交する。
【0044】したがって、これらベクトルが直交することから、その内積は零となり、次式(10)が成り立つ。
[dx/dy]m ×txm +1×tym =0 ……(10)
したがって、この(10)式を変形することによって、前記(9)式を導くことができる。
【0045】ただし、輝度変化率txm が零の場合、この画素を白線候補点として選択しないために、 [dx/dy]m には、実際にはあり得ない値を代入する。次いで、ステップS24に移行し、トータル輝度変化率ttm を算出する。例えば、次式(11)に示すように、ユークリッドノルムを用いて算出する。
ttm =(txm 2 +tym 2 1/2 ……(11)
次いで、ステップS25に移行し、ハフ変換対象である(xm ,ym )の画素が白線候補点であるか否かの判定を行う。
【0046】この判定は、ステップS24で算出したトータル輝度変化率ttm が予め設定したしきい値以上であること、また、ステップS23で算出した直線の傾き [dx/dy]m と前記ステップS4で算出した前回の道路モデルの推定結果に基づく直線の傾き[dx/dy]nsの偏差が予め設定したしきい値以下であること、を満足するとき、白線候補点と判断する。つまり、次式(12)及び(13)を満足するとき、白線候補点であると判断する。
【0047】
ttm >ttm 0 ……(12)
|[dx/dy] m −[dx/dy]ns|<k ……(13)
なお、(13)式中のしきい値kは、これを小さくすると、ノイズを拾いにくくなる反面、道路曲率の急変等におけるエッジ方向急変に追従することができなくなる。逆にしきい値kを大きくすると、追従性はよくなる反面、ノイズを拾いやすくなるため、両者のトレードオフを考慮して設定する。
【0048】なお、ここでは、前記(12)式及び(13)式を共に満足するときに、白線候補点であると判定するようにした場合について説明したが、これに限るものではなく、例えば、白線内側のみを白線候補点とする場合には、エッジベクトルtxm の符号条件も考慮するようにしてもよい。つまり、図8に示すように左白線の場合には、その符号はマイナスとなり、右白線の場合には、プラスとなる。
【0049】次いで、ステップS26に移行し、ステップS25での判定の結果、ハフ変換対象の画素が白線候補点であると判定されたときには、ステップS27に移行し、白線候補点ではないと判定されたときには、後述のステップS29に移行する。前記ステップS27では、白線候補点であると判定された画素の座標(xm ,ym )と、前記ステップS23で算出した直線の傾き[dx/dy] m とから、傾き[dx/dy] m を有し且つ座標(xm ,ym )を通る直線と、直線y=ycn との交点のx座標x(yc n ) を算出する。これは、次式(14)及び(15)に基づいて算出する。
【0050】
(x−xm )=[dx/dy] m ×(y−ym ) ……(14)
x(yc n ) =xm +[dx/dy] m ×(ycn −ym ) ……(15)
次いで、ステップS28に移行し、ハフ空間への投票を行う。つまり、ステップS27で算出したx座標x(yc n ) に対応するハフ空間つまり、ステップS5で用意した記憶領域hspace[g] の対応するマスをインクリメントする。ここで、前述のように、gと画素のx座標との間には、x=g+g0 が成り立つから、x座標x(yc n ) の画素に対応するマスgm は、gm =x(yc n ) −g0 となる。したがって、次式(16)に示すようにマスgm をインクリメントする。
【0051】
hspace[gm ]=hspace[gm ]+1 ……(16)
次いで、ステップS29に移行し、ウィンドウ内の全ての画素に対して処理が終了したかどうかを判定し、全てについて処理が終了していない場合には、ステップS21に戻って次の画素に対して同様に処理を行い、ウィンドウ内の全ての画素に対して処理が終了したとき、ハフ変換処理を終了する。そして、図2に戻ってステップS7に移行する。
【0052】このステップS7では、ウィンドウnにおける、道路白線を構成する白線候補点の確定を行う。つまり、ハフ変換が行われた後のハフ空間hspace[v] (v=0,1,2,……,rn )のうち、各ハフ空間hspace[v] に設定された値の大きい方から数点を、極大値候補として選択し、選択された極大値候補に該当する画素を白線候補点とする。この処理は図9に示す手順で行う。
【0053】なお、ここでは、各ウィンドウ毎にhn 個の極大値候補を選択するものとする。まず、ステップS31では、極大値候補として選択されたハフ空間をhspace[j] (j=1〜hn )としたとき、この空間を特定する“j”を格納するための、記憶領域candidate(e)(e=1〜hn )を用意しこれをクリアにする。
【0054】次いで、ステップS32に移行し、ハフ空間hspace[v] (v=0,1,2,……,rn )の中から、処理対象のハフ空間を選択する。そして、ステップS33に移行し、極大値候補の判断を行う。つまり、ハフ空間hspace[v] に設定されている値をh(v)としたとき、次式(17)を満足するハフ空間hspace[v] を、極大値候補であると判断する。
【0055】
h(v−1)<h(v)>h(v+1) ……(17)
そして、ステップS33の処理で極大値候補であると判定されたときにはステップS34からステップS35に移行し、極大値候補でないと判定されたときにはステップS34からそのままステップS36に移行する。前記ステップS35では、極大値候補の更新を行う。
【0056】すなわち、極大値候補として既に登録されているハフ空間candidate[e] (e=1〜hn )のうち、これらハフ空間candidate[e]に設定されている値h(e)が、h(v)>h(e)を満足するeが存在するとき、次式(18)の処理を行う。
【0057】
【数4】

【0058】これにより、極大値候補のハフ空間hspace[v] のうち、その値h(v)が大きいものから順に、candidate [1] 、candidate [2] 、……、candidate [hn ] に格納されることになる。
【0059】次いで、ステップS36に移行し、全てのハフ空間hspace[v] について極大値候補としての探索を行ったかどうかを判定し、全てについて探索を行っていない場合には、ステップS32に戻る。そして、全てについて探索を行った場合には、ステップS37に移行し、白線候補点の確定を行う。ここで、ウィンドウnの極大値候補のハフ空間hspace[v] に対応する画素のx座標は、次式(19)で求められる。
【0060】
nj=candidate [j] +g0 j=1〜hn ……(19)
したがって、前記極大値候補として登録されているハフ空間candidate[e] (e=1〜hn )を、前記(19)式に基づいて、撮像画像上の画素の位置座標(xnj、ycn )に変換し、この位置座標で表される画素を、ウィンドウnの白線候補点とする。
【0061】このようにして、ウィンドウnにおける複数の白線候補点が確定したならば、図2に戻って、ステップS8に移行する。このステップS8では、全てのウィンドウについて、白線候補点の確定が終了したかどうかを判定し、全てのウィンドウについて確定が終了していない場合には、ステップS3に戻って次のウィンドウに対して上記と同様に処理を行う。そして、全てのウィンドウについて白線候補点の確定が終了したときには、ステップS9に移行し、各ウィンドウ毎に確定された複数の白線候補点に基づいて、道路モデルの推定を行い、処理を終了する。この道路モデルの推定は、例えば、特開平8−261756号公報に記載されたようにカルマンフィルタを用いて推定するようにしてもよく、また、例えば特開平6−20189号公報に記載されたように、最小二乗法を用いて推定を行うようにしてもよい。
【0062】次に、上記実施の形態の動作を説明する。撮像装置1で撮像された自車両前方の画像情報は処理装置2に所定タイミングで読み込まれ(ステップS1)、処理装置2では、撮像画像に対し、図3に示すように、左右の道路白線に相当する位置に複数のウィンドウを設定し(ステップS2)、ウィンドウ毎に白線候補点の検出を行う。
【0063】つまり、まず、前回の道路モデルの推定結果に基づき、ウィンドウのy軸方向の中心位置座標ycにおいて想定される直線の傾き[dx/dy]nsを算出し(ステップS3,S4)、ウィンドウのy方向中心座標yc位置に存在する画素の個数rn に等しい、記憶領域hspace[g] (g=0,1,2,……,rn )を用意し、この記憶領域hspace[g] をクリアにする(ステップS5)。そして、ウィンドウ内の各画素に対し、x方向及びy方向の輝度の変化率(微分)を算出し(ステップS22)、この輝度変化率に基づく輝度変化ベクトルに基づき、道路白線を表す直線の傾きを推定する(ステップS23)。
【0064】そして、前回推定した道路モデルに基づいてステップS4の処理で算出した直線の傾きと、ステップS22で輝度変化率に基づいて算出した直線の傾きとを比較し、これらが、しきい値以下であり且つ、トータル輝度変化率がしきい値以下であるとき、この画素を白線候補点であると判断する(ステップS25)。つまり、前回推定した道路モデルに基づく直線の傾きと、輝度変化率に基づいて算出した直線の傾きとがしきい値を超えて変化する場合には、偽の白線候補点であるとみなすことができ、また、トータル輝度変化率が小さい場合には、道路白線のエッジ部に相当する画素であるとみなすことができるから、これら条件を満足するときに、白線候補点であると判断する。
【0065】そして、白線候補点として判断された場合には、この白線候補点の画素と、ステップS23の処理で輝度変化ベクトルに基づいて算出した直線の傾きとに基づいて、この傾きを有し且つ白線候補点の画素を通る直線と、ウィンドウのy軸方向中央部の位置座標を有するx軸に平行な直線との交点のx座標を算出し、このx座標に該当するハフ空間、つまり、前記記憶領域hspace[g] (g=0,1,2,……,rn )への投票を行う(ステップS28)。
【0066】ここで、道路白線は、撮像画像においてその上下方向に伸びているから、道路白線の曲率に応じて交点のx座標は変化することになる。このとき、例えば、撮像画像のy軸と平行な直線との交点のy座標を算出するようにした場合には、道路白線は撮像画像においてその上下方向に伸びているから、道路白線の曲率によっては、撮像画像上において交点を得ることができず、交点のy座標を検出することができないことも考えられる。つまり、実際には、白線候補点であるにも関わらず、ハフ空間への投票が行われないことになり、的確な判断を行うことができない場合がある。しかしながら、撮像画像においてその上下方向に伸びる道路白線に対し、x軸と平行な直線との交点座標を検出するようにしているから、的確にハフ空間への投票を行うことができる。
【0067】そして、全ての画素についてハフ空間への投票が終了したならば、ハフ空間のうち、投票数の多いものから所定数を極大値候補として選択する(ステップS7)。つまり順次比較を行って、投票数の多いものから所定数を選択する。そして、所定数の極大値候補の探索を行ったならば、検出した極大値候補に相当する撮像画像上の画素のx座標を検出し、これとウィンドウのy軸方向中央の座標ycとから、極大値候補に対応する画素、つまり、白線候補点の画素の位置座標を検出する。
【0068】この処理を各ウィンドウ毎に行い、各ウィンドウ毎に複数の白線候補点を検出する。そして、検出した白線候補点に基づいて、公知の手順の道路モデルの推定を行う(ステップS9)。ここで、ステップS6の処理におけるハフ空間は、その行数は“1”であり、列数を“m”とすると、各ウィンドウにおける極大値探索のための比較演算数は、(m−2)×2回となる。つまり、m列の要素のうち、3つ並んだ要素を選択する組み合わせ(m−2)数と、前記(17)式の比較演算の回数2との積である。
【0069】これに対し、従来の、図14に示すように二次元のハフ空間において極大値探索のための比較演算数は、行数を“n”、列数を“m”とすると、(n−2)×(m−2)×8回となる。したがって、上記実施の形態における比較演算数(m−2)×2回の方が比較演算数は大幅に少ないことがわかかる。そして、この比較演算数は、一つのウィンドウにおける比較演算回数であり、各ウィンドウ毎に、その比較演算回数を大幅に削減することができるから、撮像画像全体における比較演算回数を大幅に削減することができることがわかる。
【0070】また、ステップS35の処理で行われる極大値候補の並び替えの処理においても、その並び替えの対象が多いほど、その演算量が多くなることは明白である。したがって、上記実施の形態においては、その並び替えの対象が大幅に削減されることになり、その演算量を大幅に削減することができる。したがって、従来の方法に比較して、検出する白線候補点を減らさずに、その演算量を大幅に削減することができるから、白線候補点算出までの処理時間の削減を図ることができる。よって、道路モデル算出までの所要時間を短縮することができ、例えばこの道路モデルに基づいて車線追従制御を行う場合等、道路モデルに基づいて行う制御の安定性をより向上させることができる。
【0071】また、演算量の削減を図ることができるから、処理装置の負荷低減を図ることができ、処理装置の小型化を図ることができる。また、上記実施の形態においては、複数のウィンドウを設定し、ウィンドウ毎に白線候補点を検出するようにしているから、白線候補点の検出を的確に行うことができる。つまり、上記実施の形態においては、ステップS23の処理に示すように、道路白線を直線に近似し、その傾きを推定することによって、演算量の削減を図るようにしている。したがって、直線に近いほど、道路白線の検出精度は向上することになる。よって、ウィンドウを複数設定し、このウィンドウ毎に直線を推定するようにしているから、ウィンドウ近傍においては直線近似を行うことができ、結果として道路白線の検出精度を向上させることができる。
【0072】また、上記実施の形態においては、ウィンドウのy軸方向中央を基準として白線候補点を検出するようにしているから、白線候補点の検出精度を向上させることができる。つまり、ステップS25での白線候補点であるかどうかの判定を行う処理の際に、x座標を、前記(15)式から算出するようにしている。この(15)式は、一般的に曲線である道路白線を直線に近似したものであるから、判定対象の画素のy座標ym と、ウィンドウy軸方向中央のy座標ycn との差が小さいほど、x座標の精度は高くなる。したがって、前記ウィンドウy軸方向中央のy座標ycn 位置におけるx座標を算出することによって、ウィンドウ内の各画素に対し、判定対象の画素のy座標ym と、ウィンドウy軸方向中央のy座標ycn との差を低減することができる。よって、x座標の推定精度を向上させることができる。
【0073】また、ステップS25の処理で、画素(xm ,ym )が白線候補点であるか否かの判定を行う際には、トータル輝度変化率ttm が予め設定したしきい値以上であること、また、輝度変化率に基づいて算出した直線の傾き [dx/dy]m と前回の道路モデルの推定結果に基づく、直線の傾き[dx/dy]nsとの偏差が予め設定したしきい値以下であること、を満足するときに白線候補点と判断するようにしている。したがって、輝度の変化率が小さい場合には、白線候補点とは判断されないことから道路白線のエッジ部とみなすことの可能な画素のみを白線候補点として検出することができる。また、直線の傾きの偏差が大きいときには、白線候補点とは判断されないことから、例えば、先行車両のエッジ部等が白線候補点として誤認識されることを確実に回避することができる。
【0074】ここで、上記実施の形態において、撮像装置1が撮像手段に対応し、図6のステップS21〜S27の処理が近似直線推定手段及び交点検出手段に対応し、ステップS28の処理がカウント手段に対応し、図9のステップS31〜ステップS37の処理が白線候補点検出手段に対応し、図2のステップS4の処理がエッジ方向算出手段に対応している。




 

 


     NEWS
会社検索順位 特許の出願数の順位が発表

URL変更
平成6年
平成7年
平成8年
平成9年
平成10年
平成11年
平成12年
平成13年


 
   お問い合わせ info@patentjp.com patentjp.com   Copyright 2007-2013