米国特許情報 | 欧州特許情報 | 国際公開(PCT)情報 | Google の米国特許検索
 
     特許分類
A 農業
B 衣類
C 家具
D 医学
E スポ−ツ;娯楽
F 加工処理操作
G 机上付属具
H 装飾
I 車両
J 包装;運搬
L 化学;冶金
M 繊維;紙;印刷
N 固定構造物
O 機械工学
P 武器
Q 照明
R 測定; 光学
S 写真;映画
T 計算機;電気通信
U 核技術
V 電気素子
W 発電
X 楽器;音響


  ホーム -> 計算機;電気通信 -> 三菱重工業株式会社

発明の名称 画像処理装置及び画像処理方法
発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開2003−259362(P2003−259362A)
公開日 平成15年9月12日(2003.9.12)
出願番号 特願2002−60995(P2002−60995)
出願日 平成14年3月6日(2002.3.6)
代理人 【識別番号】100102864
【弁理士】
【氏名又は名称】工藤 実
【テーマコード(参考)】
5B047
5B057
5C022
5C054
5L096
【Fターム(参考)】
5B047 AA19 BA08 
5B057 AA13 AA16 BA02 CA02 CA08 CA12 CA16 CB18 CC01 CH08 DA07 DB02 DB05 DB09
5C022 AA15 AC42 AC54 AC69
5C054 AA01 AA05 AA07 CA04 CA05 CC01 CC05 ED12 FC14 FC16 HA18
5L096 BA04 CA05 FA02 JA11
発明者 黒田 淳 / 宅原 雅人
要約 課題
目標物を精度よく検知して認識できる画像処理装置及び画像処理方法を提供する。

解決手段
赤外線撮影を行って赤外線画像を出力する赤外線カメラ12と、赤外線カメラが有する視野に対応する視野で可視光線撮影を行って可視光線画像を出力する可視光線カメラ11と、赤外線カメラからの赤外線画像に含まれる発熱体を表すホットポイントの赤外線画像中での位置を表す位置情報を出力する抽出部15と、抽出部からのホットポイントの位置に対応する、可視光線カメラからの可視光線画像中の位置から所定範囲を検索し、以て目標物の検知及び認識を行う処理部17とを備えている。
特許請求の範囲
【請求項1】 赤外線撮影を行って赤外線画像を出力する赤外線カメラと、前記赤外線カメラが有する視野に対応する視野で可視光線撮影を行って可視光線画像を出力する可視光線カメラと、前記赤外線カメラからの前記赤外線画像に含まれる発熱体を表すホットポイントの前記赤外線画像中での位置を表す位置情報を出力する抽出部と、前記抽出部からの前記ホットポイントの位置に対応する、前記可視光線カメラからの前記可視光線画像中の位置から所定範囲を検索し、以て目標物の検知及び認識を行う処理部、とを備えた画像処理装置。
【請求項2】 前記赤外線カメラ及び前記可視光線カメラは一体に構成された複合カメラから成り、該複合カメラは、1つのレンズ系と、前記レンズ系を介して入射される赤外線を検出して前記赤外線画像を出力する赤外線センサと、前記レンズ系を介して入射される可視光線を検出して前記可視光線画像を出力する可視光線センサ、とを備えている、請求項1に記載の画像処理装置。
【請求項3】 地図及び地形を表すデータを記憶する地図・地形データメモリ、を更に備え、前記抽出部は、更に、前記地図・地形データメモリからの地図及び地形を表すデータに基づいて前記ホットポイントが前記目標物である可能性の有無を判断し、前記目標物である可能性があることを判断した場合に、前記ホットポイントの前記赤外線画像中の位置を表す位置情報を前記処理部に送る、請求項2に記載の画像処理装置。
【請求項4】 赤外線撮影により得られる赤外線画像を入力し、前記赤外線画像に含まれる発熱体を表すホットポイントの前記赤外線画像中での位置を表す位置情報を出力し、前記ホットポイントの位置に対応する、前記可視光線画像中の位置から所定範囲を検索し、以て目標物の検知及び認識を行う、画像処理方法。
【請求項5】 地図及び地形を表すデータを更に記憶し、前記位置情報を出力するステップは、更に、前記地図及び地形を表すデータに基づいて前記ホットポイントが前記目標物である可能性の有無を判断し、前記目標物である可能性があることを判断した場合に、前記ホットポイントの前記赤外線画像中の位置を表す位置情報を出力する、請求項4に記載の画像処理方法。
発明の詳細な説明
【0001】
【発明の属する技術分野】本発明は、画像処理装置及び画像処理方法に関し、特に、撮影により得られた画像を処理することにより目標物を検知して認識する技術に関する。
【0002】
【従来の技術】従来、自然の中に居る例えば車両といった目標物を画像処理により検知して認識する装置の1つとして赤外線画像処理装置が知られている。この赤外線画像処理装置は、目標物の発熱によって発生される赤外線を赤外線カメラで撮影し、この撮影により得られた赤外線画像を処理することにより目標物の検知及び認識を行う。
【0003】また、目標物を画像処理により検知して認識する他の装置として可視光線画像処理装置が知られている。この可視光線画像処理装置は、目標物が含まれる情景を可視光線カメラで撮影し、この撮影により得られた可視光線画像を処理することにより目標物の検知及び認識を行う。
【0004】
【発明が解決しようとする課題】しかしながら、上述した従来の赤外線画像処理装置及び可視光線画像処理装置は、それぞれ一長一短があり、目標物の検知及び認識を十分な精度で行うことができない。
【0005】即ち、赤外線画像処理装置では、目標物が発熱体であれば暗所であってもそれを検知できるが、赤外線画像から得られる情報は、検知に使用する波長にもよるが、目標物の大まかな形程度である。従って、目標物の種類を認識するためには情報が不足している。また、例えば太陽光によって暖められた物体をも発熱体として検知するので、天候によっては、誤検知が頻発するという問題がある。
【0006】一方、可視光線画像処理装置は、目標物が発熱体でなくてもそれを検知・認識できるが、暗所では目標物を検知・認識することができない。また、可視光線画像からは赤外線画像に比べて目標物の多くの特徴が得られるが、目標物が背景と同系色であるような場合は背景に埋もれてしまい、また、目標物が遠くに居る場合はその特徴が得られず、目標物を見逃してしまうことがある。
【0007】本発明は上述した問題を解消するためになされたものであり、その目的は、目標物を精度よく検知して認識できる画像処理装置及び画像処理方法を提供することにある。
【0008】
【課題を解決するための手段】以下に、[発明の実施の形態]で使用する番号・符号を用いて、課題を解決するための手段を説明する。これらの番号・符号は、[特許請求の範囲]の記載と[発明の実施の形態]の記載との対応関係を明らかにするために付加されたものであるが、[特許請求の範囲]に記載されている発明の技術的範囲の解釈に用いてはならない。
【0009】本発明の第1の態様に係る画像処理装置は、上記目的を達成するために、赤外線撮影を行って赤外線画像を出力する赤外線カメラ(12)と、前記赤外線カメラが有する視野に対応する視野で可視光線撮影を行って可視光線画像を出力する可視光線カメラ(11)と、前記赤外線カメラからの前記赤外線画像に含まれる発熱体を表すホットポイントの前記赤外線画像中での位置を表す位置情報を出力する抽出部(15)と、前記抽出部からの前記ホットポイントの位置に対応する、前記可視光線カメラからの前記可視光線画像中の位置から所定範囲を検索し、以て目標物の検知及び認識を行う処理部(17)、とを備えている。
【0010】この第1の態様に係る画像処理装置によれば、赤外線カメラ(12)を使用してホットポイントを検知し、この検知されたホットポイントが目標物である可能性があるかどうかを調べ、目標物の可能性がある場合に、可視光線カメラ(11)で撮影された可視光線画像を調べて目標物であるかどうかの検知及び目標物の認識を行っている。従って、従来のように、赤外線画像のみを処理することによる目標物の誤検知や可視光線画像のみを処理することによる目標物の見逃し等がなくなるので、検知精度を高めつつ、対象の認識精度も向上させることができる。
【0011】この第1の態様に係る画像処理装置においては、前記赤外線カメラ(12)及び前記可視光線カメラ(11)は一体に構成された複合カメラ(10)から成り、該複合カメラは(10)、1つのレンズ系(100)と、前記レンズ系を介して入射される赤外線を検出して前記赤外線画像を出力する赤外線センサ(121)と、前記レンズ系を介して入射される可視光線を検出して前記可視光線画像を出力する可視光線センサ(111)、とを備えて構成できる。
【0012】この構成によれば、1台の複合カメラで可視光線画像及び赤外線画像を得ることができるので、画像処理装置の構成が簡単且つ安価になる。また、可視光線カメラ(11)と赤外線カメラ(12)の視野が同じになるように調整する必要もないので、取扱が簡単になる。
【0013】また、この第1の態様に係る画像処理装置は、地図及び地形を表すデータを記憶する地図・地形データメモリ(16)、を更に備え、前記抽出部(15)は、更に、前記地図・地形データメモリからの地図及び地形を表すデータに基づいて前記ホットポイントが前記目標物である可能性の有無を判断し、前記目標物である可能性があることを判断した場合に、前記ホットポイントの前記赤外線画像中の位置を表す位置情報を前記処理部(17)に送るように構成できる。
【0014】この構成によれば、地図及び地形データを考慮して、赤外線画像中のホットポイントが目標物である可能性があるかどうか判断されるので、目標物の検知精度が向上する。
【0015】本発明の第2の態様に係る画像処理方法は、上記と同様の目的で、赤外線撮影により得られる赤外線画像を入力し、前記赤外線画像に含まれる発熱体を表すホットポイントの前記赤外線画像中での位置を表す位置情報を出力し、前記ホットポイントの位置に対応する、前記可視光線画像中の位置から所定範囲を検索し、以て目標物の検知及び認識を行うように構成されている。
【0016】また、この第2の態様に係る画像処理方法では、地図及び地形を表すデータを更に記憶し、前記位置情報を出力するステップは、更に、前記地図及び地形を表すデータに基づいて前記ホットポイントが前記目標物である可能性の有無を判断し、前記目標物である可能性があることを判断した場合に、前記ホットポイントの前記赤外線画像中の位置を表す位置情報を出力するように構成できる。
【0017】以上のように構成される第2の態様に係る画像処理方法によっても、上述した第1の態様に係る画像処理装置と同様の作用及び効果を奏する。
【0018】
【発明の実施の形態】以下、本発明の実施の形態を、図面を参照しながら詳細に説明する。以下では、目標物は、自然の中に存在する車両とするが、本発明の目標物は車両に限定されず、発熱体(熱源)を含むあらゆる物に適用できる。
【0019】(実施の形態1)図1は、本発明の実施の形態1に係る画像処理装置の構成を示すブロック図である。この画像処理装置は、可視光線カメラ11、赤外線カメラ12、可視光線画像メモリ13、赤外線画像メモリ14、目標物抽出部15、地図・地形データメモリ16及び処理部17から構成されている。
【0020】可視光線カメラ11は、可視光の波長域(約400〜700nm)で感光するイメージセンサを備えたカメラである。この可視光線カメラ11は、レンズ系110とイメージセンサを構成するCCDセンサ111とから構成されている。レンズ系110は、レンズ、プリズム、光学フィルタといった周知の光学素子から構成されており、光学像をCCDセンサ111の感光面上に結像させる。
【0021】CCDセンサ111は、レンズ系110から入力される光学像を光電変換することによりデジタル信号を生成して出力する。なお、この実施の形態1では、イメージセンサとしてCCDセンサを用いているが、MOS形デバイス、その他の固体撮像デバイスから構成されたイメージセンサを用いることができる。このCCDセンサ111から出力されるデジタル信号は可視光線画像信号として可視光線画像メモリ13に送られる。
【0022】赤外線カメラ12は、遠赤外線の波長域(8〜9μm程度)で感光するイメージセンサを備えたカメラである。この赤外線カメラ12は、レンズ系120とイメージセンサを構成する赤外線センサ121とから構成されている。レンズ系120は、上述したレンズ系110と同様に、レンズ、プリズム、光学フィルタといった周知の光学素子から構成されており、光学像を赤外線センサ121の感光面上に結像させる。この赤外線センサ121から出力されるデジタル信号は赤外線画像信号として赤外線画像メモリ14に送られる。
【0023】赤外線センサ121は、レンズ系120から入力される光学像を光電変換することによりデジタル信号を生成して出力する。赤外線センサ121としては、熱効果を利用した熱効果素子、量子効果を利用した量子効果素子を用いることができる。熱効果素子には、ボロメータ、サーモパイル、焦電形素子等が含まれる。また、量子効果素子には、光導電効果を利用したPC(Photo Conductive)形素子、光起電力効果を利用したPV(Photo Voltaic)形素子が含まれる。
【0024】可視光線カメラ11と赤外線カメラ12とは、連結部材18により連結されており、可視光線カメラ11の視野と赤外線カメラ12の視野とが略同一になるように調整可能に構成されている。従って、可視光線カメラ11と赤外線カメラ12とからは略同一範囲の情景を撮影した画像が得られる。これら可視光線カメラ11と赤外線カメラ12とは、図示しない制御部により、同期してシャッターが切られるように制御される。
【0025】可視光線画像メモリ13は、可視光線カメラ11内のCCDセンサ111から送られてくる可視光線画像信号を可視光線画像として記憶する。この可視光線画像メモリ13に記憶された可視光線画像は、処理部17に送られる。
【0026】赤外線画像メモリ14は、赤外線カメラ12内の赤外線センサ121から送られてくる赤外線画像信号を赤外線画像として記憶する。この赤外線画像中に温度が上昇した部分(発熱体)が含まれている場合は、その部分は高輝度で表示される。この高輝度で表示される部分を本明細書では「ホットポイント」という。赤外線画像中に出現するホットポイントは、車両の他に、太陽光により暖められた岩石、火を使用している場所、その他に起因する。この赤外線画像メモリ14に記憶された赤外線画像は、目標物抽出部15に送られる。
【0027】地図・地形データメモリ16は、地図データ及び地形データを記憶する。これら地図データ及び地形データは、詳細は後述するが、ホットポイントが車両である可能性を判断するために使用される。この地図・地形データメモリ16に記憶された地図データ及び地形データは、目標物抽出部15に送られる。
【0028】目標物抽出部15は、赤外線画像メモリ14からの赤外線画像を取り込み、地図・地形データメモリ16からの地図データ及び地形データを勘案して、ホットポイントが車両である可能性があるかどうかを判断する。この判断は、例えばホットポイントの大きさ、形(例えば縦横比)、付近に道路が存在するかどうか、充填率等に基づいて行われる。そして、目標物抽出部15は、車両である可能性があることを判断した場合に、そのホットポイントの座標(X,Y)を処理部17に送る。
【0029】処理部17は、可視光線画像メモリ13から可視光線画像を読み出し、目標物抽出部15から送られてきた座標(X,Y)の周辺のm×n画素(m及びnは正の整数)の範囲を処理領域として車両を認識する処理を行う。この処理では、例えば、処理領域の画像を微分することによりエッジ強調処理を行い、このエッジ強調処理により得られた線分図形を形成する線分の傾き(方向)を統計処理することにより車両であるかどうかを認識する。
【0030】車両の認識処理には、上述した方法の他に、固有空間法を用いることができる。固有空間法は、画像集合の共分散行列あるいは自己相関行列の固有ベクトルから構成される固有空間を用いて画像を表現し、この固有空間で目標物の画像パターンと予め用意された標準の画像パターンとの距離を識別することにより物体を認識する方法である。処理部17は、上述した方法を利用した認識処理により車両であることを認識し場合に、その旨を表すメッセージを外部に送出する。
【0031】上記目標物抽出部15及び処理部17は、例えばマイクロプロセッサ、パーソナルコンピュータ、ワークステーション、汎用コンピュータといった情報処理装置により構成することができる。
【0032】次に、上述した構成において、本発明の実施の形態1に係る画像処理装置の動作を、図2に示すフローチャートを参照しながら説明する。
【0033】先ず、可視光線カメラ11と赤外線カメラ12とによる撮影が行われる(ステップS10)。この撮影は、両カメラのシャッターを同期して切ることにより行われる。これにより、可視光線カメラ11からは、例えば図3の実線で示すような、視野内の景色を表す可視光線画像信号が得られ、可視光線画像メモリ13に格納される。一方、赤外線カメラ12からは、図3の破線で示すような、視野内のホットポイントのみの赤外線画像信号が得られ、赤外線画像メモリ14に格納される。
【0034】上記可視光線カメラ11と赤外線カメラ12とによる撮影が終了すると、次いで、目標物抽出部15は、赤外線画像メモリ14から赤外線画像を読み出してホットポイントを抽出し、この抽出したホットポイントを車両の候補に設定する(ステップS11)。図3では、候補1、候補2及び候補3といった3つの候補(ホットポイント)が存在する例を示している。
【0035】次いで、目標物抽出部15は、1つの候補を選択し、その選択した候補が検知対象、つまり車両である可能性があるかどうかを調べる(ステップS12)。この際、地図・地形データメモリ16の内容が参照され、判断の基礎の一部にされる。
【0036】例えば、図3に示す候補1は、地図・地形データメモリ16に記憶されている地図データ及び地形データを参照すると、山の高い場所に存在し、付近に道路もなく車両が進入できる地形でないことが認識される。その結果、候補1は、車両の可能性がないことが判断される。
【0037】また、図3に示す候補2は、地図・地形データメモリ16に記憶されている地図データ及び地形データを参照すると、山の裾野付近に存在し、且つ付近に道路があることが認識される。その結果、候補2は、車両の可能性があることが判断される。
【0038】同様に、図3に示す候補3は、地図・地形データメモリ16に記憶されている地図データ及び地形データを参照すると、当該画像処理装置が設置されている場所から近くにあるが、候補3の縦横比が車両とはかけ離れていることが認識される。その結果、候補3は、車両の可能性がないことが判断される。
【0039】なお、ホットポイントが車両であるかどうかの判断の基礎としては、詳細な説明は省略するが、上記例に示した項目に限らず、上述したホットポイントの大きさ、形(例えば縦横比)、付近に道路が存在するかどうか、充填率等を総合的に勘案して行われる。
【0040】このステップS12の処理で、候補が検知対象、つまり車両である可能性があることが認識されると、目標物抽出部15は、その候補(ホットポイント)の赤外線画像上での座標(X,Y)を算出する(ステップS13)。そして、算出結果である座標値を処理部17に送る。この場合、ホットポイントの略中心の座標値を送るように構成できる。
【0041】目標物抽出部15から座標値を受け取った処理部17は、可視光線画像上の座標(X,Y)を中心とするm×n画素(m、nは正の整数)を抽出し、この抽出された範囲を検索する(ステップS14)。これらm及びnは適宜定めることができる。
【0042】なお、目標物抽出部15は、ホットポイントの中心座標でなく、ホットポイントの外縁の座標値を処理部17に送るように構成できる。この場合、処理部17は、受け取った座標値で示される範囲から所定距離にある範囲を検索するように構成できるので、検索範囲を最適化できる。その結果、検索時間を短くできるという利点がある。
【0043】次いで、処理部17は、抽出された範囲に存在するものが目標物、つまり車両であるかどうかを調べる(ステップS15)。これは、上述したように、抽出された範囲の画像のエッジ強調処理及び統計処理により行われる。ここで、目標物であることが判断されると、処理部17は、その旨を表すメッセージを出力する(ステップS16)。
【0044】一方、ステップS15で目標物でないことが判断されると、ステップS16の処理はスキップされる。そして、全候補の処理が完了したかどうかが調べられる(ステップS17)。ここで、全候補の処理が完了していないことが判断されると、ステップS12の処理に戻り、再度同様の処理が繰り返し実行される。この繰り返し実行の過程で、ステップS17で、全候補の処理が完了したことが判断されると、一連の処理は終了する。
【0045】以上説明したように、この実施の形態1に係る画像処理装置によれば、先ず、赤外線カメラ12を使用してホットポイントを検知し、この検知されたホットポイントが車両である可能性があるかどうかを調べ、車両の可能性がある場合に、可視光線カメラ11で撮影された可視光線画像を調べて目標物であるかどうかの認識を行っている。従って、従来のように、赤外線画像のみを処理することによる目標物の誤検知や、可視光線画像のみを処理することによる目標物の見逃し等を防止することができる。
【0046】また、赤外線カメラ12から得られた赤外線画像中のホットポイントが車両の可能性があるかどうかを調べ、車両の可能性がある場合にのみ、可視光線画像を用いた認識処理を行うので、処理部17の処理で行われる計算量を減らすことができる。その結果、車両を短時間で認識することができるので、この画像処理装置は、リアルタイムで目標物を認識するのに好適である。
【0047】(実施の形態2)本発明の実施の形態2は、可視光線カメラ11と赤外線カメラ12とを一体に構成したものである。
【0048】図4は、本発明の実施の形態2に係る画像処理装置の構成を示すブロック図である。この画像処理装置は、上述した実施の形態1における可視光線カメラ11と赤外線カメラ12とが一体に構成された複合カメラ10を備えている。
【0049】複合カメラ10は、レンズ系110、ハーフミラー101、反射ミラー102、イメージセンサとしてのCCDセンサ111及び赤外線センサ121から構成されている。レンズ系110は、レンズ、プリズム、光学フィルタといった周知の光学素子から構成されており、光学像をCCDセンサ111及び赤外線センサ121の感光面上に結像させる。
【0050】ハーフミラー101は、レンズ系100からの光の一部を透過させてCCDセンサ111に導くと共に、他の一部を反射させて反射ミラー102に導く。反射ミラー102は、ハーフミラー101から反射されてきた光を全反射させ、赤外線センサ121に導く。CCDセンサ111及び赤外線センサ121は、実施の形態1で使用したものと同じである。
【0051】以上のように構成される実施の形態2に係る画像処理装置の動作は、既に説明した、実施の形態1に係る画像処理装置の動作と同じである。
【0052】以上説明したように、この実施の形態2に係る画像処理装置によれば、1台の複合カメラで可視光線画像及び赤外線画像を得ることができるので、実施の形態1の構成に比べて画像処理装置の構成が簡単且つ安価になる。また、実施の形態1のように、可視光線カメラ11と赤外線カメラ12の視野が同じになるように連結部材18で調整する必要もないので、取扱が簡単になる。
【0053】
【発明の効果】以上詳述したように、本発明によれば、目標物を精度よく検知して認識できる画像処理装置及び画像処理方法を提供できる。
【0054】より詳しくは、本発明の第1の態様に係る画像処理装置によれば、赤外線カメラを使用してホットポイントを検知し、この検知されたホットポイントが目標物である可能性があるかどうかを調べ、目標物の可能性がある場合に、可視光線カメラで撮影された可視光線画像を調べて目標物であるかどうかの検知及び目標物の認識を行っているので、従来のように、赤外線画像のみを処理することによる目標物の誤検知や可視光線画像のみを処理することによる目標物の見逃し等がなくなり、検知精度を高めつつ、対象の認識精度も向上させることができる。
【0055】また、本発明の第1の態様に係る画像処理装置において、赤外線カメラ及び可視光線カメラを一体に構成された複合カメラで構成することにより、1台の複合カメラで可視光線画像及び赤外線画像を得ることができるので、画像処理装置の構成が簡単且つ安価になる。また、可視光線カメラと赤外線カメラの視野が同じになるように調整する必要もないので、取扱が簡単になる。
【0056】また、本発明の第1の態様に係る画像処理装置において、地図及び地形を表すデータを記憶する地図・地形データメモリを更に備えるように構成することにより、地図及び地形データを考慮して、赤外線画像中のホットポイントが目標物である可能性があるかどうか判断されるので、目標物の検知精度が向上する。
【0057】更に、本発明の第2の態様に係る画像処理方法によれば、上述した第1の態様に係る画像処理装置と同様の効果を奏する。




 

 


     NEWS
会社検索順位 特許の出願数の順位が発表

URL変更
平成6年
平成7年
平成8年
平成9年
平成10年
平成11年
平成12年
平成13年


 
   お問い合わせ info@patentjp.com patentjp.com   Copyright 2007-2013