米国特許情報 | 欧州特許情報 | 国際公開(PCT)情報 | Google の米国特許検索
 
     特許分類
A 農業
B 衣類
C 家具
D 医学
E スポ−ツ;娯楽
F 加工処理操作
G 机上付属具
H 装飾
I 車両
J 包装;運搬
L 化学;冶金
M 繊維;紙;印刷
N 固定構造物
O 機械工学
P 武器
Q 照明
R 測定; 光学
S 写真;映画
T 計算機;電気通信
U 核技術
V 電気素子
W 発電
X 楽器;音響


  ホーム -> 計算機;電気通信 -> 松下電器産業株式会社

発明の名称 映像選択方法および映像選択装置
発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開2007−134913(P2007−134913A)
公開日 平成19年5月31日(2007.5.31)
出願番号 特願2005−325446(P2005−325446)
出願日 平成17年11月9日(2005.11.9)
代理人 【識別番号】100109210
【弁理士】
【氏名又は名称】新居 広守
発明者 岩崎 正宏 / 吾妻 健夫 / 登 一生
要約 課題
複数のカメラ映像の中から、人物の四肢の動きや形状をユーザが認識しやすい映像を選択することができる映像選択方法を提供する。

解決手段
複数のカメラで撮像された複数の映像のうち、少なくとも1つの映像を選択する映像選択方法であって、複数のカメラで撮像された人物を含む複数の映像を取得するステップ(S301)と、前記複数の映像の各々に含まれる被写体シルエットの輪郭線上に設けられた複数の代表点より求められる特徴量を抽出するステップ(S302〜S305)と、前記複数の映像の各々について、前記特徴量から前記被写体シルエットの形状の凹凸度合いを示す凹凸度を判定する凹凸度判定ステップ(S306)と、前記複数の映像の前記被写体シルエットの形状の凹凸度に基づいて、前記複数の映像から前記人物の手または足の形状を認識するための少なくとも1つの映像を選択するステップ(S307)とを含む。
特許請求の範囲
【請求項1】
複数のカメラで撮像された複数の映像のうち、少なくとも1つの映像を選択する映像選択方法であって、
複数のカメラで撮像された人物を含む複数の映像を取得する映像取得ステップと、
前記複数の映像の各々に含まれる人物の被写体シルエットの輪郭線上に設けられた複数の代表点より求められる特徴量を抽出する特徴量抽出ステップと、
前記複数の映像の各々について、前記特徴量から前記被写体シルエットの形状の凹凸度合いを示す凹凸度を判定する凹凸度判定ステップと、
前記複数の映像の凹凸度に基づいて、前記複数の映像から前記人物の手または足の形状を認識するための少なくとも1つの映像を選択する映像選択ステップとを含む
映像選択方法。
【請求項2】
前記映像選択ステップでは、前記凹凸度が最大となる映像を選択する
請求項1に記載の映像選択方法。
【請求項3】
前記特徴量抽出ステップでは、所定の基準点と前記複数の代表点との間の距離を特徴量として抽出する
請求項1または2に記載の映像選択方法。
【請求項4】
前記凹凸度判定ステップは、
前記複数の代表点における複数の特徴量を連結することにより曲線を生成する曲線生成ステップと、
前記曲線における極大値を検出する極大値検出ステップと、
前記極大値に基づいて、前記凹凸度を算出する凹凸度算出ステップとを含む
請求項3に記載の映像選択方法。
【請求項5】
前記凹凸度判定ステップは、
前記複数の代表点における複数の特徴量を連結することにより曲線を生成する曲線生成ステップと、
前記曲線における極大値を検出する極大値検出ステップと、
前記極大値と前記極大値の数とに基づいて、前記極大値に人物の手または足を対応付ける対応付けステップと、
対応付けの結果と前記極大値とに基づいて、前記凹凸度を算出する凹凸度算出ステップとを含む
請求項3に記載の映像選択方法。
【請求項6】
前記凹凸度算出ステップでは、前記対応付けの結果に基づいて、手に対応付けられた極大値または足に対応付けられた極大値のいずれか一方に重み付けを行ない、前記凹凸度を算出する
請求項5に記載の映像選択方法。
【請求項7】
前記凹凸度判定ステップでは、さらに、前記複数の映像の各々について、時間的に連続する複数の映像の凹凸度の時間平均を算出し、算出結果を前記被写体シルエット形状の凹凸度とする
請求項1〜6のいずれか1項に記載の映像選択方法。
【請求項8】
前記凹凸度判定ステップでは、さらに、前記複数の映像の各々について、時間的に連続する複数の映像の凹凸度の時間方向の差分値を算出し、算出結果を前記被写体シルエット形状の凹凸度とする
請求項1〜6のいずれか1項に記載の映像選択方法。
【請求項9】
前記映像選択ステップでは、選択された映像を基準として、当該映像とは反対の方向から被写体を撮像している映像を同時に選択する
請求項1〜8のいずれか1項に記載の映像選択方法。
【請求項10】
前記映像選択ステップでは、選択された映像を基準として、当該映像を撮像しているカメラの光軸方向と直交する方向から被写体を撮像している映像を同時に選択する
請求項1〜8のいずれか1項に記載の映像選択方法。
【請求項11】
前記映像選択方法は、さらに、前記複数のカメラで撮像された前記複数の映像の中から、人物の顔画像を含む映像を検出する顔画像検出ステップを含み、
前記映像選択ステップでは、さらに、顔画像を含む映像の検出結果に基づいて、前記複数の映像から前記人物の顔を認識するための少なくとも1つの映像を選択する
請求項1〜10のいずれか1項に記載の映像選択方法。
【請求項12】
複数のカメラで撮像された複数の映像のうち、少なくとも1つの映像を選択する映像選択装置であって、
複数のカメラで撮像された人物を含む複数の映像を取得する映像取得手段と、
前記複数の映像の各々に含まれる人物の被写体シルエットの輪郭線上に設けられた複数の代表点より求められる特徴量を抽出する特徴量抽出手段と、
前記複数の映像の各々について、前記特徴量から前記被写体シルエットの形状の凹凸度合いを示す凹凸度を判定する凹凸度判定手段と、
前記複数の映像の凹凸度に基づいて、前記複数の映像から前記人物の手または足の形状を認識するための少なくとも1つの映像を選択する映像選択手段とを備える映像選択装置。
【請求項13】
複数のカメラで撮像された複数の映像のうち、少なくとも1つの映像を選択する映像選択方法のプログラムであって、
複数のカメラで撮像された人物を含む複数の映像を取得する映像取得ステップと、
前記複数の映像の各々に含まれる人物の被写体シルエットの輪郭線上に設けられた複数の代表点より求められる特徴量を抽出する特徴量抽出ステップと、
前記複数の映像の各々について、前記特徴量から前記被写体シルエットの形状の凹凸度合いを示す凹凸度を判定する凹凸度判定ステップと、
前記複数の映像の凹凸度に基づいて、前記複数の映像から前記人物の手または足の形状を認識するための少なくとも1つの映像を選択する映像選択ステップとをコンピュータに実行させるプログラム。
発明の詳細な説明
【技術分野】
【0001】
本発明は、複数のカメラで同時に撮像した映像の中から少なくとも1つの映像を選択する映像選択方法に関し、特に、人物を含むシーンを複数のカメラで同時に撮像した映像から、人物の四肢の動きや形状をユーザが認識しやすい映像を選択する映像選択方法に関する。
【背景技術】
【0002】
従来、複数箇所に設置したカメラで店舗や街頭等を撮像し、監視する場合には、各カメラから得られた映像をモニタに表示し、その映像を監視員が監視していた。また、複数のカメラを用いて、広範囲を撮像する必要のあるサッカー等のスポーツ中継においても、放送に用いる映像の切り替えは、ディレクターの指示によって行われていた。このような場合、監視員やディレクターは、複数の映像を同時に注視する必要があり、負担が大きい。また、カメラの台数が増えると、複数の映像に同時に注意を払うことが難しくなる。
【0003】
一方で、複数のカメラで同時に撮像した映像から、セレクタを用いてカメラ映像を自動的に選択する方法が提案されている(例えば、特許文献1および特許文献2参照。)。
【0004】
特許文献1には、複数のカメラで撮像した映像から、それぞれの映像に対して動きベクトルを検出し、その動きベクトルの大きさが所定値以上の場合に、それに対応するカメラ映像をセレクタで選択する方法が開示されている。同様に、背景画像を事前に用意しておき、その背景画像と現在の映像との差分値の大きさに基づいて侵入物体の存否を判断し、侵入物体が存在すると判断した場合に、それに対応するカメラ映像を選択する方法もある。また、同様に人物検出方法を併用する事によって、人物を検出したカメラ映像を選択する方法もある。
【0005】
また、特許文献2には、複数台の監視カメラ映像において、監視員が特定人物をマーキングし、マーキングされた特定人物の顔画像と複数台の監視カメラで撮像している人物の顔画像とを照合して、特定人物の映像を選択的に表示する方法が開示されている。
【特許文献1】特開平1−171097号公報
【特許文献2】特開2004−128615号公報
【発明の開示】
【発明が解決しようとする課題】
【0006】
しかしながら、上記従来技術に代表されるカメラ映像の選択方法を用いても、人物の四肢の動きや形状をユーザが認識しやすい映像を選択し、表示することができない。
【0007】
なぜならば、特許文献1に代表されるカメラ映像の選択方法では、動きベクトルを用いて、その動きベクトルの大きさが所定の閾値を越えるか否かに基づいてカメラ映像の選択を行っている。この場合、映像中に存在する移動物体が人物か否かに関わらず、映像に時間的な変化が起こった場合に、そのカメラ映像が選択されることになる。そのため、人物の四肢の動きや形状を認識しやすい映像とは必ずしもならない。
【0008】
また、人物検出方法を用いて映像中に人物が存在するカメラ映像を選択する場合、および特許文献2に代表される顔検出技術を用いて映像中に人物の顔が存在するカメラ映像を選択する場合においては、人物が被写体となっているカメラ映像を選択することは可能であっても、人物の四肢の動きや形状を認識しやすい映像を選択できるとは限らない。
【0009】
また、人物は多関節物体であるために、車や電車等の形状変化のない物体とは異なり、姿勢変化が問題となる。すなわち、姿勢によって四肢の動きや形状の認識のしやすさが異なる。このため、カメラと被写体との相対位置関係をあらかじめ一意に決定することが難しい。そのため、人物の四肢の動きや形状をユーザが認識しやすい映像を得るためには、姿勢や動作ごとにその都度、カメラと被写体との相対位置関係を決定する必要がある。
【0010】
そして、人物の四肢の動きや形状を認識しやすい映像を得るためには、人物の四肢が胴体等の身体パーツによって隠されていない映像であることが望ましい。そのため、特に人物の四肢の見えを評価することが必要である。
【0011】
本発明は、上述の課題を解決するためになされたものであり、複数のカメラ映像の中から、人物の四肢の動きや形状をユーザが認識しやすい映像を選択することができる映像選択方法を提供することを目的とする。
【課題を解決するための手段】
【0012】
上記目的を達成するために、本発明に係る映像選択方法は、複数のカメラで撮像された複数の映像のうち、少なくとも1つの映像を選択する映像選択方法であって、複数のカメラで撮像された人物を含む複数の映像を取得する映像取得ステップと、前記複数の映像の各々に含まれる人物の被写体シルエットの輪郭線上に設けられた複数の代表点より求められる特徴量を抽出する特徴量抽出ステップと、前記複数の映像の各々について、前記特徴量から前記被写体シルエットの形状の凹凸度合いを示す凹凸度を判定する凹凸度判定ステップと、前記複数の映像の凹凸度に基づいて、前記複数の映像から前記人物の手または足の形状を認識するための少なくとも1つの映像を選択する映像選択ステップとを含む。
【0013】
なお、本発明は、このような特徴的なステップを備える映像選択方法として実現することができるだけでなく、映像選択方法に含まれる特徴的なステップを手段とする映像選択装置として実現したり、映像選択方法に含まれる特徴的なステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、CD−ROM(Compact Disc-Read Only Memory)等の記録媒体やインターネット等の通信ネットワークを介して流通させることができるのは言うまでもない。
【発明の効果】
【0014】
本発明によると、複数のカメラ映像の中から、人物の四肢の動きや形状をユーザが認識しやすい映像を選択することができる映像選択方法を提供することができる。
【発明を実施するための最良の形態】
【0015】
本発明に係る映像選択方法は、複数のカメラで撮像された複数の映像のうち、少なくとも1つの映像を選択する映像選択方法であって、複数のカメラで撮像された人物を含む複数の映像を取得する映像取得ステップと、前記複数の映像の各々に含まれる人物の被写体シルエットの輪郭線上に設けられた複数の代表点より求められる特徴量を抽出する特徴量抽出ステップと、前記複数の映像の各々について、前記特徴量から前記被写体シルエットの形状の凹凸度合いを示す凹凸度を判定する凹凸度判定ステップと、前記複数の映像の凹凸度に基づいて、前記複数の映像から前記人物の手または足の形状を認識するための少なくとも1つの映像を選択する映像選択ステップとを含む。より具体的には、前記映像選択ステップでは、前記凹凸度が最大となる映像を選択する。
【0016】
この構成によると、人物を含む映像における被写体シルエットの形状の凹凸度を判定している。このため、人物の四肢の形状をユーザが認識しやすい映像を選択することができる。
【0017】
好ましくは、前記特徴量抽出ステップでは、所定の基準点と前記複数の代表点との間の距離を特徴量として抽出する。
【0018】
輪郭線上の代表点を用いることによって、被写体シルエットの画像のすべての画素値を用いる場合と比較して、被写体シルエットの形状を効率的に表現することができる。
【0019】
さらに好ましくは、前記凹凸度判定ステップは、前記複数の代表点における複数の特徴量を連結することにより曲線を生成する曲線生成ステップと、前記曲線における極大値を検出する極大値検出ステップと、前記極大値に基づいて、前記凹凸度を算出する凹凸度算出ステップとを含む。
【0020】
このように、曲線における極大値の数を用いることによって、人物の四肢の姿勢を強く反映した被写体シルエットの形状を表現することが可能である。
【0021】
さらに好ましくは、前記凹凸度判定ステップは、前記複数の代表点における複数の特徴量を連結することにより曲線を生成する曲線生成ステップと、前記曲線における極大値を検出する極大値検出ステップと、前記極大値と前記極大値の数とに基づいて、前記極大値を人物の手または足に対応付ける対応付けステップと、対応付けの結果と前記極大値とに基づいて、前記凹凸度を算出する凹凸度算出ステップとを含む。より具体的には、前記凹凸度算出ステップでは、前記対応付けの結果に基づいて、手に対応付けられた極大値または足に対応付けられた極大値のいずれか一方に重み付けを行ない、前記凹凸度を算出する。
【0022】
四肢の対応付けを行ない、極大値に重み付けを行なうことにより、手または足に着目して映像選択を行なうことができるようになる。例えば、手に着目した映像選択を行なうようにすれば、万引き現場の監視用途等に利用することができる。
【0023】
さらに好ましくは、前記凹凸度判定ステップでは、さらに、前記複数の映像の各々について、時間的に連続する複数の映像の凹凸度の時間平均を算出し、算出結果を前記被写体シルエット形状の凹凸度とする。
【0024】
このように凹凸度の時間平均を新たな凹凸度とすることにより、特に動作中の四肢の形状や動きをユーザが認識しやすい映像を選択することができる。
【0025】
さらに好ましくは、前記映像選択ステップでは、選択された映像を基準として、当該映像とは反対の方向から被写体を撮像している映像を同時に選択する。また、前記映像選択ステップでは、選択された映像を基準として、当該映像を撮像しているカメラの光軸方向と直交する方向から被写体を撮像している映像を同時に選択するようにしてもよい。
【0026】
他の方向から撮像された映像を選択することにより、一方の方向から撮像された映像を選択するよりも、四肢の形状や動きをユーザが認識しやすくなる。また、他の方向から撮像された映像を選択することにより、人間の顔が映った映像を選択することができる。
【0027】
さらに好ましくは、前記映像選択方法は、さらに、前記複数のカメラで撮像された前記複数の映像の中から、人物の顔画像を含む映像を検出する顔画像検出ステップを含み、前記映像選択ステップでは、さらに、顔画像を含む映像の検出結果に基づいて、前記複数の映像から前記人物の顔を認識するための少なくとも1つの映像を選択する。
【0028】
この方法によると、顔画像と人物の四肢の形状をユーザが同時に認識しやすい映像を選択することができる。
【0029】
以下、本発明の実施の形態について、図面を用いて説明する。
【0030】
(実施の形態1)
まず、本発明の実施の形態1に係る映像表示装置について説明する。実施の形態1に係る映像表示装置は、複数のカメラで撮像された映像の中から、人物の四肢の形状をユーザが認識しやすい映像を選択し、表示する。
【0031】
図1は、本発明の実施の形態1に係る映像表示装置の構成を示す図である。図1の映像表示装置は、人物を含む映像における被写体シルエットの形状の凹凸度合いを示す凹凸度を判定することによって、人物の四肢の形状をユーザが認識しやすい映像を選択し、表示する装置であり、撮像部101と、画像保持部102と、特徴抽出部103と、形状判定部104と、カメラ選択部105とを備えている。
【0032】
撮像部101は、複数台のカメラ101a〜101hにより構成され、複数の映像を撮像する処理部であり、映像取得手段の一例である。
【0033】
画像保持部102は、撮像部101で撮像された複数の画像を保持する記憶装置である。ここで、画像保持部102が保持する画像は、時系列に並んだ画像であっても構わない。
【0034】
特徴抽出部103は、画像保持部102に保持された画像から被写体の輪郭形状を表す輪郭特徴量を抽出する処理部であり、特徴量抽出手段の一例である。
【0035】
図2は、特徴抽出部103の詳細な構成を示す図である。
図2に示すように、特徴抽出部103は、人物領域抽出部1031と、シルエット抽出部1032と、輪郭特徴抽出部1033とから構成される。
【0036】
人物領域抽出部1031は、画像保持部102に保持された画像から人物領域を抽出する処理部である。シルエット抽出部1032は、抽出した人物領域の画素値を「1」とし、それ以外を「0」とするような2値化処理を行い、被写体シルエットを抽出する処理部である。輪郭特徴抽出部1033は、被写体シルエットに対して、被写体シルエットの輪郭に関する特徴量を抽出する処理部である。
【0037】
形状判定部104は、輪郭特徴抽出部1033で抽出した輪郭特徴量からシルエット抽出部1032で得た被写体シルエットの形状の凹凸度を判定する処理部であり、凹凸度判定手段の一例である。この凹凸度は、人物の四肢の見えを大きく反映する値である。
【0038】
カメラ選択部105は、複数台のカメラ101a〜101hの中から、形状判定部104で判定した被写体シルエットの形状の凹凸度に基づいて、複数のカメラ映像の中から、人物の四肢の形状をユーザが認識しやすいカメラ映像を選択する処理部であり、映像選択手段の一例である。
【0039】
表示部106は、カメラ選択部105で選択された映像をモニタ等に表示する処理部である。
【0040】
これにより、人物の四肢の形状をユーザが認識しやすい映像を選択し、表示することが可能である。
【0041】
以下に、本実施の形態に係る映像表示装置による映像表示方法について、図3および図4を用いて詳細に説明する。
【0042】
図3は、映像表示装置の実行する処理のフローチャートである。図4は、輪郭特徴量の抽出方法について説明するための図である。
【0043】
まず、人物領域抽出部1031は、図4(a)に示すような入力画像401を画像保持部102から受け付ける(S301)。
【0044】
次に、人物領域抽出部1031は、入力された画像401に対して図4(b)に示すような背景画像402を用いて背景差分処理を行い、人物領域を抽出する(S302)。なお、ここでは、背景差分処理の代わりにフレーム間差分処理を行って人物領域を抽出しても良いし、領域分割手法を用いて人物領域を抽出しても良い。さらに、人物検出処理を併用する場合には、M.Oren, C.Papageorgiou, P.Sinha, E.Osuna and T.Poggio, "Pedestrian Detection using wavelet templates", Proc.of CVPR97, pp.193-199, 1997に開示されている技術等を用いて、人物検出処理を行い、その結果を用いて人物領域を切り出しても良い。さらに、エッジ検出処理を併用しても良い。また、背景差分処理を行う場合は、人物の存在しない背景となる画像を事前に準備して、画像保持部102に保持しておく必要がある。さらに、動画像から背景スプライト画像を生成し、背景差分処理のための背景画像として用いることもできる。
【0045】
次に、シルエット抽出部1032は、S302で抽出した人物領域を含む画像に対して、抽出した人物領域の画素をオンピクセルとし、それ以外をオフピクセルとするような2値化処理を行う(S303)。これによって、図4(c)に示すような人物画像の被写体シルエット403が得られる。ここで、被写体シルエット403は、ハッチングを施した部分がオンピクセルの部分であり、白色部分がオフピクセルの部分の例である。
【0046】
なお、ここで、ノイズの影響により起こる輪郭の不要な凹凸を減らすために、被写体シルエットを平滑化することも有効である。
【0047】
次に、輪郭特徴抽出部1033は、被写体シルエットの輪郭を抽出する(S304)。輪郭抽出は、オンピクセルとオフピクセルの境界点を抽出することにより可能である。また、S303にて、2値化処理を行わない場合は、被写体シルエットに対して空間微分フィルタを適用することで輪郭を抽出することができる。また、抽出した輪郭の細線化を行う場合は、Hilditchの細線化アルゴリズムを用いて行うことができる。空間微分フィルタおよびHilditchの細線化アルゴリズムについては、C.J.Hilditch,"Linear Skeletones From Square Cupboards",Machine Intelligence 4, Eginburgh Univ.Press, p.403, 1969に詳細が記述されている。
【0048】
次に、輪郭特徴抽出部1033は、抽出した被写体シルエットの輪郭から被写体シルエットの輪郭形状を表現する輪郭特徴量を抽出する(S305)。輪郭特徴量の抽出方法の一例について図4および図5を用いて以下に説明する。なお、輪郭特徴量としては、被写体シルエットの輪郭形状を表現する特徴量であれば以下の例に限らない。
【0049】
まず、輪郭特徴抽出部1033は、S304にて抽出した被写体シルエット403に対して、基準点を決定する。望ましい例としては、図4(d)に示すように、被写体シルエットの重心位置gを基準点として求める。ここで、基準点は、被写体シルエットのすべての画素を用いずに、被写体シルエットの輪郭画素位置の重心としても構わない。
【0050】
次に、輪郭特徴抽出部1033は、被写体シルエットの主軸405を算出する。被写体シルエットの主軸405は、シルエット上の各輪郭点から垂線を下ろした時に、垂線の長さの2乗和が最小になる軸とすることで求めることができる。
【0051】
具体的には、求めたい主軸405は、傾きtanθの直線であり、重心(gx,gy)を通るため、以下のように表せる。
【数1】


【0052】
次に、各輪郭点(xi,yi)から(数1)で表される直線に垂線を下ろすと、垂線の長さdiは、
【数2】


で表される。
【0053】
そこで、最小化したい関数Jは、各輪郭点から引いた垂線の長さの2乗和をとったものであるため、(数1)と(数2)を用いて、次のように表される。
【数3】


【0054】
ここで、(数3)を最小化するためには
【数4】


より、
【数5】


となる。
【0055】
(数5)より、直線の傾きは(数6)で表す事ができる。そして(数1)に直線の傾きを代入することで、主軸405を得ることができる。
【数6】


【0056】
次に、輪郭特徴抽出部1033は、輪郭特徴量の始点を決定するために、被写体シルエットの輪郭上の各点と主軸405との交点を求める。ここで、輪郭上の各点と求めた主軸との交点407が複数点存在する場合は、図4(e)に示すように、輪郭点中で最上部に位置する輪郭点を輪郭特徴量の始点406とする。この時、始点406は、必ずしも最上部に位置する輪郭点を選択する必要は無い。ただし、特に対象が人物である場合は、主軸405と交差する最上部の輪郭点を始点406とすることが有効である。理由は、始点406が頭部に対応しやすくなるためである。具体的には,頭部は、腕や足の領域と異なり変形が起きにくい。また、影の影響は、地面に対して出やすいために、その影響も受けにくいことが挙げられる。
【0057】
次に、輪郭特徴抽出部1033は、始点406から、被写体シルエットの輪郭上の各点をトレースする。輪郭点のトレース方法は、「安居院猛、長尾智晴著、「画像の処理と認識」、72ページ、昭晃堂、1992年発行」に詳細が記述されている。
【0058】
次に、輪郭特徴抽出部1033は、図4(e)に示すように、トレースした輪郭上の各点と重心gとの距離lを算出する。ここで、輪郭特徴量は、図5の輪郭特徴量503に示すように、被写体シルエットの輪郭上の各点と重心との距離lを要素とするベクトルとして表現する。なお、図5におけるA〜Iの記号は、それぞれ画像501および画像502に示した被写体シルエットの輪郭上の代表点の一部とその輪郭特徴量における対応点を示す。
【0059】
ここで、図6(a)に示すように、被写体の姿勢や画像中での大きさによって、輪郭点の数が異なる場合について説明する。この場合、それぞれの被写体シルエットにおいて、輪郭点の数がnの被写体シルエットと輪郭点の数がmの被写体シルエットが得られたものとする。ここで、n<mである。
【0060】
この例の場合、輪郭特徴量ベクトルの要素数がnおよびmとなる。そこで、輪郭特徴量のベクトル要素数が異なることを防ぐために、ベクトルの要素数はあらかじめ決定しておき、固定値Zとすることが望ましい。具体的には、任意の入力画像に対して、輪郭点数がZとなるように、全輪郭点の中から輪郭特徴量として利用する輪郭点上の代表点を図6(b)に示すように(n/Z)点ごとまたは(m/Z)点ごとに選択する。本実施の形態では、このように選択した輪郭点を代表点とした特徴量を輪郭特徴量とする。
【0061】
ここで、輪郭特徴量の例について説明する。図5に示すように、複数台のカメラ101a〜101hで構成される撮像部101で得られた映像に対して、それぞれ被写体シルエットを抽出した後、輪郭特徴量503を抽出する。輪郭特徴量lcは、被写体シルエットの重心gと輪郭特徴量として利用する輪郭上の代表点との距離lを要素として持つベクトルで構成される。さらに、被写体の大きさの違いの影響を排除する場合は、被写体シルエットの面積(画素数)Sを計算し、次式のように、面積Sで正規化しても良い。
【数7】


【0062】
ここで、lc_zは、カメラcで撮像された画像から得た被写体シルエットの重心gと輪郭上の代表点zとの距離を示す。また、Scは、カメラcで撮像された画像から得た被写体シルエットの面積である。なお、このようにして得られた輪郭特徴量に対して、ローパスフィルタをかけることも有効である。これは、前述したように被写体シルエットに対して平滑化を行うことと同様の効果がある。
【0063】
次に、形状判定部104は、カメラcで得られた画像ごとに輪郭特徴抽出部1033で抽出した輪郭特徴量lcからシルエット抽出部1032で得た被写体シルエット形状の凹凸度dcを計算する(S306)。具体的には、(数8)を用いて、図5に示すような輪郭特徴量lc(輪郭特徴量503)を輪郭点に沿って差分をとることで凹凸度を計算することができる。
【数8】


【0064】
なお、絶対値の代わりに2乗値を用いても構わないし、1階差分の代わりに2階差分を行っても構わない。これにより、例えば、図5(a)の場合は、d=4.10となり、図5(b)の場合は、d=5.81となる。このように、シルエット中に人物の四肢が表現される場合は、そうでない場合と比較して、シルエット形状の凹凸度が大きくなる。
【0065】
さらに、時系列画像から被写体シルエット形状の凹凸度を判定する場合は、カメラcで得られたT枚の画像列に対して、凹凸度dcの時間平均Dcを計算することによって、時間平均Dcを新たな凹凸度としてもよい。
【数9】


【0066】
なお、ここで、dc(t)は、カメラcで撮像した時刻tの画像から得られた凹凸度である。
【0067】
また、1つのカメラに複数の人物が撮像されている場合は、被写体シルエットごとに(数8)または(数9)に基づいて凹凸度を算出し、算出した値を被写体数で割ることにより、被写体シルエット1つ当たりの凹凸度の平均値を求め、その平均値を凹凸度としてもよい。また、複数の被写体シルエットから得られる複数の凹凸度の合計値を凹凸度としても良い。
【0068】
次に、カメラ選択部105は、S306で算出した被写体シルエット形状の凹凸度に基づいて、カメラ映像を選択する(S307)。
【0069】
ここでは、(数9)のように、被写体シルエット形状の凹凸度の時間平均を用いた場合について説明するが、(数8)の場合も同様である。
【0070】
図7のように、複数台のカメラ101a〜101hによって一定の領域を撮像している例で説明する。もちろん、スポーツ中継のように、各カメラはカメラマンによって撮像されていても構わない。
【0071】
人物の四肢の形状をユーザが認識しやすいカメラ映像を得るためには、(数9)におけるDcが最大となるカメラ映像を選択することが有効である。また、Dcの値に基づいて、上位N個のカメラ映像を選択することも可能である。なお、ここでNは、自然数でありカメラの台数以下とする。
【0072】
また、本実施の形態では、被写体シルエットから輪郭特徴量を推定しているため、例えば被写体の胸側と背中側のように、被写体の前後の区別がつき難い場合がある。このような場合を回避するために、Dcの値に基づいて選択したカメラ映像を基準として、選択したカメラの撮像方向と対面する位置に設置され、撮像されたカメラ映像を選択することも有効である。さらに、選択したカメラの撮像方向と直交する方向のカメラ映像を選択することもできる。
【0073】
また、全設置カメラの中から図8に示すように、複数のカメラの組をA〜Dのように事前に決定しておいて、一方のカメラ映像が選択された場合は、組となるもう一方のカメラ映像も選択されるようにしておいても良い。
【0074】
次に、表示部106は、図9に示すようにS307で選択された映像をモニタ901に表示する(S308)。具体的には、モニタ901に、S307で被写体シルエット形状の凹凸度に基づいて選択された映像902を表示する。ここでは、凹凸度の高い順にN個の映像を表示しても構わない。
【0075】
また、選択された映像902に加えて、そのカメラの撮像方向と対面する位置に設置、撮像されたカメラ映像903を表示する。この時さらに、カメラ配置906と共に、現在表示されている映像902を撮像しているカメラ904および当該カメラと対面する位置に設置されているカメラ905の設置位置を表示することも可能である。
【0076】
なお、映像の表示方法は、S307で被写体シルエット形状の凹凸度に基づいて選択された映像が表示されていれば良く、上記の例に限らない。
【0077】
以上により、人物を含むシーンを複数のカメラで同時に撮像した映像から、人物の四肢の形状をユーザが認識しやすい映像を自動的に選択することができる。そのため、監視員やディレクターは、複数のカメラから得られた映像すべてに注視する必要がなく、注視すべきカメラ映像の数を減らすことが可能となり、負担を軽減することができる。
【0078】
(実施の形態1の変形例)
次に、被写体シルエットの輪郭点上の代表点を実施の形態1とは異なる方法で選択して輪郭特徴量を抽出する方法について説明する。
【0079】
映像表示装置の構成は、図1および図2に示したものと同様である。また、映像表示装置の実行する処理は、図3に示したフローチャートと基本的には同一ではあるが、輪郭特徴量抽出処理(S305)における輪郭特徴量抽出方法が異なる。それに伴い、S306〜S308で使用される輪郭特徴量も実施の形態1とは異なる。それ以外の処理については、実施の形態1で説明したものと同様である。
【0080】
以下に、輪郭特徴量抽出処理(S305)について、詳細に説明する。
図10は、輪郭特徴量を抽出する際の代表点の決定方法を説明するための図である。
【0081】
被写体シルエットの重心gの決定方法および被写体シルエットの主軸1002の求め方は、実施の形態1で説明したものと同様である。また、輪郭特徴量の始点1003の求め方も実施の形態1で説明したものと同様である。
【0082】
次に、輪郭特徴抽出部1033は、図10の矢印のように、重心gを中心として一定角度ごとに時計方向または反時計方向に直線を引き、被写体シルエットの輪郭との交点を代表点1004として求める。そして、重心gを基準点として、基準点と代表点との距離lを算出する。
【0083】
この時、図10の点Aおよび点Bに示すように、重心gから一定角度ごとに引いた直線と被写体シルエットとの交点が2点以上存在する場合には、重心gからの距離が長い方の交点Aを代表点として用いる。
【0084】
輪郭特徴量は、上記の手順で求めた基準点と代表点との距離を用いて、(数7)の代わりに次式のように定義することができる。
【数10】


【0085】
ここで、lc_yは、カメラcで得られた映像から抽出した被写体シルエットの主軸1002上に設定された基準点(重心g)と代表点1004との距離を示す。なお、Scは、カメラcで得られた映像から抽出した被写体シルエットの面積である。
【0086】
なお、このようにして得られた輪郭特徴量に対して、ローパスフィルタをかけることも有効である。これは、前述したように被写体シルエットに対して平滑化を行うことと同様の効果がある。
【0087】
次に、S306からS308の処理は、(数7)の代わりに(数10)を用いることで実現できるため、その詳細な説明は繰り返さない。
【0088】
本変形例で用いられる輪郭特徴量は、重心から引く直線の角度によって代表点を決定するため、輪郭点数が図6に示すように被写体シルエットの形状や大きさに依存しない。そのため、図11のように、足部に生じた影の影響を受けて、輪郭抽出した画像の足部が地面と繋がった場合とそうでない場合においても、輪郭点の数に差異が生じないため、比較的、影の影響を受けにくい。
【0089】
(実施の形態2)
次に、本発明の実施の形態2に係る映像表示装置について説明する。
【0090】
実施の形態2に係る映像表示装置は、形状判定部104における被写体シルエットの凹凸度を実施の形態1に示した方法とは異なる方法で算出する。
【0091】
実施の形態2に係る映像表示装置の構成は、図1に示したものと同様である。ただし、形状判定部104の内部構成が実施の形態1とは異なる。それ以外の、撮像部101、画像保持部102、特徴抽出部103、カメラ選択部105および表示部106は、実施の形態1と同様であるので、それらの説明はここでは繰り返さない。
【0092】
図12は、形状判定部104の内部構成を示すブロック図である。
形状判定部104は、輪郭特徴抽出部1033で抽出された輪郭特徴量からシルエット抽出部1032で得られた被写体シルエット形状の凹凸度を判定する処理部であり、ピーク検出部1041と、四肢判定部1042と、凹凸度判定部1043とを備えている。この凹凸度は、人物の四肢の見えを大きく反映する。
【0093】
ピーク検出部1041は、輪郭特徴抽出部1033で抽出した輪郭特徴量のピーク位置とピーク数を検出する。
【0094】
四肢判定部1042は、ピーク検出部1041で検出した輪郭特徴量のピーク位置に対して手または足の対応付けを行う。
【0095】
凹凸度判定部1043は、輪郭特徴量のピーク位置に対応付けられた手および足の情報を用いて、被写体シルエット形状の凹凸度を判定する。
【0096】
なお、本実施の形態では、四肢判定部1042において、手または足の情報を付加することによって、凹凸度判定部1043において凹凸度を判定する例について説明するが、四肢判定部1042を用いずに、凹凸度判定部1043において輪郭特徴量のピーク数を被写体シルエットの凹凸度としても良い。
【0097】
以下に、本実施の形態に係る映像表示装置による映像表示方法について説明する。図13は、本実施の形態に係る映像表示装置が実行する処理のフローチャートである。
【0098】
S301からS305までの処理は、実施の形態1と同様であるため、説明を省略する。
【0099】
ピーク検出部1041は、図14(a)に示すように、特徴抽出部103で抽出した輪郭特徴量のピーク位置を検出する(S1301)。具体的には、輪郭特徴量を輪郭点に沿って差分をとることで、極大値を持つ点を選択する。すなわち、差分値が正から負に変化した点をピーク位置とする。図14の黒丸で示した部分は、輪郭特徴量におけるピーク検出結果1402とそれに対応する被写体シルエット1401の輪郭点上の代表点である。
【0100】
なお、S1301では、実施の形態1と同様、輪郭特徴量に対してローパスフィルタをかけた後にピーク位置を検出することで、不要な凹凸を減らす事ができる。
【0101】
次に、四肢判定部1042は、S1301で検出したそれぞれのピーク位置に手または足のラベル付けを行う(S1302)。ここで、図14(b)に示すようにそれぞれのピーク位置に対応する輪郭特徴量1403をlp1,lp2,…,lpMとする。
【0102】
具体的には、図15に示すように、S1301で検出したピーク数に応じて場合分けを行い、手と足のラベル付け方法を決定することができる。
【0103】
ピーク数が1個の場合は、ピーク位置に足を対応付ける。
ピーク数が2個の場合は、ピーク位置のすべてに足を対応付ける場合と、ピーク位置にそれぞれ手と足を対応付ける場合とに分けることができる。
【0104】
ピーク数が3個の場合は、ピーク位置にそれぞれ、足を2個と手を1個対応付ける場合と、ピーク位置にそれぞれ足を1個と手を2個対応付ける場合とに分けることができる。
【0105】
ピーク数が4個の場合は、ピーク位置にそれぞれ、四肢のいずれかを対応付ける。
以上のように、ピーク数に応じて四肢のいずれを対応させるかを決定する。
【0106】
次に、各ピーク位置への四肢のラベル付け方法を説明する。
ピーク数が1個の場合は、図15に示すように、頭を始点とすると終点も頭となる。そのため、ピークの存在する位置は足として一意に決定できる。なお、手に相当する位置にピークが存在する場合は、2個以上のピークが存在することになる。
【0107】
ピーク数が2個以上の場合は、ピーク位置の輪郭特徴量lp1,lp2,…,lpMを得る。ここでMはピーク数である。以下、説明のため、ピーク位置の輪郭特徴量をlp1>lp2>…>lpMとする。
【0108】
ピーク数が2個の場合、ピーク位置の輪郭特徴量の比を用いて、
【数11】


のように、決定する。すなわち、lp1/lp2の値が所定の閾値αよりも大きい場合には、lp1を足の輪郭特徴量と判断し、lp2を手の輪郭特徴量と判断する。それ以外の場合には、lp1およびlp2がともに足の輪郭特徴量であると判断する。
【0109】
ピーク数が3個の場合、ピーク位置における最大の輪郭特徴量lp1は、足の輪郭特徴量であると判断し、最小の輪郭特徴量lp3は手の輪郭特徴量であると判断する。また、輪郭特徴量の中間値lp2が、以下のいずれに対応するかは(数12)に従い決定される。すなわち、最大輪郭特徴量lp1と輪郭特徴量の中間値lp2との比(lp1/lp2)が所定の閾値αよりも大きければ、lp2を足の輪郭特徴量と判断し、それ以外の場合には、lp2を手の輪郭特徴量と判断する。
【数12】


【0110】
ピーク数が4個の場合は、lp1およびlp2を足の輪郭特徴量であると判断し、lp3およびlp4を手の輪郭特徴量であると判断する。
【0111】
ここで、(数11)、(数12)において、実験的にα=1.5とした。ただし、閾値αの値はこれに限定されるものではなく、カメラの設置位置や対象とするシーン等によっても異なる。
【0112】
また、輪郭特徴量のピーク位置への手足の対応付け方法は、上記の例に限られない。
例えば、ピーク位置の輪郭特徴量の大小に基づいて、手および足を振り分けても良い。また、被写体が地面に立っている状況を仮定できる場合であれば、図5の例のように、輪郭特徴量の各ピーク位置について、被写体シルエットの輪郭点上の対応点を求め、その対応点が地面に近い場合は足、画像上の縦軸方向において、重心位置に近い場合は手としてラベル付けを行うことも可能である。
【0113】
次に、凹凸度判定部1043は、S1302で対応付けられたラベル情報を用いて被写体シルエット形状の凹凸度を算出する(S1303)。
【0114】
すなわち、凹凸度判定部1043は、カメラcで得られた画像ごとにラベル付けされたピーク位置の輪郭特徴量を用いて、数13に従い被写体シルエット形状の凹凸度dcを計算する。
【数13】


【0115】
ここで、Mは輪郭特徴量のピーク数、すなわちラベル付けされた輪郭特徴量のピークの数に相当する。
【0116】
また、監視システムにおける万引き動作など、手の動作に着目する必要がある場合や、スポーツ中継等でも手の動きを重視する場合は、手としてラベル付けされた輪郭特徴量に重みをかけることによって、被写体シルエット形状のうち手を重要視した凹凸度dを定義することができる。
【数14】


【0117】
ここで、Kは手としてラベル付けされた輪郭特徴量のピーク数、Lは足としてラベル付けされた輪郭特徴量のピーク数を示す。また、
【数15】


は、手としてラベル付けされた輪郭特徴量であり、
【数16】


は足としてラベル付けされた輪郭特徴量である。このため、手の見えを重視した重み付け緒を行なうためには、1>β>0とすればよい。また、β>1とすれば、足の見えを重視した凹凸度となる。
【0118】
このようなβの値をユーザが設定できるようなモードを、映像表示装置に用意しても良い。
【0119】
さらに、(数9)のように、カメラcで得られたT枚の画像列に対して凹凸度の時間平均を計算することも有効である。
【0120】
上記のように得られた被写体シルエット形状の凹凸度を用いて、実施の形態1と同様にS307およびS308の処理が実行される。
【0121】
以上説明したように、本実施の形態に係る映像表示装置によると、人物を含むシーンを複数のカメラで同時に撮像した映像から、人物の四肢の形状をユーザが認識しやすい映像を自動的に選択することができる。そのため、監視員やディレクターは、複数のカメラから得られた映像すべてに注視する必要がなく、注視すべきカメラ映像の数を減らすことが可能となる。このため、監視員やディレクターの映像監視の負担を軽減することができる。
【0122】
さらに、実施の形態1に加えて、手または足の見えに重みをかけた映像選択が可能となるため、スポーツ中継や監視等、用途に応じたカメラ映像の選択が可能である。
【0123】
(実施の形態3)
次に、本発明の実施の形態3に係る映像表示装置について説明する。
【0124】
実施の形態3に係る映像表示装置は、実施の形態1および2に示した映像表示装置の映像表示方法に加えて、顔画像を含むカメラ映像を同時に表示させるものである。
【0125】
図16は、実施の形態3に係る映像表示装置の構成を示すブロック図である。
映像表示装置は、人物を含む映像における被写体シルエットの形状の凹凸度を判定することによって、人物の四肢の形状をユーザが認識しやすい映像を選択すると共に、顔画像検出処理を行い、検出した顔画像を含むカメラ映像と前記選択したカメラ映像とを同時に表示する装置であり、撮像部101と、画像保持部102と、特徴抽出部103と、形状判定部104と、顔画像検出部1601と、カメラ選択部1602と、表示部1603とを備えている。
【0126】
撮像部101、画像保持部102、特徴抽出部103および形状判定部104は、実施の形態1または2で示したものと同様である。また、特徴抽出部103の詳細な構成は図2に示したものと同様である。
【0127】
顔画像検出部1601は、人物領域抽出部1031で抽出された映像から、顔画像の検出を行う。
【0128】
カメラ選択部1602は、複数台のカメラの中から形状判定部104で判定した被写体シルエットの形状の凹凸度に基づいて、人物の四肢の形状をユーザが認識しやすい映像を撮像しているカメラ映像を選択する。それとともに、カメラ選択部1602は、顔画像検出部1601での顔画像検出結果に従い、顔画像を含む映像を撮像しているカメラ映像を選択する。
【0129】
表示部1603は、カメラ選択部1602で選択された映像をモニタ等に表示する。
これにより、人物の四肢の形状と顔とをユーザが認識しやすい映像を選択し、表示することが可能である。もちろん、前記選択した映像を記録装置(図示せず)に記録することも可能である。
【0130】
以下に、本実施の形態に係る映像表示装置による映像表示方法について、図17のフローチャートを用いて説明する。ここでは、人物の四肢の形状をユーザが認識しやすい映像の選択方法は、実施の形態2と同様であるものとして説明を行なうが、実施の形態1と同様にして、当該映像の選択を行うようにしてもよい。
【0131】
S301〜S305およびS1301〜S1303の処理は、実施の形態2と同様である。このため、その詳細な説明は繰り返さない。
【0132】
顔画像検出部1601は、S302で抽出された人物領域に対して、顔画像検出処理を行う(S1701)。顔画像検出処理は、K.K.Sung and T.Poggio, "Example-Based Learning for View-Based Human Face Detection",IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.20, No.1, pp.39-51, 1998に開示されている技術等を用いることができる。この手法では、顔画像を予め学習させることにより、顔画像のモデルを構築する。
【0133】
ここでは、上記技術を用いた例について説明するが、他の顔画像検出手法を用いても構わない。なお、主に正面、または正面に近い顔画像を撮像しているカメラ映像を選択したい場合には、あらかじめ用意した正面から撮像した顔画像をモデル学習に用いる。
【0134】
次に、カメラ選択部1602は、S1303で算出された被写体シルエット形状の凹凸度とS1701で行った顔画像検出結果とに基づいて、カメラ映像を選択する(S1702)。
【0135】
ここでは、(数9)を用いて被写体シルエット形状の凹凸度の時間平均を算出する場合を想定して説明を行なうが、(数8)に基づいて凹凸度を算出する場合も同様である。
【0136】
実施の形態1と同様に、図7のように、複数台のカメラによって一定の領域を撮像している例を用いて説明する。
【0137】
人物の四肢の形状をユーザが認識しやすいカメラ映像を得るためには、(数9)におけるDcが最大となるカメラ映像を選択することが有効である。また、Dcの値に基づいて、上位N個のカメラ映像を選択することも可能である。なお、ここでNは、自然数でありカメラの台数以下とする。
【0138】
また、カメラ選択部1602は、顔画像を検出したカメラ映像も同時に選択する(S1702)。
【0139】
カメラ選択部1602は、S1303にて算出した被写体シルエット形状の凹凸度に基づいて選択されたカメラ映像とS1701にて行った顔画像検出結果に基づいて選択されたカメラ映像とが異なる場合には、両方の画像を選択する。もちろんこの例に限らず、顔画像が検出されたカメラ映像すべてを選択するようにしても良い。ただし、監視等において映像の通信容量等に限定がある場合に、複数の顔画像が検出された場合は、検出した顔画像の大きさでカメラ映像を選択することもできる。
【0140】
また、カメラ選択部1602は、被写体シルエット形状の凹凸度に基づいて選択されたカメラ映像と顔画像検出結果に基づいて選択されたカメラ映像とが同じであれば、両方を満たすカメラ映像を選択する。
【0141】
次に、表示部1603は、図18に示すようにS1702で選択された映像を表示する(S1703)。具体的には、モニタ1801に、S1702で被写体シルエット形状の凹凸度に基づいて選択された映像1802と顔画像を検出したカメラ映像1803とを表示する。なお、顔検出結果に基づいて、顔位置を四角等で囲んで表示しても良いし、さらに、顔画像を拡大して表示しても良い。また、この時、設置されたカメラがズーム機能を持ったカメラであれば、顔画像をズームして撮像しても良い。
【0142】
ここでは、凹凸度の高い順にN個の映像を表示しても構わないし、顔画像検出された映像すべてを表示しても構わない。また、被写体シルエット形状の凹凸度に基づいて選択されたカメラ映像と顔画像検出結果に基づいて選択されたカメラ映像とが同じであれば、両方を満たすカメラ映像を表示しても良い。この時さらに、カメラ配置1806と共に、現在表示されているカメラである被写体シルエット画像の凹凸度に基づいて選択されたカメラ1804および顔画像を検出したカメラ1805の設置位置を表示することも可能である。
【0143】
また、上記のように選択、表示した映像を同時に記録装置(図示せず)に記録することも可能である。
【0144】
なお、映像の表示方法は、S1702で被写体シルエット形状の凹凸度と顔画像検出結果に基づいて選択された映像が表示されていれば良く、上記の例に限られない。
【0145】
以上説明したように、本実施の形態に係る映像表示装置によると、人物を含むシーンを複数のカメラで同時に撮像した映像から、人物の四肢の形状と人物の顔とをユーザが認識しやすい映像を自動的に選択することができる。そのため、監視員やディレクターは、複数のカメラから得られた映像すべてに注視する必要がなく、注視すべきカメラ映像の数を減らすことが可能となり、負担を軽減することができる。また、特に監視等の用途において、人物の動作と顔画像とを同時に把握することは、犯罪の立証においても有効である。
【0146】
以上、本発明の実施の形態に係る映像表示装置について説明したが、本発明は、この実施の形態に限定されるものではない。
【0147】
例えば、上述の実施の形態では被写体のシルエット形状の凹凸度を(数8)または(数9)に従い計算を行なっているが、以下に示す(数17)に従い凹凸度を計算するようにしても良い。
【数17】


【0148】
すなわち、カメラcで得られたT枚の画像列に対して、凹凸度の時間方向の差分の絶対値を計算し、足し合わせた値を新たな凹凸度としても良い。図19は、カメラcで得られた5枚の画像列から、新たな凹凸度Dcを求める例を模式的に示した図である。図19に示されているグラフは、時刻t=1から時刻t=5までの5枚の画像列から得られた凹凸度dc(t)を示しており、隣接する2枚の画像列から得られる凹凸度dc(t+1)およびdc(t)の間で差分の絶対値を計算し、それらを合計したものが新たな凹凸度Dcとなる。
【産業上の利用可能性】
【0149】
本発明によると、人物の四肢の形状をユーザが認識しやすい映像を選択することができる。また、前記被写体シルエット形状の凹凸度の時間情報を用いることによって、人物の四肢の動きをユーザが認識しやすい映像を選択することができる。これにより、ユーザは、複数のカメラから得られた映像すべてに注視する必要がなくなり、注視すべきカメラ映像の数を減らすことができるため、ユーザの監視の負担を軽減することができる。よって、本発明は複数のカメラを用いた万引き現場の監視装置や、複数のカメラの中から適切なシーンを選択する際の映像選択装置等に適用できる。
【図面の簡単な説明】
【0150】
【図1】本発明の実施の形態1に係る映像表示装置の構成を示す図である。
【図2】本発明の実施の形態1に係る特徴抽出部の構成を示す図である。
【図3】本発明の実施の形態1に係る映像表示装置が実行する処理のフローチャートである。
【図4】本発明の実施の形態1に係る輪郭特徴量の抽出方法について説明するための図である。
【図5】本発明の実施の形態1に係る輪郭特徴量の抽出方法について説明するための図である。
【図6】本発明の実施の形態1に係る輪郭特徴量の代表点を示す図である。
【図7】本発明の実施の形態1に係る複数台のカメラの設置例を示す図である。
【図8】本発明の実施の形態1に係る複数台のカメラの組合わせ例を示す図である。
【図9】本発明の実施の形態1に係る映像表示の例を示す図である。
【図10】本発明の実施の形態1の変形例に係る輪郭特徴量の抽出方法について説明するための図である。
【図11】本発明の実施の形態1の変形例に係る輪郭抽出結果を示す図である。
【図12】本発明の実施の形態2に係る形状判定部の構成を示す図である。
【図13】本発明の実施の形態2に係る映像表示装置が実行する処理のフローチャートである。
【図14】本発明の実施の形態2に係る輪郭特徴量のピーク検出例を示す図である。
【図15】本発明の実施の形態2に係る四肢の対応付けの例を示す図である。
【図16】本発明の実施の形態3に係る映像表示装置の構成を示す図である。
【図17】本発明の実施の形態3に係る映像表示装置が実行する処理のフローチャートである。
【図18】本発明の実施の形態3に係る映像表示の例を示す図である。
【図19】本発明の実施の形態1〜3に係る凹凸度の他の算出方法を模式的に示す図である。
【符号の説明】
【0151】
101 撮像部
102 画像保持部
103 特徴抽出部
104 形状判定部
105,1602 カメラ選択部
106,1603 表示部
1031 人物領域抽出部
1032 シルエット抽出部
1033 輪郭特徴抽出部
1041 ピーク検出部
1042 四肢判定部
1043 凹凸度判定部
1601 顔画像検出部




 

 


     NEWS
会社検索順位 特許の出願数の順位が発表

URL変更
平成6年
平成7年
平成8年
平成9年
平成10年
平成11年
平成12年
平成13年


 
   お問い合わせ info@patentjp.com patentjp.com   Copyright 2007-2013