米国特許情報 | 欧州特許情報 | 国際公開(PCT)情報 | Google の米国特許検索
 
     特許分類
A 農業
B 衣類
C 家具
D 医学
E スポ−ツ;娯楽
F 加工処理操作
G 机上付属具
H 装飾
I 車両
J 包装;運搬
L 化学;冶金
M 繊維;紙;印刷
N 固定構造物
O 機械工学
P 武器
Q 照明
R 測定; 光学
S 写真;映画
T 計算機;電気通信
U 核技術
V 電気素子
W 発電
X 楽器;音響


  ホーム -> 計算機;電気通信 -> 日本電信電話株式会社

発明の名称 動作認識方法、動作認識装置及び動作認識プログラムを記録した記録媒体
発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開2001−25033(P2001−25033A)
公開日 平成13年1月26日(2001.1.26)
出願番号 特願平11−190146
出願日 平成11年7月5日(1999.7.5)
代理人 【識別番号】100064621
【弁理士】
【氏名又は名称】山川 政樹
【テーマコード(参考)】
2F065
5B057
5C061
【Fターム(参考)】
2F065 AA04 AA51 BB05 CC16 DD06 FF04 FF67 JJ03 JJ05 JJ19 LL12 QQ00 QQ04 QQ13 QQ32 QQ33 QQ34 SS01 SS12 
5B057 BA06 DA07 DB03
5C061 AA03 AA21 AB04
発明者 木田 憲一 / 井原 雅行 / 志和 新一 / 石橋 聡
要約 目的


構成
特許請求の範囲
【請求項1】 1つ又は複数のスクリーンを配置した仮想現実システムにおいて、この仮想現実システム内に実在する立体視眼鏡を装着した使用者の実時間動作を認識する動作認識方法であって、立体視眼鏡に取り付けられたセンサにより3次元位置を検出する検出過程と、3次元位置情報を送信する送信過程と、仮想現実システム内の前記使用者を含む空間の画像を複数のカメラにより取り込む画像取込過程と、取り込んだ画像情報を送信する送信過程と、センサから送信された3次元位置情報およびカメラから送信された画像情報を受信する受信過程と、受信した各画像上において3次元位置情報が示す位置を特定する特定過程と、この特定された位置を基準点として所定の範囲を選択することを各画像ごとに行う範囲選択過程と、各画像上の選択した範囲より使用者の領域を抽出する領域抽出過程と、各画像より抽出した使用者の領域を身体部位ごとに分割する領域分割過程と、同一身体部位を含む複数画像に基づき使用者の各身体部位の3次元位置を求める位置検出過程と、使用者の各身体部位の3次元位置を基に使用者の動作を推測する動作推測過程とを有することを特徴とする動作認識方法。
【請求項2】 1つ又は複数のスクリーンを配置した仮想現実システムにおいて、この仮想現実システム内に実在する立体視眼鏡を装着した使用者の実時間動作を認識する動作認識装置であって、立体視眼鏡に取り付けられたセンサより3次元位置情報を受信すると共に、仮想現実システム内の前記使用者を含む空間の画像を取り込んだ複数のカメラより画像情報を受信する受信手段と、受信した各画像上において3次元位置情報が示す位置を特定する特定手段と、特定手段によって特定された位置を基準点とする所定の範囲を各画像から抽出するために、前記所定の範囲を定めた範囲データを記憶する範囲データ記憶手段と、特定手段によって特定された位置を基準点として前記範囲データが指定する範囲を選択することを各画像ごとに行う範囲選択手段と、各画像上の選択した範囲より使用者の領域を抽出する領域抽出手段と、各画像より抽出した使用者の領域を身体部位ごとに分割する領域分割手段と、同一身体部位を含む複数画像に基づき使用者の各身体部位の3次元位置を求める位置検出手段と、使用者の各身体部位の3次元位置を基に使用者の動作を推測する動作推測手段とを有することを特徴とする動作認識装置。
【請求項3】 1つ又は複数のスクリーンを配置した仮想現実システムにおいて、この仮想現実システム内に実在する立体視眼鏡を装着した使用者の実時間動作を認識する動作認識プログラムを記録した記録媒体であって、立体視眼鏡に取り付けられたセンサより3次元位置情報を受信すると共に、仮想現実システム内の前記使用者を含む空間の画像を取り込んだ複数のカメラより画像情報を受信する受信過程と、受信した各画像上において3次元位置情報が示す位置を特定する特定過程と、この特定された位置を基準点として所定の範囲を選択することを各画像ごとに行う範囲選択過程と、各画像上の選択した範囲より使用者の領域を抽出する領域抽出過程と、各画像より抽出した使用者の領域を身体部位ごとに分割する領域分割過程と、同一身体部位を含む複数画像に基づき使用者の各身体部位の3次元位置を求める位置検出過程と、使用者の各身体部位の3次元位置を基に使用者の動作を推測する動作推測過程とをコンピュータに実行させるための動作認識プログラムを記録した記録媒体。
発明の詳細な説明
【0001】
【発明の属する技術分野】本発明は、立体視を用いた仮想現実システムにおいて使用者の実時間動作を認識する動作認識方法、動作認識装置及び動作認識プログラムを記録した記録媒体に関するものである。
【0002】
【従来の技術】従来より、架空の世界を構築し、この世界を現実のように知覚させる仮想現実システムが提案されている。この仮想現実システムでは、1つまたは複数のスクリーンを配置し、使用者を映像で囲むような構造になっている。使用者は、立体視眼鏡である液晶シャッタ眼鏡を装着するため、スクリーンに映る仮想空間を立体的に見ることができる。このとき、使用者の実時間動作を認識し、この動作を仮想空間に反映させることで、使用者は、仮想空間を擬似的に体験することができる。
【0003】このような仮想現実システムでは、モーションキャプチャ(Motion Capture)を用いて使用者の動作を認識している。モーションキャプチャは、人体に取り付けた複数の磁気センサ等によって3次元空間での人体の動き(各関節の動き)を連続的に測定し、デジタルデータとして取り込むための装置である。モーションキャプチャを使用すれば、使用者の動作を実時間で認識することが可能である。しかし、この方法では、肩、肘といった人体の各関節点にセンサを装着する必要があり、これら複数のセンサとの接続のために複数のケーブルが必要となる。したがって、使用者の動きがケーブルによって制限されるという問題点があり、さらに他の磁気の影響を受けると、正しく測定できないという問題点があった。
【0004】これに対して、互いに異なる方向から撮像するように設置された複数のカメラで画像を取り込み、取り込んだ画像を処理して解析することにより、使用者の動作を認識する方法がある。この方法では、使用者の動きを制限しないため、自由な動作が可能である。しかし、仮想現実システムでは、スクリーンに映像を投影する関係上、周囲にスクリーンが配置された、使用者を収容する空間の照明を暗くしている。このため、カメラで撮像する画像も全体的に暗くなり、使用者の領域を抽出することが難しくなるので、画像処理および解析に長時間を必要とするという問題点があり、さらに動作認識の信頼性が低いという問題点があった。
【0005】
【発明が解決しようとする課題】以上のように従来の仮想現実システムでは、モーションキャプチャを用いて使用者の動作を認識しようとすると、使用者の動きがケーブルによって制限されるという問題点があり、他の磁気の影響を受けると、正しく測定できないという問題点があった。また、画像処理によって使用者の動作を認識しようとすると、画像処理および解析に長時間を必要とし、動作認識の信頼性が低くなるという問題点があった。本発明は、上記課題を解決するためになされたもので、使用者の動きを制限しない画像処理を用いて使用者の動作を認識する際に、画像処理および解析に要する時間を短縮することができ、動作認識の信頼性を向上させることができる動作認識方法、動作認識装置及び動作認識プログラムを記録した記録媒体を提供することを目的とする。
【0006】
【課題を解決するための手段】本発明の動作認識方法は、立体視眼鏡に取り付けられたセンサにより3次元位置を検出する検出過程(ステップ100)と、3次元位置情報を送信する送信過程(ステップ101)と、仮想現実システム内の上記使用者を含む空間の画像を複数のカメラにより取り込む画像取込過程(ステップ102)と、取り込んだ画像情報を送信する送信過程(ステップ103)と、センサから送信された3次元位置情報およびカメラから送信された画像情報を受信する受信過程(ステップ104,105)と、受信した各画像上において3次元位置情報が示す位置を特定する特定過程(ステップ106)と、この特定された位置を基準点として所定の範囲を選択することを各画像ごとに行う範囲選択過程(ステップ107)と、各画像上の選択した範囲より使用者の領域を抽出する領域抽出過程(ステップ108)と、各画像より抽出した使用者の領域を身体部位ごとに分割する領域分割過程(ステップ109)と、同一身体部位を含む複数画像に基づき使用者の各身体部位の3次元位置を求める位置検出過程(ステップ110)と、使用者の各身体部位の3次元位置を基に使用者の動作を推測する動作推測過程(ステップ111)とを有するものである。本発明の動作認識方法では、使用者の頭部に装着された立体視眼鏡のセンサで3次元位置を検出することにより、カメラで取り込んだ画像上で使用者の頭部があると推定される位置を特定でき、この位置を基準点として所定の範囲、すなわち使用者の身体があると推定される範囲を選択することができる。これにより、カメラで取り込んだ画像上で使用者の大まかな領域を把握し、画像処理の対象となる領域を限定することができる。
【0007】また、本発明の動作認識装置(3)は、立体視眼鏡(1)に取り付けられたセンサ(1a)より3次元位置情報を受信すると共に、仮想現実システム内の上記使用者を含む空間の画像を取り込んだ複数のカメラ(7−1〜7−N)より画像情報を受信する受信手段(30)と、受信した各画像上において3次元位置情報が示す位置を特定する特定手段(31)と、特定手段によって特定された位置を基準点とする所定の範囲を各画像から抽出するために、上記所定の範囲を定めた範囲データを記憶する範囲データ記憶手段(32)と、特定手段によって特定された位置を基準点として上記範囲データが指定する範囲を選択することを各画像ごとに行う範囲選択手段(33)と、各画像上の選択した範囲より使用者の領域を抽出する領域抽出手段(34−1〜34−N)と、各画像より抽出した使用者の領域を身体部位ごとに分割する領域分割手段(35−1〜35−N)と、同一身体部位を含む複数画像に基づき使用者の各身体部位の3次元位置を求める位置検出手段(36)と、使用者の各身体部位の3次元位置を基に使用者の動作を推測する動作推測手段(37)とを有するものである。
【0008】また、本発明の動作認識プログラムを記録した記録媒体は、立体視眼鏡に取り付けられたセンサより3次元位置情報を受信すると共に、仮想現実システム内の上記使用者を含む空間の画像を取り込んだ複数のカメラより画像情報を受信する受信過程と、受信した各画像上において3次元位置情報が示す位置を特定する特定過程と、この特定された位置を基準点として所定の範囲を選択することを各画像ごとに行う範囲選択過程と、各画像上の選択した範囲より使用者の領域を抽出する領域抽出過程と、各画像より抽出した使用者の領域を身体部位ごとに分割する領域分割過程と、同一身体部位を含む複数画像に基づき使用者の各身体部位の3次元位置を求める位置検出過程と、使用者の各身体部位の3次元位置を基に使用者の動作を推測する動作推測過程とをコンピュータに実行させるための動作認識プログラムを記録したものである。
【0009】
【発明の実施の形態】[実施の形態の1]次に、本発明の実施の形態について図面を参照して詳細に説明する。図1は、本発明の第1の実施の形態となる仮想現実システムの構成を示すブロック図である。図1の仮想現実システムは、システム内に実在する使用者が装着する立体視眼鏡である液晶シャッタ眼鏡1と、磁界発生源であるトランスミッタ2と、システム全体を制御する入出力装置(動作認識装置)3と、映像をスクリーンに投影するためのプロジェクター4と、プロジェクター4からの光を反射する鏡5と、スクリーン6と、スクリーン6に囲まれた使用者を撮像する複数のカメラ7−1〜7−Nとから構成されている。なお、図1では、複数のカメラ7−1〜7−Nのうち、7−1,7−Nのみ記載している。
【0010】立体視を用いた仮想現実システムは、例えば前方のスクリーンの他に上下左右にもスクリーンを配置して、使用者を映像で囲むような構造になっている。使用者は、液晶シャッタ眼鏡1を装着するため、あたかもその世界の中に入り込んでいるかのような高い現実感を得ることができる。
【0011】液晶シャッタ眼鏡1は、天井から吊り下げられたケーブルによって入出力装置3と接続されている。この液晶シャッタ眼鏡1には、トランスミッタ2から発生した磁界を検出する磁気センサが取り付けられている。この磁気センサは、検出した磁界に基づいて自身の3次元位置を検出し、3次元位置情報を入出力装置3に送信する。入出力装置3は、磁気センサから送信された3次元位置情報とカメラ7−1〜7−Nから送信された画像情報とを受信した後、これらの情報に応じた映像データをプロジェクター4に出力する。
【0012】プロジェクター4は、入出力装置3から出力された映像データを光情報に変換して鏡5に投影する。鏡5は、プロジェクター4からの光を反射してスクリーン6に投影する。入出力装置3から出力される映像データは、左右の眼に異なる映像を提示するデータとなっており、この映像をスクリーン6に投影することにより、液晶シャッタ眼鏡1を装着した使用者に立体感を与え、立体感のある仮想空間を使用者に提示することが可能となる。
【0013】次に、以上のような仮想現実システムの動作を説明する。図2は、磁気センサ1a、カメラ7−1〜7−N、入出力装置3のブロック図、図3(a)は、磁気センサ1aの動作を示すフローチャート図、図3(b)は、カメラ7−1〜7−Nの動作を示すフローチャート図、図3(c)は、入出力装置3の動作を示すフローチャート図である。
【0014】液晶シャッタ眼鏡1に取り付けられた磁気センサ1aは、検出手段10と送信手段11とを備えている。検出手段10には、トランスミッタ2から発生した磁界により誘導電流が生じる。検出手段10は、この誘導電流に応じて自身の3次元位置、つまり使用者の頭部の3次元位置を検出する(ステップ100)。
【0015】送信手段11は、検出手段10によって検出された3次元位置情報を入出力装置3に送信する(ステップ101)。一方、スクリーン6に囲まれた空間を互いに異なる方向から撮像するように設置されたカメラ7−1〜7−Nは、それぞれ画像取込手段70−1〜70−Nと送信手段71−1〜71−Nとを備えている。
【0016】各カメラ7−1〜7−Nの画像取込手段70−1〜70−Nは、スクリーン6に囲まれた空間の画像を取り込む(ステップ102)。そして、送信手段71−1〜71−Nは、画像取込手段70−1〜70−Nによって取り込まれた画像情報を入出力装置3に送信する(ステップ103)。
【0017】次に、入出力装置3は、受信手段30と、特定手段31と、範囲データ記憶手段32と、範囲選択手段33と、領域抽出手段34−1〜34−Nと、領域分割手段35−1〜35−Nと、位置検出手段36と、動作推測手段37とを備えている。領域抽出手段34−1〜34−Nと領域分割手段35−1〜35−Nは、カメラ7−1〜7−Nごとに設けられている。
【0018】入出力装置3の受信手段30は、磁気センサ1aから送信された3次元位置情報とカメラ7−1〜7−Nから送信された画像情報とを受信する(ステップ104,105)。入出力装置3は、3次元位置情報と画像情報を受信しない場合、これらを受信するまで待機状態となる。
【0019】3次元位置情報と画像情報を受信すると、入出力装置3の特定手段31は、カメラ7−1〜7−Nから受信した各画像上において3次元位置情報が示す位置を特定する(ステップ106)。範囲データ記憶手段32は、特定手段31によって特定された位置を基準点とする所定の範囲を各画像から抽出するために、上記所定の範囲を定めた範囲データを記憶している。この範囲データは、使用者によって予め設定される。
【0020】範囲選択手段33は、特定手段31によって特定された位置を基準点として上記範囲データが指定する範囲を選択することを、各画像ごとに行う(ステップ107)。続いて、領域抽出手段34−1〜34−Nは、範囲選択手段33が選択した各画像中の範囲より使用者の領域をそれぞれ抽出する(ステップ108)。
【0021】使用者の領域を抽出するには、平滑化フィルタ処理により画像上のノイズを除去し、次に微分フィルタ処理によりエッジを求め、最後に2値化処理によって使用者の輪郭を抽出する。領域分割手段35−1〜35−Nは、領域抽出手段34−1〜34−Nによって抽出された使用者の領域を例えば右上腕、左上腕、右大腿、左大腿といった各身体部位ごとに分割する(ステップ109)。
【0022】こうして、使用者の各身体部位の画像がカメラ7−1〜7−Nの台数分だけ得られることになる。次に、位置検出手段36は、同一身体部位を含む複数画像に基づき使用者の各身体部位の3次元位置を求める(ステップ110)。動作推測手段37は、位置検出手段36によって得られた各身体部位の3次元位置により使用者の位置を推測する(ステップ111)。
【0023】使用者の動作を認識することができれば、この動作をスクリーン6に映る仮想空間に反映させることができる。例えば、入出力装置3は、使用者の動作に応じた人体がスクリーン6に投影されるように映像データを生成し、この映像データをプロジェクター4に出力する。これにより、使用者の動作を真似して動く人物がスクリーン6に投影される。
【0024】図4(a)は、従来の動作認識方法における画像処理対象領域を示す図、図4(b)は、本発明の動作認識方法における画像処理対象領域を示す図である。従来の画像処理を用いた動作認識方法では、図4(a)のようにカメラで撮影した画像中の全画素を画像処理の対象としていた。この場合、使用者の領域を抽出する処理に長時間を必要とし、さらに誤った動作認識をする場合もある。
【0025】本発明の動作認識方法では、使用者の頭部に装着された液晶シャッタ眼鏡1の磁気センサ1aで3次元位置を検出することにより、カメラ7−1〜7−Nで取り込んだ画像上で使用者の頭部があると推定される位置を特定でき、この位置を基準点として所定の範囲、すなわち使用者の身体があると推定される範囲を選択することができる。
【0026】こうして、本発明では、図4(b)のようにカメラ7−1〜7−Nで取り込んだ画像上で使用者の大まかな領域を把握し、画像処理の対象となる領域を限定する。したがって、画像処理の対象となる画素数が減るので、画像処理および解析に要する時間を短縮することができ、さらに動作認識の信頼性を向上させることができる。
【0027】[実施の形態の2]図5は、本発明の第2の実施の形態となる入出力装置3の構成を示すブロック図である。実施の形態の1の入出力装置(動作認識装置)3の構成はコンピュータで実現することができる。本実施の形態の入出力装置3は、CPU112、ROM(Read Only Memory)113、RAM(Random Access Memory )114、フロッピィディスク装置等の補助記憶装置115、ハードディスク装置等の大容量の補助記憶装置116、磁気センサ1aとのインタフェースとなるインタフェース装置117、カメラ7−1〜7−Nとのインタフェースとなるインタフェース装置118、プロジェクター4とのインタフェースとなるインタフェース装置119といった構成を有している。
【0028】図5の装置において、本発明の動作認識方法を実現させるためのプログラムは、フロッピィディスク、CD−ROM、メモリカード等の記録媒体に記録された状態で提供される。この記録媒体を入出力装置3の補助記憶装置115に挿入すると、媒体に記録されたプログラムが読み取られる。そして、CPU112は、読み込んだプログラムをRAM114あるいは補助記憶装置116に書き込み、このプログラムに従って図3(c)で説明したような処理を実行する。こうして、実施の形態の1と同様の動作を実現することができる。
【0029】
【発明の効果】本発明によれば、画像処理を用いて使用者の動作を認識するので、使用者の動きを制限することがなくなる。また、カメラで取り込んだ画像上で画像処理の対象となる領域を限定することができるので、画像処理および解析に要する時間を短縮することができ、動作認識の信頼性を向上させることができる。




 

 


     NEWS
会社検索順位 特許の出願数の順位が発表

URL変更
平成6年
平成7年
平成8年
平成9年
平成10年
平成11年
平成12年
平成13年


 
   お問い合わせ info@patentjp.com patentjp.com   Copyright 2007-2013