米国特許情報 | 欧州特許情報 | 国際公開(PCT)情報 | Google の米国特許検索
 
     特許分類
A 農業
B 衣類
C 家具
D 医学
E スポ−ツ;娯楽
F 加工処理操作
G 机上付属具
H 装飾
I 車両
J 包装;運搬
L 化学;冶金
M 繊維;紙;印刷
N 固定構造物
O 機械工学
P 武器
Q 照明
R 測定; 光学
S 写真;映画
T 計算機;電気通信
U 核技術
V 電気素子
W 発電
X 楽器;音響


  ホーム -> 計算機;電気通信 -> キヤノン株式会社

発明の名称 画像処理方法、画像処理装置
発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開2007−4716(P2007−4716A)
公開日 平成19年1月11日(2007.1.11)
出願番号 特願2005−187086(P2005−187086)
出願日 平成17年6月27日(2005.6.27)
代理人 【識別番号】100076428
【弁理士】
【氏名又は名称】大塚 康徳
発明者 野呂 英生
要約 課題
仮想空間中において所望とする箇所を静止した視点から見ることを可能とする技術を提供すること。

解決手段
観察者の視点の位置姿勢を取得する毎に、取得した位置姿勢のデータをメモリに上書きして格納し(S905)、第1の指示を検知した場合には、メモリに対する格納処理を行わないよう処理を制御し(S904)、メモリに格納されている位置姿勢を有する視点から見える仮想空間の画像を生成し(S906)、生成した画像を出力する(S908)。
特許請求の範囲
【請求項1】
観察者の視点の位置姿勢を取得する取得工程と、
前記取得工程で位置姿勢を取得する毎に、取得した位置姿勢のデータをメモリに上書きして格納する格納制御工程と、
第1の指示を検知した場合には、前記メモリに対する格納処理を行わないよう、前記格納制御工程による処理を制御する第1の制御工程と、
前記メモリに格納されている位置姿勢を有する視点から見える仮想空間の画像を生成する生成工程と、
前記生成工程で生成した画像を出力する出力工程と
を備えることを特徴とする画像処理方法。
【請求項2】
前記第1の制御工程で、前記メモリに対する格納処理を行わないよう、前記格納制御工程による処理を制御している場合に、
前記第1の指示とは異なる第2の指示を検知した場合には、前記メモリに対する格納処理を再開するよう、前記格納制御工程による処理を制御する第2の制御工程を更に備えることを特徴とする請求項1に記載の画像処理方法。
【請求項3】
更に、
前記視点から見える現実空間の画像を取得する画像取得工程を備え、
前記出力工程では、前記生成工程で生成した仮想空間の画像を、前記画像取得工程で取得した現実空間の画像上に重畳させて出力することを特徴とする請求項1又は2に記載の画像処理方法。
【請求項4】
観察者の視点の位置姿勢を取得する取得手段と、
前記取得手段が位置姿勢を取得する毎に、取得した位置姿勢のデータをメモリに上書きして格納する格納制御手段と、
第1の指示を検知した場合には、前記メモリに対する格納処理を行わないよう、前記格納制御手段を制御する第1の制御手段と、
前記メモリに格納されている位置姿勢を有する視点から見える仮想空間の画像を生成する生成手段と、
前記生成手段が生成した画像を出力する出力手段と
を備えることを特徴とする画像処理装置。
【請求項5】
コンピュータに請求項1乃至3の何れか1項に記載の画像処理方法を実行させることを特徴とするプログラム。
【請求項6】
請求項5に記載のプログラムを格納したことを特徴とする、コンピュータ読み取り可能な記憶媒体。
発明の詳細な説明
【技術分野】
【0001】
本発明は、現実空間の画像、特に現実空間に重畳させるための仮想空間の画像を生成するための技術に関するものである。
【背景技術】
【0002】
近年、複合現実感技術(MR(Mixed Reality)技術)がもてはやされつつある。複合現実感技術とは、実写とCGとを合成表示する為の技術である。例えば、眼前にCGの自動車が現れたり、3次元CAD(Computer Aided Design;以下3D−CAD)で設計中の電子炊飯器があったり、というような体験をさせるためのものである。
【0003】
工業製品製造業では近年、メカ設計や意匠設計に3D−CADを用いるようになってきている。そのため、従来行っていたような製品の実機モックアップ(模型)を用いたメカ検討や意匠検討を、実機モックアップを作成せずに、あるいは作成する前に、コンピュータ画面上に3Dモデルを表示することにより行うことが可能になってきている。
【0004】
このようなコンピュータ内部の仮想世界で再現された検討用3Dモデルのことをディジタルモックアップ(DM,あるいはDMU)、デジタルモックアップの映し出された画面を多人数で同時に観察し、検討を行うことをディジタルモックアップレビュー(DMR)と呼ぶ。
【0005】
DMRでは様々な角度から対象となる製品のディジタルモックアップの観察を行う。特定の部品を動かしたり、止めたりしながら、メカ機構・デザインの評価が最も有効な位置からディジタルモックアップを観察するために、コンピュータ内部のカメラの位置・姿勢を移動したりする。
【0006】
しかしながら、従来のDMRにおいては、ディジタルモックアップを撮影するコンピュータ内部の仮想世界のカメラの位置・姿勢を所望の場所に移動することが難しく、またコンピュータ内部という完全な仮想世界の画像しか観察できないので、ディジタルモックアップの大きさを把握しにくいという問題があった。
【0007】
そこで、MR技術を用いると、コンピュータ内部の仮想世界のカメラの位置・姿勢の移動は単に現実のカメラを移動するだけでよく、現実の世界の中に仮想のディジタルモックアップが重畳されて表示されるので、ディジタルモックアップの大きさを容易に把握できるという利点がある。そのため、DMRの分野において、MR技術は有望視されている。
【特許文献1】特開2005−107970号公報
【発明の開示】
【発明が解決しようとする課題】
【0008】
しかしながら、被験者が操作するカメラの位置・姿勢の動きにつられて複合現実世界のカメラの位置・姿勢も動いてしまう。そのため、観察する複合現実世界を静止した視点から観測することが困難となり、細かいメカ機構や意匠について多人数で観察するDMRでは、注目したい部分を注目しつづけるのが困難になる。さらに、ある視点から観察した複合現実世界内の特定部分を指示するのが困難、あるいは不可能となる。
【0009】
本発明は以上の問題に鑑みてなされたものであり、仮想空間中において所望とする箇所を静止した視点から見ることを可能とする技術を提供することを目的とする。
【課題を解決するための手段】
【0010】
本発明の目的を達成するために、例えば、本発明の画像処理方法は以下の構成を備える。
【0011】
即ち、観察者の視点の位置姿勢を取得する取得工程と、
前記取得工程で位置姿勢を取得する毎に、取得した位置姿勢のデータをメモリに上書きして格納する格納制御工程と、
第1の指示を検知した場合には、前記メモリに対する格納処理を行わないよう、前記格納制御工程による処理を制御する第1の制御工程と、
前記メモリに格納されている位置姿勢を有する視点から見える仮想空間の画像を生成する生成工程と、
前記生成工程で生成した画像を出力する出力工程と
を備えることを特徴とする。
【0012】
本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。
【0013】
即ち、観察者の視点の位置姿勢を取得する取得手段と、
前記取得手段が位置姿勢を取得する毎に、取得した位置姿勢のデータをメモリに上書きして格納する格納制御手段と、
第1の指示を検知した場合には、前記メモリに対する格納処理を行わないよう、前記格納制御手段を制御する第1の制御手段と、
前記メモリに格納されている位置姿勢を有する視点から見える仮想空間の画像を生成する生成手段と、
前記生成手段が生成した画像を出力する出力手段と
を備えることを特徴とする。
【発明の効果】
【0014】
本発明の構成により、仮想空間中において所望とする箇所を静止した視点から見ることができる。
【発明を実施するための最良の形態】
【0015】
以下添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。
【0016】
[第1の実施形態]
<従来のシステムについて>
先ず、MR技術を用いてDMRを行うための従来のシステムについて説明する。
【0017】
図1は、MR技術を用いてDMRを行うための従来のシステムの構成例を示す図である。
【0018】
観察者100の頭部には、頭部装着型表示装置(所謂HMD(HeadMount Display))110が装着されている。
【0019】
図2は、HMD110の構成を示す図である。
【0020】
HMD110は、LCD等の小型表示装置112と、小型ビデオカメラ111、及びプリズム114、115で構成される。本来ならば観察者100が見ているであろう現実空間は映像として小型ビデオカメラ111により撮像され、観察者100は小型表示装置112に表示される映像を見る。
【0021】
また、小型ビデオカメラ111により撮像された現実空間の画像は後段のコンピュータ140に対して出力する。なお、以下では、小型ビデオカメラ111を「観察者100の視点」と呼称する場合がある。
【0022】
位置姿勢センサ113はHMD110に一体となって取り付けられており、自身の位置姿勢を計測するものである。このような位置姿勢センサ113には、米国Polhemus社製FASTRAK(登録商標)等が利用可能である。なお、位置姿勢センサ113がFASTRAKの場合、トランスミッタ130、及び本体131と組み合わせて使用する。
【0023】
例えば、位置姿勢センサ113が磁気センサの場合、トランスミッタ130からは磁場が発生されるので、位置姿勢センサ113は自身の位置姿勢に応じた磁気を検知し、検知した結果を示す信号を本体131に出力する。本体131は、受けた信号に基づいて、位置姿勢センサ113の位置姿勢を示すデータを生成する。生成したデータは後段のコンピュータ140に対して出力する。このようにして取得される位置姿勢のデータは、現実空間中におけるトランスミッタ130の位置を原点とし、この原点で互いに直交する3軸ををそれぞれx、y、z軸とする座標系(センサ座標系)における位置姿勢を示すデータである。なお、位置姿勢センサを用いて位置姿勢センサ自身の位置姿勢を取得するための技術については周知のものであるので、これ以上の説明は省略する。
【0024】
また、同図において160は観察者100に対して複合現実空間を提示可能な領域を示すものであり、観察者100は同図160で示す領域内で現実空間と仮想空間とが合成された複合現実空間を体感することができる。従って、領域160内であれば、任意の位置姿勢、サイズでもって仮想物体を配置することができる。同図では、この複合現実空間の領域160内には現実物体170と仮想物体180とが存在している。
【0025】
コンピュータ140は、本体131から出力される位置姿勢のデータを用いて、観察者の視点から見える仮想空間の画像を生成する。そして生成した仮想空間の画像を、HMD110(厳密には小型ビデオカメラ111)から出力される現実空間の画像上に重畳させて、HMD110に備わっている小型表示装置112、及び後述する多人数向け表示装置120に対して出力する。領域160内における仮想物体180はこのコンピュータ140が生成したものである。
【0026】
多人数向け表示装置120は、観察者100以外の観察者に対しても、観察者100が観察する画像(小型表示装置112に表示されている複合現実空間の画像)を提供すべく、コンピュータ140から出力された画像を表示する。これにより、観察者100以外に、DMRに参加する参加者は、多人数向け表示装置120に表示される画像を観察しながら、メカ機構や意匠の検討を行うことができる。
【0027】
図3は、コンピュータ140を中心とした上記システムの機能構成を示した図である。同図に示す如く、コンピュータ140は、ビデオ映像取得部301、カメラ位置姿勢出力部302、CG・ビデオ表示部303、CG・ビデオ合成部304、CG生成部305により構成されている。また、カメラ位置姿勢出力部302内にはカメラ位置姿勢取得部302aが備わっている。
【0028】
カメラ位置姿勢取得部302aは、位置姿勢センサ113が計測した位置姿勢のデータを用いて、観察者100の視点の位置姿勢を示すデータ(CG描画用カメラ位置姿勢データ302b)を更新する処理を行う。ここで、周知の通り、位置姿勢センサ113と観察者100の視点との位置姿勢関係を予めバイアスデータとして求めておき、このバイアスデータと、位置姿勢センサ113が計測した位置姿勢のデータ(即ち、位置姿勢センサ113自身のセンサ座標系における位置姿勢のデータ)とを加算することで、視点の位置姿勢のデータを求めることができる。従って、CG描画用カメラ位置姿勢データ302bは、この視点の位置姿勢のデータであり、カメラ位置姿勢取得部302aは、位置姿勢センサ113が計測した位置姿勢のデータを取得する毎に、上述のようにして視点の位置姿勢のデータを求め、求めたデータでもってCG描画用カメラ位置姿勢データ302bを更新する処理を行う。
【0029】
CGデータ306は、仮想空間の画像を生成するために必要なデータ群であり、例えば仮想空間を構成する各仮想物体がポリゴンでもって構成されている場合には、ポリゴンの法線ベクトルデータ、ポリゴンを構成する各頂点の座標データ、ポリゴンカラーデータ、そしてこの仮想物体にテクスチャマッピングを施す場合には、テクスチャデータもこのCGデータ306に含まれることになる。なお、このCGデータ306は、上記ディジタルモックアップのデータであっても良いし、3D−CAD等で作成されたもの、あるいはそれを本システム向けに変換したものであっても良い。
【0030】
CG生成部305は、CG描画用カメラ位置姿勢データ302bと、CGデータ306とを用いて、観察者100の視点から見える仮想空間の画像を生成する。なお、所定の位置姿勢を有する視点から見える仮想空間の画像を生成する処理については周知のものであるので、これ以上の説明は省略する。
【0031】
ビデオ映像取得部301は、HMD110に備わっている小型ビデオカメラ111から出力された現実空間の画像を取得し、後段のCG・ビデオ合成部304に出力する。CG・ビデオ合成部304は、ビデオ映像取得部301から受けた現実空間の画像上に、CG生成部305が生成した仮想空間の画像を重畳させて、複合現実空間の画像を生成し、CG・ビデオ表示部303に出力する。
【0032】
CG・ビデオ表示部303は、受けた複合現実空間の画像を、HMD110に備わっている小型表示装置112や、多人数向け表示装置120に対して出力する。
【0033】
以上の構成により、観察者100の視点の位置姿勢に応じて見える複合現実空間の画像を生成し、HMD110に備わっている小型表示装置112や、多人数向け表示装置120に対して出力することができる。
【0034】
<本実施形態に係るシステムについて>
次に、本実施形態に係るシステムについて説明する。
【0035】
図4は、本実施形態に係るシステムの構成例を示す図である。図1と同じ部分については同じ番号を付けており、その説明は省略する。本実施形態に係るシステムは、図1に示した構成に加え、押しボタンスイッチ401がコンピュータ140に接続されている点が、従来と異なる。
【0036】
押しボタンスイッチ401は、観察者100が手に保持するものであり、例えば、観察者100が複合現実空間を観察していて、検討対象の仮想物体が最も観察しやすい位置姿勢に自身の視点を移動させ、小型表示装置112に検討対象の仮想物体が最も観察しやすい状態で表示されている時に押下するものである。押しボタンスイッチ401を押下すると、押下した旨を示す信号がコンピュータ140に出力される。
【0037】
図5は、本実施形態に係るシステムの機能構成を示すブロック図である。図3と同じ部分については同じ番号を付けており、その説明は省略する。図3に示した構成と異なるのは、コンピュータ140の機能構成が図3に示した構成に加え、イベント検出部501が更に付加されているとともに、カメラ位置姿勢取得部302aがカメラ位置姿勢取得部302cとなっている点にある。
【0038】
イベント検出部501は、押しボタンスイッチ401が押下された旨を示す信号を押しボタンスイッチ401から受けると、これを検知し、カメラ位置姿勢取得部302cに通知する。カメラ位置姿勢取得部302cの基本動作についてはカメラ位置姿勢取得部302aの動作に加え、イベント検出部501から通知を受けると、CG描画用カメラ位置姿勢データ302bの更新を停止する。即ち、押しボタンスイッチ401が押下されると、そのタイミングに応じてCG描画用カメラ位置姿勢データ302bの更新が停止するので、押しボタンスイッチ401が押下されたタイミング以降は同じ位置姿勢の視点から見える仮想空間画像が生成されることになる。即ち、静止した視点から見える仮想空間の画像を得ることができる。
【0039】
なお、再度押しボタンスイッチ401が押下されると、イベント検出部501は同様にカメラ位置姿勢取得部302cに対して通知を行い、カメラ位置姿勢取得部302cは、CG描画用カメラ位置姿勢データ302bの更新を再開する。つまり、押しボタンスイッチ401を押下する毎に、CG描画用カメラ位置姿勢データ302bの更新を行うか否かを切り替えることができる。
【0040】
図6は、押しボタンスイッチ401を押下する毎に、CG描画用カメラ位置姿勢データ302bの更新を行うか否かを切り替える様子を示すステートチャートを示す図である。
【0041】
コンピュータ140を起動したときには、カメラ位置姿勢取得部302cはCG描画用カメラ位置姿勢データ302bを更新するよう動作する。即ち、上述の通り、位置姿勢センサ113が計測した自身の位置姿勢のデータを本体131を介して受けると、受けたデータに基づいて視点の位置姿勢のデータを求め、求めたデータでもって、CG描画用カメラ位置姿勢データ302bを更新する。
【0042】
ここで、観察者100が押しボタンスイッチ401を押下すると、イベント検出部501は押下された旨をカメラ位置姿勢取得部302cに通知するので、カメラ位置姿勢取得部302cはCG描画用カメラ位置姿勢データ302bの更新を停止するよう動作する。即ち、上述の通り、位置姿勢センサ113が計測した自身の位置姿勢のデータを本体131を介して受けても、CG描画用カメラ位置姿勢データ302bに対しては何等操作しない。従って、イベント検出部501から通知を受けた以降はCG描画用カメラ位置姿勢データ302bは何等変化しない。
【0043】
従って、この状態で観察者100の視点の位置姿勢がどのように変化しようとも、CG描画用カメラ位置姿勢データ302bは何等変化しないので、小型表示装置112や多人数向け表示装置120に表示される複合現実空間の画像中における各仮想物体は静止した視点から見たものとなる。これにより、例えば、観察者100が、検討対象の仮想物体が最も観察しやすい位置姿勢に自身の視点を移動させ、そこで押しボタンスイッチ401を押下すると、多人数向け表示装置120には、押しボタンスイッチ401を押下した時点における観察者100の視点から見える仮想空間の画像が現実空間の画像に重畳された状態で表示されるので、この検討対象の仮想物体に対して多人数向け表示装置120の表示画面上で指し示すことが容易になり、多人数での検討が行いやすくなる。
【0044】
なお、再度押しボタンスイッチ401が押下されると、イベント検出部501は同様にカメラ位置姿勢取得部302cに対して通知を行い、カメラ位置姿勢取得部302cは、再度、CG描画用カメラ位置姿勢データ302bの更新を再開する。
【0045】
図8は、コンピュータ140のハードウェア構成を示す図である。なお、このようなコンピュータ140としては一般のPC(パーソナルコンピュータ)やWS(ワークステーション)等が適用可能である。
【0046】
801はCPUで、RAM802やROM803に格納されているプログラムやデータを用いてコンピュータ140全体の制御を行うと共に、コンピュータ140が行う後述の各処理を実行する。
【0047】
802はRAMで、外部記憶装置806からロードされたプログラムやデータを一時的に記憶するためのエリア、I/F807を介して受信した各種のデータを一時的に記憶するためのエリア、CPU801が各種の処理を実行するために用いるワークエリアなど、各種のエリアを適宜提供することができる。
【0048】
803はROMで、本コンピュータ140の設定データやブートプログラムなどを格納する。
【0049】
804は操作部で、キーボードやマウスなどにより構成されており、本コンピュータ140の操作者が操作することで、各種の指示をCPU801に対して入力することができる。この操作部804を上記押しボタンスイッチ401の代わりに用いても良い。
【0050】
805は表示部で、CRTや液晶画面などにより構成されており、CPU801による処理結果を画像や文字などでもって表示することができる。この表示部805を上記多人数向け表示装置120として用いるようにしても良い。
【0051】
806は外部記憶装置で、ハードディスクドライブ装置に代表される大容量情報記憶装置であって、ここにOS(オペレーティングシステム)や、コンピュータ140が行う各種の処理をCPU801に実行させる為のプログラムやデータ(上記バイアスデータやCGデータ306等を含む)が保存されており、これらは必要に応じてCPU801による制御に従ってRAM802にロードされる。
【0052】
807はI/Fで、ここに上記HMD110、本体131、多人数向け表示装置120、押しボタンスイッチ401等を接続することができ、これらの装置とのデータ通信はこのI/F807を介して行われる。なお、装置毎にI/F807を設けるようにしても良い。
【0053】
808は上述の各部を繋ぐバスである。
【0054】
次に、このようなコンピュータ140によって1フレーム分の複合現実空間の画像を生成する為の処理について、同処理のフローチャートを示す図9を用いて説明する。なお、同図のフローチャートに従った処理をCPU801に実行させるためのプログラムやデータは外部記憶装置806内に保存されており、これらは適宜CPU801による制御に従ってRAM802にロードされ、CPU801がこれを用いて処理を実行することで、コンピュータ140は以下説明する各処理を実行することになる。
【0055】
HMD110に備わっている小型ビデオカメラ111により撮像された現実空間の画像が順次I/F807を介して本コンピュータ140に入力されるので、CPU801は順次入力される各画像を、RAM802内のビデオバッファに格納する(ステップS901)。
【0056】
一方、本体131からは、位置姿勢センサ113の位置姿勢を示すデータがI/F807を介して本コンピュータ140内に入力されるので、CPU801は入力した位置姿勢のデータをRAM802内の所定のエリア、若しくは外部記憶装置806内に格納する(ステップS902)。なお、ステップS901における処理とステップS902における処理とはこの順に行われることに限定するものではないし、周知のマルチスレッド処理でもって並行して行うようにしても良い。
【0057】
そしてCPU801は、ステップS902で取得した位置姿勢のデータと、外部記憶装置806からRAM802にロードしたバイアスデータとを加算することで、視点の位置姿勢を求める(ステップS903)。このように、計測した位置姿勢から、視点の位置姿勢を求めるための処理については周知のものであるので、これに関する説明は省略する。
【0058】
次に、CPU801は、観察者100が押しボタンスイッチ401を押下した旨を示す信号が押しボタンスイッチ401からI/F807を介して本コンピュータ140に入力されたかをチェックし(ステップS904)、押下した旨を検知していない場合には処理をステップS905に進め、ステップS903で求めた視点の位置姿勢のデータを、RAM802内、若しくは外部記憶装置806内に設けられているエリア(以下、位置姿勢データ記憶エリアと呼称する)内に上書き格納することで、この位置姿勢データ記憶エリア内に格納されている「視点の位置姿勢のデータ」を更新する処理を行う(ステップS905)。
【0059】
そして、次に、CPU801は、外部記憶装置806からRAM802にロードしたCGデータ306と、位置姿勢データ記憶エリア内に格納されている「視点の位置姿勢のデータ」とを用いて、視点から見える仮想空間の画像を生成する処理を行う(ステップS906)。なお、コンピュータ140が画像処理専用のハードウェアを有している場合には、本ステップにおける処理はこの画像処理専用のハードウェアが行うようにしても良い。
【0060】
一方、押下した旨を検知した場合には処理をステップS904からステップS906に進める。即ち、押しボタンスイッチ401の押下を検知した場合には、ステップS905における処理は行わないので、ステップS906で生成する仮想空間の画像の視点は、従前に位置姿勢データ記憶エリア内に格納されている「視点の位置姿勢のデータ」に従ったものとなる。
【0061】
次に、CPU801は、ステップS901で上記ビデオバッファ内に格納した現実空間の画像上に、ステップS906で生成した仮想空間の画像を重畳させることで、複合現実空間の画像を生成し(ステップS907)、これをI/F807を介してHMD110に備わっている小型表示装置112、及び多人数向け表示装置120に対して出力する(ステップS908)。
【0062】
なお、図9のフローチャートに従った処理は、コンピュータ140に予め、視点の位置姿勢のデータを位置姿勢データ記憶エリアに格納するためのモード(第1のモード)を設定しておき、押しボタンスイッチ401が押下されると、視点の位置姿勢のデータを位置姿勢データ記憶エリアに格納しないモード(第2のモード)に切り替えるものとして説明している。
【0063】
また、第2のモードが設定されている場合に、押しボタンスイッチ401が押下された場合の処理については、図9のフローチャートにおいて、ステップS904における分岐先を逆にすればよい。即ち、押しボタンスイッチ401の押下を検知した場合には処理をステップS905に進め、検知していない場合には、処理をステップS906に進める。
【0064】
即ち、押しボタンスイッチ401を押下する毎に、第1のモードと第2のモードを交互に切り替えることになる。
【0065】
[第2の実施形態]
第1の実施形態では、押しボタンスイッチ401を押下する毎に、第1のモードと第2のモードとを交互に切り替えていたが、押しボタンスイッチ401以外のものを用いてモードを切り替えるようにしても良い。例えば、所定の音声を入力する毎にモードを切り替えるようにしても良いし、観察者100が所定のジェスチャを行い、コンピュータ140がこれを認識する毎にモードを切り替えるようにしても良い。
【0066】
また、第1の実施形態では図6に示す如く、視点の位置姿勢のデータを位置姿勢データ記憶エリアに格納することを禁止している際に、押しボタンスイッチ401が押下されると、視点の位置姿勢のデータを位置姿勢データ記憶エリアに格納する動作を再開する。しかし、図7に示す如く、視点の位置姿勢のデータを位置姿勢データ記憶エリアに格納することを禁止している際に、押しボタンスイッチ401が押下されると、直接、視点の位置姿勢のデータを位置姿勢データ記憶エリアに格納する動作を再開するのではなく、以下説明する処理を行う。
【0067】
即ち、視点の位置姿勢のデータを位置姿勢データ記憶エリアに格納することを禁止している際に、押しボタンスイッチ401が押下されると、押下を検知したタイミング近傍で求めた視点の位置姿勢のデータと、位置姿勢データ記憶エリアに格納されている視点の位置姿勢のデータとの差分値(位置同士の差分、姿勢同士の差分)を求め、位置同士の差分値、若しくは姿勢同士の差分が所定値以上である場合には、その差分値を1フレーム毎に所定量(例えば差分値の1/20)だけ減少させるよう、位置姿勢データ記憶エリアに格納されている視点の位置姿勢のデータを補正する。そして何れかの差分値、若しくは両方の差分値が所定値以下となった場合には、第1の実施形態と同様、視点の位置姿勢のデータを位置姿勢データ記憶エリアに格納する動作を再開する。
【0068】
また、第1の実施形態では、観察者100は自身の頭部にHMD110を装着し、このHMD110に備わっている小型表示装置112に表示されている複合現実空間の画像を観察しているが、観察者100もその他の観察者と同様に多人数向け表示装置120に表示されている画像を観察して同様の検討を行うために、以下のような変形例も考えられる。
【0069】
即ち、観察者100の頭部には少なくとも位置姿勢センサ113と小型ビデオカメラ111とを装着し、観察者100の視点から見える現実空間の画像、及び位置姿勢センサ113の位置姿勢のデータをコンピュータ140に出力する。コンピュータ140は上述の通り、観察者100の視点から見える複合現実空間の画像を生成するので、これを多人数向け表示装置120に対して出力する。
【0070】
これにより、観察者100はHMD110を介してではなく、多人数向け表示装置120を介して、自身の視点から見える複合現実空間の画像を観察し、その他の観察者と同様の検討を行うことができる。
【0071】
[その他の実施形態]
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体(または記憶媒体)を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
【0072】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0073】
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0074】
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【図面の簡単な説明】
【0075】
【図1】MR技術を用いてDMRを行うための従来のシステムの構成例を示す図である。
【図2】HMD110の構成を示す図である。
【図3】コンピュータ140を中心としたシステムの機能構成を示した図である。
【図4】本発明の第1の実施形態に係るシステムの構成例を示す図である。
【図5】本発明の第1の実施形態に係るシステムの機能構成を示すブロック図である。
【図6】押しボタンスイッチ401を押下する毎に、CG描画用カメラ位置姿勢データ302bの更新を行うか否かを切り替える様子を示すステートチャートを示す図である。
【図7】押しボタンスイッチ401を押下する毎に、CG描画用カメラ位置姿勢データ302bの更新を行うか否かを切り替える様子を示すステートチャートを示す図である。
【図8】コンピュータ140のハードウェア構成を示す図である。
【図9】1フレーム分の複合現実空間の画像を生成する為の処理のフローチャートである。




 

 


     NEWS
会社検索順位 特許の出願数の順位が発表

URL変更
平成6年
平成7年
平成8年
平成9年
平成10年
平成11年
平成12年
平成13年


 
   お問い合わせ info@patentjp.com patentjp.com   Copyright 2007-2013