Warning: copy(.htaccess): failed to open stream: Permission denied in /home/jp321/public_html/header.php on line 8
情報呈示装置及び情報呈示方法 - オリンパス株式会社
米国特許情報 | 欧州特許情報 | 国際公開(PCT)情報 | Google の米国特許検索
 
     特許分類
A 農業
B 衣類
C 家具
D 医学
E スポ−ツ;娯楽
F 加工処理操作
G 机上付属具
H 装飾
I 車両
J 包装;運搬
L 化学;冶金
M 繊維;紙;印刷
N 固定構造物
O 機械工学
P 武器
Q 照明
R 測定; 光学
S 写真;映画
T 計算機;電気通信
U 核技術
V 電気素子
W 発電
X 楽器;音響


  ホーム -> 写真;映画 -> オリンパス株式会社

発明の名称 情報呈示装置及び情報呈示方法
発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開2007−206619(P2007−206619A)
公開日 平成19年8月16日(2007.8.16)
出願番号 特願2006−28455(P2006−28455)
出願日 平成18年2月6日(2006.2.6)
代理人 【識別番号】100058479
【弁理士】
【氏名又は名称】鈴江 武彦
発明者 斉藤 明人 / 白井 虔
要約 課題
照明が十分にない場所でもライトなどの照明を用いることなく、マーカ等の特徴画像箇所を検出して、該特徴画像箇所に関連付けられた関連情報を、多数の作業者等の多数のユーザが同時且つ良好に確認できるように呈示可能とすること。

解決手段
情報呈示装置は、所定の撮影範囲を撮影するカメラを含む画像入力部10と、上記カメラが撮影した画像上で、所定の特徴画像箇所の一つであるマーカ26を検出するマーカ検出部12と、上記マーカ検出部12が検出したマーカ26に直接又は間接に関連付けられた関連情報を光学的に投影するプロジェクタを含む投影部24と、少なくとも上記プロジェクタが上記関連情報を投影していない期間において、上記プロジェクタが上記カメラの撮像範囲を照明する照明光を照射するように制御する色温度制御部22と、を備える。
特許請求の範囲
【請求項1】
所定の撮影範囲を撮影する撮影手段と、
上記撮影手段が撮影した画像上で、所定の特徴画像箇所を検出する検出手段と、
上記検出手段が検出した特徴画像箇所に直接又は間接に関連付けられた関連情報を光学的に投影する投影手段と、
少なくとも上記投影手段が上記関連情報を投影していない期間において、上記投影手段が上記撮像手段の撮像範囲を照明する照明光を照射するように制御する制御手段と、
を具備することを特徴とする情報呈示装置。
【請求項2】
上記投影手段が照射する照明光は、その色温度が一定になるように制御されていることを特徴とする請求項1に記載の情報呈示装置。
【請求項3】
上記色温度は、照明光が白色になるように制御されていることを特徴とする請求項2に記載の情報呈示装置。
【請求項4】
上記特徴画像箇所は、マーカであることを特徴とする請求項1に記載の情報呈示装置。
【請求項5】
光学的投影装置を使って、所定の範囲を照明するステップと、
上記照明された所定の範囲を撮影するステップと、
上記撮影した画像上で、所定の特徴画像箇所を検出するステップと、
上記所定の特徴画像箇所に直接又は間接に関連付けられた関連情報を、上記光学的投影装置を使って投影するステップと、
を具備することを特徴とする情報呈示方法。
発明の詳細な説明
【技術分野】
【0001】
本発明は、情報を呈示する情報呈示装置及び情報呈示方法に関する。
【背景技術】
【0002】
従来より、撮影した対象画像(マーカ像)を認識し、それによってその対象画像に関連する情報を呈示するシステムが各種提案されている。
【0003】
例えば、特許文献1には、画像入力手段の情報から撮影時の焦点距離と画像切出しサイズとから画角を得る光学情報手段、画角に基づいて撮影者位置及び撮影方向を算出する算出手段、を備えた画像情報付加装置と、一対の図柄を有した標識手段と、標識手段を撮像する方向と同一方向における背景画像とこれに付随する付随情報とを格納した情報格納手段と、を備えた画像情報付加システムであって、一対の図柄の撮影画像から撮影者位置と撮影方向を算出し、これに基づいて情報格納手段から入手した背景画像情報を加工処理して同一視野の背景画像情報を取得するとともに付随情報を取得し、同一視野の背景画像と付随情報を表示する画像情報付加システムが開示されている。
【0004】
また、特許文献2には、プロジェクタなどの画像投影手段を用いてマーカを投影するシステムが開示されている。
【特許文献1】特開2003−244488号公報
【特許文献2】特開2002−324239号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
従来の情報呈示装置では、ノートPCやPDA等を用いて、作業者に保守・点検等に必要な支援情報を、実際に撮影した対象物の画像に重畳呈示することが行われてきた。しかしながら、実際の作業現場で使用するには、PDA等では画面が小さくて、作業者が支援情報を確認するのに不便である。
【0006】
また、作業者が数名程度である場合には問題とはならないが、大勢の作業者がノートPCなどの画面上に呈示された支援情報を用いて同時に作業することは困難であった。
【0007】
そこで、対象物に情報を直接呈示する手段としてプロジェクタなどの画像投影手段で情報を投影する方法が考えられる。
【0008】
一方、照明が十分にない場所では、マーカを認識するためにライトなどの照明が必要となるという問題があった。
【0009】
本発明は、上記の点に鑑みてなされたもので、照明が十分にない場所でもライトなどの照明を用いることなく、マーカ等の特徴画像箇所を検出して、該特徴画像箇所に関連付けられた関連情報を、多数の作業者等の多数のユーザが同時且つ良好に確認できるように呈示可能な情報呈示装置及び情報呈示方法を提供することを目的とする。
【課題を解決するための手段】
【0010】
本発明の情報呈示装置の一態様は、
所定の撮影範囲を撮影する撮影手段と、
上記撮影手段が撮影した画像上で、所定の特徴画像箇所を検出する検出手段と、
上記検出手段が検出した特徴画像箇所に直接又は間接に関連付けられた関連情報を光学的に投影する投影手段と、
少なくとも上記投影手段が上記関連情報を投影していない期間において、上記投影手段が上記撮像手段の撮像範囲を照明する照明光を照射するように制御する制御手段と、
を具備することを特徴とする。
【0011】
また、本発明の情報呈示方法の一態様は、
光学的投影装置を使って、所定の範囲を照明するステップと、
上記照明された所定の範囲を撮影するステップと、
上記撮影した画像上で、所定の特徴画像箇所を検出するステップと、
上記所定の特徴画像箇所に直接又は間接に関連付けられた関連情報を、上記光学的投影装置を使って投影するステップと、
を具備することを特徴とする。
【発明の効果】
【0012】
本発明によれば、少なくとも投影手段が関連情報を投影していない期間において、投影手段を撮像手段の撮像範囲を照明する照明手段として使用することで、照明が十分にない場所でもライトなどの照明を用いることなく、マーカ等の特徴画像箇所を検出して、該特徴画像箇所に関連付けられた関連情報を、多数の作業者等の多数のユーザが同時且つ良好に確認できるように呈示可能な情報呈示装置及び情報呈示方法を提供することができる。
【発明を実施するための最良の形態】
【0013】
以下、本発明を実施するための最良の形態を図面を参照して説明する。
【0014】
[第1実施形態]
図1は、本発明の第1実施形態に係る情報呈示装置の構成を示す図で、該情報呈示装置は、画像入力部10、マーカ検出部12、位置姿勢検出部14、マーカ情報格納部16、関連情報生成部18、関連情報格納部20、色温度制御部22、及び投影部24から構成されている。
【0015】
ここで、上記画像入力部10は、所定の撮影範囲を有するカメラを含み、そのカメラによって対象物及びその対象物に固定された光学的な特徴を有する特徴画像箇所を撮影する。なお、本実施形態では、特徴画像箇所を、対象物に貼られているマーカ26とする。このマーカ26は、予め定められた形状の枠部と、その内部に記された文字を含む記号や意匠とから構成される。勿論、本発明は、そのようなマーカ26に限定されるものではなく、例えば、バーコード等の情報を符号化したシンボル、対象物を構成する直線、線分の交点、四角枠の少なくとも3頂点、等、光学的に識別可能な特徴を有するものであれば、どのような特徴画像箇所であっても構わない。
【0016】
上記画像入力部10のカメラにより取得した画像は、マーカ検出部12に入力される。このマーカ検出部12は、マーカ情報格納部16に格納されている情報に基づいて、入力された画像内から上記マーカ26の画像を検出し、対応するマーカ26を同定する。そして、その同定結果を位置姿勢検出部14に供給する。
【0017】
位置姿勢検出部14は、上記マーカ検出部12からの同定結果を用いて、マーカ情報格納部16に格納されている情報に基づいて、上記同定したマーカ26に対する画像入力部10のカメラの位置姿勢を検出し、関連情報生成部18に供給する。
【0018】
なお、マーカ情報格納部16には、マーカ26のテンプレート画像やマーカ26の属するエリア情報、マーカ26の配置されている位置姿勢情報等のマーカ26に関する情報が格納されている。
【0019】
関連情報生成部18は、上記位置姿勢検出部14で検出した上記画像入力部10のカメラの位置姿勢に応じて、関連情報格納部20から各マーカ26に直接又は間接に関連付けられた情報を抽出し関連情報を生成し、色温度制御部22に供給する。なお、関連情報格納部20には、モデル空間上に配置されたモデルの位置姿勢情報や形状情報、属性情報、色情報等の関連情報が格納されている。
【0020】
色温度制御部22は、上記関連情報生成部18から関連情報が供給されるまでの間、投影部24が、一定の色温度、例えば白色となるような照明光を投影し、上記関連情報が供給された後はその関連情報を投影するような情報を投影部24に供給する。
【0021】
投影部24は、上記画像入力部10のカメラに対して所定の位置姿勢で配置されたプロジェクタを含み、上記色温度制御部22から得られた情報を投影する。これにより、対象物の表面等に、関連情報の画像28が投影呈示される。なお、「カメラに対して所定の位置姿勢で配置されたプロジェクタ」とは、カメラとプロジェクタとの配置関係が固定された一体型の構成であっても良いし、別体であっても所定の位置姿勢で設置されたものであっても良い。また、位置姿勢関係が予め決められた位置姿勢に配置されていなくても、何らかの手法によってカメラに対するプロジェクタの位置姿勢が検出できるのであれば、その検出した位置姿勢をもって「所定の位置姿勢で配置された」と見なすことができる。
【0022】
図2は、本実施形態に係る情報呈示装置の動作フローチャートを示す図である。
【0023】
まず、色温度制御部22は、投影部24に対して、一定の色温度での投影するような情報を出力し、投影部24から投影を開始する(ステップS10)。この投影された情報が照明光として利用される。
【0024】
次に、画像入力部10のカメラでマーカ26を撮影した画像をマーカ検出部12に入力する(ステップS12)。マーカ検出部12では、画像内からマーカ26の予め定められた形状、本実施形態では四角枠である枠部を検出する(四角枠の検出は、公知の画像処理手法であるので、説明は省略する)。ここで、そのような枠部が検出できなければ、即ち、特徴画像箇所であるマーカ26が検出できなければ(ステップS14)、上記ステップS12に戻る。
【0025】
これに対して、特徴画像箇所が検出できたならば、次に、検出した四角枠の四隅の画像内での座標を検出し、四角枠の内部を抽出してアフィン変換を行い、アフィン変換後の画像とマーカ情報格納部16に予め登録してあるマーカ26のテンプレート画像とのパターンマッチングを行うことで、マーカ26の同定(この場合、マーカ26の枠部内部に記された記号や意匠が「50」のマーカであることの同定)を行う(ステップS16)。ここで、マーカ26のテンプレート画像と一致しない画像であれば、即ち、対象物の特徴画像箇所でなければ(ステップS18)、マーカ26として検出せずに、上記ステップS12に戻る。
【0026】
このように、特徴画像箇所であるマーカ26の検出ができない場合、あるいは対象物の特徴画像箇所ではない場合には、色温度制御部22は一定の色温度で出力し、投影部24は一定の色温度で投影を続ける。例えば、一定の色温度は、マーカ26が認識しやすい白色でも良いし、対象物である壁などの色に合わせて変更することも可能である。何れにしても、人間にとって対象物やマーカ26が視認可能となり、且つ、画像入力部10のカメラでマーカ26を撮影してマーカ検出部12で検出可能となるような、照明光として利用できる色温度であれば、どのようなものであっても構わない。
【0027】
そして、マーカ26が同定されると、マーカ情報格納部16から対応するマーカの空間定位情報(マーカ26の属するエリア情報、マーカ26の配置されている位置姿勢情報)を入手できるので、位置姿勢検出部14では、画像内でのマーカ26の四隅の位置から画像入力部10のカメラの位置姿勢を検出することが可能になる(ステップS20)。
【0028】
関連情報生成部18は、上記位置姿勢検出部14で検出した上記画像入力部10のカメラの位置姿勢に応じて、関連情報格納部20から予め設定された情報を抽出し関連情報を生成し、投影部24に供給する(ステップS22)。
【0029】
この時点で、色温度制御部22は、上記の一定の色温度での出力を中止し、上記関連情報生成部18から入力された関連情報を投影部24に対して出力する(ステップS24)。これにより、投影部24のプロジェクタから関連情報が対象物に対して投影される。
【0030】
例えば、図3(A)は、実空間における対象物30を示す図で、画像入力部10のカメラによって撮影されるマーカ26が固定されている。図3(B)は、関連情報格納部20に格納され、関連情報生成部18から生成される関連情報を示す図である。これは、上記対象物30の3次元モデル28Aと、該3次元モデルのモデル空間でマーカ26の下に配されたアノテーション情報28B(「エリア1」、「マーカ50」等)を含む。図3(C)は、このような関連情報を実空間に投影した状態を示している。
【0031】
以上のように、本第1実施形態に係る情報呈示装置では、マーカ26(特徴画像箇所)を認識して、当該マーカ26に関連する情報を投影部24のプロジェクタで投影するものとし、当該プロジェクタをマーカ26の照明手段としても利用している。即ち、色温度制御部22を設けて投影する色温度を制御し、投影部24を照明手段として使用できるようにしている。
【0032】
従って、投影部24のプロジェクタを照明手段として使用するため、他の照明手段を設ける必要がなくなり、また、そのようにマーカ26の検出前には照明手段として使用したプロジェクタを、検出後には関連情報の投影手段として使用することが可能となる。よって、照明が十分にない場所でもライトなどの照明を用いることなく、マーカ等の特徴画像箇所を検出して、該特徴画像箇所に関連付けられた関連情報を、多数の作業者等の多数のユーザが同時且つ良好に確認できるように呈示可能となる。
【0033】
[第2実施形態]
次に、本発明の第2実施形態を説明する。
【0034】
本第2実施形態に係る情報呈示装置の構成は、上記第1実施形態に係る情報呈示装置の構成と同様であるので、その説明は省略する。但し、本実施形態においては、色温度制御部22は、関連情報の内、特徴画像箇所については一定の色温度での出力を続ける機能を備えたものである。
【0035】
即ち、図3(B)に示したような関連情報を実空間に投影すると、図3(C)に示すように、マーカ26の部分にまで情報が投影されてしまう。すると、作業者はマーカ26を確認することができなくなる場合がある。また、何らかの要因で画像入力部10のカメラ及び投影部24のプロジェクタの設定位置が移動してしまうと、投影されている関連情報が干渉して、マーカ検出部12でのマーカ26の検出が困難となる。
【0036】
そこで、本実施形態では、色温度制御部22において、図3(B)に示すような関連情報生成部18から得られた関連情報に対して、図3(D)に示すように、マーカ26の部分については、一定の色温度での出力を続けるような情報に、上記関連情報生成部18からの関連情報を変形して、投影部24へ出力する。この場合、一定の色温度での出力を続ける部分の大きさは、上記マーカ26の大きさよりも若干大きくしておくことが好ましい。これにより、投影部24からは、図3(E)に示すように、このマーカ26の部分には照明光が当てられ、その他の部分には関連情報が投影されることとなる。
【0037】
以上のように、本第2実施形態に係る情報呈示装置では、関連情報の投影中にも、マーカ26の視認及び検出が可能となる。
【0038】
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。
【0039】
(付記)
前記の具体的実施形態から、以下のような構成の発明を抽出することができる。
【0040】
(1) 所定の撮影範囲を撮影する撮影手段と、
上記撮影手段が撮影した画像上で、所定の特徴画像箇所を検出する検出手段と、
上記検出手段が検出した特徴画像箇所に直接又は間接に関連付けられた関連情報を光学的に投影する投影手段と、
少なくとも上記投影手段が上記関連情報を投影していない期間において、上記投影手段が上記撮像手段の撮像範囲を照明する照明光を照射するように制御する制御手段と、
を具備することを特徴とする情報呈示装置。
【0041】
(対応する実施形態)
この(1)に記載の情報呈示装置に関する実施形態は、第1及び第2実施形態が対応する。
【0042】
(作用効果)
この(1)に記載の情報呈示装置は、少なくとも投影手段が関連情報を投影していない期間において、投影手段が撮像手段の撮像範囲を照明する照明光を照射する。
【0043】
従って、この(1)に記載の情報呈示装置によれば、照明が十分にない場所でもライトなどの照明を用いることなく、マーカ等の特徴画像箇所を検出して、該特徴画像箇所に関連付けられた関連情報を、多数の作業者等の多数のユーザが同時且つ良好に確認できるように呈示可能となる。
【0044】
(2) 上記投影手段が照射する照明光は、その色温度が一定になるように制御されていることを特徴とする(1)に記載の情報呈示装置。
【0045】
(対応する実施形態)
この(2)に記載の情報呈示装置に関する実施形態は、第1実施形態が対応する。
【0046】
(作用効果)
この(2)に記載の情報呈示装置によれば、色温度が一定であるので、人間にとって撮影範囲内が視認しやすく、また、検出手段にとっても特徴画像箇所を検出しやすい。
【0047】
(3) 上記色温度は、照明光が白色になるように制御されていることを特徴とする(2)に記載の情報呈示装置。
【0048】
(対応する実施形態)
この(3)に記載の情報呈示装置に関する実施形態は、第1実施形態が対応する。
【0049】
(作用効果)
この(3)に記載の情報呈示装置によれば、照明光が白色となるので、特徴画像箇所が認識しやすい。
【0050】
(4) 上記特徴画像箇所は、マーカであることを特徴とする(1)に記載の情報呈示装置。
【0051】
(対応する実施形態)
この(4)に記載の情報呈示装置に関する実施形態は、第1実施形態が対応する。
【0052】
(作用効果)
この(4)に記載の情報呈示装置によれば、既知のマーカ検出手法が利用でき、回路規模、ソフトウェア量などが少ない構成で実現することができる。
【0053】
(5) 光学的投影装置を使って、所定の範囲を照明するステップと、
上記照明された所定の範囲を撮影するステップと、
上記撮影した画像上で、所定の特徴画像箇所を検出するステップと、
上記所定の特徴画像箇所に直接又は間接に関連付けられた関連情報を、上記光学的投影装置を使って投影するステップと、
を具備することを特徴とする情報呈示方法。
【0054】
(対応する実施形態)
この(5)に記載の情報呈示方法に関する実施形態は、第1及び第2実施形態が対応する。
【0055】
(作用効果)
この(5)に記載の情報呈示方法は、光学的投影装置を使って、所定の範囲を照明し、その照明された所定の範囲を撮影した画像上で、所定の特徴画像箇所を検出して、その所定の特徴画像箇所に直接又は間接に関連付けられた関連情報を、上記光学的投影装置を使って投影する。
【0056】
従って、この(5)に記載の情報呈示方法によれば、照明が十分にない場所でもライトなどの照明を用いることなく、マーカ等の特徴画像箇所を検出して、該特徴画像箇所に関連付けられた関連情報を、多数の作業者等の多数のユーザが同時且つ良好に確認できるように呈示可能となる。
【図面の簡単な説明】
【0057】
【図1】図1は、本発明の第1実施形態に係る情報呈示装置の構成を示す図である。
【図2】図2は、第1実施形態に係る情報呈示装置の動作フローチャートを示す図である。
【図3】図3(A)は、実空間における対象物を示す図、図3(B)は、関連情報生成部から生成される関連情報を示す図、図3(C)は、関連情報を実空間に投影した状態を示す図、図3(D)は、本発明の第2実施形態に係る情報呈示装置における色温度制御部で変形された関連情報を示す図であり、図3(E)は、図3(D)の関連情報を実空間に投影した状態を示す図である。
【符号の説明】
【0058】
10…画像入力部、 12…マーカ検出部、 14…位置姿勢検出部、 16…マーカ情報格納部、 18…関連情報生成部、 20…関連情報格納部、 22…色温度制御部、 24…投影部、 26…マーカ、 28…関連情報の画像、 28A…3次元モデル、 28B…アノテーション情報、 30…対象物。




 

 


     NEWS
会社検索順位 特許の出願数の順位が発表

URL変更
平成6年
平成7年
平成8年
平成9年
平成10年
平成11年
平成12年
平成13年


 
   お問い合わせ info@patentjp.com patentjp.com   Copyright 2007-2013