米国特許情報 | 欧州特許情報 | 国際公開(PCT)情報 | Google の米国特許検索
 
     特許分類
A 農業
B 衣類
C 家具
D 医学
E スポ−ツ;娯楽
F 加工処理操作
G 机上付属具
H 装飾
I 車両
J 包装;運搬
L 化学;冶金
M 繊維;紙;印刷
N 固定構造物
O 機械工学
P 武器
Q 照明
R 測定; 光学
S 写真;映画
T 計算機;電気通信
U 核技術
V 電気素子
W 発電
X 楽器;音響


  ホーム -> 写真;映画 -> 株式会社リコー

発明の名称 画像表示装置、画像表示方法及びコマンド入力方法
発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開2007−11276(P2007−11276A)
公開日 平成19年1月18日(2007.1.18)
出願番号 特願2006−9260(P2006−9260)
出願日 平成18年1月17日(2006.1.17)
代理人 【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
発明者 平原 圭一郎 / 桜井 彰
要約 課題
現実の認識対象物を準備する煩わしさを回避することができ、物体の識別情報及び移動情報に応じて装置や表示画像を操作するコマンド入力方法、画像表示方法及び画像表示装置を提供すること。

解決手段
画像が投影される投影面又はその裏面に配置された物体41、又は、描画された図形を撮影する撮影手段14と、投影面11に投影される画像を生成する投影画像生成部24と、撮影手段14により撮影された撮像データから物体の識別情報、又は、図形の図形情報を抽出する画像抽出部21と、画像抽出部により抽出された物体の識別情報から物体の属性情報を取得する物体認識部22と、図形情報から図形の種別を認識する図形認識部26と、物体認識部が認識した属性情報、又は、図形認識部が認識した図形の種別又は図形の大きさに基づき、投影画像生成部を操作する操作処理部23と、を有することを特徴とする画像表示装置を提供する。
特許請求の範囲
【請求項1】
画像が投影される投影面又はその裏面に配置された物体、又は、描画された図形を撮影する撮影手段と、
前記投影面に投影される前記画像を生成する投影画像生成部と、
前記撮影手段により撮影された撮像データから前記物体の識別情報、又は、前記図形の図形情報を抽出する画像抽出部と、
前記画像抽出部により抽出された前記物体の前記識別情報から前記物体の属性情報を取得する物体認識部と、
前記図形情報から前記図形の種別又は大きさを認識する図形認識部と、
前記物体認識部が認識した前記属性情報、及び、前記図形認識部が認識した前記図形の種別又は図形の大きさに基づき、前記投影画像生成部を操作する操作処理部と、
を有することを特徴とする画像表示装置。
【請求項2】
前記操作処理部は、前記識別情報に対応づけて前記属性情報が記憶された属性情報記憶部を有し、
前記図形の種別又は大きさに基づき、前記属性情報記憶部に記憶された前記属性情報を定義する、
ことを特徴とする請求項1記載の画像表示装置。
【請求項3】
前記画像抽出部は、ビットマップ形式の前記撮像データから前記図形情報を抽出する、
ことを特徴とする請求項1記載の画像表示装置。
【請求項4】
前記画像抽出部が抽出する前記図形の前記図形情報は、描画された図形の2次元座標であることを特徴とする請求項1記載の画像表示装置。
【請求項5】
前記操作処理部は、前記物体認識部が取得した前記属性情報に基づき、前記物体の物体画像を生成するよう前記投影画像生成部を操作し、又は、
前記図形認識部が認識した前記図形の種別に基づき、前記図形の図形画像を生成するよう前記投影画像生成部を操作する、
ことを特徴とする請求項1記載の画像表示装置。
【請求項6】
前記図形認識部により認識された前記図形の種別が線分の場合、
前記操作処理部は、線分の一方の端点から所定の距離以下の位置に第1の物体が存在し、線分の他方の端点から所定の距離以下の位置に第2の物体が存在する場合、
第1の物体の前記属性情報に基づき第1の物体画像と第2の物体の属性情報に基づき第2の物体画像と、が連結された画像を生成するよう前記投影画像生成部を操作する、
ことを特徴とする請求項1記載の画像表示装置。
【請求項7】
前記物体の属性情報に応じた処理のための規則を参照して、前記属性情報に基づく処理を行う処理部を有し、
前記投影画像生成部は、前記処理部による処理の結果を示す画像を生成する、
ことを特徴とする請求項1又は2記載の画像表示装置。
【請求項8】
前記図形認識部により認識された前記図形の種別が片矢印の場合、
前記操作処理部は、矢印の始点から所定の距離以下の位置に第3の物体が存在し、矢印の終点から所定の距離以下の位置に第4の物体が存在する場合、
前記属性情報記憶部に記憶された第4の物体の前記属性情報を、第3の物体の前記属性情報により定義する、
ことを特徴とする請求項2記載の画像表示装置。
【請求項9】
前記図形認識部により認識された前記図形の種別が両矢印の場合、
前記操作処理部は、矢印の一方の端点から所定の距離以下の位置に第5の物体が存在し、矢印の他方の端点から所定の距離以下の位置に第6の物体が存在する場合、
前記属性情報記憶部に記憶された第5の物体の前記属性情報と、第6の物体の前記属性情報とを、入れ替えてそれぞれの前記属性情報を定義する、
ことを特徴とする請求項2記載の画像表示装置。
【請求項10】
前記図形認識部により認識された前記図形の種別が閉ループの場合、
前記操作処理部は、閉ループに囲まれた領域内に複数の前記物体が存在する場合、
複数の前記物体のうち所定の物体の属性情報により、前記属性情報記憶部に記憶された他の物体の属性情報を定義する、
ことを特徴とする請求項2記載の画像表示装置。
【請求項11】
前記図形認識部により認識された前記図形の種別が線分の場合、
前記操作処理部は、線分の一方の端点から所定の距離以下の位置に前記物体が存在する場合、前記物体の属性情報を表示する画像を生成するよう前記投影画像生成部を操作する、
ことを特徴とする請求項1記載の画像表示装置。
【請求項12】
前記図形認識部により認識された前記図形の種別が閉ループの場合、
前記操作処理部は、閉ループに囲まれた領域内に前記物体が一つ存在する場合、前記物体の属性情報を表示する画像を生成するよう前記投影画像生成部を操作する、
ことを特徴とする請求項1記載の画像表示装置。
【請求項13】
前記図形認識部により認識された前記図形の種別が閉ループの場合、
前記操作処理部は、閉ループの大きさが前記物体より所定以上大きい場合、前記物体の属性情報を表示する画像を生成するよう前記投影画像生成部を操作する、
ことを特徴とする請求項1記載の画像表示装置。
【請求項14】
前記図形認識部により認識された前記図形の種別が閉ループの場合、
前記操作処理部は、閉ループの大きさが前記物体より所定以上大きい場合、前記属性情報記憶部に記憶された当該物体の属性情報を定義することを禁止する、
ことを特徴とする請求項2記載の画像表示装置。
【請求項15】
前記図形認識部により認識された前記図形の種別が線分の場合、
前記操作処理部は、線分の一方の端点から所定の距離以下の位置に前記物体が存在する場合、線分の長さに応じて前記属性情報記憶部に記憶された前記物体に属性情報を定義する、
ことを特徴とする請求項2記載の画像表示装置。
【請求項16】
前記図形認識部により認識された前記図形の種別が片矢印の場合、
前記操作処理部は、前記矢印の始点から所定の距離以下の位置に前記物体が存在する場合、前記矢印の向きと長さの少なくとも一方に応じて前記属性情報記憶部に記憶された前記物体に属性情報を定義する、
ことを特徴とする請求項2記載の画像表示装置。
【請求項17】
前記図形認識部により認識された前記図形の種別が閉ループの場合、
前記操作処理部は、該閉ループに囲まれた領域内に前記物体が存在する場合、該閉ループ内の前記物体について、前記属性情報及び前記図形の種別に基づく前記投影画像生成部の操作を有効にする、
ことを特徴とする請求項1記載の画像表示装置。
【請求項18】
前記物体認識部は、前記物体の位置情報を取得する手段を有し、
前記図形認識部により認識された前記図形の種別が線分の場合、
前記操作処理部は、線分の一方の端点から所定の距離以下の位置に第7の物体が存在し、線分の他方の端点から所定の距離以下の位置に第8の物体が存在する場合、
第7又は第8の物体の回転又は角度の前記位置情報に応じて、前記属性情報記憶部に記憶された第7又は第8の物体の属性情報を定義する、
ことを特徴とする請求項2記載の画像表示装置。
【請求項19】
前記物体認識部は、前記物体の位置情報を取得する手段を有し、
前記図形認識部により認識された前記図形が閉ループの場合、
前記操作処理部は、前記閉ループの領域内に複数の前記物体が存在する場合、閉ループ内の前記物体の回転又は角度の前記位置情報に応じて、前記物体の属性情報を定義する、
ことを特徴とする請求項2記載の画像表示装置。
【請求項20】
前記物体認識部は、前記投影面又はその裏面における前記物体の所定の時間内の着脱回数を検出し、
前記操作処理部、又は、前記前記物体の属性情報に応じた処理のための規則を参照して、前記属性情報に基づく処理を行う処理部は、
前記着脱回数に基づき予め定められた処理を行い、当該処理結果を示す画像を生成するよう前記投影画像生成部を操作する、
ことを特徴とする請求項1記載の画像表示装置。
【請求項21】
前記図形認識部が描画された前記図形の消去を検出した場合、
前記操作処理部は、前記図形の種別に基づき定義された前記物体の属性情報を保持する、
ことを特徴とする請求項2ないし20いずれか記載の画像表示装置。
【請求項22】
前記図形認識部が描画された前記図形の消去を検出した場合、
前記操作処理部は、前記図形の種別に基づき定義された前記属性情報記憶部の前記属性情報を消去又は定義前の属性情報に戻す、
を特徴とする請求項2ないし20いずれか記載の画像表示装置。
【請求項23】
前記物体認識部が前記物体の移動を検出した場合、
前記操作処理部は、前記図形の属性情報に基づき定義された前記物体の前記属性情報を保持する、
ことを特徴とする請求項2ないし20いずれか記載の画像表示装置。
【請求項24】
前記物体認識部が前記物体の移動を検出した場合、
前記操作処理部は、前記図形の属性情報に基づき定義された前記属性情報記憶部の前記物体の前記属性情報を消去又は定義前の属性情報に戻す、
ことを特徴とする請求項2ないし20いずれか記載の画像表示装置。
【請求項25】
前記操作処理部は、
前記物体の属性情報が取得された後に前記図形の種別が取得された場合、又は、前記図形の種別が取得された後に前記物体の属性情報が取得された場合のいずれかに応じて、
前記属性情報記憶部の前記属性情報を定義するか否かを判定する、
ことを特徴とする請求項2ないし20いずれか記載の画像表示装置。
【請求項26】
前記操作処理部は、
前記物体の属性情報が取得された後に閉ループの図形が検出された場合、前記物体が取り除かれても前記閉ループの図形の図形画像を保持するよう前記投影画像生成部を操作し、又は、
閉ループの図形が検出された後に前記物体の属性情報が取得された場合、前記物体が取り除かれると前記閉ループの図形の図形画像を消去するよう前記投影画像生成部を操作する、
ことを特徴とする請求項2ないし20いずれか記載の画像表示装置。
【請求項27】
前記識別情報は、円状に配置された1次元バーコードである、ことを特徴とする請求項1ないし26記載の画像表示装置。
【請求項28】
前記1次元バーコードの終了点から開始点まで所定以上の長さの空白が配置される、ことを特徴とする請求項27記載の画像表示装置。
【請求項29】
前記物体認識部は、前記空白の位置に基づき前記物体の回転を検出する、ことを特徴とする請求項28記載の画像表示装置。
【請求項30】
前記物体認識部は、前記1次元バーコードを円周方向に走査し、前記識別情報を抽出する、ことを特徴とする請求項27又は28記載の画像表示装置。
【請求項31】
前記物体は、側面がミラー状の反射材により構成された円柱又は角柱の形状を有する、ことを特徴とする請求項1ないし30いずれか記載の画像表示装置。
【請求項32】
前記物体は、透明物質により構成された円柱又は角柱の形状を有する、ことを特徴とする請求項1ないし30いずれか記載の画像表示装置。
【請求項33】
前記投影画像形成部は、前記物体の周辺に、当該物体の外観を表す画像を投影することを特徴とする請求項31記載の画像表示装置。
【請求項34】
前記投影画像形成部は、前記物体の底面に、当該物体の情報を表す画像の上下反転画像を投影することを特徴とする請求項32記載の画像表示装置。
【請求項35】
前記投影画像形成部は、前記物体の底面の前記1次元バーコードがない領域に、当該物体の情報を表す画像を投影することを特徴とする請求項32記載の画像表示装置。
【請求項36】
画像が投影される投影面又はその裏面に配置された物体、又は、描画された図形を撮影する撮影ステップと、
前記撮影ステップにより撮影された撮像データから前記物体の識別情報、又は、前記図形の図形情報を抽出する画像抽出ステップと、
前記画像抽出ステップにより抽出された前記物体の前記識別情報から前記物体の属性情報を取得する物体認識ステップと、
前記図形情報から前記図形の種別又は大きさを認識する図形認識ステップと、
前記物体認識ステップにより認識した前記属性情報、又は、前記図形認識ステップにより認識した前記図形の種別又は大きさに基づき、前記投影面に投影される前記画像を生成する投影画像生成部を操作する操作処理ステップと、
を有することを特徴とする画像表示方法。
【請求項37】
前記操作処理ステップは、前記図形の種別に基づき、前記識別情報に対応づけて前記属性情報が記憶された属性情報記憶部の前記属性情報を定義する、
ことを特徴とする請求項36記載の画像表示方法。
【請求項38】
前記画像抽出ステップは、ビットマップ形式の前記撮像データから前記図形情報を抽出する、
ことを特徴とする請求項36記載の画像表示方法。
【請求項39】
前記画像抽出ステップが抽出する前記図形の図形情報は、描画された図形の2次元座標であることを特徴とする請求項36記載の画像表示方法。
【請求項40】
前記操作処理ステップは、前記物体認識部が取得した前記属性情報に基づき、前記物体の物体画像を生成するよう前記投影画像生成部を操作し、又は、
前記図形認識ステップにより認識した前記図形の種別又は大きさに基づき、前記図形の図形画像を生成するよう前記投影画像生成部を操作する、
ことを特徴とする請求項36記載の画像表示方法。
【請求項41】
前記図形認識ステップにより認識された前記図形の種別が線分の場合、
前記操作処理ステップは、線分の一方の端点から所定の距離以下の位置に第1の物体が存在し、線分の他方の端点から所定の距離以下の位置に第2の物体が存在する場合、
第1の物体の前記属性情報に基づき第1の物体画像と第2の物体の属性情報に基づき第2の物体画像と、が連結された画像を生成するよう前記投影画像生成部を操作する、
ことを特徴とする請求項36記載の画像表示方法。
【請求項42】
前記物体の属性情報に応じた処理のための規則を参照して、前記属性情報に基づく処理を行う処理ステップを有し、
前記投影画像生成部により、前記処理ステップによる処理の結果を示す画像を生成する、
ことを特徴とする請求項36又は37記載の画像表示方法。
【請求項43】
前記図形認識ステップにより認識された前記図形の種別が片矢印の場合、
前記操作処理ステップは、矢印の始点から所定の距離以下の位置に第3の物体が存在し、矢印の終点から所定の距離以下の位置に第4の物体が存在する場合、
前記属性情報記憶部に記憶された第4の物体の前記属性情報を、第3の物体の前記属性情報により定義する、
ことを特徴とする請求項37記載の画像表示方法。
【請求項44】
前記図形認識ステップにより認識された前記図形の種別が両矢印の場合、
前記操作処理ステップは、矢印の一方の端点から所定の距離以下の位置に第5の物体が存在し、矢印の他方の端点から所定の距離以下の位置に第6の物体が存在する場合、
前記属性情報記憶部に記憶された第5の物体の前記属性情報と、第6の物体の前記属性情報とを、入れ替えてそれぞれの前記属性情報を定義する、
ことを特徴とする請求項37記載の画像表示方法。
【請求項45】
前記図形認識ステップにより認識された前記図形の種別が閉ループの場合、
前記操作処理ステップは、閉ループに囲まれた領域内に複数の前記物体が存在する場合、
複数の前記物体のうち所定の物体の属性情報により、前記属性情報記憶部に記憶された他の物体の属性情報を定義する、
ことを特徴とする請求項37記載の画像表示方法。
【請求項46】
前記図形認識ステップにより認識された前記図形の種別が線分の場合、
前記操作処理ステップは、線分の一方の端点から所定の距離以下の位置に前記物体が存在する場合、前記物体の属性情報を表示する画像を生成するよう前記投影画像生成部を操作する、
ことを特徴とする請求項36記載の画像表示方法。
【請求項47】
前記図形認識ステップにより認識された前記図形の種別が閉ループの場合、
前記操作処理ステップは、閉ループに囲まれた領域内に前記物体が一つ存在する場合、前記物体の属性情報を表示する画像を生成するよう前記投影画像生成部を操作する、
ことを特徴とする請求項36記載の画像表示方法。
【請求項48】
前記図形認識ステップにより認識された前記図形の種別が閉ループの場合、
前記操作処理ステップは、閉ループの大きさが前記物体より所定以上大きい場合、前記物体の属性情報を表示する画像を生成するよう前記投影画像生成部を操作する、
ことを特徴とする請求項36記載の画像表示方法。
【請求項49】
前記図形認識ステップにより認識された前記図形の種別が閉ループの場合、
前記操作処理ステップは、閉ループの大きさが前記物体より所定以上大きい場合、前記属性情報記憶部に記憶された当該物体の属性情報を定義することを禁止する、
ことを特徴とする請求項37記載の画像表示方法。
【請求項50】
前記図形認識ステップにより認識された前記図形の種別が線分の場合、
前記操作処理ステップは、線分の一方の端点から所定の距離以下の位置に前記物体が存在する場合、線分の長さに応じて前記属性情報記憶部に記憶された前記物体に属性情報を定義する、
ことを特徴とする請求項37記載の画像表示方法。
【請求項51】
前記図形認識ステップにより認識された前記図形の種別が片矢印の場合、
前記操作処理ステップは、前記矢印の始点から所定の距離以下の位置に前記物体が存在する場合、前記矢印の向きと長さの少なくとも一方に応じて前記属性情報記憶部に記憶された前記物体に属性情報を定義する、
ことを特徴とする請求項37記載の画像表示方法。
【請求項52】
前記図形認識ステップにより認識された前記図形の種別が閉ループの場合、
前記操作処理ステップは、該閉ループに囲まれた領域内に前記物体が存在する場合、該閉ループ内の前記物体について、前記属性情報又は前記図形の種別に基づく前記投影画像生成部の操作を有効にする、
ことを特徴とする請求項36記載の画像表示方法。
【請求項53】
前記物体認識ステップにより、前記物体の位置情報を取得し、
前記図形認識ステップにより認識された前記図形の種別が線分の場合、
前記操作処理ステップは、線分の一方の端点から所定の距離以下の位置に第7の物体が存在し、線分の他方の端点から所定の距離以下の位置に第8の物体が存在する場合、
第7又は第8の物体の回転又は角度の前記位置情報に応じて、前記属性情報記憶部に記憶された第7又は第8の物体の属性情報を定義する、
ことを特徴とする請求項37記載の画像表示方法。
【請求項54】
前記物体認識ステップは、前記物体の位置情報を取得し、
前記図形認識ステップにより認識された前記図形の閉ループの場合、
前記操作処理ステップは、前記閉ループの領域内に複数の前記物体が存在する場合、閉ループ内の前記物体の回転又は角度の前記位置情報に応じて、前記物体の属性情報を定義する、
ことを特徴とする請求項37記載の画像表示方法。
【請求項55】
前記物体認識ステップは、前記投影面又はその裏面における前記物体の所定の時間内の着脱回数を検出し、
前記操作処理ステップ、又は、前記前記物体の属性情報に応じた処理のための規則を参照して前記属性情報に基づく処理を行う処理ステップは、
前記着脱回数に基づき予め定められた処理を行い、当該処理結果を示す画像を生成するよう前記投影画像生成部を操作する、
ことを特徴とする請求項36記載の画像表示方法。
【請求項56】
前記図形認識ステップが描画された前記図形の消去を検出した場合、
前記操作処理ステップは、前記図形の種別に基づき定義された前記物体の属性情報を保持する、
ことを特徴とする請求項37ないし55いずれか記載の画像表示方法。
【請求項57】
前記図形認識ステップが描画された前記図形の消去を検出した場合、
前記操作処理ステップは、前記図形の種別に基づき定義された前記属性情報記憶部の前記属性情報を消去又は定義前の属性情報に戻す、
ことを特徴とする請求項37ないし55いずれか記載の画像表示方法。
【請求項58】
前記物体認識ステップが前記物体の移動を検出した場合、
前記操作処理ステップは、前記図形の属性情報に基づき定義された前記物体の前記属性情報を保持する、
ことを特徴とする請求項37ないし55いずれか記載の画像表示方法。
【請求項59】
前記物体認識ステップが前記物体の移動を検出した場合、
前記操作処理ステップは、前記図形の属性情報に基づき定義された前記属性情報記憶部の前記物体の前記属性情報を消去又は定義前の属性情報に戻す、
ことを特徴とする請求項37ないし55いずれか記載の画像表示方法。
【請求項60】
前記操作処理ステップは、
前記物体の属性情報が取得された後に前記図形の種別が取得された場合、又は、前記図形の種別が取得された後に前記物体の属性情報が取得された場合のいずれかに応じて、
前記属性情報記憶部の前記属性情報を定義する、
ことを特徴とする請求項37ないし55いずれか記載の画像表示方法。
【請求項61】
前記操作処理ステップは、
前記物体の属性情報が取得された後に閉ループの図形が検出された場合、前記物体が取り除かれても前記閉ループの図形の図形画像を保持するよう前記投影画像生成部を操作し、又は、
閉ループの図形が検出された後に前記物体の属性情報が取得された場合、前記物体が取り除かれると前記閉ループの図形の図形画像を消去するよう前記投影画像生成部を操作する、
ことを特徴とする請求項37ないし55いずれか記載の画像表示方法。
【請求項62】
前記識別情報は、円状に配置された1次元バーコードである、ことを特徴とする請求項36ないし61いずれか記載の画像表示方法。
【請求項63】
前記1次元バーコードの終了点から開始点まで所定以上の長さの空白が配置される、ことを特徴とする請求項62記載の画像表示方法。
【請求項64】
前記物体認識ステップにより、前記空白の位置に基づき前記物体の回転を検出する、ことを特徴とする請求項63記載の画像表示方法。
【請求項65】
前記物体認識ステップにより、前記1次元バーコードを円周方向に走査し、前記識別情報を抽出する、ことを特徴とする請求項63又は64記載の画像表示方法。
【請求項66】
前記物体は、側面がミラー状の反射材により構成された円柱又は角柱の形状を有する、ことを特徴とする請求項36ないし65いずれか記載の画像表示方法。
【請求項67】
前記物体は、透明物質により構成された円柱又は角柱の形状を有する、ことを特徴とする請求項36ないし65いずれか記載の画像表示方法。
【請求項68】
前記投影画像形成ステップにより、前記物体の周辺に、当該物体の外観を表す画像を投影することを特徴とする請求項66記載の画像表示方法。
【請求項69】
前記投影画像形成ステップにより、前記物体の底面に、当該物体の情報を表す画像の上下反転画像を投影することを特徴とする請求項67記載の画像表示方法。
【請求項70】
前記投影画像形成ステップにより、前記物体の底面の前記1次元バーコードがない領域に、当該物体の情報を表す画像を投影することを特徴とする請求項67記載の画像表示方法。
【請求項71】
物体の識別情報に基づく属性情報、又は、描画された図形の種別若しくは大きさに基づき、所定の装置にコマンドを入力することを特徴とするコマンド入力方法。
【請求項72】
前記物体の識別情報、又は、前記図形の種別若しくは大きさは、撮影して取得されることを特徴とする請求項71記載のコマンド入力方法。
発明の詳細な説明
【技術分野】
【0001】
本発明は、物体の識別情報及び手書き図形に応じて情報機器やロボットなどの装置にコマンドを入力したり表示画像を操作することや、投影画像が表示される表示画面上に載置した物体を操作したり、表示画面にマーカ等を用いて描画することにより、投影画像に対してそれらの物体や描画に応じた変化が与えられる仕組みを構築し、マン・マシン・インタフェースを向上させたコマンド入力方法、画像表示方法及び画像表示装置に関する。
【背景技術】
【0002】
今日、コンピュータをはじめとする情報機器の高度化、多様化は目覚しいものがあり、情報機器を用いたさまざまシステムが開発、導入されている。しかしながら、そのようなシステムが普及すればするほど、それらシステム全体の機能的、かつ効率的なオペレーションの重要性が増大しつつある。そのため、システムを操作する人間と、システムを構成するコンピュータなどの情報機器の特性を考慮した調和のとれた、人間との親和性の高いシステムの構築が不可欠となっている。特に、人間と機械とが協力して複雑な仕事を効率的に処理するマンマシンシステムなどにおいては、ユーザインタフェース、特に入出力機器の操作性が重要な要素になっている。
【0003】
すなわち、人間がその感覚器を用いて知覚可能な情報による外部表現としての出力インタフェース、および人間がその手や体を用いて情報を操作可能にするための制御機構としての入力インタフェースが重要であるとされる。
【0004】
今日、GUI(グラフィカルユーザインタフェース)に対しマウスなどを用いたインタラクションが盛んに採用されている。しかしながら、それらGUIは、視覚、聴覚によるインタラクションであって、間接的な操作であり、直接的な操作性を高めるためには個々の情報特有な触覚的なフィードバックが必要であるという思想の下、「情報と物理世界を融合するタンジブル・ユーザ・インタフェース(Tangible User Interface)」が提唱されている。TUIにおいては、Tangible bitと称する物体による操作を可能にする仕組みが設けられている(非特許文献1参照)。
【0005】
また、Sense Tableと称する表示画面上に複数のワイヤレスな物体の位置と方向を電磁的に探知するシステムについて紹介し、さらに探知方法に関し、例えばコンピュータビジョンを導入した2つの改良例についても紹介されている。改良例の1つは、光の吸収や変化に反応することなく迅速かつ正確に物体を探知するシステムであり、他の改良例は、探知された物体がその状態を修正可能にする物理的なダイアルと修正器を備えたシステムである。なお、システムは、変化をリアルタイムに検出することができるようになっている(非特許文献2参照。)。
【0006】
そのほか、液晶プロジェクタの表示画面に画像を投影し、その表示画面の上方に設けた
カメラでその表示画面上に置かれた物体や手を認識するようにしたシステムも開示されて
いる。
【0007】
一方、仮想空間内のCG(コンピュータグラフィックス)で表されたモデル(仮想物体)の動きや形状を、認識対象の動きや位置などの情報を基に制御するバーチャル・リアリティーに関する技術開発が、映画や放送などの分野で盛んに行われている。
【0008】
しかしながら、仮想空間による臨場感を高めるためには特殊なウエアやジョイスティックなどの特殊な装置が必要となる上、仮想空間内の物体を制御して違和感なく仮想物体との融合を図るまでにはいたっていない。そこで、認識対象の位置と方向に関する情報を抽出し、その抽出された情報に基づいて、認識対象に対応する仮想空間内の制御対象を制御する技術が開示されている(特許文献1)。
【0009】
また、一般事業所においては、意思決定やアイデンティティー獲得を目的とする会議などの場において、プロジェクタや電子黒板などの投影型表示装置を用いて視覚に訴える方法が盛んに用いられている。しかしながら、TPO(Time Place Occation)に応じて、表示された画像に重畳させて文字や絵などを書き加えることや、書き加えられた文字などを電子データとして取り込む機能が必要であるとの根強い要望がある。
【0010】
このため、投影画像が表示される投影面に画像を書き込むことができる上、その書き込まれた画像を撮影する撮影部や元の画像に書き加えた画像を元の画像と合成する合成手段を設けたものがある(特許文献2参照)。
【特許文献1】特開2000−20193号公報
【特許文献2】特開2003−143348号公報
【非特許文献1】「タンジブル・ビット:石井 裕」IPSJ Magazine Vol.43No.3 Mar.2002
【非特許文献2】「Sensetable:James Patten,Hirosi Ishii,etc.」CHI2001,Mar.31−April52001,ACM Press
【発明の開示】
【発明が解決しようとする課題】
【0011】
しかしながら、文献1に開示された技術では、仮想空間内に動きのある対象物を表示させるためには、表示させたい現実の認識対象物を準備して、その現実の認識対象物を仮想空間内の対象物に与えたい動き通りに実際に動かしてやる必要がある。また、文献2に開示された技術では、投影面に書き込んだ画像そのものを表示することや、電子データとして保存することはできるが、投影されている画像を書き込んだ画像で操作することまではできない。
【0012】
本出願人は、上記事情に鑑み、現実の認識対象物を準備する煩わしさを回避することができる上、物体の識別情報及び移動情報に応じて装置や表示画像を操作するコマンド入力を可能にしたり、キーボードによるコマンド投入や、マウスによるメニュー選択を行うなどの煩わしい操作をすることなく、表示画面に所定形状を有する物体を置いて、人がその物体を移動させるだけの簡単な操作により、表示画面に表示された画像を操ることが可能なコマンド入力方法、画像表示方法及び画像表示装置を提案した。
【0013】
本出願は、既に出願したコマンド入力方法、画像表示方法及び画像表示装置を改良し、所定形状を有する物体に加え別の方法でもコマンドの入力が可能なコマンド入力方法、画像表示方法及び画像表示装置を提供することを目的とする。
【課題を解決するための手段】
【0014】
上記問題を解決するため、本発明は、画像が投影される投影面又はその裏面に配置された物体、及び、描画された図形を撮影する撮影手段と、投影面に投影される画像を生成する投影画像生成部と、撮影手段により撮影された撮像データから物体の識別情報、及び、図形の図形情報を抽出する画像抽出部と、画像抽出部により抽出された物体の識別情報から物体の属性情報を取得する物体認識部と、図形情報から図形の種別を認識する図形認識部と、物体認識部が認識した属性情報及び図形認識部が認識した図形の種別に基づき、投影画像生成部を操作する操作処理部と、を有することを特徴とする画像表示装置を提供する。
【0015】
本発明によれば、投影された画像に対して物体及び手書き図形により操作できる画像表示装置を提供できるので、人間の直感を生かした柔軟な操作が可能となる。
【0016】
また、本発明は、画像が投影される投影面又はその裏面に配置された物体、及び、描画された図形を撮影する撮影ステップと、撮影ステップにより撮影された撮像データから物体の前記識別情報、及び、図形の図形情報を抽出する画像抽出ステップと、画像抽出ステップにより抽出された物体の識別情報から物体の属性情報を取得する物体認識ステップと、図形情報から図形の種別を認識する図形認識ステップと、物体認識ステップにより認識した属性情報及び図形認識ステップにより認識した図形の種別に基づき、投影面に投影される画像を生成する投影画像生成部を操作する操作処理ステップと、を有することを特徴とする画像表示方法を提供する。
【0017】
また、本発明は、物体の識別情報に基づく属性情報、及び、描画された図形の種類に基づき、所定の装置にコマンドを入力することを特徴とするコマンド入力方法を提供する。
【発明の効果】
【0018】
既に出願したコマンド入力方法、画像表示方法及び画像表示装置を改良し、所定形状を有する物体に加え別の方法でもコマンドの入力が可能なコマンド入力方法、画像表示方法及び画像表示装置を提供することができる。
【発明を実施するための最良の形態】
【0019】
以下に、本発明のコマンド入力方法及び画像表示方法を適用した、本発明の画像表示装置の実施形態について説明する。
【0020】
〔第1の実施形態〕
図1(a)及び(b)は、本発明の画像表示装置の実施形態を示す概略図であり、図1(a)は概略斜視図、図1(b)は概略断面図を示す。
【0021】
図1に示すように、実施形態の画像表示装置は、矩形の平面部10を有し、デスク状の表示部1と、図示しない本体部2とを備えている。
【0022】
表示部1は、矩形の平面部10の中央部分に、内部から投影された画像が表示される矩形のスクリーン(本発明の表示画面に相当する。)11を備えている。
【0023】
また、図1(b)に示すように画像表示装置の表示部1は、中央部分にスクリーン11がはめ込まれた平面部10と、平面部10を支える筐体12と、筐体12内に設けられ、スクリーン11に画像を投影するプロジェクタ13と、スクリーン11の裏面側全体が視野角14aとなる位置に配置され、スクリーン11を裏面側から撮影するCCDカメラ(本発明の撮像部に相当する。)14とを備えている。
【0024】
筐体12内に配置されたCCDカメラ14と図示しない本体部2とはコードで接続され、筐体12内に配置されたプロジェクタ13と図示しない本体部(投影画像形成部)とは光学的に結合されている。
【0025】
スクリーン11は、2重構造をなし、スクリーンの裏面側には投影画像が投影される投影面11aが設けられ、スクリーンの表面側には水性ペンやホワイトボード用マーカなどを用いて描画可能な書き込み面11bが設けられ、投影面11aと書き込み面11bとは密着させて一体化されている。
【0026】
書き込み面11b及び投影面11aはともに透明であるが、投影面11aの書き込み面11bと密着する側の表面には微小な凹凸が設けてあり、投影面11aに画像が投影されると、その光はわずかに散乱して透過するので、書き込み面11bが設けられたスクリーン11表面側の上方の、いろいろな角度からその投影された画像を視認することができるように構成されている。
【0027】
ここで、書き込み面11bの表面には傷が付きにくいように、透明保護シートを被覆することにしてもよく、また透明な塗料などによりコーテイングすることにしてもよい。
【0028】
本体部2は、CCDカメラ14で撮影された物体の底面の撮像を認識して物体の情報(識別情報および移動情報のうちの何れか一方または双方)を取得し、取得された情報に応じてプロジェクタ13からスクリーン11の裏面側に投影される投影画像を操作することができる。
【0029】
なお、本体部2は、本実施形態の画像表示装置専用に作成されたものであっても、パーソナルコンピュータに所定のソフトウエアがインストールされたものであってもよく、さらに、筐体12内に配置されたものであってもよい。
【0030】
プロジェクタ13は、反射ミラーやビームスプリッターなどの光学系により本体部2のディスプレイと結合され、本体部2で形成された所望の画像をスクリーン11の投影面11aに投影することができる。
【0031】
CCDカメラ14は、例えばUSB(ユニバーサル・シリアル・バス)インタフェースを介して本体部2にコードで接続され、スクリーン11の表面側、すなわち書き込み面11aに載置された物体や描画された図形などをスクリーン11の裏面側、すなわち投影面11a側から所定の時間間隔で連続撮影し、撮像データを得ることができる。
【0032】
本実施の形態の画像表示装置について、図2の機能図と図3のフローチャート図に基づき説明する。本体部2で形成された画像は、プロジェクタ13によってスクリーン11の裏面側に投影され、スクリーン11の表面側にいる人は、その投影された画像を視認することができる。
【0033】
また、ユーザが書き込み面11bに書き込みを行うと、本体部2はCCDカメラ14がスクリーン11を撮影し、ユーザの書き込みを画像データ(例えばビットマップデータ)として取得する。
【0034】
続いて、本体部2の構成について図に基づき説明する。図2に示すように、本体部2は、画像抽出部21、投影画像形成部24、物体認識部22、図形認識部26、操作処理部23、アプリケーション(処理部)24a、とを有する。
【0035】
画像抽出部21は、CCDカメラ14で撮影された撮像の撮像データを2値化し、物体が載置されたスクリーン11上の位置、底面の輪郭および識別コードを抽出する。投影画像生成部24は、プロジェクタ13とのインタフェースを有し、プロジェクタ13によりスクリーン11の裏面側から投影される画像を、所定のアプリケーション・プログラム24aに従って形成する。物体認識部22は、画像抽出部21により抽出された識別コードを、予めメモリに記憶されたパターン認識用辞書とパターンマッチングを行い、その物体の識別情報及び物体の方向に関する情報を得る。図形認識部26は、マーカなどを用いてユーザに手書きされた図形や線に関する情報を抽出し図形情報から図形や線に関する情報から特徴を抽出して、その図形や線が例えば直線(線分)、円形、波形、方形など図形の種別や大きさを認識する。操作処理部23は、物体認識部22で得た識別情報及び物体の方向に関する情報、並びに、図形認識部26が認識した図形の種別や大きさに基づいて、投影画像形成部24で所定のアプリケーション・プログラム24aに基づいて形成される画像に新たなコンテンツやアクションを加えてプロジェクタから投影される画像を操作する。
【0036】
なお、アプリケーション24aは、特許請求の範囲における処理部に相当し、後述のように物体の属性情報に応じた処理のための規則を参照して、属性情報に基づく処理を行う。物体の属性情報について詳細は後述するが、属性情報とは、スクリーン11に物体が認識されたときに行われるコンピュータの表示や処理の内容が物体の識別情報に対応づけて定義されたものである。
【0037】
投影画像形成部24がアプリケーション・プログラム24aに従って形成された画像をプロジェクタ13に送ると、プロジェクタ13はスクリーン11の裏面側にその画像を投影する。投影された画像は、スクリーン11の表面側から視認することができる。投影された画像は、スクリーン11の表面側から視認することができるので、その画像を視認した人が、そのスクリーン11の表面側に予め準備された複数の物体を配置する。
【0038】
図3に示す画像表示装置が行う処理の流れによれば、CCDカメラ14により投影面11aが撮像され(S1)、撮像データが画像抽出部21に送出される。画像抽出部21は、手書き図形と物体とを撮像データから切り出し、手書きデータを図形認識部26に送出する(S2)。
【0039】
また、物体認識部22は、物体が撮像された撮像データから物体の識別コードに基づき物体を認識し、物体の属性情報を取得する(S3)。
【0040】
図形認識部26は、図形認識部26は、抽出された図形や線に関する情報から特徴を抽出して、線分、円形、波形、方形など図形の種別を認識する(S4)。
【0041】
操作処理部23は、後述するように、物体の属性情報と図形の種別に基づき、投影画像生成24を操作する(S5)。また、投影画像生成部24は、アプリケーション・プログラム24aに従って形成された画像を操作して、プロジェクタ13から投影面に投影するS6)。以下、各ステップの処理を詳細に説明する。
【0042】
〔S1〜S2〕
CCDカメラ14により撮像された撮像データには、物体の底面と手書き図形とが混在している。このため、画像抽出部21は、物体の画像と手書き図形とを分離する。後述のように、物体の識別コードを構成する色や手書き図形を書くペンの色は既知であるので、物体に該当する撮像データの部分と物体でない撮像データの部分とを判別できる。
【0043】
まず、画素を全て白で初期化してある手書き図形を認識するための画素メモリを用意する。画像抽出部21は、取得された撮像データの画素のRGB情報を1画素ずつ取得する。各画素においてG値が例えば180(画素値は0〜255の値を取るものとする)以上であれば背景色であると判定し、撮像データの画素を白に置き換え、すなわち当該画素をRGB(255、255、255)に設定する。なお、判定のためのG値は周囲の環境や装置の構成要素によって適切な値とする。
【0044】
G値が100<G<180の場合、手書き図形であると判定して、画素メモリの対応する画素を黒すなわちRGB(0、0,0)に設定し、撮像データの画素を白すなわちRGB(255、255、255)に設定する。またG値が100以下の場合、撮像データの画素を黒すなわちRGB(0、0,0)に設定する。
【0045】
したがって、かかる処理により、撮像データには物体の撮像データが、画素メモリには手書き図形の撮像データが、それぞれ切り分けられる。
【0046】
なお、例えば、物体底面のパターンを手書き図形から分割して、物体と手書き図形の撮像データを切り分けてもよい。図4は、物体底面のパターンを分離する図を示す。物体4の底面の大きさは既知(例えば48ピクセル×48ピクセル)であるので、48×48ピクセルの四角形に内接する円形をなすものは底面画像と見なすことで、物体底面のみを含む画像と手書き図形のみを含む画像とに分割できる。
〔S3〕
画像抽出部21が抽出した物体の撮像データには物体底面の識別コードが写っている。 物体認識部22は、その撮像データを解析して物体の配置位置、底面の輪郭および識別コードの情報を抽出する。そして、抽出された情報は、物体認識部22に送られる。このとき、物体の底面の輪郭の情報は、投影画像形成部24にも送られる。投影画像形成部24は、その情報により物体がスクリーン11上に載せられたことを検出することができるので、投影面11aの、その物体の底面を含む領域が一様に白くなるような光画像を所定の時間間隔でプロジェクタ13に送る。
【0047】
このように物体の底面を含む領域が一様に白くなるような光画像が投影されることにより、CCDカメラ14により撮像された撮像データは、2値化されたときに物体の底面の輪郭や識別コードの情報をより鮮明に捉えることができる。
【0048】
物体認識部22は、画像抽出部21により抽出された識別コードにより、パターン認識用辞書を用いて物体の識別情報を取得することができるので、その識別情報に応じた所定のデータを操作処理部23に送る。操作処理部23は、図形の種別と共にその送られたデータをアプリケーション・プログラム24aに加え、投影画像形成部24又は投影画像形成部24により形成される画像を操作する。
【0049】
なお、「画像を操作する」とは、スクリーン11にすでに投影されている画像に、物体の識別コードに応じた新たな画像を重畳させることや、新たな画像を単独で表示させること、又はスクリーン11に載せた物体を人手で移動させたときに、その物体の動きを認識した移動情報に応じてスクリーン11にすでに投影されている画像に動きを与えることを意味する。具体的には、操作処理部23からコンテンツの素材データ及びアクションデータを投影画像形成部24に送り、投影画像形成部24におけるアプリケーション・プログラム24aにそれらのデータを加えることにより、識別コードに対応する新たな物体の画像が重畳され、あるいは、すでに形成されている画像に、物体を人手で移動させた物体の軌跡に応じた動きが与えられる。
【0050】
図5は、物体5の底面に付された識別コードの例を示す図である。識別コードは2次元コードの一形態である。図5に示すように、物体5の底面は、物体がスクリーン11の表面側、すなわち書き込み面11b上に載置されたことが容易に検出することができるような輪郭5a、例えば閉じた形状となる円形をなし、その輪郭5aの内側に識別コード6が配置されている。
【0051】
ただし、例えば図5(a)に9つの小方形からなる方形が識別コード6になっているときは、その識別コード6が回転したときに、CCDカメラ14による撮像データによって同一被写体と認識される関係にある、図5(b)に示すような3種類の形状(例えば、9つの小方形からなる方形6a、5つの小方形を交互に配置した図形6b、3つの小方形を直列に配置した矩形を平行に配置した図形6c)は、識別コードに採用することができない。また、図5(c)に示す6つの小方形からなる矩形と直線とからなる2種類の図形6d,6eのように、それぞれの物体が回転したときにCCDカメラ14による撮像データによって同一被写体と認識される関係にあるものも識別コードとして採用することができない。
【0052】
図6は、CCDカメラ(本発明の撮像部)により撮影された本実施形態の物体の底面の
一例を示す模式図である。図6(a)は、スクリーンの表面側に物体を載置したときの物体の底面を撮影した撮像を示す図であり、図6(b)は、スクリーンの投影面全体が白くなるようにして物体の「底面」5を撮影した撮像を示す図であり、図6(c)は、スクリーンの表面側に物体を載置するとともに、書き込み面に「線(矢印)」を描画したときの物体の「底面」5および「線」7を撮影した撮像を示す図であり、図6(d)は、スクリーンの投影面全体が白くなるようにして物体の「底面」5および「線」7を撮影した撮像を示す図である。
【0053】
本実施の形態では、ロッドインテグレータを光源に採用したプロジェクタを用いているので、スクリーンの投影面全体を白くして撮影したときは、ハイライト部に「矩形の黒」8が表示される。ただし、「底面」5および「線」7とは十分濃度差があり、「底面」5および「線」7をそれぞれ認識可能である。
【0054】
このように、スクリーンの投影面を一時的に白くすると、スクリーンの表面側に載せら
れた物体の底面を確実に捉えることができる。
【0055】
図7は、図6(b)において、スクリーンの投影面全体が白くなるようにして物体の底面を撮影して得た撮像データを、所定の閾値で2値化した後に表示された「底面」5を示す図である。
【0056】
図7に示すように、撮像データを所定の閾値で2値化すると、例えばロッドインテグレータを光源に採用したプロジェクタを用いることにより表示されるハイライト部の矩形の黒部分やその他のノイズをカットすることができるので、底面の輪郭と位置を正確に捉えることができる。
【0057】
図8は、撮像データに、文字切り出し技術を適用した例を示す模式図である。図8に示すように、撮像データをX方向に射影したX方向濃度ヒストグラム50とY方向に射影したY方向濃度ヒストグラム51を作成し、物体が載置された底面の位置、輪郭および識別コードを捉えることができる。
【0058】
図7及び図8では物体が静止した状態を示しているが、プロジェクタ13から所定の時間ごとにスクリーン11の投影面11a全体あるいは所定領域を白くして、CCDカメラ14で撮影し、各時間毎に得られた撮像データの差分を求めることや、物体の底面の各点の移動ベクトルを求めることなどの周知の方法を用いて、物体が移動する時の移動情報を得ることもできる。
【0059】
ここで、移動する物体の底面を、一定の時間毎に投影面11aの所定領域を白くしてCCDカメラ14で撮影すると、残光などによりちらつきが目立つ場合がある。その場合には、投影面11aを白くする前に、通常の画像が表示された状態における撮像データによって物体の位置を検出し、物体が検出された後に投影面11a全体を一定時間白くして撮影することや、物体が存在する領域のみを継続的に白くして撮影することによって対処することが可能である。
【0060】
図9は、物体認識部22の詳細を示す図である。図9に示すように物体認識部22は、画像抽出部21から、物体の配置位置、底面の輪郭および識別コードの情報を受け取り、例えばテンプレートマッチングを用いて物体の識別情報と物体の方向に関する情報を得るパターン照合部22aと、いろいろな方向を向いた識別コードの撮像データを記録し、各撮像データと識別コードにより表される識別情報とを対応させたパターン認識用辞書を用意し、パターン照合部22aにおけるパターンマッチングに用いるパターン認識用辞書22bと、所定の時間間隔で所得された撮像データに基づいて物体の移動方向を演算する方向演算部22cとを備えている。
【0061】
ここで、パターン認識用辞書22bは、スクリーンに載置された物体の向きを変化させて底面の識別コードを撮影した撮像から作成されているが、必ずしもこの方法に限定する必要はなく、物体の向きを変化させることなく撮影されたものにより作成してもよい。その場合、画像抽出部21から受け取った物体の識別コードの情報を所定の角度ずつ回転させてパターンマッチングさせてもよい。また、パターン認識を高速で行う場合には、パターン認識用辞書22bに、底面を回転させた場合の撮像データも記録することにより、識別コードと物体の方向を同時に認識することができる。なお、方向分解能をnとすれば、パターン認識用辞書22bに記録されるデータもn倍になるが、識別コードは画像の操作用であり、100種類程度設ければよいのでパターンマッチングに要する時間に対する影響はほとんど認められない。さらに、例えば類似度が高い2つの識別コードの方向に関するデータは類似度に応じて内挿法を適用することにより方向に関する精度を向上させることができる。
【0062】
すなわち、識別コード1の類似度をr1、方向をd1とし、識別コード2の類似度をr2、方向をd2とすれば、求める方向dは、
d=(r1×d1+r2×d2)/(r1+r2)で求めることができる。
【0063】
パターン照合部22aは、パターン認識用辞書22bを参照し、画像抽出部21から受け取った物体の識別コードの情報から、類似度の高い上位2つの方向の情報を取得し、取得した2つの方向の情報を方向演算部22cに渡す。
【0064】
方向演算部22cは、所定の時間間隔で所得された撮像データそれぞれから抽出された物体の配置位置の情報、および物体の方向の情報に基づいてそれぞれの時間に撮影された物体の底面の移動ベクトルを求め、その移動ベクトルから、それぞれの時間における移動方向および移動距離を求める。
【0065】
ここでは、移動ベクトルを用いているが、これに限定されず、例えば差分画像を利用して求めることもできる。
【0066】
画像抽出部21により抽出された物体の位置情報、パターン照合部22aにより取得された識別コード、および方向演算部22cにより求められた移動方向の情報は操作処理部23に送られ、操作処理部23は送られた情報を基に、プロジェクタ13からスクリーン11に投影される画像を形成する投影画像形成部24にデータを送り、スクリーンに11投影される画像を操作することができる。
【0067】
スクリーン11に投影される画像の操作は、スクリーン11の表面側に設けられた書き込み画面11bに水性ペンやマーカを用いて描画することによっても行うことができる。
【0068】
本実施形態の画像表示装置に用いる物体の底面には予めパターンが登録された識別コードが付されているが、必ずしも識別コードである必要はない。また、底面には、必ずしも識別子を付す必要はなく、底面の形状などによって夫々の識別情報が認識できるようにしてもよい。
【0069】
また、識別コードの撮影時にはスクリーンの投影面を白くしているが、投影される画像
の状態や、底面及び識別コードと画像とのコントラスト、それぞれからの反射光の波長域
とCCDカメラの感度如何によっては、必ずしも投影面を白くする必要はない。
【0070】
〔S4〕
図2に戻って説明する。図形認識部26は、画像抽出部21により2値化処理して取得されたビットマップ画像に基づき、手書き図形を解析する。なお、撮像データを投影画像形成部24にも送出してもよい。投影画像形成部24は、その情報により書き込み面11bに書き込みがあったことを検出することができるので、所定の時間間隔で投影面11aを一様に白いような光画像で表示するようプロジェクタ13を制御する。
【0071】
このように書き込み面11bの領域が一様に白くなるような光画像が投影されることにより、CCDカメラ14により撮像された撮像データは、2値化されたときにユーザの書き込みをより鮮明に捉えることができる。
【0072】
図10はユーザが書き込んだ図形を2値化した撮像データの一例を示す。線図処理部26は、ユーザにより手書きされた図形の外接方形101を描いてその外接方形101の短辺101aの長さにより、図10(a)に示すような波形と図10(b)に示すような直線とに区分することができる。さらに、外接方形101の面積と対角線の長さとの比により斜め線を区分することができる。
【0073】
また、図形認識部26は、2値化された撮像データから境界線追跡を行いユーザが書き込んだ図形を切り出してもよい。輪郭線追跡とは、画素の集まりである画像から,黒い画素を連続的に抽出して郭線の集まり(アウトライン)に変換する。例えば、画像内で白い画素を0-画素、そうでない画素を1-画素として画像内をラスタ走査し、
(a)境界上の未追跡の1-画素を探し、この画素を始点として記録する。
(b)記録された画素を半時計回りに境界上の1-画素を探し、新1-画素をマーク済み(境界点)とする。
(c)その新-1画素が始点に一致していなければ(b)に戻り、次の新しい境界の始点を探す。その新-1画素が始点に一致していれば(a)に戻り、別の1-画素を探し、この画素を始点として記録する。
【0074】
これを画像データで繰り返すことにより連続した輪郭線を抽出できる。輪郭線が抽出できれば、輪郭線により形成される図形を各図形ごとに分解することができる。図形ごとの分解方法としては、二値化後細線化処理を施して輪郭線追跡を行う等、公知の技術を持って容易に実行可能である。
【0075】
図形認識部26は、切り出した図形について図形の種別を解析して取得する。図形の解析は、パターンマッチングにより解析してもよいし、切り出した図形を細線化して特徴点を抽出し、各特徴点を結んで得られる図形を書き込んだ図形を同定してもよい。図形認識部26は、解析の結果、図11に示すような種々の図形を認識する。図11では、図形の種別の一例として、片矢印201、閉ループ202、三角203、四角204が示されている。
【0076】
図形の形状分析の後、形状が線分であれば、その端点の座標、矢印であれば端点の始点と終点の区別、四角形であればその頂点の座標、円であれば中心座標と半径の値をメモリ上で管理する。
【0077】
図12は図形の種別を解析した結果の一例を示す。図12では、図形の頂点又は中心座標をX軸とY軸における座標で表すと共に、そのサイズL(長さ)、R(半径)が記録されている。
【0078】
また、形状の種類をあらわす記号、例えば単純な線分であれば0、片矢印であれば1、両矢印であれば2、四角形であれば3、円形であれば4というように予め定められた数値(文字列でもよい)が記憶されている。頂点1〜4の項目には線分であれば端点、四角形であれば頂点の、円形であれば中心を表す座標が格納されている。形状が片矢印であれば片矢印の始点の座標が常に頂点1つまり先頭の座標として格納される。サイズの欄には、線分であればその長さ、円(楕円等、閉ループであればよい)であれば半径の長さを表す数値データが格納されている。
【0079】
図形情報として、切り出された各図形の外接矩形の左上、右下のアドレス情報を保持しておき、必要に応じて形状、端点座標等の情報を取得しても良い。
【0080】
以上の方法により、ユーザの書き込みから書き込んだ座標や図形の種別を取得することができる。なお、図形の入力方法としては、画面上の位置を指示するためのペン型の装置と位置を検出するための装置を組み合わせたタブレットのような装置や、電子ペンによって描画点の動きを取得することによって行ってもよい。電子ペンであれば、画像処理なしに筆跡のストローク情報を取得できる。
【0081】
〔S5〜6〕
図13は、スクリーンの表面側に載置された物体と視認できる画像とを一例として示す図である。図13(a)に示すように、スクリーンの表面側には、水の流れを模した多数の記号が記録された画像が表示されている。そして、スクリーンの表面側には、木杭または石を模した、左上方に載置されている物体4Bと、右下方に載置されている物体4Aとがある。水の流れを模した多数の記号100は、物体4A、4Bをよけるような流れをあらわしている。そして、右下方に載置されている物体4Aを人力で矢印Z方向に移動させると、水の流れを模した多数の記号100は、物体4Aの移動にあわせて物体4Aをよけるように流れの方向を変化させる。そして、物体4Aの移動が図13(b)に示す位置で停止すると、水の流れを模した多数の記号100は、停止した物体4Aをよける流れに落ち着き、以後、物体4A,4Bが移動しない限りその流れは変わらない。
【0082】
本実施の形態は、物体の底面や書き込みを裏面から撮影して取得した識別情報、移動情報、図形に基づいて、裏面から投影されるスクリーンに表示される画像を操作する例に基づいて説明したが、これらは、必ずしも裏面から撮影する必要はない。また、識別情報、移動情報及び図形は撮影により取得しているが、必ずしも撮影によって取得されたものである必要はなく、物体から発する光や電磁波などを感知することにより取得することもできる。
【0083】
さらに、本実施の形態では、物体の識別情報、移動情報及び図形が取得される場所と取得された情報に基づいて画像が操作される場所とが同じであるが、情報の取得場所とその情報によってコマンドが入力され、何らかのものが操作される場所とが離れていてもよい。すなわち、物体を動かすことにより取得された識別情報及び移動情報によってたとえば遠隔地にあるロボット、機械装置、情報機器などにネットワークなどを介してコマンドを送り、リモートコントロールすることもできる。
【0084】
以上のようにして得られた図形情報と属性情報を組み合わせることで。本実施の形態の画像表示装置はコンピュータに対して操作を行い、特に図形情報に基づき物体のもつ属性情報を操作する。以下、実施例をあげて説明する。
【実施例1】
【0085】
はじめに手書き図形と物体を関係づけて抽出するため、手書き図形と物体との距離の判定について説明する。図14は、線分端点における所定の距離を説明するための図である。線分210の始点又は終点である線分端点と物体4の距離が所定の距離以下である場合の、所定の距離とは、図14の線分210の端点(x1、y1)と物体4の中心座標(X1、Y1)との距離lのことをいう。距離lが予め定めた所定画素数以内(例えば30画素以内)である場合、物体4が線分210の端点に存在すると判定とする。線分端点と物体中心の所定の距離は、物体底面の画像内におけるサイズや撮影カメラの解像度、スクリーンのサイズ等により変動するものでこの限りではない。
【0086】
また、線分210の端点における物体4の判定基準は、図15に示すように、物体底面の中心座標と線分端点座標の距離に加え、線分端点(x1、y1)と物体中心を結ぶ直線と線分210の方向との成す角度が、±90度以内であるとしてもよい。なお、この角度に関しても、90度は一例に過ぎず、操作上適切な値に適宜変更することが好適である。
【0087】
本実施例では、電気回路のシミュレーションアプリケーションを例にして説明する。物体41を10Ωの抵抗、物体42を1.5vの電源(電池)、物体43を10Fのコンデンサとし、物体44以降は属性情報を定義しない。
【0088】
図16は、このように定義した物体の属性情報の一例を示す。図16に示すように、10Ω抵抗、1.5v電池、10Fコンデンサというのが、物体41〜43にそれぞれ定義された属性情報である。物体41〜43の下部示した属性を示す記号は説明のためのものである。
【0089】
また、属性情報記憶部には、図16(b)に示すような属性情報が記憶されている。物体IDは物体の識別情報を、属性は物体に定義されている属性の内容を、属性数値は属性に大きさのパラメータがある場合はその数値を、定義許可は属性の定義(更新、初期化、変更など)が許可されているか否かをそれぞれ示す。
【0090】
ユーザはまず、スクリーン11上に物体41〜43を任意の位置に配置する。図17は、スクリーン11に配置された物体41〜43を示す。CCDカメラ14がスクリーン11を撮影すると、画像抽出部21が物体41〜43の領域及び物体41〜43をそれぞれ識別する。
【0091】
アプリケーション24aは、画像抽出部21から送出された物体41〜43の識別情報に基づき、物体IDとそれぞれの位置を認識し、抵抗、電池、コンデンサを表す記号の画像を投影画像生成部24に表示させる。したがって、スクリーン11には、図17に示すように、物体41ないし43が配置されると共に、抵抗、電池、コンデンサを表す記号が表示される。
【0092】
また、ユーザが図18に示すように、マーカ等によって物体41と物体42と物体43との間にそれぞれ線分210を描画すると、所定の時間間隔でCCDカメラ14がスクリーン11を撮影し、図形認識部26がそれぞれ線分210の端点の座標を認識する。
【0093】
操作処理部23は、図13に示したように線分210の端点と物体の中心座標との距離を算出して、該距離が所定の画素数以下であった場合、物体が線分210の端点に存在すると判定し、物体41と42、42と43、及び、43と41が連結されたと認識する。すなわち、それぞれ属性情報を有する各物体が連結される。
【0094】
物体は電気回路の素子に相当するので、これにより回路が構成されたことになる。物体が連結されたとの情報を受けて、アプリケーション24aは、抵抗や電源、コンデンサー等を表示する物体画像を生成する。また、アプリケーション24aは、所定の規則(電気法則等の物理法則)を参照して、抵抗や電源、コンデンサが連結された回路に基づき、算出可能な物理量、例えば各素子にかかる電圧等、を計算し計算結果を表示する画像を生成する。
【0095】
図19は、アプリケーション24aがスクリーン11に表示した回路図の一例を示す。回路図は、スクリーン11に併設されたサブスクリーンに表示してもよいし、スクリーン11の一部に表示してもよい。図19では、回路図の下方に抵抗とコンデンサに印可される電圧が計算して表示されている。図19では物体の属性情報が電気回路に関するものであるので回路図が表示されるが、アプリケーション24aは物体の属性情報に応じて分子構造、ビルなどの建築物、電磁界の分布、DNA構造、種々のシミュレーションを実行してもよいし、文字が手書きされた場合や音声入力された場合には、OCRや音声認識により認識された内容に応じて、種々のシミュレーションを実行してもよい。
【0096】
なお、例えば、物体41と42のみを線分210で結んだ場合、電池と抵抗のみの回路として認識され抵抗にかかる電圧が計算される。このように、書き込んだ線分で物体同士の連結動作を行えるので本実施例では操作性が向上する
続いて、属性情報の定義について説明する。ユーザが物体41〜43を用いてスクリーン11上への配置や手書き等を行っている際に、あらかじめ定義されている物体(たとえば電池の素子)が不足した場合は、属性の定義されていない物体を所望の属性に定義する。
【0097】
図20は、所望の物体の属性を他の物体に定義する手書き図形の一例を示す。属性の定義方法はどのようなものでもよいが、例えば、片矢印201を手書きし、片矢印201の始点部分に物体42(電池)を配置し、属性定義をしていない物体44を片矢印201の終点部分に配置することで行う。属性の定義が終了したら、操作処理部23は、物体44及び物体42から吹き出しを作成し設定された属性情報を表示するよう投影画像生成部24を操作することで、ユーザは属性の定義が行われたことを認識できる。
【0098】
操作処理部23は、片矢印201の始点にある物体42の属性情報、ここでは1.5vの電池という属性情報を、片矢印201の終点部の物体4の属性情報として属性情報記憶部25に定義する。以降、物体44は1.5Vの電池としてアプリケーション24aが認識することになる。このように、手書きの片矢印で物体間の属性情報の複製ができるのでユーザによる操作性が向上する。
【0099】
同様に、他の物体45〜47に属性を定義することができる。一例として、物体45に電池、物体46に抵抗、物体47にコンデンサを定義した。したがって、物体41〜47の属性情報は次のようになる。
【0100】
物体41:抵抗
物体42:電池
物体43:コンデンサ
物体44:電池
物体45:電池
物体46:抵抗
物体47:コンデンサ
ところで、このように適当に属性情報を定義してしまうと、物体IDと属性情報とが無作為に定義されユーザが扱うには適当でない。そこで、電池、コンデンサ、抵抗とそれぞれを連続した物体IDで管理する方法について説明する。
【0101】
図21は、物体の属性情報を入れ替えて再定義する手書き図形の一例を示す。属性情報の入れ替えは、両矢印202の端点部分に属性を入れ替えたい物体を配置する。したがって、図21(a)のように物体41と42と物体を両矢印202の端点部分に配置した場合、操作処理部23は、図21(b)のように物体41が電池、物体42は抵抗として定義して属性情報記憶部25を更新する。
【0102】
同様の操作で、物体42と物体44、物体43と物体45、物体45と物体46とを入れ替えて定義することで、次のように、連続する物体IDに同じ属性情報が定義されることとなる。手書きの両矢印で物体間の属性情報の交換ができるので、ユーザによる物体の管理作法が向上する。
物体41、42、43:電池
物体44、45:抵抗
物体46、47:コンデンサ
なお、連続する物体IDに同じ属性情報を定義するため複数回の操作を行うのではなく、一度の手書き図形で再定義してもよい。図22は、連続する物体IDに同じ属性情報を定義する(ソートする)手書き図形の一例を示す。ユーザは、再定義したい物体を配置しそれらを閉ループ220で囲むと共に、閉ループ内に左右と上下方向の両矢印202を手書きすることで、操作処理部23は、物体IDの昇順又は降順に同じ属性情報を順に再定義する。
【0103】
また、一度に同じ属性情報の物体を複数増やすこともできる。図23は、一度に複数の物体に同じ属性情報を定義する手書き図形の一例を示す。ユーザが増やしたい属性情報をもつ物体と属性未定義の物体を複数配置し、これらを閉ループ220で囲むことで、煩雑な動作なく複数物体を同一属性で定義することができる。閉ループ内にある物体の属性情報をまとめて管理できるため、操作性が向上する。
【0104】
また、このようにユーザが物体の属性を定義できる場合、上記操作により再定義を繰り返すこともあるし、別のユーザが当該表示装置を使用する場合がある。したがって、物体の属性情報が現状どのように定義されているか知る方法が用意されていることが好適である。
【0105】
図24は、物体の属性情報を調べるための手書き図形の一例を示す。ユーザは、属性情報を知りたい物体を配置し、物体から線分を描画する(設計図面の引き出し線のように)。このように描画された場合、操作処理部23は、属性情報記憶部25から物体1の属性情報を抽出し、例えば、線分の他端点付近に物体の属性情報を表示する画像を生成するよう投影画像生成部24を操作する。なお、属性情報を調べるための線分か、連結するための線分かは、線分の両端に物体があるか否かにより判定できる。線分を書き込むことで物体の属性情報を閲覧できるため物体の管理、操作性が向上する。
【0106】
なお、手書き内容と物体の配置位置は一例に過ぎないので、物体の属性情報を調べる場合、物体を配置し該一の物体を囲む閉ループ220を描画してもよい。図25は、物体を囲む閉ループ220を描画し物体の属性情報を調べる手書き図形の一例を示す。操作処理部23は、1つの物体が閉ループ220で囲まれた場合、属性情報記憶部25から物体1の属性情報を抽出し、例えば、線分の他端点付近に物体の属性情報を表示する画像を生成するよう投影画像生成部24を操作する。閉ループを書き込むことで物体の属性情報を閲覧できるため物体の管理、操作性が向上する。
【0107】
また、種々の操作を繰り返し未定義の物体がなくなり、いずれかの物体を再び未定義状態に戻す場合について説明する。図26は、物体を再び未定義状態に戻す手書き内容の一例を示す。例えば、物体を配置しこの物体を物体の半径rの2倍以下の半径Rの円で囲むように描画する(R≦2r)。これにより、操作処理部23はこの物体が他の物体から独立したもの、すなわち未定義であると認識し属性情報記憶部25の属性情報を消去する。このように、円の大きさを手書き図形のパラメータに用いることで、同じ閉ループであっても別の操作内容として扱うことができる。
【0108】
なお、属性情報を消去することとした物体サイズの2倍以下の円は、3倍以下の円等、他の大きさの円でも良く、また、四角や三角で囲むこととしてもよい。
【0109】
また、例えば、上記のように閉ループ220で囲まれた物体は、その後属性情報を再定義禁止状態になるよう定義してもよい。これにより、例えば、消去したくない基本情報の属性情報を保持する物体を閉ループ220で囲っておくことで、基本情報の属性情報の消失を防止できる。再定義禁止とされた物体は、属性情報記憶部25の定義許可が「不可」となる。閉ループで囲んだ物体を独立したものとして扱えるため操作性が向上する。
【0110】
本実施形態のように回路シミュレーションのアプリケーションの場合、それぞれの物体に抵抗、電池、コンデンサと定義したが、回路の場合それぞれの容量や電圧を変更する必要が生じる。容量や電圧を変更する場合、物体からの線分の長さによってその容量や電圧を定義する。図27は、線分の長さにより容量や電圧を定義する手書き図形の一例を示す。例えば、操作処理部23は、線分の長さが、10画素〜20画素は10Ω、20〜30画素は20Ωというように属性情報記憶部25の属性数値を定義する。線分の長さによって物体の属性情報の編集・定義ができるため環境に応じて柔軟な定義ができる。
【0111】
なお、線分の長さと定義される数値の関係は、投影面の解像度、カメラの解像度、操作性によって適宜適当な値を設定することが好適である。なお、属性を表示させるための線分か属性数値を変更するための線分かは、アプリケーション24aのモード設定を切り替えることや、物体のない方の端点に区別のための図形を設けることで可能となる。また、別の線種を使用してもよい。
ところで、上記のように物体間に線分が描画されると、操作処理部23は物体を連結したものと認識する。例えば、物体41,42,43を配置し、41と42、42と43、43と41の間に線分を描画した場合、操作処理部23は、物体41,42,43すなわち電池、抵抗、コンデンサが結線されたと認識する。
【0112】
電池の電源容量は1.5v一定又は変更可能であるが固定された属性数値として定義したが、物体の有する電源容量等の属性数値を、物体の位置情報や着脱に応じて任意の値に変更することもできる。位置情報とは、2次元上の位置や物体回転、移動速度や回転速度をいう。また、着脱とは、書き込み面11bから物体をいったん離し再度配置することを言う。
【0113】
属性数値を変更する場合、例えば、物体の回転方向と角度の少なくとも一方により決定する。図28は、属性数値を変更する手書き図形の一例を示す。アプリケーション24aは、物体41,42,43の間の線分によりこれらが連結されたと認識する。その後、例えば、ユーザが操作して物体42を反時計回りに回転すると、操作処理部23は、次述のように物体の回転を検出するので、アプリケーション24aは電流が左回りに流れるものとして各素子の電圧値等を計算する。逆に時計回りに回転させると、回路を時計回りに電流が流れるものとして認識して、電圧値等を計算する。電流の正負を時計回り又は反時計回りにしたがって定義しておけば、電圧値の正負を定まり電流の向きも決定される。物体の回転方向や角度によって物体の属性情報の編集・定義できるのでより直感性が高くなり操作性が向上する。
【0114】
物体の回転に基づき操作を検出する方法について説明する。例えば、カメラのフレームレートを7.5fpsとした場合、線分描画終了後から2秒程度すなわち15枚の時系列に並んだ画像内で、物体底面の識別パターン画像が例えば90度以上回転している場合、これを回転していると認識する。
【0115】
15枚の画像中で、90度以上10度ごとに電圧値を少しずつ(例えば0.5Vずつ)上げると、線分描画と物体配置後の回転動作により、電流方向と電圧値を任意に設定することが出来る。この回転角度や方向を決定する時間や角度のステップはカメラのフレームレートやアプリケーション上での操作性を考慮し、適切な値を設定することでよりスムーズな操作が可能になる。
【0116】
回転方向や回転角度決定の方法は、回転の方向別に予め辞書に登録されたテンプレートとのマッチングにより、各画像内での方向を容易に同定できる。
【0117】
なお、図28では物体間を線分で連結したが、複数の物体を閉ループで囲み、その後、物体の回転が検出された場合に、属性数値を変更してもよい。
【0118】
続いて、物体の着脱動作に基づき操作を検出する方法について図29のフローチャート図に基づき説明する。図29のフローチャート図では、コンピュータでいえばダブルクリックに相当する、所定時間内に物体が2回着脱されたか否かを判定して、予め定められた処理を行う。
【0119】
ユーザが物体を配置し線分を描画し各物体が連結された場合、アプリケーション24aは、回路図が組まれたことを認識する。アプリケーション24aは、この段階では各素子の電圧値等を計算せず待機状態にある。
【0120】
ユーザが物体を持ち上げた場合(S11)、物体があった位置に物体の画像が検出されなくなる。物体が画像から検出されなくなると、タイマー1の作動を開始する(S12)。操作処理部23は、着脱回数を表すカウンタcountに0を設定する。
【0121】
カウンタcountに0が設定されると、アプリケーション24aは物体があった位置に同じ属性情報の物体が所定時間内(例えば1秒以内)に再び配置されるか否かを監視する(S13)。物体があった位置は、ユーザが描画した線分の端点から所定の距離以内か否かで判断すればよい。
【0122】
同じ属性情報の物体が配置された場合、アプリケーション24aはcountを1つインクリメントし、countに1を設定する(S14)。
【0123】
次いで、countが2か否かを判定する(S15)。countが2の場合、次述のように着脱に応じて設定された処理を開始する(S10)。
【0124】
countが2でない場合、タイマー2の作動を開始する(S16)。タイマー2の作動のタイミングは例えば、物体が置かれた時である。なお、タイマー2が作動する場合は所定時間以降に物体が置かれるか又は物体が置かれない場合となる。物体が置かれない場合、タイマー1を監視して所定時間以上経過した場合にタイムアウトと判定し、図26のフローチャート図を最初から繰り返す。
【0125】
次いで、アプリケーション24aは、所定時間内(例えば1秒以内)に配置された物体が取り去られるかどうかをタイマー2に基づき監視する(S17)。
【0126】
所定時間内に物体が取り去られた場合、ステップS3に戻り、同じ属性情報の物体が配置されるかどうかを監視する(S13)。所定時間内に物体が配置された場合はcountを1インクリメントする(S14)。したがって、所定時間内に物体が2回、脱着された場合、countは2になる。
【0127】
count=2であれば(S15)、所定の時間内に2度の着脱が行われたとして処理を開始する(S10)。ステップS10で行われる処理はどのように定義されていてもよいが、例えば、アプリケーション24aが各素子の電圧値等を計算する。
【0128】
以上のように、マウスのダブルクリックで決定するといった感覚で、物体の着脱に基づき、ユーザの操作の決定をすることが出来る。なお、設定した所定時間は、カメラのフレームレートやアプリケーション操作性により変動するものであり、適宜適切に設定するのが好ましい。また着脱回数に関しても同様であり、回数の違いにより処理を変えるといったことも可能である。物体の着脱回数によって、図形の種別による操作内容を変更できるため、より操作性が向上する。
【0129】
なお、図29のフローチャート図では物体間を線分で連結する場合を説明したが、複数の物体を閉ループで囲み、物体の着脱が検出された場合に、ユーザの操作の決定してもよい。
【0130】
これまで、ユーザによる描画が書き込み面11bに描画された状態でユーザの操作を検出する場合について説明したが、属性情報を未定義の物体に定義したり、属性情報を複製や交換した場合、矢印等の描画図形を消去しても、属性情報の再定義が行われた物体は、その定義情報が保持することが好ましく、また、一般的である。したがって、本実施例では、矢印等の描画を消去しても物体の属性情報は保持される。なお、ユーザが替わった場合や、アプリケーション24aが別のアプリケーションを再読込したような場合、操作処理部23が属性情報記憶部25の属性情報を消去すれば、ユーザを煩わせることなく、同じ物体を複数のユーザやアプリケーションで利用可能となる。
【0131】
また、描画だけでなく物体についても同様に、物体をスクリーン11から取り除いた場合、定義された属性情報や物体の属性情報に応じて検出された回路構成等は保持される。したがって、例えば、物体を移動させた場合でも、定義された属性情報や物体の属性情報に応じて検出された回路構成等は保持される。なお、物体の移動とは、例えば、線分の端点領域もしくは閉ループの領域内にA〜B秒間に再度検出される場合をいい、取り除きとはB秒以上経過しても物体が検出されない場合をいう。
【0132】
定義された属性情報や物体の属性情報に応じて検出された回路構成等を保持するか否かは設計事項であるので、 描画を消去したり、物体を取り除き又は移動した場合、定義された属性情報や物体の属性情報に応じて検出された回路構成等を消去することとしてもよい。
【0133】
以上のように、物体及びユーザの描画した図形を検出し、図形に基づいて物体の属性情報の編集・定義を行うことによって、ユーザの直感を活かした、より柔軟なヒューマンコンピュータインタラクションを実現することが出来る。
【実施例2】
【0134】
本実施例では、例えば都市におけるビル風をシミュレートする画像表示装置について説明する。スクリーン11に風を表す物体を配置し風の向きを示す図形を描画をすれば、アプリケーション24aは、スクリーン11に風のシミュレーションが行われていると認識できる。
【0135】
図30は、風のシミュレーションにおいてスクリーン11に配置される物体と描画される図形の一例を示す。図30(a)は、ユーザが物体51を置き物体51から所定範囲内から片矢印201を描画した図を示す。
【0136】
物体51の属性情報は、属性情報記憶部25に定義されており、アプリケーション24aは、例えば、スクリーン上に物体51を検出されると空気の流れを表す物体が置かれたと認識する。また、操作処理部23は、物体51から所定距離以内に片矢印201の図形を検出するので、アプリケーション24aは片矢印201の方向に空気が流れていると認識する。アプリケーション24aは、空気の流れを示す画像を生成し投影画像形成部24に送出し、プロジェクターから空気の流れを示す画像がスクリーン11に投影される。図30(b)は、物体51を及び描画に基づき投影された空気の流れを示す画像の一例を示す。
【0137】
空気の流れの強さは、片矢印201の長さにより調整できる。図30(c)のように、片矢印201が長い場合、アプリケーション24aは長さに応じて強い流れの空気を示す画像を生成する。アプリケーション24aは、図30(d)のように、風の流線を長くしたり線を太くしてスクリーン11に投影する。
【0138】
なお、低気圧や高気圧、台風、梅雨前線等の属性情報を有する物体を定義し、これらをスクリーン11に配置して、気象状態をシミュレーションしてもよい。
【0139】
本実施例によれば、物体の配置と簡単な描画だけで、風の向き及び強さを定義して風のシミュレーションが可能となる。また、風の向きや強さを片矢印の向きと長さを変えるだけで簡単に再定義できるため、環境や使用場面に応じた属性情報の定義ができる。
【実施例3】
【0140】
これまでは、スクリーン11の場所を指定せずに物体が配置された場合、予め定めた属性情報や図形の定義に応じてアプリケーション24aが操作を認識することとしていた。本実施例では、ユーザが定める閉ループにおいて物体の属性情報が有効になる画像表示装置について説明する。
〔閉ループを先に描画した場合〕
図31(a)は、ユーザが描画した閉ループを示す。本実施例では、当該閉ループでのみ、物体に定義された属性情報が有効になる。図31(b)に示すように、ユーザが物体41〜44を閉ループ内に配置すると、物体41〜44に定義されている属性情報に基づきアプリケーション24aが所定のシミュレーション等を開始する。
【0141】
操作処理部23は、閉ループの図形情報に基づき閉ループの図形画像を生成するよう投影画像形成部24を操作する。したがって、投影面11aに手書きした閉ループに重畳するように閉ループの図形画像が投影される。
【0142】
また、物体に定義された属性情報を有効にしたのは当該閉ループであるので、閉ループを消去すると、物体に定義された属性情報も無効となる。また、閉ループの図形画像も消去される。
【0143】
本実施例によれば、ユーザが所望の範囲を設定し、物体又は図形の描画による操作が有効な領域を決定することが可能になる。したがって、例えば、物体又は図形による操作が有効な領域をソフトウェアの設定画面(ウインドウやダイアログの範囲)やマウスやキーボードから設定する必要がない。また、スクリーン11を閉ループで分割して複数のシミュレーションを行うことができる。
〔物体を先に配置する場合〕
図31では先に閉ループを描画してから物体を閉ループ内に配置することとしたが、先に物体を配置してから閉ループを描画した場合も閉ループ内に配置された物体又は描画による操作が有効な領域を決定できる。
【0144】
図32(a)は、ユーザが配置した複数の物体を、図32(b)は物体を囲んで描画した閉ループを、それぞれ示す。物体41〜43を閉ループで囲むことで、当該閉ループでのみ、物体に定義された属性情報が有効になる。ユーザが物体41〜43を閉ループで囲むと、物体41〜43に定義されている属性情報に基づきアプリケーション24aが所定のシミュレーション等を開始する。
【0145】
また、属性情報を有効にしたのは物体のある位置と当該閉ループであるので、図32(c)のように、物体を移動すると属性情報が有効な範囲も変更する。この場合、操作処理部23は記憶されている閉ループの図形情報に基づき、移動された物体を囲む閉ループの図形画像を新たに生成するよう投影画像形成部24を操作する。また、手書きした閉ループが消去されても閉ループの図形情報は記憶されているので、生成された図形画像は消去されない。
【0146】
また、物体のある範囲が属性情報の有効範囲なので、閉ループが消去されても、物体に定義された属性情報は無効とならない。
〔物体を先に配置する場合と閉ループを先に描画した場合とで作用が異なる場合〕
また、先に図形を描画してから物体を配置する場合と、先に物体を配置してから図形を描画した場合とで、アプリケーション24aが行う作動内容を変えてもよい。
【0147】
例えば、図形描画が先でその後物体が配置された場合、アプリケーション24aは動作Aを行い、物体配置が先でその後図形描画が行われた場合、アプリケーション24aは動作Bを行うというように、作動内容を変更する。
【0148】
閉ループを描画してから閉ループ内に物体を複数配置した場合、閉ループ内のみで物体の属性情報が有効になる(動作A)。そして、ある属性情報をもつ物体と属性情報が未定義の複数物体を囲むように閉ループを描画した場合、閉ループ内の複数物体は同じ属性情報をもつものとして属性情報記憶部25に定義される(動作B)。したがって、閉ループ内に複数の物体があるという状態は同じであっても、物体が先か閉ループが先かに応じて、操作を区別することができる。
【実施例4】
【0149】
実施例1〜3においては取得した図形の種別や大きさに基づき物体の属性情報の定義や再定義、属性数値の定義を行う方法について述べた。本実施例では、物体の属性情報に基づき図形を表示する図形画像を生成する画像表示装置について説明する。
【0150】
図33は、本実施例における属性情報記憶部25の一例を示す。本実施例では、属性情報が図形画像の内容を指定する情報として、実線、点線、塗りつぶし、消去等が記憶されている。したがって、配置される物体に応じて図形の線種を操作したり、消去したりすることができる。
【0151】
実線の属性情報を有する物体61と、点線の属性情報を有する物体62とがあるものとする。ユーザが書き込み面11bに任意の形状の線分を描画し、線分の端点部分に物体61を配置する。図34(a)は書き込み面11bに描画された任意の形状の線分をしめす。図形認識部22は、CCDカメラ14で撮影した撮像データから線分210の図形を抽出する。
【0152】
ユーザが、図34(b)に示すように、線分210の端点部分に物体61を配置すると、物体認識部22は物体61の識別情報を取得し、次いで操作処理部23が物体61の属性情報(実線)を属性情報記憶部25から抽出する。操作処理部23は、ユーザが手書きした線分に例えば重畳するように実線225の図形画像を描画するよう投影画像生成部24を操作する。
【0153】
図34(c)は、投影画像形成部24からプロジェクタ−13に表示された実線(図形画像)225の画像の一例を示す。なお、図34(c)ではユーザが手書きした線分を省略した。
【0154】
また、例えば、ユーザが手書きした線分又は投影画像生成部24が投影した線分の端点部分に物体62を配置した場合、操作処理部23は物体62の属性情報(実線)を属性情報記憶部25から抽出し、図34(d)に示すように線分を点線230の図形画像として表示する。
【0155】
同様の図形描画をコンピュータ上で行う場合、線分210を描き、メニューやコマンドボタンから線種を選択し変更するという操作が必要となるため、この操作を行うコマンドの場所やメニューを探すことが必要となり、マウスによる操作にしてもタッチパネル上で操作する場合においてもその煩雑さは否めない。
【0156】
これに対し本実施例のように所定の属性情報が定義された物体の配置のみによって同様の操作が可能である場合、ユーザは直感的に操作が行えるため、作業性が向上する。
【0157】
また、本実施例では線分の描画だけでなく閉ループを手書きし物体を閉ループ内に配置した場合にも、予め定義された物体の属性情報に基づき、描いた閉ループの線種の変更やや塗りつぶしといった図形を生成して表示できる。
【0158】
なお、物体の属性情報を手書きした図形に反映させた場合、物体を取り除くことで、投影された線分の表示を終了してもよいし、投影を継続してもよい。また、物体を移動させた場合、属性情報(例えば、線種)は保持してもよいし、消去してもよい。
【0159】
続いて、物体の属性情報に応じて投影された画像を、取り消す場合について説明する。物体63が塗りつぶしの属性情報を有するものとし、物体63を手書きした閉ループ内に配置する。
【0160】
図35(a)は、閉ループ内に配置した物体63を示す。図形認識部26は閉ループの図形を認識し、物体認識部22は物体63の識別情報を取得する。操作処理部23は物体63の属性情報(塗りつぶし)を抽出すると共に、図35(b)に示すように閉ループの図形画像を単色に塗りつぶすよう投影画像生成部24を操作する。
【0161】
物体63のように塗りつぶしの属性情報を有する物体の場合、回転に応じた属性が定義されることが好適である。例えば、所定時間内(例えば5フレーム)の回転角度が30度以内の場合、物体63を回転させることで塗りつぶし色が変更できる。所定時間内の回転角度が30度以上の場合、塗りつぶす色を選択したものとして、例えば直前の表示色で閉ループを塗りつぶす。
【0162】
所定時間が経過しても30度以上の回転が検出されない場合、色を変えて塗りつぶしを行わない。また、物体63を取り除いた場合、物体の属性情報により塗りつぶす前の状態、すなわち描画した状態に戻ることになる。
【0163】
なお、回転方向や角度情報の検出は、実施例1に記載したものと同様であり、物体の、この回転方向や角度によって属性の変更、決定、取消が可能になり直感的な操作方法が実現できる。
【0164】
以上のような方法を用いることで塗りつぶしの操作性が向上する。同様のことをソフトウェアで行うと、赤い塗りつぶしがなされた後、マウス操作によって取消コマンド、決定コマンドを選択するといった操作を行う必要があり、操作の方法を知っていないと塗りつぶしの取り消しを行えない。本実施例では、塗りつぶしを物体63を配置して行い、また、その取り消しを物体を回転させるだけで行うことができるので、塗りつぶしの取りけしや、色の変更を簡単に行うことができる。
【0165】
また、塗りつぶしの色の設定や取り消しを図29のフローチャート図で説明したように所定時間の着脱で行ってもよい。例えば、着脱が1回で色を切りかえ、着脱が2回で塗りつぶしを取り消す等の操作が可能となる。
【0166】
なお、塗りつぶしの取り消しは取消用の物体を用いてもできる。この場合、塗りつぶし取り消しの属性情報を有する物体を選択して配置する。
【0167】
描画した図形を消去すると投影画像生成部24による表示も消去してもよいし、投影画像生成部24により一度描画したものを消すためには消去用の物体や別の操作を要することとしてもよい。図形情報の消去に対応して投影画像生成部24が行う処理を適切に設定することで、高い操作性を実現することが出来る。
【0168】
以上のように本実施の形態の画像表示装置では、物体の属性情報を定義できるので、柔軟に操作ができる画像表示装置を提供できる。また、物体と共に手書き図形を書き込むことで、電気回路や風向きなどのシミュレーションを簡単に行うことができる。物体の識別だけでなく、回転や移動、着脱などを判定することで、ユーザは柔軟で直感的に操作を行うことができる。また、物体は、手書き図形の線種や色、塗りつぶしなどの属性を変更できるので、直感的な操作で画像を編集できる。
【0169】
〔第2の実施形態〕
第1の実施形態で用いた物体の底面に設けられた識別コードは、物体の回転を考慮しても一意なパターンを形成する形状であった。しかしながら、このような識別コードでは、(i)物体の回転角度に応じてパターンが変化するため回転角度毎に識別コードの形状を辞書に登録しておく必要があること、
(ii)物体の回転を考慮しても一意なパターンを識別コードとする必要があるため登録可能な識別コードの数が限られてしまうこと、
(iii)物体の認識には物体底面の全体を走査する必要があること、といった不都合がある。
【0170】
そこで、第2の実施形態では、物体の識別コードとして円形状の1次元バーコード(以下、サーキュラバーコードという)を設け、物体の識別情報や移動に基づきコマンドの入力が可能な画像表示装置について説明する。なお、画像表示装置の概略図は図1と同様であるので説明は省略する。
【実施例5】
【0171】
図36は、本実施例における画像表示装置の機能図を示す。図36において図2と同一構成部分には同一の符号を付しその説明は省略する。本実施例の画像表示装置2は、CCDカメラ14が物体属性情報取得部33に接続され、物体属性情報取得部33がアプリケーション24a及び投影画像形成部24に接続される。
【0172】
物体属性情報取得部33は、物体領域抽出部30、極座標テーブル32及び物体認識部22を有し、アプリケーション24aは操作処理部23及び操作対応テーブル31を有する。
【0173】
物体領域抽出部30は、CCDカメラ14により撮影された画像データから物体の識別コードを抽出する。物体認識部22は、物体領域抽出部30が抽出した識別コード(パターン)を解析して、IDコード、白色部の位置を認識する。なお、操作対応テーブル31は、図2の属性情報記憶部26に相当するものであり、後述するようにIDコード等に対応づけて操作処理部23の操作内容が記録されている。また、図36には、画像抽出部21及び図形認識部26がないが、本実施の形態では画像抽出部21の機能は物体領域抽出部30が有する。また、図形認識部26は簡単のため省略したにすぎず、本実施の形態においても図形認識部26を物体属性情報取得部33に適用して、手書き図形を認識する。
【0174】
本実施例の識別コードについて説明する。図37は物体に貼付される識別コード(サーキュラバーコード)の一例を示す。サーキュラバーコード301は、物体の所定面に貼付、書き込み若しくは彫り込まれ、また、電子ペーパ等により形成される。
【0175】
サーキュラバーコード301は、所定点を中心に1次元のバーコードを円形に配置したバーコードである。1次元バーコードは縞模様状の線の太さ及びその間隔によって数値等を表すバーコードであるが、サーキュラバーコード301のバーは円形に配置されているため、中心から半径方向の距離に応じて線及び間隔が太くなる。すなわち、バーコードの各線はくさび状の形状となる。
【0176】
サーキュラバーコード301は、バーコードの開始点301sと終了点301eの判別を容易にするため、また、物体の方向識別のため、白の部分を長く取ってあることが特徴である。
【0177】
サーキュラバーコード301は、書き込み面11bに書き込むペンよりも濃度の高い色で構成することにより、ペンで書き込まれた書き込み面11bに物体があってもその濃度により物体位置を識別することが可能となる。なお、影やペンと異なる識別可能な色を用いてもよい。
【0178】
物体領域抽出部30の処理手順について図38のフローチャート図に基づき説明する。
S101
CCDカメラ14に撮影された画像データは順次、物体領域抽出部30に送出される。物体領域抽出部30は、取得された撮像データの画素のRGB情報を1画素ずつ取得し、各画素の画素値(例えば、RGBであれば各色0〜255の値)を所定の閾値で判別し、画素値がある閾値以下の画素を1-画素、それ以上のものを0-画素とする。
【0179】
図39は、物体が撮影された画像データを所定の閾値に基づき1-画素、0-画素に置き換えた画像データの一例を示す。
S102
物体領域抽出部30は、画像データの各フレームごとにラスタ走査し、x軸方向の射影をとる。この処理により、x軸方向に1と0の画素の列ができる。図39に示すように、x軸において物体がある領域は1-画素が並ぶようになる。
S103
x軸方向に連続した1-画素の並びが、所定の値Lmin画素以上存在するx座標の領域を抽出する。そして、当該領域内において(複数あればすべて)、y軸方向に射影をとる。図39に示すように、y軸において物体がある領域は1-画素が並ぶようになる。
【0180】
所定の値Lminは、サーキュラバーコード301のおよその直径である。撮影された画像データ中のサーキュラバーコード301のサイズは既知であるので、Lminは物体底面のサーキュラバーコード301の大きさとCCDカメラ14の画角に基づき決定される。すなわち、1-画素の並びがLminより小さい場合、抽出対象であるサーキュラバーコード301ではないと判定できるので、Lmin画素以上の幅のものを対象とする。
【0181】
S104
次に、y軸方向の0-画素と1-画素の並びにおいて、連続した1-画素の並びがLmin画素以上Lmax画素以下である個所の中心座標を取る。ここで取得された中心座標のy座標が、物体底面の中心座標のy座標posyとなる。なお、Lmaxは、所定の誤差を考慮した場合のサーキュラバーコード301の1つあたりのサイズの最大値である。
【0182】
S105
y方向の射影における1-画素の連続した並びがLmin画素以上Lmax画素以下である領域で、再びx方向への射影をとり、連続した1-画素の並びがLmin画素以上Lmax画素以下である領域の中心座標を取る。これにより、サーキュラバーコード301のx座標posxが取得できる。
【0183】
S106
得られたposx,posyを中心とする半径rの円の外接矩形を切り出す。半径rは既知であるサーキュラバーコード301の半径の大きさであるので、これにより図37のようなサーキュラバーコード301の画像が得られる 。
【0184】
続いて、物体認識部22の処理手順について図40のフローチャート図に基づき説明する。物体領域抽出部30により抽出されたサーキュラバーコード301の画像は物体抽出部22に送られる。物体認識部22は、サーキュラバーコード301のパターンを解析して、IDコード、白色部の位置(方向)を認識する。
S201
物体認識部22は、物体領域抽出部30にて抽出されたサーキュラバーコード301の中心(posx,posy)から任意のnドットのある点を開始点とし、開始点から定められた円周方向に円状に順に画素値を取得する。
【0185】
図41は物体認識部22が円周方向に画素を走査して処理するパターン解析を説明するための図である。図41(a)に示すように、物体認識部22は、サーキュラバーコード301の中心(posx,posy)からnドットのある点を開始点として時計回りに画素を走査している。
【0186】
円周方向の画素の操作は、中心(posx,posy)及び開始点に基づき順次画素を抽出してもよいが、図42に示すように、極座標テーブルを参照すればCPUの演算量が低減できる。図42の極座標テーブルは、中心からのドット数nに応じて(半径がnドットの場合の)、円周上の位置の座標がテーブルとして登録されている。
【0187】
物体認識部22は、円周上の点の画素値を所定の閾値に基づき判別し、閾値以下の画素を1-画素、それより大の画素を0-画素と変換する。これにより、円周を1回りすると1本の1-画素と0-画素の並びができることになる。図41(b)は、1-画素を黒、0-画素を白で示している。図41(b)のような画素の並びをその長さに応じて1、0のランレングスに変換する。
【0188】
S202
図41(c)に示すように、1-画素と0-画素の並びの列は、方向識別のための0-画素の連続領域(方向識別部)とIDコード識別のための0-画素と1-画素からなるバーコード部とに分かれる。物体認識部22は、ランレングス化された画素の並びから、0-画素が最大に連続する領域の位置を検出する。すなわち、0-画素の連続領域(方向識別部)の距離及びその位置を測定することでこのサーキュラバーコード301の白色部の位置(以下、単に方向という)がわかる。
【0189】
ランレングス化の際に出来る0-画素の列、1-画素の列の長さを計測し、最も長い白のランを探索する。半径nドットの円の座標列のすべてのスキャンが終了した時点で、1-画素の列の長さ、0-画素の列の長さも数え終わっている。
【0190】
S203
ついで、物体認識部22は、最も長い0-画素の列が最後の画素列であるかどうかを判別する。
【0191】
S204
最後の画素列でない場合、最長の0-画素の列の直後の1-画素が開始点となる。
【0192】
S205
最も長い0-画素の列が当該画素列の最後尾であった場合、当該画素列の先頭の画素値が0-画素か否かを調べる。
【0193】
S206
当該画素列の先頭の画素値が0-画素である場合、直後の1-画素が開始点となる。
【0194】
S207
当該画素列の先頭の画素値が0-画素でない場合、現在の点が開始点となる。
【0195】
S208
ついで、物体認識部22は、バーコード部のランレングスに基づきIDコードを検出する。
【0196】
図40の処理手順では、画素を一旦ランレングスに変換してから、方向識別部の探索、バーコード部の解析、という3段階の手順となる。しかしながら、実際はバーコード部における0-画素の最大の連続数(これをZmaxとする)は既知であるので、ランレングス化と同時に方向、IDコードを取得することが可能である。
【0197】
図43は、物体認識部22の処理手順の別形態を示すフローチャート図である。
【0198】
S301
物体領域抽出部30により抽出されたサーキュラバーコード301の画像が図37のようであった場合、鉛直方向の点から走査をスタートし、0-画素が最大に連続する領域を探索する。
【0199】
S302
物体認識部22は、順に円周上の画素の値を取得し、0-画素がZmax+1に達した時点で方向識別部であることがわかる。
【0200】
S303
物体認識部22は、次に現れる1-画素がバーコード部の開始点と判定する。またこのバーコード部の開始点の1つ手前の画素が方向判別部の最終点であると判明するので、この時点でサーキュラバーコード301の方向が識別できる。
【0201】
S304
物体認識部22は、サーキュラバーコード301を1周走査し、バーコード部のランレングスに基づきIDコードを検出する。
【0202】
バーコード部の開始点から順番に1-画素、0-画素の並びを取得すれば、この1、0の並び自体がIDコードを表しているので、1度の走査でIDコード及び方向を取得できる。
【0203】
このように、本実施の形態では、物体認識部22はサーキュラバーコード301を検知するためのパターンマッチング等のための辞書を必要としない。また、画像データの各フレーム毎に方向を取得することで物体の回転を検出することができる。
【0204】
以上の処理によって得られた、物体の物体情報(位置、方向、IDコード)はアプリケーション24aの操作処理部23に送られる。
【0205】
続いて、アプリケーション24aについて説明する。アプリケーション24aの操作処理部23は、物体情報に基づきプロジェクタ13から投影する画像を制御する。操作処理部23の機能は、実施の形態1と同様である。
【0206】
実施の形態1では、操作処理部23が物体の属性情報に基づき、投影画像制御部24が投影する画像を操作し、また、アプリケーション24aが属性情報に応じた処理を行いその処理結果が投影する画像に反映された。
【0207】
本実施の形態においても同様に、アプリケーション24aは走査処理部23により、物体情報に応じて画像を操作し、また物体情報に応じた処理を行いその処理結果を画像に反映させる。
【0208】
アプリケーション24aが有する操作対応テーブル31には、物体情報に対応づけて画像操作の内容が記録されている。図44は、操作対応テーブルの一例を示す。操作対応テーブルには、IDコード、位置、方向に対応づけて、画像の操作内容が記録されている。
【0209】
例えば、IDコードが1の物体が(Posx1、Posy1)に方向dir1を向いて載置された場合、操作処理部23は(Posx1、Posy1)にdir1の方向の画像1を描画する。同様にして、IDコードが2の物体が(Posx2、Posy2)に方向dir2を向いて載置された場合、操作処理部23はdir2の方向の画像2を3秒間だけ描画する。また、IDコードが3の物体が(Posx3、Posy3)に方向dir3を向いて載置された場合、操作処理部23は(Posx3、Posy3)の位置に画像3を点滅させる。画像1〜3は、予め登録されているかユーザが指定して表示できる。
【0210】
なお、図36の例では、アプリケーション24aが物体情報と操作処理を対応づける操作対応テーブル31を保持しているが、操作対応テーブル31は物体属性情報取得部33が保持していてもよい。図45は、物体属性情報取得部33が操作対応テーブル31を保持する場合の画像表示装置の機能図を示す。操作対応テーブル31にはアプリケーションと物体のIDコードが対応づけて登録されており、物体認識部22は、物体認識後、操作対応テーブル31を参照し、現在開かれているアプリケーションの操作対応テーブルのみをオープンし、アプリケーション24aに渡す。
【0211】
本実施の形態では、物体に貼付等する識別コードをサーキュラバーコード301により構成するだけであるので、第1の実施形態で説明した画像操作と同様な操作を行うことができる。すなわち、サーキュラバーコード301によるIDコードに電池、抵抗、コンデンサ等の属性を対応づけてもよい。この場合、サーキュラバーコード301を有する物体を線分で結べば回路図が操作処理部により回路図が表示される。また、物体の片方向矢印で結べば属性を他の物体の属性をコピーできる。また、2つの物体を両方向矢印で結べば双方の物体の属性を入れ替えることができる。また、複数の物体をループで囲めば、連続するIDコードの物体に同じ属性を定義でき、また、属性が未定義の物体には属性を定義できる。また、物体から線分を引いたりループで囲めば物体情報を表示したり、属性を未定義に初期化できる。また、物体から引いた線分の長さや物体を回転させることで、属性の数値を定義できる。また、物体を所定の時間内に置いたり取り除くことで、アプリケーション24aに所定の処理を指示するトリガーとすることができる。また、ユーザが書き込み面11bに書いた線分を物体に基づき制御して描画することができる。
【0212】
本実施の形態によれば、物体の識別コードとしてサーキュラバーコードを使用して、 中心から任意の半径の円周上を走査しランレングス化することによってバーコードを認識し、その数字(IDコード)を取得することができる。バーコードは識別数が多いので、種々の物体情報を登録できる(例えば、数万)。また、方向識別部があるので、物体の向きも容易に判別できる。また、バーコード部は単なる2進数を表しているため、適宜n進数に変換すれば、用途に応じたIDコードとして利用できる。サーキュラバーコードは中心から任意の半径の円周上を走査すればよいので、物体の底面全面を認識用の図として使用する必要がない。また、本実施の形態ではCCDカメラ14の解像度はバーコード部が識別可能な程度であればよく、識別する物体を増やすためにCCDカメラ14の解像度を必要以上に上げ、パターンマッチング用のパターン数が増大することもない。また、本実施の形態では、CCDカメラ14の解像度を上げれば識別可能なバーの幅を細くできるので、登録可能な物体情報の数を増大させることができる。
【実施例6】
【0213】
画像表示装置は識別コードにより物体を識別するが、TUIの場合ユーザもその物体がどのような情報を有するのか認識する必要がある。ユーザは例えば、文字等により記述された物体の情報(例えば、ビルの形等)を認識することができるが、より直感的に認識するために意匠的に物体を表現することが好ましい。
【0214】
すなわち、物体の識別コードに基づき表示する画像を操作する場合、物体の示す情報が変わったり、TUIを利用するアプリケーションが変わった場合、その目的に応じて物体の形状を作成しなければならない。
【0215】
この点、図46のように、画像を投影面11aの前方から投影するフロントタイプの場合、物体に対して、その物体の表す情報(図形、文字等)を投影することで、物体の形状を作り変えずとも同じ物体で種々の形状(外観)とすることができる。
【0216】
しかしながら、フロント投影では、ユーザが物体を操作する際には、投影光をさえぎってしまい視認性を落とすという問題がある。このような点に鑑みると、背面投影において、汎用の物体を用いてユーザが物体を識別可能にすることでより操作性・視認性が向上する。
【0217】
まず、本実施例では、側面がミラー状の反射面からなる円筒物体を物体として用いる。なお、機能図は図2又は図36若しくは図45のいずれを用いてもよい。
【0218】
図47は、ユーザの視線と書き込み面11aに載置された円筒物体との概略の関係を示す図である。
【0219】
円筒物体401は側面がミラーのため、周囲の風景が側面に映し出されることになる。ユーザが画像表示装置を使う際、一般的には30〜60°程度の角度で円筒物体を見ることになる。この際、円筒物体の側面のミラー面には円筒物体の載置されている書き込み面11aに投影された画像が映し出されて見える。
【0220】
ただし、円筒形状の側面に映し出された画像は、平面→曲面への変換がされ、ゆがんだ画像となる。本実施例では、円筒形状の側面に映し出された画像を利用するため、書き込み面11a上の円筒物体の周囲に、円筒物体のミラー面上で正しく(ゆがまずに)映し出されるような歪み画像(以下、アナモルフォース画像という)を投影することで、ユーザは個々の円筒物体を区別することができるようになる。
【0221】
図48は、書き込み面11aに投影されたアナモルフォース画像が円筒に映し出される様子を示す図である。図48に示すように、ゆがんでいるアナモルフォース画像が円筒面に映し出されると正しく表示される。
【0222】
円筒物体の円の半径や高さ等の物理形状は既知であるから、物体の側面上で正しく像を結ぶようなアナモルフォース画像への変換式は一意に決まり、これに投影する画像を入力することで、投影すべきアナモルフォース画像が求まる。
【0223】
物体認識部22が物体情報(位置、方向、IDコード)を検出したら、操作処理部23が物体のIDコードに対応した画像のアナモルフォース画像を、物体の方向に応じて物体の周囲に投影画像形成部24に投影させる。
【0224】
アナモルフォース画像を投影する範囲は、円筒物体401の周囲360°に投影しても良いし、必要に応じて一部のみを投影してもよい。
【0225】
図49は、円筒物体401の周囲360°に投影したアナモルフォース画像の一例を示す。図50は、円筒物体401の一部に投影したアナモルフォース画像を示す。図50のように、円筒物体401の一部にアナモルフォース画像を投影した場合、ユーザは円筒物体401に映し出される投影画像の位置で、円筒物体401の向きを認識できる。したがって、円筒物体401の向きに合わせてアナモルフォース画像を回転させて表示すれば、ユーザは円筒物体401の方向を認識できる。
【0226】
投影する画像を物体の使用目的にあわせて形成又は選択することで、実際に物体を対象物の形に成形しなくても、汎用的な円筒物体を種々の使用目的(アプリケーション)に使用できる。
【0227】
また、物体は角柱のよう直方体であってもよい。図51は、角柱物体402の一例を示す。図51に示すような角柱物体402の場合、円筒形の物体に比べて、周囲から見える方向が限定されてしまうが、表現する対象が前面、側面、背面の区別があるようなものであれば、角柱物体402を使用することが好適になる。
【0228】
操作処理部23は、ユーザから見て物体の前面に当たる部分には対象の前面の画像を、側面には対象の側面の画像を、背面には対象の背面に当たる画像を投影させることで、角柱物体の各面にはそれぞれの画像が反映される。
【0229】
物体の向きに合わせて投影画像の方向も変化させれば、ユーザはあたかも実際の対象物を見ている効果を得ることが出来る。
【0230】
図52は、空気の流れをシミュレートするアプリケーションに角柱物体を用いた場合を説明するための図である。角柱物体402を書き込み面11aに配置し、都市の空気の流れの様子等をシミュレーションするようなアプリケーションの場合、物体には建物の画像が投影される。
【0231】
建物には前面、側面、背面とがあるので、操作処理部23は、角柱物体のそれぞれの面に適した画像が映し出されるよう投影する。図53は、角柱物体のそれぞれの面にビルの画像が投影される投影画像を示す。
【0232】
物体が回転されたら、物体の向きに合わせて操作処理部23は、投影画像も回転させる。これにより、常に物体の同じ面に同じ画像が反映されるので、ユーザからは実体物のように見えるという効果が得られる。
【0233】
以上のように本実施例によれば、物体の表す対象物ごとに物体を準備する必要がなく、汎用のTUI用の物体を実現できる。円筒物体401と角柱物体402を組み合わせて用いることで、一つのアプリケーション内でさまざまな対象物を表現できる。また、特定のアプリケーションに用いられるように対象物が固定されている場合、その対象物の実際の形を物体として準備し、流動的な対象の物体に関しては、汎用的な物体を用いることができる。
【0234】
なお、本実施例のミラー状の反射体を有する物体は、外観に関する特徴であるので、実施例1〜5のいずれにも好適に適用できる。
【実施例7】
【0235】
TUIにおける物体に汎用性を備えさせる場合、透明物質により物体を構成してもよい。透明物質とは、例えば、アクリル、ガラス等の透過率の高いものである。
【0236】
本実施例では、透明物質により構成された物体が円筒形をしている。なお、機能図は図2又は図36若しくは図45のいずれを用いてもよい。
【0237】
図54(a)は、ユーザが所定角(例えば、30〜60度)から透明物体403を観察する様子を示す図である。図54(a)のように、透明物体403を観察する場合、透明物体403の内面は円筒ミラー面として作用する。
【0238】
図54(b)は、透明物体403を介してユーザが観察する投影画像を示す図である。図54(b)に示すように、透明物体403の底面に投影された画像は、ユーザの視線より遠い側の透明物体403の内面403aに反射してユーザに観察される。したがって、透明物体403を配置したとき、ユーザからはその底面部の像が円柱の側面の内側に映し出されてみえる。
【0239】
反射される画像は、投影される画像と上下左右が反転し、さらに透明物体403の反映面は曲面である。そこで、予め、透明物体403の底面に投影する画像は、上下左右を反転させゆがませておけば、ユーザには透明物体の内面に正しい元の画像が観察されることになる。
【0240】
物体認識部22が物体情報(位置、方向、IDコード)を検出したら、操作処理部23は物体のIDコードに対応した画像を上下左右反転させゆがませて、物体の方向に応じて物体の底面に、投影画像形成部24に投影させる。
【0241】
図55(a)は、予め上下左右を反転させゆがませられて透明物体403の底面に投影される画像の一例を、図55(b)は底面に投影された画像が透明物体403の内面に反射されユーザに観察される画像を示す。図55(b)に示すように、透明物体403を使用した場合、ユーザは反射による反転や歪みを意識することなく物体を認識可能となる。
【0242】
ところで、透明物体403の側面は円柱レンズ(シリンドリカルレンズ)としても機能する。図56は、透明物体403がシリンドリカルレンズとして機能する様子を示す図である。シリンドリカルレンズでは、ユーザからみて透明物体403の反対側の画像が手前の側面403bに映し出される。
【0243】
図56のように映し出される画像も、投影された実際の画像とは左右反転しゆがんだ画像となる。したがって、予め左右を反転したゆがませた画像を投影することで、ユーザは反射による反転や歪みを意識することなく物体を認識可能となる。
【0244】
物体識別用のサーキュラバーコードを物体底面に貼り付けることも可能であるので、画像表示装置は物体を識別できる。
【0245】
さらに透明物体403は、投影する画像によってユーザにも区別することが可能となるので、汎用の物体として用いることが可能であると共に、内面による反射、シリンドリカルレンズによる透過の効果を組み合わせ、かつ、投影画像を色、形、文字等を組み合わせて種々の物体を表現できる。なお、本実施例では円柱状の透明物体403について説明したが、角柱型の透明物体を用いた場合も、同様に物体の識別が可能になる。
【0246】
本実施例の透明物質による物体は、外観に関する特徴であるので、実施例1〜5のいずれにも好適に適用できる。
【実施例8】
【0247】
実施例7のように透明物体を用いた場合、ユーザは物体の上面から、物体の底面に存在する像を観察することができる。しかしながら、物体の底面には物体識別用の識別コードがあるため、その余白部にのみの画像を投影することとなる。
【0248】
余白部に画像を投影する場合、第1の実施形態の識別コードでは余白部が少ないので、実施例5で説明したサーキュラバーコード301を用いることが好適である。なお、機能図は図2又は図36若しくは図45のいずれを用いてもよい。
【0249】
サーキュラバーコード301は、円の中心に向かって細くなるくさび型の図形を配列したものとなっており、同心円状に区切った場合、各同心円において黒,白の比率は同じである。したがって、CCDカメラ14により撮影された画像からサーキュラバーコード301の各線が解像可能であれば、サーキュラバーコード301の中心部付近、外周部付近等の位置を問わない。すなわち、半径nドット上の円の座標列に沿ってパターンを解読出来ればよい。
【0250】
図57(a)はサーキュラバーコード301の一例を、図57(b)はサーキュラバーコード301の中心部付近を取り出したものを、図57(c)はサーキュラバーコード301の外周部付近を取り出したものを、それぞれ示す。
【0251】
図57(b)のように中心付近に近いところを用いれば、それよりも外側に画像を投影でき、図57(c)のように外周部に近いところを用いれば、それよりも内側に画像を投影することができる。サーキュラバーコード301の外周部を用いる場合は、線幅や間隔が大きくなるため、CCDカメラ14の解像度に余裕が持てる。
【0252】
物体認識部22が物体情報(位置、方向、IDコード)を検出したら、操作処理部23は物体のIDコードに対応した画像を、サーキュラバーコード301よりも内側に、物体の方向に応じて投影画像形成部24に投影させる。
【0253】
図58は、透明物体403の外周部に貼付されたサーキュラバーコード302と、その内側に投影された画像を示す図である。透明物体の底面の外周にサーキュラバーコード302を貼り付け又は印刷する。中央部は余白として使うことが出来るから、画像を投影することで観察者は物体上面に映し出される画像からその物体の表現する対象を認識することができる。
【0254】
本実施例の透明物質による物体及びサーキュラバーコードの貼付方法は、外観に関する特徴であるので、実施例1〜5のいずれにも適用できる。
【0255】
以上のように、本実施の形態の画像表示装置は、サーキュラバーコードにより物体を識別することで、非常に多くの物体情報を登録できる。また、方向識別部があるので、物体の向きも容易に判別できる。また、ミラー又は透明な物体を用いることで、汎用的な物体で種々のアプリケーションに利用できる。
【図面の簡単な説明】
【0256】
【図1】本発明の画像表示装置の実施形態を示す概略図である。
【図2】画像表示装置の機能図である。
【図3】画像表示方法の処理の流れを示すフローチャート図である。
【図4】物体底面のパターンを分離する図である。
【図5】物体の底面に付された識別コードの例を示す図である。
【図6】CCDカメラにより撮影された物体の底面の一例を示す図である。
【図7】スクリーンの投影面全体が白くなるようにして所定の閾値で2値化した後に表示された「底面」を示す図である。
【図8】撮像データに、文字切り出し技術を適用した例を示す模式図である。
【図9】物体認識部の詳細を示す図である。
【図10】線図処理部により、人手により描画された図形の認識方法の一例を示す図である。
【図11】図形認識部が認識する種々の図形の一例である。
【図12】図形の種別を解析した結果の一例である。
【図13】スクリーンの表面側に載置された物体と視認できる画像とを一例として示す図である。
【図14】線分端点における所定の距離を説明するための図である
【図15】線分の端点に物体があるか否かを判定する判定基準の別の例を示す図である。
【図16】属性情報の一例を示す図である。
【図17】スクリーンに配置された物体の一例を示す図である。
【図18】物体が線分で連結された図の一例を示す図である。
【図19】アプリケーションがスクリーンに表示した回路図の一例である。
【図20】所望の物体の属性を他の物体に定義する手書き図形の一例である。
【図21】物体の属性情報を入れ替えて再定義する手書き図形の一例である。
【図22】連続する物体IDに同じ属性情報を定義する手書き図形の一例である。
【図23】一度に複数の物体に同じ属性情報を定義する手書き図形の一例である。
【図24】物体の属性情報を調べるための手書き図形の一例である。
【図25】物体を囲む閉ループを描画し物体の属性情報を調べる手書き図形の一例である。
【図26】物体を再び未定義状態に戻す手書き内容の一例である。
【図27】線分の長さにより容量や電圧を定義する手書き図形の一例である。
【図28】属性数値を変更する手書き図形の一例である。
【図29】物体の着脱動作に基づき操作を検出する方法を示すフローチャート図の一例である。
【図30】風のシミュレーションにおいてスクリーンに配置される物体と投影される画像の一例である。
【図31】ユーザが描画した閉ループ及び複数の物体の一例を示す図である。
【図32】ユーザが配置した複数の複数の物体及びユーザが描画した閉ループの一例を示す図である。
【図33】実施例4における属性情報記憶部の一例である。
【図34】書き込み面に描画された任意の形状の線分の一例である。
【図35】閉ループ内に配置した物体Cにより塗りつぶされた閉ループの一例を示す。
【図36】実施例5における形態の画像表示装置の機能図を示す。
【図37】物体に貼付される識別コード(サーキュラバーコード)の一例を示す。
【図38】物体領域抽出部の処理手順を示すフローチャート図である。
【図39】物体が撮影された画像データを所定の閾値に基づき1-画素、0-画素に置き換えた画像データの一例を示す。
【図40】物体認識部の処理手順を示すフローチャート図の一例である。
【図41】円周方向に画素が走査されるパターン解析を説明するための図である
【図42】極座標テーブルの一例である。
【図43】物体認識部の処理手順を示すフローチャート図の一例である。
【図44】操作対応テーブルの一例である。
【図45】物体属性情報取得部が操作対応テーブルを保持する場合の画像表示装置の機能図である。
【図46】フロントタイプの画像表示装置を示す図である。
【図47】ユーザの視線と書き込み面に載置された円筒物体との概略の関係を示す図である。
【図48】書き込み面に投影されたアナモルフォース画像が円筒に映し出される様子を示す図である。
【図49】円筒物体の周囲360°に投影したアナモルフォース画像の一例を示す。
【図50】円筒物体の一部に投影したアナモルフォース画像の一例を示す。
【図51】角柱物体の一例を示す図である。
【図52】空気の流れをシミュレートするアプリケーションに角柱物体を用いた場合を説明するための図である。
【図53】角柱物体のそれぞれの面にビルの画像が投影される投影画像を示す図である。
【図54】ユーザが所定角から透明物体を観察する様子を示す図である。
【図55】予め上下左右を反転させゆがませられて透明物体の底面に投影される画像の一例を示す図である。
【図56】透明物体がシリンドリカルレンズとして機能する様子を示す図である。
【図57】一部を取り出したサーキュラバーコードを示す図である。
【図58】透明物体の外周部に貼付されたサーキュラバーコードと、その内側に投影された画像を示す図である。
【符号の説明】
【0257】
1 表示部
2 本体部
4、4A、4B、5 41〜48、51、52,61,62 物体
5a 輪郭
6 識別コード
6a,6b,6c,6d,6e 図形
7 線
8 矩形の黒
9 円形の線図
10 平面部
11 スクリーン
11a 投影面
11b 書き込み面
12 筐体
13 プロジェクタ
14 CCDカメラ
201 片矢印
202 片矢印
210 線分
220 閉ループ
301、302 サーキュラバーコード
401 円筒物体(ミラー状)
402 角柱物体(ミラー状)
403 円筒物体(透明)




 

 


     NEWS
会社検索順位 特許の出願数の順位が発表

URL変更
平成6年
平成7年
平成8年
平成9年
平成10年
平成11年
平成12年
平成13年


 
   お問い合わせ info@patentjp.com patentjp.com   Copyright 2007-2013