米国特許情報 | 欧州特許情報 | 国際公開(PCT)情報 | Google の米国特許検索
 
     特許分類
A 農業
B 衣類
C 家具
D 医学
E スポ−ツ;娯楽
F 加工処理操作
G 机上付属具
H 装飾
I 車両
J 包装;運搬
L 化学;冶金
M 繊維;紙;印刷
N 固定構造物
O 機械工学
P 武器
Q 照明
R 測定; 光学
S 写真;映画
T 計算機;電気通信
U 核技術
V 電気素子
W 発電
X 楽器;音響


  ホーム -> 写真;映画 -> 富士ゼロックス株式会社

発明の名称 情報処理システム、情報処理装置、情報処理方法及びコンピュータ・プログラム
発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開2007−10807(P2007−10807A)
公開日 平成19年1月18日(2007.1.18)
出願番号 特願2005−189033(P2005−189033)
出願日 平成17年6月28日(2005.6.28)
代理人 【識別番号】100087480
【弁理士】
【氏名又は名称】片山 修平
発明者 平田 和貴 / 伊與田 哲男
要約 課題
投影部と撮影部の光軸、画角等のずれを自動的に校正できる情報処理システムを提供する。

解決手段
マルチメディア処理装置1は、サーバー側装置2及びクライアント側装置3を備え、これらは通信網/データ・バス8を介して接続されている。サーバー側装置2は、少なくとも校正用の画像を投影する投影部6と、投影部6が投影した投影画像を撮像する撮像部5と、撮像部5が撮像した撮像画像の情報から校正用の画像の形状を表す被校正点の位置を特定する特定部41と、被校正点の位置を所定の参照点の位置に変換するためのパラメーターを算出する算出部42と、前記パラメーターを用いて撮像部5が撮像した撮像画像の情報を変換する変換部43とを備える。
特許請求の範囲
【請求項1】
少なくとも校正用の画像を投影する投影部と、
前記投影部が投影した投影画像を撮像する撮像部と、
前記撮像部が撮像した撮像画像の情報から前記校正用の画像の形状を表す被校正点の位置を特定する特定部と、
前記被校正点の位置を所定の参照点の位置に変換するためのパラメーターを算出する算出部と、
前記パラメーターを用いて前記撮像部が撮像した撮像画像の情報を変換する変換部とを備えることを特徴とする情報処理システム。
【請求項2】
前記算出部は、前記被校正点の位置及び前記参照点の位置を用いて、回帰分析手法により回帰直線の傾きと切片を求め、該回帰直線の傾きと該切片を用いて前記パラメーターを算出することを特徴とする請求項1に記載の情報処理システム。
【請求項3】
前記算出部は、前記被校正点の位置及び前記参照点の位置を用いて、回帰分析手法により回帰直線の傾きと切片を求め、該回帰直線の切片を基準点のデカルト座標系における位置データないし変位データとし、該回帰直線の傾きを水平方向および垂直方向のスケーリング係数とする構造化文書により前記パラメーターを記述ないし表現することを特徴とする請求項1に記載の情報処理システム。
【請求項4】
前記算出部は、前記パラメーターを算出する処理を所定の時刻に行うことを特徴とする請求項1に記載の情報処理システム。
【請求項5】
前記算出部は、前記パラメーターを算出する処理を所定の時間間隔で行うことを特徴とする請求項1に記載の情報処理システム。
【請求項6】
前記投影部は、前記校正用の画像を赤外光を用いて投影することを特徴とする請求項1に記載の情報処理システム。
【請求項7】
前記投影部は、前記校正用の画像を、点、線、三角形および四角形のうち少なくとも一つを組み合わせた図形を用いて投影することを特徴とする請求項1に記載の情報処理システム。
【請求項8】
前記投影部は、所定の画像及び前記校正用の画像を投影する光学系を含むことを特徴とする請求項1に記載の情報処理システム。
【請求項9】
前記投影部は、所定の画像及び前記校正用の画像を同一の光学的経路を経て投影する光学系を含むことを特徴とする請求項1に記載の情報処理システム。
【請求項10】
前記投影部は、前記所定の画像を投影しないときに、前記校正用の画像を投影することを特徴とする請求項8又は請求項9に記載の情報処理システム。
【請求項11】
前記光学系は、カラー・ホイールを含むことを特徴とする請求項8又は請求項9に記載の情報処理システム。
【請求項12】
前記光学系は、可視光の波長帯域と赤外光の波長帯域に対応するフィルターによって構成されるカラー・ホイールを含むことを特徴とする請求項8又は請求項9に記載の情報処理システム。
【請求項13】
前記光学系は、少なくとも赤外線帯域通過フィルター、可視光帯域用液晶パネル、ダイクロック・ミラー及びダイクロック・プリズムを所定の位置に配置して構成されていることを特徴とする請求項8又は請求項9に記載の情報処理システム。
【請求項14】
前記撮像部は、前記投影部が投影した投影画像の情報から前記校正用の画像の情報を抽出する抽出部を備えることを特徴とする請求項1に記載の情報処理システム。
【請求項15】
前記撮像部は、所定の画像及び前記校正用の画像を撮像する光学的経路の初期段階において同一となる光学系を含むことを特徴とする請求項1に記載の情報処理システム。
【請求項16】
前記変換部により変換された撮像画像の情報を遠隔地に送信する送信部と、
前記遠隔地から前記投影部から投影するための画像の情報を受信する受信部とをさらに備え、
前記投影部は、前記受信部が受信した画像の情報に基づいて投影を行うことを特徴とする請求項1から請求項15のいずれか一項に記載の情報処理システム。
【請求項17】
投影部が投影した校正用の画像を撮像する撮像部の撮像画像の情報を変換する情報処理装置であって、
前記撮像画像の情報から前記校正用の画像の形状を表す被校正点の位置を特定する特定部と、
前記被校正点の位置を参照点の位置に変換するためのパラメーターを算出する算出部と、
前記パラメーターを用いて前記撮像部が撮像した撮像画像の情報を変換する変換部とを備えることを特徴とする情報処理装置。
【請求項18】
少なくとも校正用の画像を投影する投影ステップと、
前記投影画像を撮像する撮像ステップと、
前記撮像した撮像画像の情報から前記校正用の図形の形状を表す被校正点の位置を特定する特定ステップと、
前記被校正点の位置を参照点の位置に変換するためのパラメーターを算出する算出ステップと、
前記パラメーターを用いて前記撮像画像の情報を変換する変換ステップとを有することを特徴とする情報処理方法。
【請求項19】
前記算出ステップは、前記被校正点の位置及び前記参照点の位置を用いて、回帰分析手法により回帰直線の傾きと切片を求め、該回帰直線の傾きと該切片を用いて前記パラメーターを算出することを特徴とする請求項18に記載の情報処理方法。
【請求項20】
前記算出ステップは、前記被校正点の位置及び前記参照点の位置を用いて、回帰分析手法により回帰直線の傾きと切片を求め、該回帰直線の切片を基準点のデカルト座標系における位置データないし変位データとし、該回帰直線の傾きを水平方向および垂直方向のスケーリング係数とする構造化文書により前記パラメーターを記述ないし表現することを特徴とする請求項18に記載の情報処理方法。
【請求項21】
前記投影ステップは、前記校正用の画像を赤外光を用いて投影することを特徴とする請求項18に記載の情報処理方法。
【請求項22】
前記画像変換された撮像画像の情報を遠隔地に送信するステップと、
前記遠隔地から前記投影するために指示された所定の画像の情報を受信するステップと、
前記受信した所定の画像の情報に基づいて投影を行うステップとをさらに有することを特徴とする請求項18から請求項21のいずれか一項に記載の情報処理方法。
【請求項23】
投影された校正用の画像を撮像した撮像画像の情報を取得するステップと、
前記撮像画像の情報から前記校正用の画像の形状を表す被校正点の位置を特定するステップと、
前記被校正点の位置を参照点の位置に変換するためのパラメーターを算出する算出ステップと、
前記パラメーターを用いて前記撮像画像の情報を変換する変換ステップとをコンピュータに実行させるためのコンピュータ・プログラム。
【請求項24】
前記算出ステップは、前記被校正点の位置及び前記参照点の位置を用いて、回帰分析手法により回帰直線の傾きと切片を求め、該回帰直線の傾きと該切片を用いて前記パラメーターを算出することを特徴とする請求項23に記載のコンピュータ・プログラム。
【請求項25】
前記算出ステップは、前記被校正点の位置及び前記参照点の位置を用いて、回帰分析手法により回帰直線の傾きと切片を求め、該回帰直線の切片を基準点のデカルト座標系における位置データないし変位データとし、前記回帰直線の傾きを水平方向および垂直方向のスケーリング係数とする構造化文書により前記パラメーターを記述ないし表現することを特徴とする請求項23に記載のコンピュータ・プログラム。
発明の詳細な説明
【技術分野】
【0001】
本発明は、情報処理システム、情報処理装置、情報処理方法及びコンピュータ・プログラムに関する。
【背景技術】
【0002】
昨今の通信技術、カメラやプロジェクターに関するデバイスの技術、コンピューティング技術の発展に伴い、コンピュータ、カメラおよびプロジェクターがオフィスなどに深く浸透してきている。これと相俟って、遠隔地点間を跨るさまざまな業務は通信およびコンピュータの支援を受けることができるようになってきている。例えば、企業における産業活動やその他のさまざまな日常生活において、遠隔会議やテレビ電話あるいはビデオ・チャットが頻繁に行なわれている。会議室にネットワーク、コンピュータ、カメラおよびプロジェクターを取り込むことで、遠隔会議会議の運用を支援することができる。
【0003】
遠隔会議支援システムの一例として、テレビ会議システムを取り上げることができる。テレビ会議システムによれば、遠隔に位置する複数の会議室において、カメラやマイクなどの画像・音声入力装置や、モニターやスピーカーなどの画像・音声出力装置を設置し、通信回線を利用して、遠隔地点間での意思疎通ないしコミュニケーションを促進ないし支援することができる。
【0004】
また、会議システムを使うことによって、会議の進行上、会議で使用されるホワイトボードや、スライドその他のプレゼンテーション資料など、会議に関連するさまざまな資料を会議室間あるいは個人のデスクトップ間で共有し、保管することができる。例えば、典型的な電子会議ソフトウェアとして、マイクロソフト社のNetMeetingがある。当該NetMeetingを用いて異なる拠点間の利用者はPowerPointなどの会議資料や描画機能を利用した図形データを共有することが可能となる。
【0005】
さらに、電子黒板あるいは電子ホワイトボードをネットワークに接続し利用することによって、図形データを共有することができる。例えば、SMART Techonologies Inc.社のSMARTBoardでは、大型のディスプレイとタッチパネルを利用して遠隔地間で手書きの図形を表示および共有することが可能となっている。ここで、上述の技術では、図形データの表示および共有は素材のデータが原則的に電子的なデータに限られているが、実際の会議では、時に三次元の空間を占有する実物の映像データと共に電子データを重ねて表示および共有したい場合がある。
【0006】
これまで、現実物(対象物)の上に重ねて電子データを表示する技術についてのいくつかの提案がなされている。例えば、FX Palo Alto Laboratoryが提案したiLightシステムでは、プロジェクターとカメラを組み合わせ、かつサーバーとクライアントを構成することによって、利用者は遠隔地間で図形データを表示共有することができる(例えば、非特許文献1を参照のこと)。
【0007】
具体的には、iLightシステムでは、遠隔地の描画クライアントで描画した図形データをサーバー側のビデオ・プロジェクターを用いてホワイトボード、ポスター、ポストイットなど現実物に重ねて投射し、それらの現実物と投射した画像データをサーバー側に構成するカメラで撮像し、遠隔地の描画クライアントに表示することができる。
【0008】
また、IBM T.J. Watson Research Centerが提案するプロジェクター・カメラ・システムでは、iLightシステムと同じく、プロジェクターとカメラを組み合わせ、遠隔サイトで描画した図形データを現地サイトないしローカル・サイトで現実物の上にプロジェクターを用いて投影することができる。さらに、iLightとシステム同じく、カメラ・システムで前記現実物と投影した図形データとを撮像し、遠隔サイトに送信することができる(例えば、非特許文献2を参照のこと)。
【0009】
さらに、映像の歪補正のためにプロジェクターの投射光軸に対するスクリーンの垂直方向および水平方向の傾斜角度を測定する傾斜角度測定装置を有するプロジェクターが提案されている(例えば、特許文献1を参照のこと)。また、可視光の明るさ低減を抑えて、通常の投射中にもスクリーンに不可視光によるテストパターンの表示が可能で、プロジェクターの光軸に対する垂直および水平方向の傾斜角度の測定と自動焦点調整の可能なプロジェクターが提案されている(例えば、特許文献2を参照のこと)。
【0010】
加えて、遠隔ミーティングや電子会議などにおいて紙データや参考品などの画像データを電子データと同様に扱える卓上のカメラ・デジタイザ付き投影装置が提案されている(例えば、特許文献3を参照のこと)。
【非特許文献1】Jonathan Foote and Don Kimber:"Remjote Interactive Graffiti", MM'04, October 10-16, 2004.
【非特許文献2】Claudio Pinhanez and Gopal Pingali:"Projector-camera Systems for Telepresence", ETP'04, October 15, 2004.
【特許文献1】特開2005−006272号公報
【特許文献2】特開2005−017350号公報
【特許文献3】特開2004−265185号公報
【発明の開示】
【発明が解決しようとする課題】
【0011】
しかしながら、非特許文献1のように、プロジェクターで投影した投影画像をカメラで撮像して、これを遠隔地に送信するシステムにおいて、プロジェクターとカメラが構造的に分離されている場合、プロジェクターとカメラ間の調整を簡単に行うことができないという問題があった。例えば、プロジェクターとカメラとの光軸のずれあるいは画角の相違または機械的な配置の不具合によって生じるプロジェクターによって投影される画像とカメラによって撮像された画像との間における相対的な位置のずれ、画像サイズの相違、縮尺(拡大または縮小)による歪みおよび平行移動並びに回転による歪み等による不具合などの校正がなされていない場合、遠隔地間で正確な画像の受け渡しができないという問題があった。また、遠隔地において手動でプロジェクターとカメラの画像に対する校正を調整することも考えられるが、その校正には時間と手間が掛かるという問題があった。
【0012】
また、特許文献1〜3の技術は、プロジェクターとカメラ間の制御を目的とするものではない。
【0013】
そこで、本発明は上記問題点に鑑みなされたもので、投影部と撮影部の光軸、画角のずれ等を自動的に校正できる情報処理システム、情報処理装置、情報処理方法及びコンピュータ・プログラムを提供することを目的とする。
【課題を解決するための手段】
【0014】
上記課題を解決するために、本発明の情報処理システムは、少なくとも校正用の画像を投影する投影部と、前記投影部が投影した投影画像を撮像する撮像部と、前記撮像部が撮像した撮像画像の情報から前記校正用の画像の形状を表す被校正点の位置を特定する特定部と、前記被校正点の位置を所定の参照点の位置に変換するためのパラメーターを算出する算出部と、前記パラメーターを用いて前記撮像部が撮像した撮像画像の情報を変換する変換部とを備える。本発明によれば、被校正点の位置を所定の参照点の位置に変換するパラメーターを用いて撮像画像の情報を変換するため、投影部と撮像部の光軸、画角などが一致しないことにより発生する投影領域と撮像領域のずれ、あるいは縮尺(拡大または縮小)による歪みおよび平行移動並びに回転による歪み等の不具合を自動的に校正することができるため、利用者の意図した場所に画像を投影部から投影することができる。また自動校正を簡単な構成により実現できるので、小型な装置を提供できる。
【0015】
前記算出部は、前記被校正点の位置及び前記参照点の位置を用いて、回帰分析手法により回帰直線の傾きと切片を求め、該回帰直線の傾きと該切片を用いて前記パラメーターを算出する。本発明によれば、回帰分析手法により回帰直線の傾きと切片を求め、該回帰直線の傾きと切片を用いてパラメーターを算出できる。前記算出部は、前記被校正点の位置及び前記参照点の位置を用いて、回帰分析手法により回帰直線の傾きと切片を求め、該回帰直線の切片を基準点のデカルト座標系における位置データないし変位データとし、該回帰直線の傾きを水平方向および垂直方向のスケーリング係数とする構造化文書により前記パラメーターを記述ないし表現する。
【0016】
前記算出部は、前記パラメーターを算出する処理を所定の時刻に行うことを特徴とする。本発明によれば、例えば投影部から投影される画像と撮像部で撮像する画像の位置合わせなどを定刻に、定期的に、又は自動的に行うことができる。前記算出部は、前記パラメーターを算出する処理を所定の時間間隔で行うことを特徴とする。本発明によれば、投影領域と撮像領域の位置合わせをリアルタイムに行うことができる。これにより、投影領域又は撮像領域が時々刻々と変化する場合であっても、動的に校正できるため、投影領域と撮像領域を容易にキャリブレーションできる。
【0017】
前記投影部は、前記校正用の画像を赤外光を用いて投影することを特徴とする。本発明によれば、校正用の画像を赤外光を用いて扱うことで、利用者が校正用画像を知覚することなく、投影領域と撮像領域のずれ、あるいは縮尺(拡大または縮小)による歪みおよび平行移動並びに回転による歪み等の不具合を自動的に校正することができる。前記投影部は、前記校正用の画像を、点、線、三角形および四角形のうち少なくとも一つを組み合わせた図形を用いて投影する。前記投影部は、所定の画像及び前記校正用の画像を投影する光学系を含む。前記投影部は、所定の画像及び前記校正用の画像を同一の光学的経路を経て投影する光学系を含む。これにより小型な装置を提供できる。
【0018】
前記投影部は、前記所定の画像を投影しないときに、前記校正用の画像を投影する。これにより、時間分割による排他制御が可能となる。前記光学系は、カラー・ホイールを含むことを特徴とする。本発明によれば、カラー・ホイールによって、所定の画像と、校正用の画像を重ねることで、タイム・スロットを用いた時間的な制御が可能であると共に、投影部を実現する装置、部品、デバイス、素子又はそれらを収める筐体を従来に比して小さくできる。
【0019】
前記光学系は、可視光の波長帯域と赤外光の波長帯域に対応するフィルターによって構成されるカラー・ホイールを含む。本発明によれば、所定の画像に対しては、可視光の波長帯域に対応するフィルターを用い、校正用の画像に対しては、赤外光の波長帯域に対応するフィルターを用いることで、所定の画像と投影領域の基準を示す画像を空間的に重ねることができる。これにより、投影部を実現する装置、部品、デバイス、素子又はそれらを収める筐体を従来に比して小さくできる。
【0020】
前記光学系は、少なくとも赤外線帯域通過フィルター、可視光帯域用液晶パネル、ダイクロック・ミラー及びダイクロック・プリズムを所定の位置に配置して構成されている。本発明によれば、投影部を実現する装置、部品、デバイス、素子又はそれらを収める筐体を従来に比して小さくできる。前記撮像部は、前記投影部が投影した投影画像の情報から前記校正用の画像の情報を抽出する抽出部を備える。これにより、赤外線によって形成される画像から校正用の画像を抽出できる。
【0021】
前記撮像部は、所定の画像及び前記校正用の画像を撮像する光学的経路の初期段階において同一となる光学系を含む。本発明によれば、所定の画像及び校正用の画像を撮像するための光学的経路が初期段階において同一であるため、撮像部を小型に構成できる。本発明の情報処理システムは、前記変換部により変換された撮像画像の情報を遠隔地に送信する送信部と、前記遠隔地から前記投影部から投影するための画像の情報を受信する受信部とをさらに備え、前記投影部は、前記受信部が受信した画像の情報に基づいて投影を行うことを特徴とする。これにより、iLightシステムを提供することができる。
【0022】
本発明の情報処理装置は、投影部が投影した校正用の画像を撮像する撮像部の撮像画像の情報を変換する情報処理装置であって、前記撮像画像の情報から前記校正用の画像の形状を表す被校正点の位置を特定する特定部と、前記被校正点の位置を参照点の位置に変換するためのパラメーターを算出する算出部と、前記パラメーターを用いて前記撮像部が撮像した撮像画像の情報を変換する変換部とを備える。本発明によれば、被校正点の位置を所定の参照点の位置に変換するパラメーターを用いて撮像画像の情報を変換するため、投影部と撮像部の光軸、画角などが一致しないことにより発生する投影領域と撮像領域のずれ、あるいは縮尺(拡大または縮小)による歪みおよび平行移動並びに回転による歪み等の不具合を自動的に校正することができるため、利用者の意図した場所に画像を投影部から投影することができる。また自動校正を簡単な構成により実現できるので、小型な装置を提供できる。
【0023】
本発明の情報処理方法は、少なくとも校正用の画像を投影する投影ステップと、前記投影画像を撮像する撮像ステップと、前記撮像した撮像画像の情報から前記校正用の図形の形状を表す被校正点の位置を特定する特定ステップと、前記被校正点の位置を参照点の位置に変換するためのパラメーターを算出する算出ステップと、前記パラメーターを用いて前記撮像画像の情報を変換する変換ステップとを有する。本発明によれば、被校正点の位置を所定の参照点の位置に変換するパラメーターを用いて撮像画像の情報を変換するため、投影部と撮像部の光軸、画角などが一致しないことにより発生する投影領域と撮像領域のずれ、あるいは縮尺(拡大または縮小)による歪みおよび平行移動並びに回転による歪み等の不具合を自動的に校正することができるため、利用者の意図した場所に画像を投影部から投影することができる。また自動校正を簡単な構成により実現できるので、小型な装置を提供できる。
【0024】
前記算出ステップは、前記被校正点の位置及び前記参照点の位置を用いて、回帰分析手法により回帰直線の傾きと切片を求め、該回帰直線の傾きと該切片を用いて前記パラメーターを算出することを特徴とする。本発明によれば、回帰分析手法により回帰直線の傾きと切片を求め、該回帰直線の傾きと切片を用いてパラメーターを算出できる。
【0025】
前記算出ステップは、前記被校正点の位置及び前記参照点の位置を用いて、回帰分析手法により回帰直線の傾きと切片を求め、該回帰直線の切片を基準点のデカルト座標系における位置データないし変位データとし、該回帰直線の傾きを水平方向および垂直方向のスケーリング係数とする構造化文書により前記パラメーターを記述ないし表現することを特徴とする。前記投影ステップは、前記校正用の画像を赤外光を用いて投影することを特徴とする。本発明によれば、校正用画像を赤外光を用いて扱うことで、利用者が校正用画像を知覚することなく、投影領域と撮像領域のずれ、あるいは縮尺(拡大または縮小)による歪みおよび平行移動並びに回転による歪み等の不具合を自動的に校正できる。
【0026】
本発明の情報処理方法は、前記画像変換された撮像画像の情報を遠隔地に送信するステップと、前記遠隔地から前記投影するために指示された所定の画像の情報を受信するステップと、前記受信した所定の画像の情報に基づいて投影を行うステップとをさらに有する。これによりiLightシステムを提供できる。
【0027】
本発明のコンピュータ・プログラムは、投影された校正用の画像を撮像した撮像画像の情報を取得するステップと、前記撮像画像の情報から前記校正用の画像の形状を表す被校正点の位置を特定するステップと、前記被校正点の位置を参照点の位置に変換するためのパラメーターを算出する算出ステップと、前記パラメーターを用いて前記撮像画像の情報を変換する変換ステップとをコンピュータに実行させる。本発明によれば、被校正点の位置を所定の参照点の位置に変換するパラメーターを用いて撮像画像の情報を変換するため、投影部と撮像部の光軸、画角などが一致しないことにより発生する投影領域と撮像領域のずれ、あるいは縮尺(拡大または縮小)による歪みおよび平行移動並びに回転による歪み等の不具合を自動的に校正することができるため、利用者の意図した場所に画像を投影部から投影することができる。また自動校正を簡単な構成により実現できるので、小型な装置を提供できる。
【0028】
前記算出ステップは、前記被校正点の位置及び前記参照点の位置を用いて、回帰分析手法により回帰直線の傾きと切片を求め、該回帰直線の傾きと該切片を用いて前記パラメーターを算出することを特徴とする。本発明によれば、回帰分析手法により回帰直線の傾きと切片を求め、該回帰直線の傾きと切片を用いてパラメーターを算出できる。前記算出ステップは、前記被校正点の位置及び前記参照点の位置を用いて、回帰分析手法により回帰直線の傾きと切片を求め、該回帰直線の切片を基準点のデカルト座標系における位置データないし変位データとし、前記回帰直線の傾きを水平方向および垂直方向のスケーリング係数とする構造化文書により前記パラメーターを記述ないし表現する。
【0029】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【発明の効果】
【0030】
本発明によれば、投影部と撮影部の光軸、画角のずれ等を自動的に校正できる情報処理システム、情報処理装置、情報処理方法及びコンピュータ・プログラムを提供できる。
【発明を実施するための最良の形態】
【0031】
以下、本発明を実施するための最良の形態について説明する。
【実施例1】
【0032】
図1は、本発明の一実施形態に係るマルチメディア装置1の機能構成を模式的に示している。図1に示すように、マルチメディア処理装置(情報処理システム)1は、サーバー側装置2およびクライアント側装置3から構成される。サーバー側装置2は、制御部(情報処理装置)4、撮像部5、投影部6および通信部(送信部、受信部)7から構成される。クライアント側装置3は、制御部9、提示部10、入力部11および通信部12から構成される。サーバー側装置2およびクライアント側装置3は、通信網又はデータ・バス8で相互に接続されている。
【0033】
制御部4、撮像部5、投影部6および通信部7は、サーバー側装置2の内部のネットワーク、データ回線又は制御回線などを介して相互に接続されている。同様に、制御部9、提示部10、入力部11および通信部12は、クライアント側装置3の内部のネットワーク、データ回線又は制御回線などを介して相互に接続されている。
【0034】
撮像部5は、一つ以上のレンズやCCDを含む撮像回路等で構成され、クライアント側装置3へ提供するために投影部6がスクリーン13または現実物(対象物)に投影した投影画像を撮像し、撮像した画像データを制御部4の内部メモリーに出力する。投影部6は、一つ以上のプロジェクターから構成され、通信部7から入力された画像データや制御部4から入力された画像データに基づいて、スクリーン13の投影領域に画像を投影する。このとき、投影部6は、可視光を利用して利用者が投影したい画像(所定の画像)を投影し、赤外光を利用して校正用の画像を投影する。投影部6は校正用の画像を、たとえば点、線、三角形又は四角形を組み合わせた図形を用いて投影するのが好ましい。
【0035】
制御部4は、CPU(Central Processing Unit)、メモリー、タイマー又はクロックなどで構成され、撮像部5、投影部6および通信部7の各部の回路およびデータを制御する。制御部4は、特定部41、算出部42及び変換部43を備える。特定部41は、撮像部5が撮像した撮像画像の情報から校正用の画像の形状を表す被校正点の位置を特定する。算出部42は、被校正点の位置を所定の参照点の位置に変換するための校正パラメーターを算出する。このとき、算出部42は、被校正点の位置及び参照点の位置を用いて、回帰分析手法により回帰直線の傾きと切片を求め、該回帰直線の傾きと該切片を用いて校正パラメーターを算出する。より詳細には、算出部42は、被校正点の位置及び参照点の位置を用いて、回帰分析手法により回帰直線の傾きと切片を求め、回帰直線の切片を基準点のデカルト座標系における位置データないし変位データとし、回帰直線の傾きを水平方向および垂直方向のスケーリング係数とする構造化文書により校正パラメーターを記述ないし表現する。変換部43は、校正パラメーターを用いて撮像部5が撮像した撮像画像の情報を変換する。
【0036】
算出部42によるパラメーターの算出およびそのパラメーターを使った校正手続きは、電源投入後に行うようにしてよい。また、算出部42は、校正パラメーターを算出する処理およびそのパラメーターを使った校正手続きを所定の時刻に行うようにしてもよいし、さらに、所定の時間間隔で定期的に行うようにしてもよい。
【0037】
そこで、本発明において、その運用によっては、電源投入直後に、外部のスクリーン等の設置等の使用環境ないし状態が変化しない間は、一度だけ、上記パラメーターの算出とそのパラメーターを使った校正を行い、その校正以後、適正な状態で所定の画像データを使った投影と撮影を行うことができる。一方、電源投入後、一度だけパラメーターの算出とその算出したパラメーターを使った校正を行うのではなく、所定の時間間隔で定期的に校正を行うこともできる。例えば、利用者が本発明の実装システムを利用する間をセッションと呼ぶことにすると、そのセッション毎にパラメーターの算出とそのパラメーターを使った校正を行うこともできるし、セッション内に、例えば5分や10分単位の所定の時間間隔でパラメーターの算出とそのパラメーターを使った校正を行うこともできるし、さらには、ライブで、すなわち利用者の認識としては、利用者の所望の、あるいは所定の画像を投影および撮影しつつ、(利用者の認識としては)同時に校正を行うことができる。この場合、技術的にはあるいは物理的にはあるいは手続き的には、短時間の時間間隔での、いわば実時間処理で(例えば、120分の1秒毎に)「パラメーターの算出とそのパラメーターを使った校正」と「所定の画像の投影と撮影」を交互に繰り返すこともできる。ある所定の時間単位の間隔で規定されるタイム・スロットによる本発明の制御については後述する。
【0038】
通信部7は、ネットワーク制御回路、通信制御回路又はバス制御回路などで構成され、主に、制御部4の内部メモリーから画像データを入力し、投影部6に画像データを出力し、通信網又はデータ・バス8を介して、クライアント側装置3の通信部12と相互にデータを送受信する。また、通信部7は、撮像部5で抽出した画像データを通信網/データ・バス8を介して外部のクライアント側装置3へ送信する。制御部9は、CPU及びメモリーなどで構成され、提示部10、入力部11および通信部12の各部の回路およびデータを制御する。
【0039】
提示部10は、一般的なディスプレイ、モニターなどで構成され、通信部12から出力される画像データ又は入力部11から出力されるデータを利用者に提示する。入力部11は、利用者からのマウスなどを使って入力したデータを提示部10又は通信部12に出力する。通信部12は、ネットワーク制御回路、通信制御回路又はバス制御回路などにより構成され、主に、入力部11から画像データを入力し、画像データを提示部10へ出力し、通信網又はデータ・バス8を介して、サーバー側装置2の通信部7と相互にデータを送受信する。
【0040】
ここで、サーバー側装置2およびクライアント側装置3は、通信網又はデータ・バス8を介して、いわゆるフィードバック・ループを構成する。すなわち、まず、投影部6は、通信部7から入力された画像データに基づき画像をスクリーン13に投影する。次に撮像部5は、投影部6の投影領域を撮像し、撮像した画像データを、制御部4の内部メモリーを介して、通信部7へ出力する。次に、通信部7は、撮像部5から撮像された画像データを制御部4の内部メモリーおよび通信網又はデータ・バス8を介して、クライアント側装置3の通信部12へ送信する。
【0041】
通信部12は、通信網又はデータ・バス8を介して、サーバー側装置2からの画像データを受信し、受信した画像データを制御部9へ出力する。制御部9は、通信部12から出力された画像データに基づいて、提示用の画像データを提示部10に出力する。そこで、利用者は提示部10を使ってサーバー側装置2の撮像部5によって撮像された画像を閲覧することができる。よって、利用者は提示部10に表示された画像に応じて、入力部11を使って例えばアノテーションなどのデータを入力することができる。入力部11から入力されたデータは、制御部9へ出力される。
【0042】
制御部9に保持されている画像データは、入力部11によって制御部9に入力されたデータによって変更処理される。さらに制御部9は、変更処理された画像データを通信部12へ出力する。通信部12は、制御部9から入力された画像データを通信網又はデータ・バス8を介して、サーバー側装置2の通信部7へ送信する。通信部7は、通信網又はデータ・バス8を介して、受信した画像データを投影部6へ出力する。投影部6は、通信部7から入力された画像データに基づいて画像を投影する。
【0043】
投影された画像は、スクリーン13の手前に現実物が置かれている場合には、現実物の上に重ねて表示される。現実物の上に重ねて表示されている投影された画像は、前述のように、撮像部5によって撮像される。以上のように、サーバー側装置2およびクライアント側装置3は、通信網又はデータ・バス8を介して、フィードバック・ループを構成している。
【0044】
次に、投影部6を具体的に説明する。図3は本実施形態に係る投影部6の機能構成を示すブロック図である。図3に示すように、投影部6は、可視光帯域データ処理回路61、可視光帯域発光回路62、赤外線帯域データ処理回路63、赤外線帯域発光回路64、混合回路65および出力回路66から構成される。可視光帯域データ処理回路61は、制御部4の内部メモリーに保持されている画像データを入力し、所定の処理を施した画像データを可視光帯域発光回路62へ送る。可視光帯域発光回路62は、画像データの各色成分、R(赤)、G(緑)およびB(青)の成分に対応した発光回路ないし部品で構成され、可視光帯域データ処理回路61からの画像データに基づいて、投影するための光を発光する。
【0045】
赤外線帯域データ処理回路63は、制御部4の内部メモリーに保持されている校正用の画像データを入力し、これを赤外線帯域発光回路64へ送る。この校正用の画像データは、校正パラメーターを求めるために用いられる。赤外線帯域発光回路64は、赤外線帯域データ処理回路63からの校正用の画像データに基づいて、赤外光を発光する。混合回路65は、可視光帯域発光回路62からの可視光および赤外線帯域発光回路64からの赤外光を空間的に混合する。出力回路66は、混合回路65からの光を外部へ投射する。これにより、校正用の画像がスクリーン13又は現実物に投影される。
【0046】
次に撮像部5を詳細に説明する。図2は本実施形態に係る撮像部5の機能構成を示すブロック図である。図2に示すように、撮像部5は、受光回路51、フィルター回路52、可視光帯域データ処理回路53および赤外線帯域データ処理回路54から構成される。
【0047】
受光回路51はレンズなどで構成される。フィルター回路52は、たとえば赤外線フィルターなどで構成され、赤外光を可視光から分離する。具体的には、フィルター回路52は、受光回路51から入力された光のうち、可視光を可視光帯域データ処理回路53へ、赤外光を赤外線帯域データ処理回路54へ導く。なお本実施例では、抽出部として機能するフィルター回路52は、撮像部5内に組み込まれているが撮像部5の外に設けられていてもよい。
【0048】
可視光帯域データ処理回路53は、光電変換回路およびメモリー等で構成され、フィルター回路52からの可視光を光電変換し、可視光帯域の画像データを生成し、この可視光帯域の画像データを内部のメモリーに保持する。また、可視光帯域データ処理回路53は、制御部4の制御に従い内部メモリーに保持した可視光帯域の画像データを制御部4の内部メモリーへ出力する。
【0049】
赤外線帯域データ処理回路54は、赤外光の帯域に利用可能な光電変換回路およびメモリー等で構成され、フィルター回路52からの赤外光を光電変換を行い、赤外光帯域の校正用の画像データを生成し、この赤外光帯域の校正用の画像データを内部のメモリーに保持する。赤外線帯域データ処理回路54は、制御部4の制御に従い内部メモリーに保持した赤外光帯域の校正用の画像データを制御部4の内部メモリーへ出力する。
【0050】
図4は、本実施形態に係る位置校正手続きの処理手順をフローチャートの形式で示している。ここで、位置校正とは、投影部6の投影画像と撮像部5の撮像画像の位置合わせを意味する。図4に示すように、位置校正手続きは、校正初期化手続き(ステップS1)、校正用投影手続き(ステップS2)、校正用撮像手続き(ステップS3)、校正データ算出適応手続き(ステップS4)および校正終了化手続き(ステップS5)の各手続きから成る。
【0051】
まず、ステップS1において、制御部4は、制御部4の内部メモリーの初期化、すなわちメモリーの割り当てとクリア、撮像部5に対する初期化の命令および投影部6に対する初期化の命令などを行う。次に、ステップS2において、投影部6は、赤外光を用いて校正用の画像を投影する。なお、ステップS2については、後で詳述する。また、ステップS3において、撮像部5は、可視光および赤外光を分離し、可視光を用いた画像データおよび赤外光を用いた校正用の画像データを抽出する。なお、ステップS3については、後で詳述する。ここで、制御部4は、制御部4の内部メモリーと、撮像部5の赤外線帯域データ処理回路54の内部メモリーおよび投影部6の赤外線帯域データ処理回路63の内部メモリーとの間で相互にデータの写像(マッピング)ないし対応付けあるいは関連付けおよびデータ転送を行うことができるものとする。
【0052】
さらに、ステップS4において、制御部4の特定部41は、撮像部5が撮像した撮像画像の情報から校正用の画像の形状を表す被校正点の位置を特定する。算出部42は、被校正点の位置を所定の参照点の位置に変換するためのパラメーターを算出する。変換部43は、記パラメーターを用いて撮像部5が撮像した撮像画像データを変換する。最後に、ステップS5において、制御部4は、内部メモリーをクリアするなどの終了処理を行う。その後、通信部7は、変換部7により変換された撮像画像の情報を遠隔地に送信する。通信部7は、クライアント側装置(遠隔地)3から投影部6から投影するための画像の情報を受信する。投影部6は、通信部7が受信した画像の情報に基づいてスクリーン13や現実物に投影を行う。
【0053】
図5は、ステップS2の詳細な校正用投影手続きをフローチャートの形式で示している。図示のとおり、ステップS2の校正用投影手続きは、校正用投影初期化手続きステップS11、可視光帯域データ処理ステップS12、可視光帯域発光処理ステップS13、赤外線帯域データ処理ステップS14、赤外線発光処理ステップS15、混合処理ステップS16、出力処理ステップS17および校正用投影終了化手続きS18の各手続きおよび処理で構成される。
【0054】
まず、ステップS11において、投影部6は、可視光帯域データ処理回路61、可視光帯域発光回路62、赤外線帯域データ処理回路63、赤外線帯域発光回路64、混合回路65および出力回路66のそれぞれを初期化、具体的には各部分の内部メモリーの割り当ておよびリセットなどを行う。次に、ステップS12において、可視光帯域データ処理回路61は、制御部4の内部メモリーから可視光を利用して投影する画像データを入力し、これに所定の処理を施し可視光帯域発光回路62へ送る。
【0055】
ステップS13において、可視光帯域発光回路62は、可視光を利用して投影する画像データに基づいて、各色成分の強度データに応じて、各色成分R、GおよびBに対応する発光回路を駆動し、発光する。続いて、ステップS14において、赤外線帯域データ処理回路63は、制御部4の内部メモリーから赤外光を利用して投影する校正用の画像データを入力し、これに所定の処理を施し赤外線帯域発光回路64へ送る。
【0056】
ステップS15において、赤外線帯域発光回路64は、校正用の画像データの強度、空間的形状あるいはパターンに応じて、赤外光を出す。ステップS16において、混合回路65は、可視光帯域発光回路62からの可視光および赤外線帯域発光回路64からの赤外光を空間的に混合する。ステップS17において、出力回路66は、混合回路65からの光を外部へ出す。ステップS18において、可視光帯域データ処理回路61、可視光帯域発光回路62、赤外線帯域データ処理回路63、赤外線帯域発光回路64、混合回路65および出力回路66のそれぞれを終了化、具体的には各部分の内部メモリーのクリアなどを行う。
【0057】
図6は、ステップS3の詳細な校正用撮像手続きをフローチャートの形式で示している。図示のとおり、ステップS3の校正用撮像手続きは、校正用撮像初期化手続きS21、受光処理ステップS22、フィルタリング処理ステップS23、可視光帯域データ処理ステップS24、赤外線帯域データ処理ステップS25および校正用撮像終了化手続きS26の各手続きおよび処理で構成される。
【0058】
まず、ステップS21において、撮像部5は、受光回路13、フィルター回路52、可視光帯域データ処理回路53および赤外線帯域データ処理回路54のそれぞれを初期化、具体的には、各部分の内部メモリーの割り当ておよびリセットなどを行う。ステップS22において、受光回路51は外部からの光を受ける。ステップS23において、フィルター回路52は、入力された光を可視光と赤外光に分離し、可視光を可視光帯域データ処理回路53へ、赤外光を赤外光帯域データ処理回路54へ導く。
【0059】
ステップS24において、可視光帯域データ処理回路53は、フィルター回路52からの可視光を光電変換して、可視光を利用して投影された画像データを抽出し、この画像データを制御部4の内部メモリーへ出力する。ステップS25において、赤外線データ処理回路54は、フィルター回路52からの赤外光を光電変換して、赤外光を利用して投影された校正用の画像データを取得し、これを制御部4の内部メモリーへ出力する。制御部4は、可視光を利用して投影された画像データを通信部7を介してクライアント側装置3へ送信する。これにより、クライアント側装置3では、投影画像を閲覧することができる。
【0060】
最後にステップS26において、撮像部5は、受光回路51、フィルター回路52、可視光帯域データ処理回路53および赤外線帯域データ処理回路54のそれぞれを終了化、具体的には、各部分の内部メモリーのクリアなどを行う。
【0061】
図8は校正手続き時の投影領域と撮像領域の関係の一例を示した図である。図8(a)は、制御部4内のメモリー上に描画された画像を模式的に示している。投影領域23と撮像領域25の位置合わせがまだ行われていないため、両者がずれているのが分かる。
【0062】
校正用の画像24は、頂点A、B、C、Dを持つ矩形の図形からなる。校正用画像24は、投影部6により赤外光を利用して投影されたものである。撮像領域の参照画像26は、頂点A’B’C’D’を持つ矩形の図形である。制御部4は、校正用の画像ABCDが、理想的な参照画像A’B’C’D’に合うように校正パラメーターを算出し、校正用画像24の位置及び形状を校正していく。参照画像26の形状は、参照画像26の各頂点A'、B'、C'およびD'の座標で表現できる。参照画像26の各頂点A'、B'、C'およびD'の座標は、撮像部5のデカルト座標系あるいは、制御部4のメモリーにおけるデータを表現するためのデカルト座標系でそれぞれ座標(A'x,A'y)、(B'x,B'y)、(C'x,C'y)および(D'x,D'y)で表現できる。参照画像26の各頂点A'、B'、C'およびD'を校正の基準となるので参照点と呼ぶ。校正用画像24の各頂点A、B、CおよびDのそれぞれの座標は、図8において前述と同一のデカルト座標系で(Ax,Ay)、(Bx,By)、(Cx,Cy)および(Dx,Dy)で表現できる。校正用画像24の各頂点A、B、CおよびDを被校正点と呼ぶ。
【0063】
次に校正データ算出適応処理について説明する。図7はステップS4の詳細な校正データ算出適応手続きをフローチャートの形式で示している。図7に示すように、ステップS4の校正データ算出適応手続きは、校正データ算出適応初期化手続きS31、参照点初期位置特定処理ステップS32、被校正点位置特定処理ステップS33、校正パラメーター算出処理ステップS34、校正パラメーター適応処理ステップS35および校正データ算出適応終了化手続きS36からなる。このステップS4においては、制御部4の特定部41は、撮像部5が撮像した撮像画像の情報から校正用画像24の形状を表す被校正点の位置を特定する。算出部42は、被校正点の位置を所定の参照点の位置に変換するための校正パラメーターを算出する。
【0064】
まず、ステップS31において、制御部4は、内部メモリーの初期化、具体的には、メモリーの割り当ておよびクリアなどを行う。次に、ステップS32において、特定部41は、投影部6に出力した校正用図形のデータを参照することによって、参照画像26の形状を表現する座標(A'x,A'y)、(B'x,B'y)、(C'x,C'y)および(D'x,D'y)を特定する。ここで、参照画像26の参照点の座標(A'x,A'y)、(B'x,B'y)、(C'x,C'y)および(D'x,D'y)は、制御部4の内部メモリー上のデータに対して規定されるデカルト座標系としては、参照画像26の生成時に特定され得る。つまり、任意の座標を指定し得る。また、制御部4の内部のメモリー上のデータに対して規定されるデカルト座標系と撮像部5の赤外線帯域データ処理回路54の内部メモリー上のデータに対して規定されるデカルト座標系は同一であるとする。
【0065】
また、参照点の初期位置によっては、校正用画像24の形状の全ての座標を撮像部5が撮像できない場合もある。例えば、校正用画像24の校正点BおよびCが撮像領域25の外部に位置する場合である。このようなときには、ステップS32において、制御部4は、参照画像26の位置ないし形状を変更し、校正用画像24を表現する図形の全ての頂点の座標が撮像領域25内部に位置するように修正する。
【0066】
次にステップS33において、特定部41は、撮像部5から入力した校正用画像24のデータを参照することによって、被校正点の位置を特定する。具体的には、特定部41は、図8で示した校正図画像24の被校正点A、B、CおよびDのそれぞれの座標を特定する。つまり、特定部41は、校正用画像24の撮像部5のデカルト座標系における(Ax,Ay)、(Bx,By)、(Cx,Cy)および(Dx,Dy)を特定する。特定部41は、これらの座標(Ax,Ay)、(Bx,By)、(Cx,Cy)および(Dx,Dy)は、従来の画像処理技術を応用することにより特定することができる。
【0067】
次にステップS34において、算出部42は、参照点A'、B'、C'およびD'の座標データおよび被校正点A、B、CおよびDの座標データを用いて校正パラメーターを算出する。算出部42は、デカルト座標系における座標の相対的な変位と相対的な水平および垂直方向のスケーリング係数、すなわち拡大率ないし縮小率を校正パラメーターとして算出する。
【0068】
このため、校正パラメーターは、デカルト座標系における座標の相対的な変位と相対的な水平および垂直方向のスケーリング係数、すなわち拡大率ないし縮小率の組のデータとして表現される。例えば、校正パラメーターは、図9のようにXML(eXtensible Markup Language)などの形式を用いて表現できる。図9においては、校正パラメーターがcalibration-data要素をルート要素とするXML形式で表現され、x、y、xScaleおよびyScaleの各要素を持つことを表している。図9において、x要素の値は0.0であり、y要素の値は0.0であり、xScale要素の値は1.0であり、yScaleの値は1.0であることを示す。ここで、xは校正パラメーターのデカルト座標系における座標の相対的な変位のx座標を意味する。また、yは校正パラメーターのデカルト座標系における座標の相対的な変位のy座標を意味する。さらに、xScaleは校正パラメーターのデカルト座標系における相対的な水平方向のスケーリング係数を意味する。yScaleは校正パラメーターのデカルト座標系における相対的な垂直方向のスケーリング係数を意味する。
【0069】
具体的には、算出部42は、校正パラメーターを回帰分析手法を用いて計算する。具体的には、算出部42は、図8(b)に示すように、参照点のx座標、すなわちA'x、B'x、C'xおよびD'x並びに校正用画像24の被校正点のx座標、すなわちAx、Bx、CxおよびDxから第一の回帰直線Pの傾きと切片ないし定数項を算出する。ここで、当該傾きは、参照点の初期位置と校正用画像24の被校正点の座標との写像に関する相対的な水平方向のスケーリング係数(xScale)を意味する。当該切片ないし定数項は、参照点の初期位置と校正用画像24の被校正点の座標との写像に関する相対的な水平方向の変位(xOffset)を意味する。
【0070】
また、制御部4は、図8(c)に示すように、前述の参照点のy座標A'y、B'y、C'yおよびD'y並びに校正用画像24の被校正点のy座標、すなわちAy、By、CyおよびDyから第二の回帰直線Qの傾きと切片ないし定数項を算出する。ここで、当該傾きは、参照点の初期位置と校正用画像24の被校正点の座標との写像に関する相対的な垂直方向のスケーリング係数(yScale)を意味する。当該切片ないし定数項は、参照点の初期位置と校正用画像24の被校正点の座標との写像に関する相対的な垂直方向の変位(yOffset)を意味する。
【0071】
なお、上記では、校正用画像24を用いた校正パラメーターの算出に、撮像部5におけるデカルト座標系を用いて計算を行ったが、投影部6におけるデカルト座標系を用いて計算できる。また、同様に、校正パラメーターの算出のために、撮像部5および投影部6と幾何学的な関連のある抽象的な座標系を用いて校正パラメーターを算出できる。また、上記においては、回帰分析手法を用いて、校正パラメーターを算出する例について説明したが、フィッティング関数を用いて校正パラメーターを算出することもできる。
【0072】
次に、ステップS35において、変換部43は、算出された校正パラメーターを用いて、座標変換を行う画像処理を施すことによって、撮像した画像データを補正する。
【数1】


ここで、(X,Y)は、変換前の座標、(x’,y’)は変換後の座標、xScaleおよびyScaleはそれぞれ回帰直線PおよびQの傾き並びにxOffsetおよびyOffsetはそれぞれ回帰直線PおよびQの切片を各々示す。クライアント側装置3の提示部10を構成するグラフィカル・ユーザ・インタフェース(GUI)のディスプレイないしスクリーンに、その補正した画像データを表示することによって、利用者は校正された適正な画像を見ることができる。最後に、ステップS36においては、制御部4は、内部メモリーの解放など、校正データの算出および適応に伴う終了化手続きを行う。
【0073】
なお、上記の説明においては、校正用画像の座標データ、すなわち校正されるべき座標データから、参照画像の座標データ、すなわち校正された理想的な座標データを予測する回帰直線ないし回帰式の傾き(xScaleおよびyScale)並びに切片(xOffsetおよびyOffset)を用いて、撮影画像データの校正を行ったが、逆に、参照画像の座標データ、すなわち校正された理想的な座標データから校正用画像の座標データ、すなわち校正されるべき座標データを予測する回帰直線ないし回帰式の傾きおよび切片を用いて、投影前に、投影すべき画像データに対して幾何変換の画像処理を施すことによって画像を修正することもできる。
【0074】
また、以上の説明では、単純な縮尺(拡大または縮小)による歪みおよび平行移動による不具合を校正する場合の例について述べたが、算出部41は、回転による歪み等による不具合を校正するため、式(2)のようないわゆる一次等角変換(ヘルマート変換)のパラメーター((式2)中のa、b、cおよびd)を算出することによって、縮尺(拡大または縮小)による歪み、平行移動、回転歪みによる不具合を補正することもできるし、さらに式(3)のようないわゆる二次元射影変換のパラメーター((式3)中のa1、a2、a3、a4、a5、a6、a7およびa8)を算出することによって、いわゆる射影歪みを補正することもできる。なお、式(2)および式(3)中の変数xおよびyは夫々参照点の座標、並びに変数uおよびvは夫々被校正点の座標を表す。
【数2】


【数3】


【0075】
ここで、一般に上記のパラメーターを決定するのに必要な点数ないし個数以上の基準点および校正点の座標を用いて、いわゆる最小二乗法(最小自乗法、Least squares method)によってパラメーターを決定し得る。
【実施例2】
【0076】
次に、本発明の第2実施例について説明する。実施例1では、校正用画像として矩形の形状の図形を用いた場合について説明したが、実施例2では、他の校正用画像を用いる場合の例である。図10は校正用画像の他の例を示す図であり、同図(a)は田の字形の校正用画像241、同図(b)は三角形の組み合わせによる六角形の校正用画像242をそれぞれ示す。投影部6は、赤外光を用いて田の字形の校正用画像241や三角形の組み合わせによる六角形の校正用画像242を投影する。この投影画像を撮像部5によって撮像する。制御部4の特定部41は、投影部6から校正用画像の被校正点を特定し、算出部42は被校正店と所定の参照点を用いて校正パラメーターを算出し、変換部43は、校正パラメーターを用いて撮像部5が撮像した画像データを変換する。
【0077】
ここで、上記ステップS33において、特定部41は、田の字形の校正用画像241または三角形の組み合わせによる六角形の校正用画像242の各頂点または交点の位置ないし座標を特定するために、従来の画像処理技術を応用する。つまり、田の字形の校正用画像または三角形の組み合わせによる六角形の校正用画像の各頂点または交点の位置ないし座標を特定するために、特定部41は、撮像部5からの校正用画像データに対して、二値化処理、細線化処理などを行うことによって、校正用画像の各頂点または交点の位置ないし座標を特定する。なお、田の字形の校正用画像241または三角形の組み合わせによる六角形の校正用画像242の各頂点または交点が実施例1で説明した被校正点に対応する。
【実施例3】
【0078】
実施例3は、光学系にカラー・ホイールを用いた場合の例である。図12はカラー・ホイールを用いて投影部6を構成した投影部106の一例を示す図である。投影部106は、赤外光を利用して校正用画像及び可視光を利用して投影する画像を同一の光学系を用いて投影する。
【0079】
具体的には、図12に示すように、投影部106は、可視光帯域データ処理回路61、赤外線帯域データ処理回路63、カラー・ホイール107、DMD(デジタル・マイクロミラー・デバイス)108、光源109、混合回路用レンズ110、111およびレンズ112によって構成されている。図11はカラー・ホイール107の一例を示す図である。図11に示すように、カラー・ホイール107は、可視光の各波長帯域と赤外光の波長帯域に対応するフィルターによって構成され、より詳細には、赤色帯域通過フィルター1071、緑色帯域通過フィルター1072、青色帯域通過フィルター1073および赤外線帯域通過フィルター1074の各フィルターで構成されている。
【0080】
光源109は可視光と赤外光の両方を放出できるものである。図3で説明した可視光帯域発光回路62および赤外線帯域発光回路64は同一の光源109で実現されている。また図3の混合回路65はカラー・ホイール107とDMD108を用いて実現されている。出力回路66はレンズ112により実現されている。混合回路用レンズ110は光源109からの可視光および赤外光の光をカラー・ホイール107に適切に照射する。混合回路用レンズ111はカラー・ホイール107を通過した可視光および赤外光を適切にDMD108に入射する。
【0081】
可視光帯域データ処理回路61および赤外線帯域データ処理回路63は、カラー・ホイール107の回転に同期して、DMD108を制御する。これにより、任意の可視光をレンズ112を通して投影部106から投射することができ、かつ、赤外光を利用した校正用画像を適正に生成し、レンズ112を通してスクリーン13の投影領域に校正用画像を投射することができる。このようにして、投影部106は、カラー・ホイール等を用いて構成され、所定の画像及び校正用の画像を同一の光学的経路(光源109〜レンズ112)を経て投影する光学系を含むため、投影部106を小型に構成できる。
【0082】
次に、本実施例に係る撮像部について説明する。図13は本実施例に係る撮像部の一例を示した図である。図13に示すように、撮像部205は、可視光帯域データ処理回路53、赤外線帯域データ処理回路54、レンズ206、赤外線反射膜207、プリズム208及び全反射ミラー209を備える。赤外線反射膜207、プリズム208および全反射ミラー209が図2で示したフィルター回路52に対応する。レンズ206が受光回路51に対応する。可視光帯域データ処理回路53は、CCD等のデバイス、メモリー及びこれらを制御するCPC等で構成され、可視光はCCDで補足され、メモリーにデジタル化された可視光のデータはメモリーに保存される。赤外線帯域データ処理回路54は、CCD等のデバイス、メモリー及びこれらを制御するCPC等で構成され、赤外光はCCDで補足され、メモリーにデジタル化された赤外光のデータはメモリーに保存される。図13に示したように、撮像部205は、所定の画像及び校正用の画像を撮像する光学的経路の初期段階において同一となる光学系(レンズ206〜プリズム208)を含む。これにより撮像部205を小型に構成できる。
【0083】
図12の投影部106が投影する投影画像は、レンズ206から撮像部205に入力される。赤外光はプリズム208を経由し、赤外線反射膜40によって反射され、プリズム208および全反射ミラー209を介して赤外線帯域データ処理回路54に入力される。可視光はプリズム208を経由し、赤外線反射膜207を通過し、可視光帯域データ処理回路53に入力される。
【0084】
次に制御部4によるカラー・ホイール107の制御について説明する。図14は図1で示した制御部4の一例を示す図である。図14に示すように、制御部4は、CPU401、メモリー402、タイマー403およびカウンター404から構成される。図15はカラー・ホイール107を制御するタイム・スロットの一例を示す。カラー・ホイール107は、通常一定速度で回転軸を中心に回転するので、ある時間的区間のタイム・スロットは、タイム・スロットt1〜t4が繰り返される。図12の光源109からの光は、タイム・スロットt1で赤色帯域通過フィルター1071を通過し、タイム・スロットt2で緑色帯域通過フィルター1072を通過し、タイム・スロットt3で青色帯域通過フィルター1073を通過し、タイム・スロットt4で赤外線帯域通過フィルター1074を通過する。
【0085】
CPU401は、カラー・ホイール107が図15に示すタイム・スロットに従うように当該カラー・ホイール107の回転速度を制御する。ここで、制御部4のタイマー403およびカウンター404は、制御すべきタイム・スロットを計測するためにCPU401によって利用される。
【0086】
このように、制御部4は、タイマーまたはクロックを制御、管理または監視し、ある時間単位、クロック単位、タイム・スライスまたはタイム・スロット毎に、投影部6から所定の画像及び校正用の画像を交互に、又は順次繰り返し投影することによって、投影部106が所定の画像を投影していないときに、赤外光を利用して校正用の画像を投影するよう制御できる。これにより、時間分割によって、所定の画像を投影する時間と校正用の画像を投影する時間を時間的に排他制御できる。
【実施例4】
【0087】
次に実施例4について説明する。実施例4はダイクロック・ミラーを用いて投影部を構成した場合の例である。図16はダイクロック・ミラーを用いた投影部の例を示す図である。本実施例の投影部106は、光学系を少なくとも赤外線帯域通過フィルター、可視光帯域用液晶パネル、ダイクロック・ミラー及びダイクロック・プリズムを所定の位置に配置して構成した例である。図16に示すように、投影部406は、光源407、408、赤外線帯域通過フィルター409、ダイクロック・ミラー410、411、412、全反射ミラー413、414、415、赤色帯域用液晶パネル416、緑色帯域用液晶パネル417、青色帯域用液晶パネル418、赤外線帯域用液晶パネル419、ダイクロック・プリズム420およびレンズ421から構成される。
【0088】
ここで、ダイクロック・ミラー410は可視光領域の光を通過し、赤外光を反射する。ダイクロック・ミラー411は赤色帯域の光および赤外光を通過し、緑色帯域および青色帯域の光を反射する。ダイクロック・ミラー412は、青色帯域の光を通過し、緑色帯域の光を反射する。また赤色帯域用液晶パネル416は赤色帯域の光を制御する。緑色帯域用液晶パネル417は緑色帯域の光を制御する。青色帯域用液晶パネル418は緑色帯域の光を制御する。赤外線帯域用液晶パネル419は赤外光を制御する。
【0089】
光源407から放射された赤色帯域の光は、ダイクロック・ミラー410を通過し、ダイクロック・ミラー411を通過し、全反射ミラー415で反射され、赤外線帯域用液晶パネル419を通過し、赤色帯域用液晶パネル416で制御され、ダイクロック・プリズム420を通過し、レンズ421を通過して投影部406から投影される。光源407から放射された緑色帯域の光は、ダイクロック・ミラー410を通過し、ダイクロック・ミラー411で反射され、ダイクロック・ミラー412で反射され、緑色帯域用液晶パネル417で制御され、ダイクロック・プリズム420を通過し、レンズ421を通過して投影部406から投影される。
【0090】
光源407から放射された青色帯域の光は、ダイクロック・ミラー410を通過し、ダイクロック・ミラー411で反射され、ダイクロック・ミラー412を通過し、全反射ミラー413で反射され、全反射ミラー414で反射され、青色帯域用液晶パネル418で制御され、ダイクロック・プリズム420を通過し、レンズ421を通過して投影部406から投影される。
【0091】
光源408から放射された赤外光は、赤外線帯域通過フィルター409を通過し、ダイクロック・ミラー410で反射され、ダイクロック・ミラー411を通過し、全反射ミラー415で反射され、赤外線帯域用液晶パネル419で制御され、赤色帯域用液晶パネル416を通過し、ダイクロック・プリズム420を通過し、レンズ421を通過して上述した校正用画像が投影部406から投影される。可視光帯域データ処理回路61は赤色帯域用液晶パネル416、緑色帯域用液晶パネル417および青色帯域用液晶パネル418に接続され、各液晶パネルを制御する。赤外線帯域データ処理回路63は赤外線帯域用液晶パネル419に接続され、赤外線帯域用液晶パネル419を制御する。このように、投影部406は、所定の画像及び校正用の画像を同一の光学的経路(ダイクロック・ミラー410〜全反射ミラー415〜レンズ421)を経て投影する光学系を含むため、投影部406を小型に構成できる。
【0092】
図17は第4実施例における液晶パネルを制御するタイム・スロットの例を示した図である。図17に示すように、ある時間的区間は、赤色帯域データ用タイム・スロットt11、赤外線帯域データ用タイム・スロットt12、緑色帯域データ用タイム・スロットt13および青色帯域データ用タイム・スロットt14に分割される。赤色帯域データ用タイム・スロットt11および赤外線帯域データ用タイム・スロットt12は交互に繰り返される。
【0093】
制御部4は、タイム・スロットt11、タイム・スロットt12、タイム・スロットt13およびタイム・スロットt14のタイミングで可視光帯域データ処理回路61および赤外線帯域路データ処理回路63を制御する。タイム・スロットt11の開始時点とタイム・スロットt13の開始時点とタイム・スロットt14の開始時点とは、同期させることができる。
【0094】
可視光帯域データ処理回路61は、タイム・スロットt11で、赤色帯域用液晶パネル416を制御し、赤色帯域の光を制御する。赤外線帯域データ処理回路63は、タイム・スロットt11で、赤外線用帯域液晶パネル419を制御し、すべての光を通過するようにする。赤外線帯域データ処理回路63は、タイム・スロットt12で、赤外線用帯域液晶パネル419を制御して赤外光を制御する。これにより、赤外光を用いて校正用画像を投影できる。可視光帯域データ処理回路61は、タイム・スロット69で、赤色帯域用液晶パネル416を制御し、すべての光を通過するようにする。可視光帯域データ処理回路61は、タイム・スロットt14で、緑色帯域用液晶パネル417を制御し、緑色帯域の光を制御する。可視光帯域データ処理回路61は、タイム・スロットt14で、青色帯域用液晶パネル418を制御することによって青色帯域の光を制御する。このように、投影部406は、所定の画像を投影しないときに、校正用の画像を投影することで、時間分割によって、所定の画像を投影する時間と校正用の画像を投影する時間を時間的に排他制御できる。
【実施例5】
【0095】
次に本発明の実施例5について説明する。上記実施例では、赤外光を用いて校正用画像を送る例について説明をしたが、本実施例では、赤外光以外の帯域の光を用いて校正用画像を送る例について説明する。なお、赤外線以外の帯域の光を用いて、校正用画像送る場合、赤外線に関連する部分以外は、これまで説明した構成、装置および方法を利用することができる。このため、実施例5ではこれまで説明した部分と同一箇所についてはその説明を省略する。また、本実施例の説明においては、位置、拡大縮小ないしスケーリング、回転、いわゆる台形歪みなどに関する校正のためのデータを校正パラメーターと総称して呼ぶことがある。
【0096】
図18は本発明の実施例5に係る撮像部505の一例を示した図である。図18に示すように、撮像部505は、受光回路51、フィルター回路52、可視光帯域データ処理回路53および特定帯域データ処理回路554から構成される。この撮像部505は、実施例1の撮像部5に対して、特定帯域データ処理回路554の部分が変更されている。
【0097】
特定データ処理回路554は、赤外線以外の帯域の電磁波ないし光を処理する。ここで、フィルター回路52は、可視光と赤外光以外の帯域の電磁波ないし光を分離し、分離した可視光を可視帯域データ処理回路53に出力し、分離した赤外光以外の帯域の電磁波ないし光を特定帯域データ処理回路554に出力する。特定帯域データ処理回路554は、フィルター回路52から出力された赤外線以外の帯域の電磁波ないし光を光電変換し、変換後のデータを内部のメモリーに保持する。
【0098】
図19は本発明の実施例5に係る投影部の一例を示した図である。図19に示すように、投影部606は、可視光帯域データ処理回路61、可視光帯域発光回路62、特定帯域データ処理回路663、特定帯域発光回路664、混合回路65および出力回路66から構成される。この投影部606は、実施例1の投影部6に対して、特定データ処理回路663および特定帯域発光回路664の部分が変更されている。
【0099】
特定帯域データ処理回路663は、赤外光以外の帯域の電磁波として出力する校正用画像を生成し、後段の特定帯域発生回路664に出力する。特定帯域発光回路663は、特定帯域データ処理回路664から入力した校正用画像データを入力し、当該校正用画像データに応じて、赤外光以外の帯域の電磁波ないし光を発光し、その発光した電磁波ないし光を混合回路65へ送る。
【0100】
図20は本発明の実施例5に係る校正用投影手続きを示したフローチャートである。図20は、図4のステップS2の詳細な手続きを示したものである。図示のとおり、実施例5におけるステップS2の校正用投影手続きは、校正用投影初期化手続きステップS111、可視光帯域データ処理ステップS112、可視光帯域発光処理ステップS113、特定帯域データ処理ステップS114、特定帯域発光処理ステップS115、混合処理ステップS116、出力処理ステップS117および校正用投影終了化手続きS118の各手続きおよび処理で構成される。本発明の実施例では、特定帯域データ処理ステップS114および特定帯域発光処理ステップS115の各手続きないし処理が前述の校正用投影手続きに比べて変更されている。
【0101】
ステップS114において、投影部606の特定帯域データ処理回路663が赤外線以外の帯域の電磁波として出力するための校正用画像データを生成し、後段の特定帯域発生回路664に出力する。続いて、ステップS115において、特定帯域発光回路664は特定帯域データ処理回路663から入力した校正用画像データを入力し、当該校正用画像データに応じて、赤外光以外の帯域の電磁波ないし光を発光し、その発光した電磁波ないし光を混合回路65へ送る。
【0102】
図21は本発明の実施例5に係る校正用撮像手続きを示したフローチャートである。図21は図4のステップ3の詳細なフローチャートである。図示のとおり、実施例5に係るステップS3の校正用撮像手続きは、校正用撮像初期化手続きS121、受光処理ステップS122、フィルタリング処理ステップS123、可視光帯域データ処理ステップS124、特定帯域データ処理ステップS125および校正用撮像終了化手続きS126の各手続きおよび処理で構成される。ステップS125において、撮像部505の特定帯域データ処理回路554は、フィルター回路52からの赤外線以外の帯域の特定帯域の電磁波ないし光を光電変換し、校正用画像データを抽出し、校正用画像データを制御部4の内部メモリーに出力する。
【0103】
以上のように、赤外光以外の帯域の電磁波ないし光を用いて校正用画像データを送ることも可能である。赤外線以外の帯域の電磁波ないし光として、可視光以外の帯域の電磁波ないし光を用いることもできる。また、赤外光以外の帯域の電磁波ないし光として、特定の帯域の可視光を用いることもできる。特定帯域の可視光を用いて、校正用画像データを伝送する場合、利用者が所定の画像を投影する際に用いていない帯域の可視光を選択的に用いて、校正用画像を投影できる。
【0104】
なお、本発明のコンピュータ・プログラムは、投影された校正用の画像を撮像した撮像画像の情報を取得するステップと、前記撮像画像の情報から前記校正用の画像の形状を表す被校正点の位置を特定するステップと、前記被校正点の位置を参照点の位置に変換するためのパラメーターを算出する算出ステップと、前記パラメーターを用いて前記撮像画像の情報を変換する変換ステップとをコンピュータに実行させる。また、本発明の制御方法はサーバー側装置により実現される。撮像部の抽出部は、フィルター回路52及び赤外線帯域データ処理回路54によって実現されている。
【0105】
また、情報処理システムは、少なくとも校正用の画像を投影する投影部6と、投影部6が投影した投影画像を撮像する撮像部5と、撮像部5が撮像した撮像画像の情報から校正用の画像の形状を表す被校正点の位置を特定する特定部41と、被校正点の位置を所定の参照点の位置に変換するためのパラメーターを算出する算出部42と、パラメーターを用いて撮像部5及び投影部6の少なくとも一方を移動させる移動部(図示略)とを備えることで実現してもよい。上記実施例では、撮像部5が撮像した撮像画像の情報を変換するようにしていたが、このように、校正用パラメーターを用いて撮像部5及び投影部6を移動させることにより、撮像部5の撮影領域及び投影部6の投影領域を校正することによって上記と同様の効果を得ることができる。
【0106】
以上、特定の実施形態を参照しながら、本発明について詳解してきた。本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
【図面の簡単な説明】
【0107】
【図1】本発明の一実施形態に係るマルチメディア処理装置1の機能構成を示したブロック図である。
【図2】本発明の形態に係る撮像部の機能構成を示したブロック図である。
【図3】本発明の形態に係る投影部の機能構成を示したブロック図である。
【図4】本発明の一実施形態に係るマルチメディア処理装置1における位置校正手続きの一例を示したフローチャートである。
【図5】ステップS2の詳細な校正用投影手続きを示したフローチャートである。
【図6】ステップS3の詳細な校正用撮像手続きを示したフローチャートである。
【図7】ステップS4の詳細な校正データ算出適応手続きを示したフローチャートである。
【図8】校正手続き時の投影画面と撮像画面の関係の一例を示した図である。
【図9】校正パラメーターのデータの表現例を示した図である。
【図10】校正データの形状の例を示した図である。
【図11】本発明の一実施例に係るカラー・ホイールの一例を示した図である。
【図12】本発明の一実施例に係るカラー・ホイールを用いて投影部の例を示す図である。
【図13】本発明の一実施例に係る撮像部の一例を示した図である。
【図14】本発明の一実施例に係る制御部の一例を示した図である。
【図15】本発明のカラー・ホイールを制御するタイム・スロットの一例を示した図である。
【図16】本発明の一実施例に係るダイクロック・ミラーを用いて投影部を構成した投影部の一例を示した図である。
【図17】本発明の液晶パネルを制御するタイム・スロットの一例を示した図である。
【図18】本発明の実施例5に係る撮像部の一例を示した図である。
【図19】本発明の実施例5に係る投影部の一例を示した図である。
【図20】本発明の実施例5に係るステップS2の詳細な校正用投影手続きを示したフローチャートである。
【図21】本発明の実施例5に係るステップS3の詳細な校正用撮像手続きを示したフローチャートである。
【符号の説明】
【0108】
1 マルチメディア処理装置
2 サーバー側装置
3 クライアント側装置
4 制御部
41 特定部
42 算出部
43 変換部
401 CPU
402 メモリー
403 タイマー
404 カウンター
5、505 撮像部
51 受光回路
52 フィルター回路
53 可視光帯域データ処理回路
54 赤外線帯域データ処理回路
554 特定帯域データ処理回路
6、406、606 投影部
61 可視光帯域データ処理回路
62 可視光帯域発光回路
63 赤外線帯域データ処理回路
64 赤外線帯域発光回路
65 混合回路
66 出力回路
663 特定帯域データ処理回路
664 特定帯域発光回路
7 通信部
8 通信網、データ・バス
9 制御部
10 提示部
11 入力部
12 通信部
107 カラー・ホイール
1071 赤色帯域通過フィルター
1072 緑色帯域通過フィルター
1073 青色帯域通過フィルター
1074 赤外線帯域通過フィルター
108 DMD
109 光源
110、111 混合回路用レンズ
205 撮像部
206 レンズ
207 赤外線反射膜
208 プリズム
209 全反射ミラー
407、408 光源
409 赤外線帯域通過フィルター
410、411、412 ダイクロック・ミラー
413、414、415 全反射ミラー
416 赤色帯域用液晶パネル
417 緑色帯域用液晶パネル
418 青色帯域用液晶パネル
419 赤外線帯域用液晶パネル
420 ダイクロック・プリズム
421 レンズ




 

 


     NEWS
会社検索順位 特許の出願数の順位が発表

URL変更
平成6年
平成7年
平成8年
平成9年
平成10年
平成11年
平成12年
平成13年


 
   お問い合わせ info@patentjp.com patentjp.com   Copyright 2007-2013