米国特許情報 | 欧州特許情報 | 国際公開(PCT)情報 | Google の米国特許検索
 
     特許分類
A 農業
B 衣類
C 家具
D 医学
E スポ−ツ;娯楽
F 加工処理操作
G 机上付属具
H 装飾
I 車両
J 包装;運搬
L 化学;冶金
M 繊維;紙;印刷
N 固定構造物
O 機械工学
P 武器
Q 照明
R 測定; 光学
S 写真;映画
T 計算機;電気通信
U 核技術
V 電気素子
W 発電
X 楽器;音響


  ホーム -> 計算機;電気通信 -> 松下電器産業株式会社

発明の名称 建造物画像合成装置
発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開平7−200650
公開日 平成7年(1995)8月4日
出願番号 特願平5−351977
出願日 平成5年(1993)12月29日
代理人 【弁理士】
【氏名又は名称】武田 元敏
発明者 高田 雄二 / 杉下 幸司 / 松尾 英明 / 手嶋 光隆
要約 目的
実写画像中にコンピュータで作成した建造物のコンピュータグラフィック(CG)画像を合成する場合に、基準物体を置くことなく容易に視点を算出し、合成することを可能とする。

構成
敷地の実写画像(1)を入力する画像入力部101と、この実写画像(1)から、敷地のエッジ(2)を検出するエッジ検出部102と、敷地情報(3)として敷地の辺,対角線の長さと建造物の建造位置を入力する敷地情報入力部103と、この敷地情報(3)と敷地のエッジ(2)から焦点を算出する焦点算出部104と、算出した焦点(5)と敷地情報(3)と敷地のエッジ(2)を用いて視点を算出する視点算出部105と、建造物のCG入力部106と、建造物CG(7)を実写画像(1)に合成する画像合成部107を有する。これは、敷地上に仮想的に長方形を作成し、入力した敷地情報を基に作成した長方形の撮影装置の画像面への投影像を求め、それを用いて実写画像を撮影した撮影装置の焦点および視点を算出し、建造物CGを上記で求めた視点からの画像に変換し、敷地の実写画像と合成する。
特許請求の範囲
【請求項1】 敷地の実写画像を入力する画像入力手段と、敷地情報を入力する敷地情報入力手段と、前記画像入力手段により入力された実写画像から敷地のエッジを検出するエッジ検出手段と、前記敷地情報入力手段により入力された敷地情報と、前記エッジ検出手段により検出されたエッジを用いて焦点を算出する焦点算出手段と、前記敷地情報入力手段により入力された敷地情報および前記エッジ検出手段により検出されたエッジおよび前記焦点算出手段により算出された焦点を用いて視点を算出する視点算出手段と、建造物のコンピュータグラフィックを入力するCG入力手段と、前記視点算出手段により算出された視点を用いて前記画像入力手段により入力された実写画像と、前記CG入力手段により入力された建造物のコンピュータグラフィックを合成する画像合成手段からなることを特徴とする建造物画像合成装置。
発明の詳細な説明
【0001】
【産業上の利用分野】本発明は、コンピュータを用いた建造物のコンピュータグラフィック(以下、CGと記載)を実写画像に合成する装置に関し、特に建造物を建造する敷地に関する情報が得られる場合に、効率的に合成する装置に関するものである。
【0002】
【従来の技術】従来、建造物のCG画像を実写画像へ合成することは景観シミュレーションとして行われている。この景観シミュレーションは、建造物を立てる風景の実写画像にコンピュータで作成したCG画像を合成することにより、実際の風景内に建造物を建造した状態のシミュレーションを行うことが可能である。
【0003】建造物のCG画像を実写画像を合成する場合には、実写画像の視点に合わせてCG画像を回転,拡大/縮小を行わなければならない。そのためには、撮影を行うカメラの視点の位置,焦点距離を知る必要がある。撮影地点において、カメラのズームや高さ,距離等のパラメータを記録しておき、それを利用して視点を算出してもよい。しかし、一般の撮影者が、カメラのズーム等のパラメータを記録したりすることは困難であり、大変に手間のかかる作業である。
【0004】そのため、カメラの視点を自動的に検出する装置もある。実写画像をとる場合に、長方形や立方体といった形状や大きさのわかった基準物をおいて撮影し、その基準物体の画像を用いてカメラの視点を算出するという装置である。例えば、家のCGを実写画像上に合成する場合、合成する実写画像を撮影する前に、カメラを撮影を行う位置に配置し、基準物体をカメラに写る位置に置き、基準物体を含む画像を撮影した後、基準物体を取り除き、カメラを動かさずに合成対象となる実写画像を撮影する。次に、基準物体の写った画像を用いてカメラの撮影パラメータを算出し、視点および焦点距離を算出し、家のCGを回転/縮小,平行移動を行い、実際の対象画像上に合成を行う。この場合、大きさのわかっている基準物体をあらかじめ用意しておかなければならず、また、その基準物体も、精度を向上するためには、ある程度大きなものになってしまう。
【0005】
【発明が解決しようとする課題】上述した従来の技術では、合成を行う実写画像の視点を算出するために、ある一定の基準物体を置かなければならない点であり、大変に手間がかかり、また精度を向上するためには、ある程度の大きさの基準物体を必要とするという問題があった。
【0006】本発明は上記の点に鑑み、建造物のCGを実写画像に合成する場合に、建造物のCGを合成する実写画像の視点および視線方向,焦点距離を、基準物体を置くことなしに直接対象画像から容易に算出することを可能にし、合成する場合の操作者の手間を省き、容易に合成を可能にする実写画像と建造物のCGの合成装置の提供を目的とする。
【0007】
【課題を解決するための手段】本発明は上記課題を解決し、目的を達成するため、敷地の実写画像を入力する画像入力手段と、敷地情報を入力する敷地情報入力手段と、前記画像入力手段により入力された実写画像から敷地のエッジを検出するエッジ検出手段と、前記敷地情報入力手段により入力された敷地情報と、前記エッジ検出手段により検出されたエッジを用いて焦点を算出する焦点算出手段と、前記敷地情報入力手段により入力された敷地情報および前記エッジ検出手段により検出されたエッジおよび前記焦点算出手段により算出された焦点を用いて視点を算出する視点算出手段と、建造物のコンピュータグラフィックを入力するCG入力手段と、前記視点算出手段により算出された視点を用いて前記画像入力手段により入力された実写画像と、前記CG入力手段により入力された建造物のコンピュータグラフィックを合成する画像合成手段からなることを特徴とする。
【0008】
【作用】本発明によれば、画像入力手段で実写画像を入力し、エッジ検出手段において実写画像から敷地のエッジ画像を検出する。次に敷地情報入力手段において、敷地情報として敷地の形状に関する情報と、建造物を建造する位置に関する情報を入力する。焦点算出手段は、エッジ画像から敷地の端点の画像面上の座標を検出し、敷地の任意の端点を4つ選択し、敷地情報を基に仮想的に実空間中の敷地上に長方形を作成する。次に仮想的な長方形の画像面上の座標を求め、それを用いて焦点距離を求める。次に視点算出手段は、求めた焦点と敷地の端点の画像面上の座標と、実空間中での座標から視点を算出する。最後に画像合成手段において、敷地のCGから前記視点算出手段で算出した視点からのCGを作成する。次に、実写画像中の敷地上の敷地情報入力部で入力した建築位置に、CG入力手段により入力された建造物のCGを合成する。このように、基準物体を置くことなしに、操作者は容易に建造物のCGを実写画像に合成することが可能となる。
【0009】
【実施例】図1は本発明の一実施例における建造物画像合成装置の構成を示すブロック図である。図1において、101は画像入力部であり、これは、スキャナ,ビデオ再生装置等の実写画像(1)を入力する手段と、この実写画像(1)を記憶する手段であるフレームバッファを有する。102はエッジ検出部であり、前記画像入力部101が保持する実写画像(1)のエッジ(2)を検出する。103は敷地情報入力部であり、焦点,視点算出,画像合成に必要な敷地情報(3)を入力する。104は焦点算出部であり、前記エッジ(2)と前記敷地情報(3)を用いて実写画像(1)を撮影した撮影装置(4)の焦点(5)を算出する。105は視点算出部であり、前記エッジ(2)と敷地情報(3)と焦点(5)を用いて実写画像(1)を撮影した撮影装置(4)の視点(6)を算出する。106はCG入力部であり、画像入力部101が保持する実写画像(1)に合成しようとする建造物CG(7)を入力する。107は画像合成部であり、建造物CG(7)を視点(6)からの画像に変換し、実写画像(1)との合成画像(8)を作成する。このように、本実施例の建造物画像合成装置により、建造物CG(7)を実写画像(1)に合成することが可能となる。以下に、その合成処理手順を詳しく説明する。
【0010】図2は図1に示す建造物画像合成装置における本発明の画像合成手順の流れ図である。まず、建造物を建築する敷地(9)を含む実写画像(1)を画像入力部101により入力する(S21)。次に、エッジ検出部102により敷地(9)の実写画像(1)中の敷地画像(10)のエッジ(2)を検出する(S22)。次に、敷地情報入力部103で敷地情報(3)を入力する(S23)。この敷地情報(3)とは、敷地(9)の形状を表すパラメータであり、敷地(9)の辺の長さと、各端点間の対角線の長さである。敷地情報(3)の入力方法は、最初に任意の1辺、例えば実写画像(1)中の敷地画像(10)において、一番手前にくる辺の敷地(9)の見取図等から得られる実際の長さを入力する。
【0011】そして、その辺から時計回りに順番に各辺の実際の長さを入力する。全ての辺に対する敷地(9)の辺の実際の長さを入力し終ると、次に対角線の長さを入力する。対角線についても、任意の対角線から順番に全ての対角線の長さを入力する。敷地(9)の辺の長さと対角線の長さを入力し終ると、建造物を立てようとする位置情報を入力する。この位置情報とは、敷地(9)の辺からの距離である。敷地情報(3)は、上記のように1つずつ入力するのではなく、スキャナ等を使って敷地(9)の図面を入力し、その入力データから敷地情報(3)を読み取っても入力することは可能である。
【0012】次に、敷地情報(3)が入力されると、焦点算出部104は、敷地情報(3)とエッジ(2)を使って実写画像(1)を撮影した撮影装置(4)の焦点(5)を算出する(S24)。視点算出部105は、エッジ(2)と敷地情報(3)と焦点(5)を使って実写画像(1)を撮影した撮影装置(4)の視点(6)を算出する(S25)。焦点(5)と視点(6)の詳しい算出手段については後述する。このようにして、視点(6)を算出した後、CG入力部106は、実写画像(1)に合成しようとする建造物CG(7)を取り込み、保持しておく。画像合成部107は、CG入力部106が保持する建造物CG(7)を、実写画像(1)と合成を行い、合成画像(8)を作成する(S26)。
【0013】まず、焦点(5)の算出方式を説明する。図3は焦点(5)の算出手順の流れ図を示す。焦点(5)を算出するために3つの座標系を用いる。図4は視点算出に用いる3つの座標系を示し、401は実空間中の空間座標系Ow−Xwwwである。原点Owは、例えば実空間中の敷地(9)の端点とし、XY平面の傾きを敷地(9)と同一とし、Z軸を敷地(9)に垂直上方にとる。402は撮影装置(4)の画像面である。403は画像座標系Og−Xggである。画像面402の中心を原点Ogとし、画像面水平方向にX軸をとり、垂直方向にY軸をとる。404は視点座標系Oe−Xeeeである。視点(6)を原点Oeとし画像原点Ogを通り、画像面402に垂直にZ軸をとり、画像座標系403と同一方向にX軸Y軸をとる。これら3つの座標系は、視点(6)を算出するとき、合成を行うときにも使用する。
【0014】まず、実空間中の敷地(9)の端点をSi、この端点Siの実写画像(1)上の投影点、つまり敷地画像(10)の端点をSi′とする。焦点(5)を算出するために、実空間中の敷地(9)の座標の計算をする(S31)。敷地(9)の端点Siから、3点が同一直線上にならないように、4点の代表点を選択する(S32)。この4点の代表点のうちの任意の点から、時計回りにP1,P2,P3,P4とする。Piでできる四角形凸型または凹型の場合は、凸または凹となる点がP4となるようにする。図5(a)は選択した代表点が凸型の四角形を形成する場合であり、図5(b)は選択した代表点が凹型の四角形を形成する場合である。
【0015】次に、図5(a),(b)に示す代表点P1,P3を結んだ直線と代表点P2,P4を結んだ直線の交点をP0とする。次に、Q1,Q2,Q3,Q4を、P0を中心とする仮想的に長方形となるようにとる(S33)。本実施例においては、P0,P1の中点をQ1とし,直線P02上のP0からP2方向に、P0との距離が線分P01の長さとなる点をQ2とする。Q3,Q4についてもQ2と同様に、それぞれ直線P03,P04上にとる。図5は敷地(9)上に長方形(11)を作成した例を示す。501,504は、敷地(9)であり、502,505は、敷地(9)上に作成する長方形(11)である。503,506は、空間座標系Ow−Xwwwである。
【0016】図5(a),(b)に示す各代表点Piの空間座標系401(図4)での座標値(Xw(Pi),Yw(Pi),Zw(Pi))は、敷地情報(3)のうちの敷地(9)の実際の辺の大きさ、および対角線の長さを基に長方形(11)を算出する(S34)。Qiの空間座標系401での座標値(Xw(Qi),Yw(Qi),Zw(Qi))は、各代表点Piとの距離から算出できる。本実施例では、線分Pijの長さをd(PiPj)、線分Pijの長さをd(PiQj)、線分Qijの長さをd(QiQj)と表す。本実施例においては、空間座標系401の原点をP1とし、空間座標系401のX軸を直線P14のP4が正となる方向とする。Y軸を直線P14と垂直に、点P2のY座標値が正となる方向にとる。そうすると、各点Pi,Qiの座標は以下のようになる.
【0017】
【数1】

【0018】次に、Piの画像面上の投影点をPi′、Qiの画像面上の投影点をQi′とし、Pi′の画像座標系403での座標値(Xg(Pi′),Yg(Pi′))とする。Qi′の画像座標系403での座標値(Xg(Qi′),Yg(Qi′))を求める。Pi′の画像座標系403での座標は、Piが敷地(9)の端点であるので、実写画像(1)のエッジ(2)から簡単に得られる。Qi′については複比といわれる理論を用いる。
【0019】図6は空間中の直線上の4点とその画像面上の投影点との関係を示し、空間中の直線601上の4点A,B,C,Dと、その4点の画像面上に投影された直線601の投影画像602上の点A′,B′,C′,D′との間には、複比と呼ばれる(数2)の関係がある。
【0020】
【数2】

【0021】(数1)の関係を空間中の直線P13と直線P24に用いる。本実施例においては、線分Pi′Pj′の長さをd(Pi′Pj′)、線分Pi′Qj′の長さをd(Pi′Qj′)、線分Qi′Qj′の長さをd(Qi′Qj′)と表す。本実施例においては、d(P0P1)=2d(P0Q1)となるようにQ1をとっているので、それを用いて整理すると、d(P0′Qi′)は、【0022】
【数3】

【0023】(数3)のd(P0′Qi′)により、点Qi′の画像座標系403での座標(Xg(Qi′),Yg(Qi′))は(数4)で求められる。
【0024】
【数4】

【0025】次に、このQi′を基に焦点(5)を求める。仮の焦点をf′とおくと、焦点(5)は、以下の手順で求められる。まず、Qi′に対し、次のベクトルmiを計算する。
【0026】
【数5】

【0027】上記のベクトルmiを用いて、Qi′でできる四角形の各辺Qi′Qj′に対し、ベクトルnijを求める。mi×mjは外積を表す。
【0028】
【数6】

【0029】次に、求めたnijから次式のM,M′を求める。
【0030】
【数7】

【0031】焦点(5)をfとし、このM,M′を用いると、焦点(5)は(数8)で求められる。
【0032】
【数8】

【0033】このように、本実施例によれば、敷地上に仮想的に長方形を作成することにより、焦点(5)(本実施例では、以下fと表す)を算出することが可能である(S35)。
【0034】次に、焦点fとエッジ(2)と敷地情報(3)を基に、視点(6)(本実施例では、以下Eと表す)を算出する。
【0035】図7は視点算出手順の流れ図を示す。空間座標系401における座標のわかっている3点以上の代表点の投影点と、視点Eまでの距離を求める式から(S71)、視点Eの空間座標系401での座標を決定することができる。本実施例では、焦点fを求めるのに使用した敷地(9)の端点中の代表点である4点Piと、視点Eまでの距離d(EPi)を求める式を導き出して(S72)、それを用いてEの空間座標系401での座標(視点)を算出する(S73)。
【0036】図8は敷地上の選択した4点でできる長方形の投影図を示し、点Piとその画像面上の投影点Pi′を示す。801は点Piでできる四角形である。802は画像面である。803は四角形801を画像面802上に投影した四角形である。804は視点Eである。805は空間座標系Ow−Xwwwである。806は視点座標系Oe−Xeeeである。投影点Pi′の視点座標系での座標値は、(Xe(Pi′),Ye(Pi′),f)となる。視点Eと投影点Pi′を結んだ直線EPi′の距離d(EPi′)を、(数9)により求める。
【0037】
【数9】

【0038】次に、隣接するPi′,Pj′間の距離d(Pi′Pj′)とd(EPi′)により、隣接する直線EPi′,EPj′の角度θijとしたとき、cosθijを、(数10)により求める。
【0039】
【数10】

【0040】三角形EPijに対し余弦定理を用いると、(数11)を得る。
【0041】
【数11】

【0042】この連立方程式を解くことによりd(EPi)が求まる。次に、空間座標系401におけるEの座標(Xw(E),Yw(E)、Zw(E))を求める。距離d(EPi)を視点EとPiの空間座標系401での座標を用いて表すと、(数12)のようになる。
【0043】
【数12】

【0044】(数12)を整理すると、(数13)のように視点Eの空間座標系401での座標(Xw(E),Yw(E),Zw(E))が求まる。
【0045】
【数13】

【0046】ここでZw(E)は、+と−の2つの解が出てくる。これは、カメラの位置が敷地面よりも上にある場合と、下にある場合である。これは、敷地上の点のうち一番手前にくる点を1つと、一番奥にくる点を1つ選択し、その2点の画像座標系403での座標のY座標値を比較する。例えば、本実施例においては、一番手前にある点をP1、一番奥にある点をP3とする。手前にくる点P1のY座標の値の方が、奥にある点P3のY座標の値よりも大きい場合、カメラの位置は敷地よりも下になり、−の値となる。逆に、手前の点P1のY座標の値が奥の点P3のY座標の値よりも小さい場合、カメラの位置は敷地よりも上となり、+の値となる。
【0047】次に、建造物CG(7)を実写画像(1)上に配置する手順を説明する。図9は建造物CGを実写画像に合成する手順の流れ図を示す。まず、CG入力部106において建造物CG(7)を取り込み、保持する(S91)。建造物CG(7)の大きさを空間座標系401に合わせて変更する(S92)。例えば、空間座標系401の「1」が実寸で「1m」であり、建造物CG(7)が実寸「50cm」を「1」として記述されているならば、建造物CG(7)を1/2倍して大きさを修正した建造物CG(7′)を作成する。
【0048】次に、修正した建造物CG(7′)を実写画像上に合成する位置の空間座標系401での座標を決定する。建造する位置は施工図により得られ、施工図に示された位置に建造物CG(7′)の底面の位置がくるように、回転,平行移動を行う。このようにして、建造物CG(7)を実写画像(1)の敷地上の建造位置(S93)、つまり合成位置に合わせることができる。
【0049】次に、空間座標系401から視点座標系404へ変換し(S94)、画像座標系403での座標を求め、実写画像と合成する(S95)。
【0050】まず、空間座標系401から視点座標系404への変換式を求める。空間中の任意の点Riの空間座標系401での座標を(Xw(Ri)、Yw(Ri)、Zw(Ri))とし、視点座標系404での座標を(Xe(Ri)、Ye(Ri)、Ze(Ri))とすると、座標の変換式は、以下のようになる。
【0051】
【数14】

【0052】視点を求めるときに使用した点P1,P2,P3,P4に対し、(数14)を適用すると、(数14)のt11,t12,t13,t14,t21,t22,t23,t24,t31,t32,t33,t34は、以下のようになる。
【0053】
【数15】

【0054】空間中の点Piが画像面に射影された点Qiの視点座標系404での座標(Xe(Pi′)、Ye(Pi′)、Ze(Pi′))は、以下のようになる。
【0055】
【数16】

【0056】点Qiの画面座標系403での座標のX座標,Y座標は、それぞれ(数16)の(Xe(Pi′)、Ye(Pi′))と一致する。合成CG10の画像面での座標は、(数16)にそれぞれの点を代入することにより変換され、合成することができる。
【0057】このように、本実施例によれば、敷地(9)上に仮想的に長方形を作成することにより、基準物体を置かずに焦点および視点を算出することが可能となり、敷地情報入力部103より敷地情報(3)を入力するだけで容易に合成を行うことができる。
【0058】
【発明の効果】以上説明したように、本発明の建造物画像合成装置は、特別に従来のような基準物体を置くことなく容易に視点を検出し、建造物のCGの配置を自動的に行うので、建造物のCGを実写画像に合成する作業を効率良く行うことが可能となる。




 

 


     NEWS
会社検索順位 特許の出願数の順位が発表

URL変更
平成6年
平成7年
平成8年
平成9年
平成10年
平成11年
平成12年
平成13年


 
   お問い合わせ info@patentjp.com patentjp.com   Copyright 2007-2013