米国特許情報 | 欧州特許情報 | 国際公開(PCT)情報 | Google の米国特許検索
 
     特許分類
A 農業
B 衣類
C 家具
D 医学
E スポ−ツ;娯楽
F 加工処理操作
G 机上付属具
H 装飾
I 車両
J 包装;運搬
L 化学;冶金
M 繊維;紙;印刷
N 固定構造物
O 機械工学
P 武器
Q 照明
R 測定; 光学
S 写真;映画
T 計算機;電気通信
U 核技術
V 電気素子
W 発電
X 楽器;音響


  ホーム -> 計算機;電気通信 -> 松下電器産業株式会社

発明の名称 3次元動画像生成装置
発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開平7−49964
公開日 平成7年(1995)2月21日
出願番号 特願平5−195867
出願日 平成5年(1993)8月6日
代理人 【弁理士】
【氏名又は名称】小鍜治 明 (外2名)
発明者 中 俊弥 / 中瀬 義盛
要約 目的
コンピュータグラフィックスや各種画像処理分野において、計算機で生成した場面を実時間に近い連続した動画像として生成処理する対話的な動画像生成装置に関し、指定の視点位置での場面生成時の陰面消去の演算量と不用なデータ量を効率良く削減できる3次元動画像生成装置を提供する。

構成
3次元形状を複数の視点位置から見たときの背景となる画像データとその場面中の部品の画像データを、3次元頂点座標とともに保存する画像データ保存部1と、画像データ中の複数の形状を最小部品単位に検索及び管理する画像管理部3と、視点情報入力部2で与えられる視点の情報から視野に入る画像データを選択する画像データ選択部4と、視点情報及び頂点の3次元形状から視点座標変換して、画像データを変形させる視点座標変換部5とを備えた構成である。
特許請求の範囲
【請求項1】3次元形状を複数の視点位置から見たときの背景となる画像データ及びその場面中の部品の画像データを、その画像の3次元頂点座標とともに保存する画像データ保存部と、前記画像データ中の複数の形状を最小部品単位に検索及び管理する画像管理部と、前記3次元形状を観察する視点情報を与える視点情報入力部と、前記視点情報入力部で与えられる視点の情報から視野に入る画像データを選択する画像データ選択部と、前記視点情報及び頂点の3次元形状から視点座標変換して、前記画像データを変形させる視点座標変換部と、前記視点座標変換された画像データを共通の領域内に描画する出力画像描画部とを備え、前記画像データ及び頂点座標データの検索及び管理する場合、指定された視点位置が、前記複数の視点から見たときの背景となる画像データまたは部品の画像データ中のどの画像データと関連するかを、前記複数の視点位置から見た画像または部品の画像データの頂点座標と視点座標の3次元での位置関係から判断し、関連する視点位置から見たときの画像データに対して、前記画像データ保存部に識別番号で保存または検索し、さらにその画像データの4頂点の3次元座標を付加させて管理する3次元動画像生成装置。
【請求項2】3次元形状を複数の視点位置から見たときの背景となる画像データ及びその場面中の部品の画像データを、その画像の3次元頂点座標とともに保存する画像データ保存部と、前記画像データ中の複数の形状を最小部品単位に検索及び管理する画像管理部と、前記3次元形状を観察する視点情報を与える視点情報入力部と、前記視点情報入力部で与えられる視点の情報から視野に入る画像データを選択する画像データ選択部と、前記視点情報及び頂点の3次元形状から視点座標変換して、前記画像データを変形させる視点座標変換部と、前記視点座標変換された画像データを共通の領域内に描画する出力画像描画部とを備え、前記複数の視点から部品形状を観察したときの部品画像データを作成する場合、部品形状を取り囲む仮想的な投影面を考え、その仮想投影面を複数の面に細分割し、さらにその分割されたそれぞれの投影に対して、前記部品形状を仮想面の外部の視点位置から投影し、その投影画像を部品画像データとする3次元動画像生成装置。
【請求項3】3次元形状を複数の視点位置から見たときの画像データ及びその場面中の部品の画像データを、その画像の3次元頂点座標とともに保存する画像データ保存部と、前記画像データ中の複数の形状を最小部品単位に検索及び管理する画像管理部と、前記3次元形状を観察する視点情報を与える視点情報入力部と、前記3次元形状の一部が移動する場合の移動量を指定する動き量指定部と、前記視点情報入力部で与えられる視点の情報から視野に入る画像データを選択する画像データ選択部と、前記視点情報及び画像の頂点の3次元形状から視点座標変換して、前記画像データを変形させる視点座標変換部と、前記視点座標変換された画像データを共通の領域内に描画する出力画像描画部とを備え、前記部品ごとの画像データを、前記視点から見たときの視点座標に変換場合、画像データの基準となる1つの頂点と残りの3頂点とを結ぶ3つのベクトルに対して視点座標変換し、複数の画像データの陰面消去を行なう場合は、前記部品の画像データの4頂点が作る平面単位で行ない、前記4頂点の以外の画素については元の画像データをもとに、前記3つのベクトルで決まる頂点座標間を補間しながら埋めることを特徴とする3次元画像生成装置。
【請求項4】3次元形状を複数の視点位置から見たときの背景となる画像データ及びその場面中の部品の画像データを、その画像の3次元頂点座標とともに保存する画像データ保存部と、前記画像データ中の複数の形状を最小部品単位に検索及び管理する画像管理部と、前記3次元形状を観察する視点情報を与える視点情報入力部と、前記視点情報入力部で与えられる視点の情報から視野に入る画像データを選択する画像データ選択部と、前記視点情報及び画像の頂点の3次元形状から視点座標変換して、前記画像データを変形させる視点座標変換部と、前記視点座標変換された画像データを共通の領域内に描画する出力画像描画部とを備え、場面内の部品が移動する場合、複数の移動する部品それぞれに対応して、前記複数の視点から見た画像データを検索し、対応する画像データを移動後の部品画像の頂点の視点座標での位置から視点座標変換することで移動させ、移動しない部品及び背景に対しては、移動する前の条件及び前記背景となる画像データを共通の領域に描画することで場面を生成する3次元画像生成装置。
【請求項5】3次元形状を複数の視点位置から見たときの背景となる画像データ及びその場面中の部品の画像データを、その画像の3次元頂点座標とともに保存する画像データ保存部と、前記画像データ中の複数の形状を最小部品単位に検索及び管理する画像管理部と、前記3次元形状を観察する視点情報を与える視点情報入力部と、前記視点情報入力部で与えられる視点の情報から視野に入る画像データを選択する画像データ選択部と、前記視点情報及び画像の頂点の3次元形状から視点座標変換して、前記画像データを変形させる視点座標変換部と、前記視点座標変換された画像データを共通の領域内に描画する出力画像描画部と、前記画像データ内で影となる領域に当たる部品を検出する影領域検出部と、前記影領域の部品に対して影をおとす部品と光源とを管理する陰影管理部とを備え、前記複数の視点から見たときの画像データ中の部品の影となる領域を、画像データ中の複数の画素の輝度のしきい値を用い、注目する画素に隣接する複数の画素の輝度が、そのしきい値よりも低い画素に対しては影の領域とみなし、その影の領域に影を落しうる部品及び光源を計算または指定して識別番号を用いて、その部品の画像の頂点及び光源の3次元形状とともに陰影管理領域に登録または検索を可能とする3次元画像生成装置。
【請求項6】3次元形状を複数の視点位置から見たときの背景となる画像データ及びその場面中の部品の画像データを、その画像の3次元頂点座標とともに保存する画像データ保存部と、前記画像データ中の複数の形状を最小部品単位に検索及び管理する画像管理部と、前記3次元形状を観察する視点情報を与える視点情報入力部と、前記視点情報入力部で与えられる視点の情報から視野に入る画像データを選択する画像データ選択部と、前記視点情報及び画像の頂点の3次元形状から視点座標変換して、前記画像データを変形させる視点座標変換部と、前記視点座標変換された画像データを共通の領域内に描画する出力画像描画部と、前記画像データ内で影となる領域に当たる部品を検出する影領域検出部と、前記影領域の部品に対して影をおとす部品と光源とを管理する陰影管理部とを備え、前記視点の移動情報に応じて影となる領域を描画する場合、前記影となる領域及び影を落し得る部品と光源について、その影を落しうる部品の画像データ及び光源を前記陰影管理部から検索し、前記視点が移動した場合に対象となる部品データを視点座標変換し、その画像データ中の各画素の輝度を下げて共通領域に描画し、また、背景となる画像については、前記背景の画像データを新たな視点位置から見たときの画像を視点座標変換して描画することで、新たな視点からの影付きの画像を生成する3次元画像生成装置。
発明の詳細な説明
【0001】
【産業上の利用分野】本発明は、コンピュータグラフィックス(CG)や各種の画像処理分野において、計算機で生成した場面(シーン)を実時間に近い連続した動画像として生成及び処理するための対話的な3次元動画像生成装置に関するものである。
【0002】
【従来の技術】最近のCGでは、物理現象に忠実な画像を高速に生成するための各種アルゴリズムが開発されている。今後のCG利用を考えた場合に、これらの画質の向上とともに、動画像(アニメーション)を高速に生成することが重要な要因となる。高画質のアニメーションを得るには、1フレーム当たりの画像の画質(空間周波数や輝度レベル)を向上させると同時に、時間方向の解像度つまりはフレーム数を増加させる必要がある。
【0003】現行のNTSC方式のTVと同等の動画像の画質を得るためにはフレーム数は30フレーム/秒以上は必要になる。また、滑らかな動きを得るためには少なくとも毎秒20フレーム以上は必要である。これに対して従来のCGアニメーションでは、1フレームの画像生成にかなりの時間が必要なために、1フレームづつの画像を時間をかけて生成し、それぞれのフレーム画像をビデオなどでコマ取りすることによりアニメーションにしていた。
【0004】一方、画像処理の分野では、キーフレーム補間とよぶ方法が良く用いられる。これは、時間軸方向で基本となるフレーム(キーフレーム)に対して、その間のフレーム画像をキーフレームからの動きベクトルの検出または推定などの方法を用いて補間する方法である。
【0005】一方、ゲームや家庭内でのホビー用途では、上に述べた高画質のCGよりは、比較的画像の画質は低くてもユーザーの指示に対してリアルタイムで応答するような、対話性や即答性が要求される。このような用途では、1フレーム当たりの場面中に存在する部品に対して、それを構成するポリゴン(多角形)の数を大幅に減らしたり、部品を2次元データ(セル)で近似することで、計算量を減らし画質を犠性にしてもリアルタイム性を確保している。
【0006】
【発明が解決しようとする課題】しかしながら上記のようなコマ取り法では、数十秒間のアニメーションを作成する場合でも、数百フレームの画像が必要となり、1連続シーン当たり数時間は必要で作成上の効率が非常に悪い。また、アニメーションの概略を見たり作成の途中で部分的な変更を加える場合でも、全てのアニメーションが生成終了しないと不可能で、実用性や対話性が非常に低かった。
【0007】また、キーフレームを用いた補間でも動きベクトルの推定誤差などは避けられず、なめらかな動きは得られない。さらにゲーム用途などでもリアルタイム性とともに高画質を求める要求があり、上述のような単純なデータの削減だけでは画質のレベルで満足できないと言った問題点を有していた。
【0008】本発明はかかる点に鑑み、指定の視点位置での場面生成時の陰面消去の演算量と不用なデータ量を効率良く削減できる3次元動画像生成装置を提供することを目的とする。
【0009】
【課題を解決するための手段】上記目的を達するため、本発明の3次元動画像生成装置は、予めデータとして3次元の物体を複数の視点から見たときの画像データとその画像の頂点座標を保持し、その画像中の複数の部品を部品毎に保存及び検索する機構を備え、また、視点情報が与えられた場合に上述の部品画像中のどの画像が可視領域にあるかを判別し、視点位置から観察したときに可視の画像部品データを視点座標変換して変形し、共通の領域に描画する機構を備える。
【0010】また、影の領域を移動する場合には、その領域を部品画像データから検出し、さらにその影を落し得る物体と光源を計算して登録し、さらにそのデータの中から高速に検索する機構を備える。
【0011】また、新たな視点が指定された場合に、その影領域を、影を落し得る物体と視点から視点座標変形して描画する機構を備える。
【0012】
【作用】本発明は上記した構成により、任意の視点から見たときの画像を生成する場合に、その視点から可視の部品の画像データを複数の視点から見たときの画像データから高速に検索し、その画像データを指定された視点座標に変換することで2次元上で変形しパースのかかった画像を作成できる。
【0013】また、複数の部品画像データを視点座標変換して共通の領域に描画することで高速の場面生成が可能になる。さらに、影つけなどを行なう必要があるときに、部品画像データから影となり得る領域と影を落す物体と光源を特定して管理することで、視点が移動する場合に、その影領域を変形することで高速に影領域を移動することが可能となる。
【0014】
【実施例】以下、本発明の一実施例の3次元動画像生成装置について、図面を参照しながら説明する。図1は本発明の実施例における3次元動画像生成装置を示すものである。
【0015】図1において、1は画像データ保存部、2は視点情報入力部、3は画像管理部、4は画像データ選択部、5は視点座標変換部、6は出力画像描画部、7は動き量指定部、8は影領域検出部、9は影領域管理部である。
【0016】以上のように構成された3次元動画像生成装置について、以下に図1を用いてその動作を説明する。まず、画像データ保存部1において、これから生成する場面内に存在する形状部品を複数の視点から観察したときの部品の画像データを背景となる画像データとともに保存する。CGなどでは、場面内の形状の3次元座標は既知であるので、この複数の視点から見たときの画像は、それぞれの視点からの場面を平行投影したときの各部品の画像である。
【0017】また、複数の視点位置の決め方については、後で場面を観察する視点の位置から必要な(可視となり得る)視点の位置が決まる。例えば、3次元の形状計測などでは、図2(b)の矢印で示すような相互に直交する3つの視点から部品を観察する。以下では、この場合を例に上げて説明するが、図2の場面を裏面から観察する場合は、これ以外の視点位置からの画像データが必要となる。
【0018】図2の場面(Sceen1)において仮想的な六面体からなるバウンダリボックスを考える。これを相互に直行する3方向の視点位置から観察したときの背景となる画像データをそれぞれA',B',C'とする。ここでA',B',C'とは場面(Sceen1)を3つの視点位置からそれぞれ平行投影した画像で、さらに部品P1,P2,P3を取りのぞいた時の画像データなどである。この例では簡単のために場面内には3種類の形状部品P1,P2,P3が存在するものとする。
【0019】この場面に対して、A,B,Cの3つの位置からの2次元背景画像データと場面内の3種類の部品の画像データP1,P2,P3を画像グループA,B,Cと対応づけてデータ領域に保存する。このデータ領域は、計算機のCPUから参照可能なDRAM領域やCD-ROM上に取る。この例では部品を3種類としたが、A,B,Cの画像データそのものを部品画像データと考えることもできる。この画像データの階層関係は、画像の複雑さと表示したい画質レベル、生成速度に依存して切り分ける必要がある。
【0020】次に、画像管理部3では上述の背景となる画像データA',B',C'及び部品画像データP1,P2,P3に対して図3に示した階層構造でデータを管理する。画像生成を行なう場合に、この階層データ構造に従って部品データの参照関係を検索する。この階層構造においてRootになるのが場面(Sceen1)である。Rootから見て、複数の視点位置からの画像A,B,Cとさらにその下の階層に、部品画像データP1,P2,P3が位置する。この管理構造では、部品画像データにその画像の4頂点のワールド座標内での3次元形状座標(X,Y,Z)を対応させて管理する。
【0021】また、これらを検索する場合は、識別番号(ID)などを用いて高速に検索する。この3次元形状座標は、画像生成の際に背景となる画像や部品画像データの陰面消去と視点座標変換のために用いる。
【0022】視点情報入力部2では、与えられた場面(Sceen1)を観察する視点の情報をユーザーからの指定にしたがって発生する。この視点の情報には、視点のワールド座標での位置、視線の方向ベクトル、視野角及び焦点距離などからなり、座標は全て3次元で与える。
【0023】次にある時点で、生成したい場面(Sceen1)を観察する視点情報がユーザーから与えられると、視点情報入力部2で必要なデータフォーマットに変換して画像データ選択部4に与えられる。画像データ選択部4では、視点の情報をもとに図2で示したSceen1をどの位置から観察し、どの部品画像データまたは背景画像が可視になるかを計算し検索する。この検索には、画像管理部3で管理している画像データA',B',C'及び部品画像データP1,P2,P3の頂点の3次元座標(X,Y,Z)と視点情報を用いる。
【0024】まず、図4に示す視点の可視範囲(ビューボリューム)に対して、それぞれの画像データが含まれるかどうかを判定し、画像データがビューボリュームに含まれる場合は、その画像データが可視になると判定する。この場合、判定を高速に行なうために、視線方線ベクトルで最初に検索する。例えば画像グループA,Bに垂直な平面から観察する場合は、画像グループA,Bまたはそれに含まれる部品画像データしか可視になり得ない。このようにして与えられた視点から可視になる背景画像データまたは部品画像データを検索すると、次にこの可視となる画像データに対してのみ視点座標変換部5で視点座標変換する。
【0025】図5に示すように、変換の対象となる部品画像データに対して、まず基準となる頂点Pを決め、頂点Pから残りの3頂点Q,R,Sに向かう3つのベクトルl,m,nを考える。この3つのベクトルに対して与えられた視点位置からの視点座標変換を行なうことで、スクリーン上(2次元座標上)での部品画像の変形された頂点位置Q',R',S'が得られる。
【0026】視点座標変換は、部品画像データの4つの頂点P,Q,R,Sの3次元座標(X,Y,Z)に視点座標変換マトリックス(3行*3列)を掛けることで実現される。これを、与えられる視点から可視な全ての背景画像データまたは部品画像データについて行なう。さらに複数の部品画像データが重なる場合は隠面消去を行なう。隠面消去には、上述の部品画像データの3つのベクトルが作る平面単位で行ない、頂点間の画素については4つの頂点P,Q,R,S間を補間する。例えば図5(b)に示したような位置関係の場合は、平面P1,Q1,R1,S1に対してそれぞれの線分P2,Q2などが交差するかをまず判定する。交差する場合は、そのベクトルと平面との交差順から前後関係を判定する。一方、交差しない場合は、2頂点P2,Q2と平面との位置関係から前後を判定する。
【0027】図5のような位置関係の場合に、多角形P2,Q2,R2,S2は全て不可視と判定され、多角形P2,Q2,R2、S2を先に描画する。これにより精度は多少犠性にしても陰面消去の高速化が図れる。また、補間に関しては閉平面から閉平面への1対1の写像であるのでDDA(Digital Differential Analyze)などの手法を用いてハードウエアで高速に実現する(参考文献「ディーディーエー コンピュータ グラフィックス セカンド エディション」(DDA ''Computer Graphics Second edition, Foley et. al.'',Addison Wesley,PP.71-95))。
【0028】出力画像描画部6では視点座標変換部5で視点座標変換及び陰面消去された全ての可視の部品画像データを共通の描画領域に描画する。一般に、この共通の描画領域はCPUから高速に参照できるDRAM領域やフレームメモリを用いる。フレームメモリがZバッファ機能を持っている場合は、上述の陰面消去の必要は無く、部品画像データに一律のZ値(4頂点を視点座標変換したときの値で決まる)を付加してZ値込みで描画する。この描画の際に部品画像中の特定の画素値に特別な意味を持たせることで、透明やある部分だけを不可視にできる。これはαブレンドとよぶ手法の応用で、例えば、フレームメモリのLUT(Look up Table)を用いて特定の画素値が(0,0,0)の場合に、その画素を表示させないようにすることもできる。
【0029】次に、場面内の物体が移動する場合の例を示す。画像生成ではあらかじめどの物体が3次元空間内でどの位置に移動するかは既知または指定可能である。従って、動き量指定部7で、ある時点で、場面内のどの物体がどれだけ移動するかをユーザからの指定に基づいて動き量のデータフォーマットに変換する。どの部品であるかの情報は画像データ選択部4に渡され、画像部品データのどれに当たるかを検索する。また、動き量は視点座標変換部5に渡され、そのときの視点位置での移動する部品画像データを視点座標変換する。
【0030】描画については、まず、背景となる画像データを視点座標変換して描画し、移動に関係ない部品は視点座標変換して移動前の条件で描画する。さらに移動した部品の新たな視点からの視点座標変換画像を重ね書きする。
【0031】次に影の領域の描画が必要な場合の例を示す。図2の例の画像データ及び部品画像データにおいて影の領域を影領域検出部8で検出する。これはまず、画像中の指定された画素の輝度RGBに対して影と判定するしきい値を設定し、RGB全ての輝度値がしきい値よりも低い画素は影領域と判定する。さらに影領域と判定された部分に対して、部品の3次元位置と光源の位置情報から、影を落し得る部品画像を検索し、それぞれの光源と部品画像データを影領域毎に識別番号(ID)で指定し、陰影管理部9で管理する。この管理の方法は図3に示したものと同様な階層構造を用いる。
【0032】次に、物体が移動したり視点が変更された場合に、影領域に対してその影を落し得る部品画像を影領域管理部9から検索し、新しい視点からの影領域の形状を光源の位置と影を落し得る部品画像形状の4頂点の3次元座標から計算し、部品画像データを視点座標変換する。この変換の方法を図6に示す。
【0033】ある影領域に対して影領域管理部9には、その影を落し得る画像データと光源が登録してある。一般に影領域の形状は、その影を落す画像部品データを2次元変形したもの(影と部品は相似図形)である。つまり影の形状は、影を落す画像部品データの頂点P,Q,R,Sの座標と光源の座標及び視点の位置で決められる。
【0034】図6(b)に示すように、視点位置Aから見たときの影領域は、部品画像データの4頂点を視点座標変換することでP1,Q1,R1,S1のようになる。同様に視点位置がBのように変わったときは、その視点の位置から部品画像データを視点座標変換してP2,Q2,R2,S2のように計算できる。
【0035】このようにして任意の視点からの影領域の形状が分かれば、その間は図5で示したのと同様のDDA手法などを用いて高速に補間する。ただ、補間の処理の際にもとの部品画像データの全ての画素の輝度値を落して(影にして)描画する機構を出力画像描画部6に持たせる。これは、参照テーブル(LUT)の形である特定の値(輝度値)が設定されれば、その画素の輝度を一定量下げるような機構を設けることで実現される。
【0036】影でない領域や移動に関係しない領域については、移動前の部品画像の情報をそのまま描画する。また、影が移動した場合の背景については、移動画像を描画する前に、背景画像A',B',C'などを予め視点座標変形して共通領域に描画しておく必要がある。
【0037】本実施例では3方向の視点位置から見たときの画像を用いて説明したが、任意の視点位置からの観察を可能にし、また曲面形状などを表現するために、図7に示すような部品を含む仮想的な天空を考える。天空を偉線と経線で分割し、分割された領域を天空の遠方から観察したときに部品となる物体を見たときの画像を考える。これには、天空の中心から部品のバウンダリに対して、天空の各領域ごとに投影したときの画像を保存する。この場合、各領域の画像は、部品を正面から見たとき、少し左からの視点‥‥などの画像データである。
【0038】次に、視点が移動したときに、そこから可視の領域を検索しその画像を描画する。これにより、任意の視点位置からの画像を生成できる。また、物体が移動する場合は、移動物体だけを投影し、影響のある領域画像に対してZ値比較して陰面消去を行なう。
【0039】
【発明の効果】以上のように本発明は、指定された視点から見たときの場面を生成する際に、場面を複数の視点位置から見たときの背景となる画像データとその画像内の部品の画像データ及びその画像の頂点座標を管理検索することで、指定の視点位置での場面生成時の陰面消去の演算量と不用なデータ量を効率良く削減することができる。
【0040】また、視点が与えられたときに可視の画像を検索し、その画像データについてのみ視点座標変換することで演算量の大幅な削減ができ、リアルタイムのアニメーション生成が可能となる。
【0041】また、影の領域に対して検索機構を設けることで、高速に検索でき視点の移動や物体の移動に対しても、その影に影響する部品と光源を高速に特定でき、画像変形で影領域を再現することができる。




 

 


     NEWS
会社検索順位 特許の出願数の順位が発表

URL変更
平成6年
平成7年
平成8年
平成9年
平成10年
平成11年
平成12年
平成13年


 
   お問い合わせ info@patentjp.com patentjp.com   Copyright 2007-2013