米国特許情報 | 欧州特許情報 | 国際公開(PCT)情報 | Google の米国特許検索
 
     特許分類
A 農業
B 衣類
C 家具
D 医学
E スポ−ツ;娯楽
F 加工処理操作
G 机上付属具
H 装飾
I 車両
J 包装;運搬
L 化学;冶金
M 繊維;紙;印刷
N 固定構造物
O 機械工学
P 武器
Q 照明
R 測定; 光学
S 写真;映画
T 計算機;電気通信
U 核技術
V 電気素子
W 発電
X 楽器;音響


  ホーム -> 計算機;電気通信 -> 松下電器産業株式会社

発明の名称 画像生成装置及び画像生成方法
発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開2007−4718(P2007−4718A)
公開日 平成19年1月11日(2007.1.11)
出願番号 特願2005−187089(P2005−187089)
出願日 平成17年6月27日(2005.6.27)
代理人 【識別番号】100109210
【弁理士】
【氏名又は名称】新居 広守
発明者 岩崎 正宏 / 吾妻 健夫
要約 課題
画像中に存在する関節物体が持つ形状、服装、動きなどのパラメータを反映した新たな画像を生成する画像生成装置等を提供する。

解決手段
関節物体を撮像した画像から、関節物体の特性を反映した新たな画像を生成する画像生成装置であって、関節物体を撮像した画像を取得する画像入力部101と、取得された画像中の関節物体に対して、あらかじめ保持した関節を有するモデルを当てはめることによって、関節物体の関節又は関節間部位の位置に関する第1パラメータを算出するパラメータ算出部102と、第1パラメータに基づいて関節物体の画像の領域分割を行うことによって、関節物体の関節間部位の色及びテクスチャ情報の少なくとも一つに関する第2パラメータを抽出する領域分割部103と、前記第1パラメータと前記第2パラメータとを用いて、関節物体の特性を反映した新たな画像を生成する画像生成部104とを備える。
特許請求の範囲
【請求項1】
関節物体を撮像した画像から、前記関節物体の特性を反映した新たな画像を生成する画像生成装置であって、
関節物体を撮像した画像を取得する画像入力手段と、
取得された画像中の関節物体に対して、あらかじめ保持した関節を有するモデルを当てはめることによって、前記関節物体の関節又は関節間部位の位置に関する第1パラメータを算出するパラメータ算出手段と、
前記第1パラメータに基づいて前記関節物体の画像の領域分割を行うことによって、前記関節物体の関節間部位の色及びテクスチャ情報の少なくとも一つに関する第2パラメータを抽出する領域分割手段と、
前記パラメータ算出手段によって算出された第1パラメータと前記領域分割手段によって抽出された第2パラメータとを用いて、前記関節物体の特性を反映した新たな画像を生成する画像生成手段と
を備えることを特徴とする画像生成装置。
【請求項2】
前記画像生成手段は、関節物体の特性を反映した新たな画像として、関節物体の関節又は関節間部位の位置、および、前記関節物体の関節間部位の色およびテクスチャ情報を反映した画像を生成する
ことを特徴とする請求項1記載の画像生成装置。
【請求項3】
前記画像入力手段は、時間的に連続した画像を取得し、
前記パラメータ算出手段は、前記画像を用いて、前記関節物体の関節又は関節間部位の位置及び動きに関する第1パラメータを算出する
ことを特徴とする請求項1記載の画像生成装置。
【請求項4】
前記画像生成装置はさらに、
前記画像生成手段によって生成された画像と目標画像との誤差を算出することにより、前記画像を評価する画像評価手段と、
前記画像評価手段による評価結果に基づいて、前記第1パラメータを変更するパラメータ変更手段とを備え、
前記領域分割手段は、前記パラメータ変更手段で変更された第1パラメータに基づいて前記領域分割を行い、
前記画像生成手段は、前記パラメータ変更手段によって変更された第1パラメータと前記領域分割手段によって抽出された第2パラメータとを用いて、前記画像を生成する
ことを特徴とする請求項1記載の画像生成装置。
【請求項5】
前記画像生成装置はさらに、前記第1パラメータを用いて、前記関節物体の関節間部位の形状情報、前記第1パラメータには含まれない関節の位置及び動きに関する第3パラメータを推定するモデル変換手段を備え、
前記画像生成手段は、前記第1パラメータと前記第2パラメータと前記第3パラメータとを用いて、前記関節物体の特性を反映した新たな画像を生成する
ことを特徴とする請求項1記載の画像生成装置。
【請求項6】
前記画像生成手段は、時間的に連続した画像に対して、前記第1パラメータに含まれる動き情報をもとに生成した、時間的に内挿および外挿した画像を前記新たな画像として生成する
ことを特徴とする請求項3記載の画像生成装置。
【請求項7】
前記画像生成手段は、前記関節物体を構成する各部位に異なる色またはテクスチャを貼り付けた画像を前記新たな画像として生成する
ことを特徴とする請求項1記載の画像生成装置。
【請求項8】
前記画像生成手段は、前記関節物体の姿勢又は動きとは異なる姿勢又は動きを含む関節物体の画像に、前記関節物体の関節間部位のテクスチャを貼り付けた画像を前記新たな画像として生成する
ことを特徴とする請求項1記載の画像生成装置。
【請求項9】
前記パラメータ算出手段は、前記画像に対して、関節物体の領域を抽出する関節物体領域抽出部を有し、抽出した領域に対して、前記当てはめをする
ことを特徴とする請求項1記載の画像生成装置。
【請求項10】
関節物体領域抽出部は、前記画像に対して、エッジ抽出をすることによって、前記領域を抽出する
ことを特徴とする請求項9記載の画像生成装置。
【請求項11】
前記画像生成装置はさらに、前記画像入力手段によって取得された画像中に存在する関節物体の動作の周期を検出する周期性検出手段を備え、
前記パラメータ算出手段、前記領域分割手段及び前記画像生成手段は、前記周期性検出手段で検出された1周期分の時系列画像ごとに、それぞれ、第1パラメータの算出、第2パラメータの抽出、及び、画像の生成をする
ことを特徴とする請求項3記載の画像生成装置。
【請求項12】
前記動きは、動きベクトル、加速度ベクトル、アフィンパラメータ及び近似曲線パラメータのいずれかによって表される
ことを特徴とする請求項3記載の画像生成装置。
【請求項13】
前記領域分割手段は、前記第1パラメータに含まれる関節位置又は関節間部位の位置情報を初期値として、前記第2パラメータを算出する
ことを特徴とする請求項1記載の画像生成装置。
【請求項14】
前記画像生成手段は、関節で接続された部位が分離しないように、関節位置を基準とした画素移動を行うことにより、前記新たな画像を生成する
ことを特徴とする請求項1記載の画像生成装置。
【請求項15】
前記モデル変換手段は、前記第1パラメータと前記第3パラメータとの相関情報をあらかじめ求めておき、その相関情報に基づいて前記第3パラメータを推定する
ことを特徴とする請求項5記載の画像生成装置。
【請求項16】
前記モデル変換手段は、前記パラメータ算出手段によって前記第1パラメータの一部が抽出不能な場合に、抽出不能なパラメータ値を推定することによって、前記第3パラメータを推定する
ことを特徴とする請求項5記載の画像生成装置。
【請求項17】
前記パラメータ算出手段は、関節物体の関節間部位の接続関係をもとに、階層的に表現した前記第1パラメータを算出し、
前記モデル変換手段は、関節物体の関節間部位の接続関係をもとに、階層的に表現した前記第3パラメータを推定する
ことを特徴とする請求項5記載の画像生成装置。
【請求項18】
関節物体を撮像した画像から、前記関節物体の特性を反映した新たな画像を生成する画像生成方法であって、
関節物体を撮像した画像を取得する画像入力ステップと、
取得された画像中の関節物体に対して、あらかじめ保持した関節を有するモデルを当てはめることによって、前記関節物体の関節又は関節間部位の位置又は動きに関する第1パラメータを算出するパラメータ算出ステップと、
前記第1パラメータに基づいて前記関節物体の画像の領域分割を行うことによって、前記関節物体の関節間部位の色及びテクスチャ情報の少なくとも一つに関する第2パラメータを抽出する領域分割ステップと、
前記パラメータ算出ステップによって算出された第1パラメータと前記領域分割ステップによって抽出された第2パラメータとを用いて、前記関節物体の特性を反映した新たな画像を生成する画像生成ステップと
を含むことを特徴とする画像生成方法。
【請求項19】
関節物体を撮像した画像から、前記関節物体の特性を反映した新たな画像を生成するためのプログラムであって、
請求項18記載の画像生成方法に含まれるステップをコンピュータに実行させる
ことを特徴とするプログラム。
発明の詳細な説明
【技術分野】
【0001】
本発明は、画像処理によって人物や動物等を含む関節物体の画像を生成する画像生成装置及びその方法に関する。
【背景技術】
【0002】
従来の関節物体の画像生成技術は、コンピュータグラフィクスの分野において実現されている。これらの多くは、モーションキャプチャシステムを用いて、実際の人物の形状や動きデータを取得し、その動きデータに基づいてアニメーション生成を行っている。これによって、関節物体のさまざまな姿勢や動きを画像として出力することが可能である。また、モーションキャプチャシステムを使わなくともアニメーション生成可能な方法も存在する。例えば、特許文献1には、動力学を用いて人物の筋肉動作を最小とする動きを推定することによって、人体動作のアニメーションを生成する方法が開示されている。
【0003】
また、動作解析等を目的として、画像中に存在する関節物体に対して、モデルを当てはめる画像解析方法も提案されている。例えば、特許文献2では、画像中に存在する対象物に対して、その対象物が持つ部位それぞれについて構成したモデルを当てはめ、当てはめた結果、対象物をモデルパラメータとして保持するものである。また、非特許文献1には、10個の身体部位で構成した人物モデルを用いて、画像中に存在する人物に対して円柱の組合せによって構成した人物モデルを当てはめ、画像中に存在する人物が動いた場合にも、その身体部位をトラッキングすることができる技術が提案されている。
【特許文献1】特許第3355113号公報
【特許文献2】特開平8−214289号公報
【非特許文献1】Leonid Sigal, Sidharth Bhatia、 Stefan Roth、 Michael J.Black、 Michael Isard、“Tracking Loose−Limbed People”、2004 IEEE ComputerSociety Conference on ComputerVision and Pattern Recognition, Vol.1,pp421−428、2004
【発明の開示】
【発明が解決しようとする課題】
【0004】
しかしながら、上記従来技術に代表される画像生成方法や画像解析方法では、画像中に存在する関節物体が持つ形状、服装、動きなどのパラメータを反映した新たな画像を生成することができないという問題がある。
【0005】
特許文献1に代表される画像生成方法では、関節物体の動きに関するパラメータをあらかじめ算出しているために、関節物体の動きパラメータからアニメーション生成が可能である。ところが、画像中に存在する関節物体から形状、服装、動きに関するパラメータを得ることは行っていない。そのため、アニメーションを生成する場合には、事前に用意した形状や服装などに関するデータを用いることになる。
【0006】
また、特許文献2や非特許文献1に代表される画像解析方法では、円柱や直線等で簡略化した人物モデルを当てはめる。そのため、画像中に存在する関節物体の関節位置等のパラメータは取得できるものの、服装や形状に関する情報は取得できない。そのため、実写に近いアニメーションを生成するためには、関節物体の形状や服装などに関するデータを別途、保持しておく必要がある。また、画像中に存在する関節物体の形状や服装、動き等、その関節物体固有の情報(特性)を反映した画像を生成するためには、関節物体の各関節間部位の位置や動きに関する情報だけでなく、各関節間部位の形状や服装に関するデータを画像から取得する必要がある。
【0007】
そこで、本発明は、このような課題を解決するものであり、画像中に存在する関節物体が持つ形状、服装、動きなどのパラメータを反映した新たな画像を生成する画像生成装置等を提供することを目的とする。
【0008】
つまり、本発明は、画像中に存在する関節物体の画像から、画像中に存在する関節物体の部位形状、服装、動き等に関する情報を抽出し、抽出した情報を用いて、画像中に存在する関節物体の特性を反映した新たな画像を生成することを目的とする。
【0009】
具体的には、本発明は、画像中に存在する関節物体の画像から、画像中に存在する関節物体の部位形状、服装、動き等に関する情報を抽出し、抽出した情報を用いて、時間的、空間的に内挿、外挿した画像を生成する技術を提供する。また、画像中に存在する関節物体の画像から、画像中に存在する関節物体の身体部位形状や動きに関する情報を抽出し、抽出した情報を用いて、関節物体を構成する部位が明確に目視できる画像を生成する技術をも提供する。さらに、画像中に存在する関節物体の画像から、画像中に存在する関節物体の部位形状、服装、動きに関する情報を抽出し、抽出した情報を用いて、得られた画像中に存在する関節物体の姿勢や動きとは異なる姿勢や動きを含む関節物体の画像を生成する技術をも提供する。
【課題を解決するための手段】
【0010】
この課題を解決するために本発明は、関節物体を撮像した画像から、前記関節物体の特性を反映した新たな画像を生成する画像生成装置であって、関節物体を撮像した画像を取得する画像入力手段と、取得された画像中の関節物体に対して、あらかじめ保持した関節を有するモデルを当てはめることによって、前記関節物体の関節又は関節間部位の位置に関する第1パラメータを算出するパラメータ算出手段と、前記第1パラメータに基づいて前記関節物体の画像の領域分割を行うことによって、前記関節物体の関節間部位の色及びテクスチャ情報の少なくとも一つに関する第2パラメータを抽出する領域分割手段と、前記パラメータ算出手段によって算出された第1パラメータと前記領域分割手段によって抽出された第2パラメータとを用いて、前記関節物体の特性を反映した新たな画像を生成する画像生成手段とを備えることを特徴とする。
【0011】
ここで、前記画像入力手段が時間的に連続した画像を取得する場合には、前記パラメータ算出手段は、前記画像を用いて、前記関節物体の関節又は関節間部位の位置及び動きに関する第1パラメータを算出してもよい。
【0012】
なお、本発明は、このような画像生成装置として実現できるだけでなく、画像生成方法、その方法をステップとして含むプログラム、そのプログラムを記録したコンピュータ読み取り可能な記録媒体等としても実現することができる。
【発明の効果】
【0013】
本発明により、画像中に存在する関節物体に関して、関節を有するモデルを当てはめることによって得た関節の位置やその動き等に関するパラメータと、画像から得た形状や服装等に関するパラメータとを用いて、画像中に存在する関節物体の情報(特性)を反映した新たな画像を生成することが可能である。
【0014】
たとえば、画像中に存在する関節物体の画像から時間的、空間的に内挿、外挿した画像を生成することが可能である。また、画像中に存在する関節物体の画像から、関節物体の構成する部位が明確に目視できるように、各部位に異なる色やテクスチャ等を貼り付けた画像を生成することも可能である。さらに、画像中に存在する関節物体の画像から、その関節物体の部位形状や服装等を反映した上で、画像中に存在する関節物体の姿勢や動きとは異なる姿勢や動きを含む関節物体の画像を生成することが可能である。
【0015】
よって、本発明により、撮像された実画像から高精度な画像が生成され、特に、デジタルカメラやカメラ付き携帯電話、ビデオ装置等の撮影によって得られた映像を補完して精度を向上させる映像補完装置等として、その実用的価値は高い。
【発明を実施するための最良の形態】
【0016】
本発明の一実施形態は、関節物体を撮像した画像から、前記関節物体の特性を反映した新たな画像を生成する画像生成装置であって、関節物体を撮像した画像を取得する画像入力手段と、取得された画像中の関節物体に対して、あらかじめ保持した関節を有するモデルを当てはめることによって、前記関節物体の関節又は関節間部位の位置に関する第1パラメータを算出するパラメータ算出手段と、前記第1パラメータに基づいて前記関節物体の画像の領域分割を行うことによって、前記関節物体の関節間部位の色及びテクスチャ情報の少なくとも一つに関する第2パラメータを抽出する領域分割手段と、前記パラメータ算出手段によって算出された第1パラメータと前記領域分割手段によって抽出された第2パラメータとを用いて、前記関節物体の特性を反映した新たな画像を生成する画像生成手段とを備える。ここで、前記画像生成手段は、関節物体の特性を反映した新たな画像として、例えば、関節物体の関節又は関節間部位の位置、および、前記関節物体の関節間部位の色およびテクスチャ情報を反映した画像を生成する。また、前記画像入力手段が時間的に連続した画像を取得する場合には、前記パラメータ算出手段は、前記画像を用いて、前記関節物体の関節又は関節間部位の位置及び動きに関する第1パラメータを算出することを特徴とする。これによって、関節を有する関節モデルの当てはめによって得た動きや関節の位置等に関するパラメータと画像から得た形状や服装等に関するパラメータとを用いて、画像中に存在する関節物体の特性を反映した新たな画像の生成が可能となる。
【0017】
また、本発明のより好ましい形態は、前記画像生成装置はさらに、前記画像生成手段によって生成された画像と目標画像との誤差を算出することにより、前記画像を評価する画像評価手段と、前記画像評価手段による評価結果に基づいて、前記第1パラメータを変更するパラメータ変更手段とを備え、前記領域分割手段は、前記パラメータ変更手段で変更された第1パラメータに基づいて前記領域分割を行い、前記画像生成手段は、前記パラメータ変更手段によって変更された第1パラメータと前記領域分割手段によって抽出された第2パラメータとを用いて、前記画像を生成することを特徴とする。これによって、目標画像に近づくように前記パラメータを変更することによって、パラメータをより高精度に得ることができるため、さらに忠実に、画像中に存在する関節物体の特性を反映した新たな画像生成が可能となる。
【0018】
また、本発明のより好ましい形態は、前記画像生成装置はさらに、前記第1パラメータを用いて、前記関節物体の関節間部位の形状情報、前記第1パラメータには含まれない関節の位置及び動きに関する第3パラメータを推定するモデル変換手段を備え、前記画像生成手段は、前記第1パラメータと前記第2パラメータと前記第3パラメータとを用いて、前記関節物体の特性を反映した新たな画像を生成することを特徴とする。これによって、前記第1のパラメータより、情報量が多い第3のパラメータを推定するか、もしくはオクルージョン等の原因により、画像への関節モデルの当てはめだけでは得る事ができない情報に関するパラメータを第3のパラメータとして推定することによって、より確実に、画像中に存在する関節物体の特性を反映した新たな画像の生成が可能となる。なお、オクルージョンとは、移動物体の一部が物陰に隠れてしまい、撮影できるピクセル数が変化することである。
【0019】
ここで、前記画像生成手段は、例えば、時間的に連続した画像に対して、前記第1パラメータに含まれる動き情報をもとに生成した、時間的に内挿および外挿した画像を前記新たな画像として生成してもよい。これによって、フレームレートの低い動画像から、よりフレームレートの高い動画像の生成が可能となる。
【0020】
また、前記画像生成手段は、例えば、前記関節物体を構成する各部位に異なる色またはテクスチャを貼り付けた画像を前記新たな画像として生成してもよい。これによって、関節物体を構成する各部位の状態や動きを、画像中に存在する関節物体の特性を反映した画像で把握することが可能となる。
【0021】
さらに、前記画像生成手段は、例えば、前記関節物体の姿勢又は動きとは異なる姿勢又は動きを含む関節物体の画像に、前記関節物体の関節間部位のテクスチャを貼り付けた画像を前記新たな画像として生成してもよい。これによって、画像中に存在する関節物体の特性を反映した上で、他の姿勢、動き、形状に加工した画像の生成が可能となる。
【0022】
また、前記パラメータ算出手段は、前記画像に対して、関節物体の領域を抽出する関節物体領域抽出部を有し、抽出した領域に対して、前記当てはめをするのが好ましい。たとえば、関節物体領域抽出部は、前記画像に対して、エッジ抽出をすることによって前記領域を抽出するのが好ましい。これによって、自然画像中に存在する関節物体を検出することが容易となるため、処理可能な対象画像の限定を減らした上で、画像中に存在する関節物体の特性を反映した、新たな画像の生成が可能となる。
【0023】
また、本発明のより好ましい形態は、前記画像生成装置はさらに、前記画像入力手段によって取得された画像中に存在する関節物体の動作の周期を検出する周期性検出手段を備え、前記パラメータ算出手段、前記領域分割手段及び前記画像生成手段は、前記周期性検出手段で検出された1周期分の時系列画像ごとに、それぞれ、第1パラメータの算出、第2パラメータの抽出、及び、画像の生成をすることを特徴とする。これによって、歩行動作や走行動作等の繰り返し動作における1周期ごとにパラメータの算出と画像生成が行われるので、周期的な動作をする間接物体が正確に検出され、より忠実に関節物体の特性を反映した新たな画像が生成される。
【0024】
なお、前記動きは、例えば、動きベクトル、加速度ベクトル、アフィンパラメータ及び近似曲線パラメータのいずれかによって表すのが好ましい。関節を有する物体の動きに関するパラメータを得ることで、動き情報を用いて時間的に内挿および外挿する新たな画像の生成が可能となるからである。
【0025】
また、前記領域分割手段は、前記第1パラメータに含まれる関節位置又は関節間部位の位置情報を初期値として、前記第2パラメータを算出するのが好ましい。これによって、前記第2のパラメータの初期値を設定しておくことで、その探索における収束性が向上され、安定した領域分割処理が可能となる。
【0026】
また、前記画像生成手段は、関節で接続された部位が分離しないように、関節位置を基準とした画素移動を行うことにより、前記新たな画像を生成するのが好ましい。これによって、新たな画像を生成する際に、身体パーツ領域が分離する危険性を回避することできる。
【0027】
また、前記モデル変換手段は、前記第1パラメータと前記第3パラメータとの相関情報をあらかじめ求めておき、その相関情報に基づいて前記第3パラメータを推定するのが好ましい。これによって、関節物体の関節の位置や動きに関する情報をあらかじめ学習しておくことによって、前記第3のパラメータの推定が容易になる。
【0028】
また、前記モデル変換手段は、前記パラメータ算出手段によって前記第1パラメータの一部が抽出不能な場合に、抽出不能なパラメータ値を推定することによって、前記第3パラメータを推定するのが好ましい。これによって、オクルージョン等の原因により、画像への関節モデルの当てはめのみでは得る事ができない情報に関するパラメータを第3のパラメータとして推定することによって、画像中に存在する関節物体の情報(特性)を反映した、新たな画像の生成が可能となる。
【0029】
また、前記パラメータ算出手段は、関節物体の構造(関節間部位の接続関係)をもとに、階層的に表現した前記第1パラメータを算出し、前記モデル変換手段は、関節物体の構造(関節間部位の接続関係)をもとに、階層的に表現した前記第3パラメータを推定するのが好ましい。これによって、階層表現を用いて時間的に内挿、外挿する画像を生成する場合に、関節が分離した画像が生成されることを防ぐことが可能となる。
【0030】
以下、本発明の実施の形態について、図面を用いて詳細に説明する。
【0031】
(実施の形態1)
まず、本発明の実施の形態1について説明する。図1は、実施の形態1における画像生成装置の構成を示す機能ブロック図である。この画像生成装置は、画像中に存在する関節物体の関節の位置や形状、服装、動きに関する情報(特性)を反映した、新たな画像の生成を可能とする装置であり、画像入力部101、パラメータ算出部102、領域分割部103および画像生成部104から構成される。
【0032】
画像入力部101は、関節物体をデジタルカメラやビデオ装置等で撮像して得られる画像(つまり、コンピュータグラフィック等ではない実画像)を取得する入力インタフェース等である。ここでは、入力される画像は、時系列に並んだ画像であっても構わない。
【0033】
パラメータ算出部102は、あらかじめ用意した関節を有するモデルを画像に当てはめることによって、画像中に存在する関節物体の関節の位置を検出する処理部である。ここで、時系列に並んだ画像で、かつ画像中の関節物体が動いている場合は、その関節物体の関節、関節間部位の動きを検出することもできる。図2は、パラメータ算出部102の詳細な構成を示す機能ブロック図である。パラメータ算出部102は、入力された画像から関節物体領域を抽出する関節物体領域抽出部1021と、抽出した関節物体領域に対して、あらかじめ用意した関節モデルを当てはめるモデル当てはめ部1022と、関節モデルを当てはめることによって得た関節位置から、関節間部位の位置を算出する関節間部位位置計算部1023とで構成される。関節モデルを3次元で構成する場合は、3次元情報を2次元の画像空間へ射影する処理を行う。
【0034】
領域分割部103は、パラメータ算出部102で検出した関節位置もしくは、その関節位置から算出される関節間部位の中心位置を初期値として、領域分割処理を行う処理部である。これにより、関節間部位の色やテクスチャ情報を抽出することができる。なお、関節間部位は、頭部、手、足を含む。図3は、領域分割部103の詳細な構成を示す機能ブロック図である。領域分割部103は、パラメータ算出部102によって算出された関節間部位位置の情報とあらかじめ用意した関節モデルの構成部位数をもとに、画像の領域分割を行い、領域ごとに色やテクスチャ情報を抽出する領域分割処理部1031と、パラメータ算出部102によって算出された関節位置と、領域分割処理部1031で抽出した領域境界との整合を行う関節位置修正部1032とで構成される。
【0035】
画像生成部104は、パラメータ算出部102で検出した関節位置および、関節間部位の動き情報と、領域分割部103で抽出した関節間部位の色やテクスチャ情報とを用いて、新たな画像を生成する処理部である。つまり、この画像生成部104は、関節物体の特性を反映した新たな画像として、関節物体の関節又は関節間部位の位置、および、関節物体の関節間部位の色およびテクスチャ情報を反映した画像を新たな画像として生成する。時間的に内挿および外挿した新たな画像を生成する場合の画像生成部104の詳細な構成例を図4を用いて説明する。図4は、画像生成部104の詳細な構成を示す機能ブロック図である。画像生成部104は、生成するフレーム(時刻)に対応した画素位置を動き情報をもとに決定する画素移動位置計算部1041と、画素を移動させた結果生じる画素の欠落等を補間する補間処理部1042と移動した画素の色情報を決定する画素値決定部1043とから構成される。
【0036】
なお、時間的に内挿、外挿する画像を生成しない場合は、動き情報が不要なため、画素移動位置計算部1041と補間処理部1042は、なくてもよい。
【0037】
次に、以上のように構成された本実施の形態の画像生成装置による関節物体の画像生成方法について、図5のフローチャートを用いて詳細に説明する。
【0038】
まず、ステップS2001にて、画像入力部101は、撮像された画像の入力を受け付ける。
【0039】
次に、ステップS2002にて、パラメータ算出部102の関節物体領域抽出部1021は、入力された画像に対して背景差分処理を行い、関節物体領域を抽出する。なお、ここでは、背景差分処理の代わりにフレーム間差分処理を行っても良い。さらに、対象とする関節物体が人物である場合は、M.Oren, C.Papageorgiou, P.Sinha, E.Osuna and T.Poggio,“Pedestrian Detection using wavelet templates”,Proc.of CVPR97, pp.193−199, 1997に開示されている技術等を用いて、人物領域を切り出しても良い。さらに、エッジ検出処理を併用しても良い。また、背景差分処理を行う場合は、人物の存在しない背景となる画像を事前に準備しておく。動画を入力とする場合には、背景スプライトを生成し、生成した背景スプライト画像を用いることもできる。
【0040】
次に、ステップS2003にて、パラメータ算出部102のモデル当てはめ部1022は、図6(a)に示すような関節モデル1001を用いて、図6(b)に示されるモデル当てはめ結果1002のように、前記関節物体領域に対して、あらかじめ用意した関節を有するモデルを当てはめる。ここでは、Leonid Sigal, Sidharth Bhatia、 Stefan Roth、 Michael J.Black、 Michael Isard、“Tracking Loose−Limbed People”、2004 IEEE ComputerSociety Conference on ComputerVision and Pattern Recognition, Vol.1,pp421−428、2004などのモデル当てはめ手法を用いることができる。これによって、モデル当てはめ結果1002の黒丸で示した各部分が、モデル当てはめによって検出した関節位置となる。すなわち、3次元の関節位置{Xwi(t),Ywi(t),Zwi(t)}および、関節の角度情報を得ることができる。
【0041】
なお、関節の角度情報は、関節モデル1001で示した円柱の接続角度を用いることができる。また、時系列画像を入力した場合は、上記に加えて、入力画像ごとにモデル当てはめを行い、モデル当てはめ結果1002で示した黒丸の3次元位置情報を時系列で得ることで、動き情報{ΔXwi(t),ΔYwi(t),ΔZwi(t)}を算出することができる。
【0042】
さらに、パラメータ算出部102の関節間部位位置計算部1023は、検出した3次元の関節位置(図6(b)に示されるモデル当てはめ結果1002)を用いて、図6(c)に示されるように、隣接する関節どうしの中間点を関節間部位の代表位置1003として算出する。この中心位置は、次のステップで行う領域分割処理の初期値として必要な位置情報である。そのため、必ずしも中心位置である必要は無く、関節間部位ごとに関節間部位位置を算出しても良い。
【0043】
なお、図6は、関節数および関節間部位の数を限定するものではない。また、頭部、手、足のように関節の先に存在する部位に関する中心位置については、首、手首、足首の関節位置とその角度情報から、規定値を用いて算出する。ここで、頭部の中心位置は、首位置から15cm、手の中心位置は、手首位置から5cm、足は、足首位置から9cmとした。もちろん、図7に示す例のように体型や性別ごとに、それぞれの値をデータベースとして用意しても構わない。
【0044】
次に、ステップS2004にて、領域分割部103は、ステップS2003で検出した関節間部位の中心位置を画像に投影する。
【0045】
ここでは、カメラパラメータが既知である場合の例について述べるが、3次元の実世界座標値を画像に投影できるものであれば良く、画像からカメラパラメータを推定する手法を用いても良い。カメラパラメータを規定できれば、図8に示されるように、ステップS2003で検出した各関節位置および関節間部位位置を示す3次元情報を画像上に投影することができる。
【0046】
3次元の実世界座標値を画像に投影する手法としては、徐、辻著、「3次元ビジョン」、9ページ、共立出版、1998年発行に詳細が記述されている。ここで、画像上に投影した関節間部位の中心位置を(xi,yi)とする。そして、各iの中心位置(xi,yi)の画素における色情報(Ri,Gi,Bi)と動き情報(ui,vi)を領域iの初期値として領域分割を行う。iは、関節間部位のインデックスであり、領域のインデックスでもある。領域分割の結果、画像中の関節物体領域における各画素が、どの領域iに属するかを得ることができ、領域iに属する画素は関節間部位iの一部と考えることができる。すなわち、領域iに含まれる画素位置が関節間部位iの服や体などの形状に対応する。そして、領域iに含まれる画素の色情報が関節間部位iの色やテクスチャ情報に対応する。なお、領域分割処理の詳細については後述する。
【0047】
次に、ステップS2005にて、画像生成部104は、ステップS2003で検出した関節の位置と動き情報と、ステップS2004で抽出した関節部位iに属する色、動き等の情報とを用いて画像中に存在する関節物体の情報(特性)を反映した新たな画像を生成する。なお、画像生成の詳細については、後述する。
【0048】
ここで、ステップS2004における領域分割部103による領域分割処理について、詳しく説明する。
【0049】
ここでは、画像の色、位置、動き情報を用いた領域分割処理について説明するが、必ずしも、3つすべての特徴量を用いる必要は無い。また、色情報は、YUV等、他の色空間座標系で表現されたものでも良い。さらに、色情報は、服装や体表皮等のテクスチャの影響を受けるため、位置と動き情報を用いて領域分割処理を行うことも有効である。動き情報を用いる場合は、複数枚の時系列画像から関節物体領域の各画素について、オプティカルフロー計算により、動きベクトル(uk,vk)を求める。ここで、kは画像をラスタスキャンした時の画素番号である。
【0050】
まず、図9(a)の初期値3201に示されるように、領域分割部103の領域分割処理部1031は、ステップS2003で検出した関節間部位の中心位置を画像に投影する。この時、投影した関節間部位の中心位置iごとに初期値を決定する。具体的には、画像上に投影した関節間部位の中心位置を(xi,yi)とする。そして、各iの中心位置(xi,yi)の画素における色情報(Ri,Gi,Bi)と動き情報(ui,vi)を用いて、領域分割の初期値を決定する。この時、分割する領域数は、あらかじめ用意したモデルの関節間部位数と同数とする。図9の例では、モデルの関節間部位数を14個としたため、領域数も14個とする。ただし、モデルの関節数および関節間部位数の数を規定するものでは無い。
【0051】
具体的な初期値は以下のように決定するが、初期値は、モデル当てはめの結果である関節位置の情報が反映されていれば良く、必ずしも、以下のように決定する必要は無い。
【0052】
まず、領域を次のように、表現する。
【0053】
【数1】


ここで、Nは、領域数であり、あらかじめ用意した関節モデルの関節間部位数と同数である。
【0054】
次に、それぞれの領域θiは、以下の数2〜数7のパラメータで表現する。
【0055】
【数2】


【0056】
【数3】


【0057】
【数4】


【0058】
【数5】


【0059】
【数6】


【0060】
【数7】


ここで、数2の左辺(以下、「ai(ave)」と記す。)は、領域iの色情報の平均値、数3の左辺Aiは、領域iの色情報の共分散行列、数4の左辺(以下、pi(ave)」と記す。)は、領域iの重心、数5の左辺Piは、領域iの位置情報の共分散行列、数6の左辺(以下、「ui(ave)」と記す。)は、領域iの動き情報の平均値、数7の左辺Uiは、領域の動き情報の共分散行列である。
【0061】
ここで、動き情報として、動きベクトルを用いる例を述べるが、動きベクトルを関数で近似しても良いし、アフィンパラメータでも良いし、3枚以上の時系列画像を用いる場合は、加速度を用いても良い。
【0062】
次に、上記の初期値を用いた領域分割方法について説明する。領域分割では、次式の距離関数を用いて、関節物体領域の各画素がどの領域iに属するかを計算する。
【0063】
【数8】


ここで、di(a,p,u)は、各画素とそれぞれの領域iとの距離を示すものである。各画素は、di(a,p,u)が最も小さい値をとる領域iに属することになる。
【0064】
なお、φi(a,p,u)は、以下の式に示すように、マハラノビス距離であり、
【0065】
【数9】


である。
【0066】
また、
【0067】
【数10】


としても構わない。
【0068】
さらに、p(ωi)は、一定値としても構わないし、体型や性別等の情報を元に、各関節間部位の体積情報から、関節間部位iの体積/全体積として、あらかじめ設定しておいても良い。
【0069】
次に、di(a,p,u)の計算結果をもとに、各領域iに属する画素に関する色、位置、動き情報を用いて、次のように領域パラメータを更新する。
【0070】
【数11】


【0071】
【数12】


【0072】
【数13】


【0073】
【数14】


【0074】
【数15】


【0075】
【数16】


図9(b)の領域分割結果3202に示されるように、ステップS2003で関節モデルを当てはめた結果を初期値として、上記の領域分割を行った結果、大まかに関節間部位ごとに領域を分割することができる。
【0076】
ここで、ω=1としても良いし、入力ベクトルの平均値からのずれ具合によって調整しても良い。上記、パラメータ更新を規定回数繰り返すことによって、各画素が属する領域を得ることができる。なお、領域分割処理は上記に加えて、k−mean、競合学習など、他の領域分割方法を用いても構わない。さらに、栄藤.白井:「色、位置、輝度こう配に基づく領域分割による2次元動き推定」,電子情報通信学会論文誌D−II,Vol.76,No.11,pp.2324−2332,1993等に開示されている領域分割方法を用いることができる。
【0077】
ここで、図10を用いて、領域境界1103と関節位置1105の関係について説明する。
【0078】
領域境界1103とは、領域A1101と領域B1102とが接している画素である。領域A1101と領域B1102との境界が、ステップS2003にて推定した関節位置1105を含むことが望ましい。そこで、領域境界1103と関節位置1105との位置が異なる場合は、領域分割部103の関節位置修正部1032は、次のような関節位置修正処理を行う。
【0079】
まず、領域Aと領域Bの境界に属する領域境界の重心1104を求める。
【0080】
領域境界の重心1104に最も近い位置にある、ステップS2003で推定した関節位置1105を領域境界の重心1104に移動させる。これは、領域分割結果の信頼性が高い場合に有効である。なお、ここでは、ステップS2003で行った関節位置の推定結果を領域分割の初期値としているため、関節位置の初期値を与えずに領域分割を行う場合に比べ、関節間部位を特定しやすい形で領域分割される効果がある。
【0081】
さらに、ステップS2004で得られた領域境界1103を、関節位置1105に近づけることも可能である。この場合、図10(b)に示されるように、領域境界の重心1104と関節位置1105とを結んだ線を、移動軸1106として、移動軸1106上に、領域境界1103と関節位置1105をそれぞれ移動させる。この時、領域境界1103は、移動軸となす角度を保ったまま移動させる。最終的な領域境界の決定は、図10(b)に示されるように2つの領域の画素数の比を利用して、1:1となるように決定しても良いし、対象が人物等の場合は、標準体型の各関節間部位の体積比率に基づいて決定しても良い。各関節間部位の体積比率については、図11の例ように事前に決めておくことができる。例えば、大腿部と下腿部との領域境界は、体積比で0.12:0.08であるため、体積比率が3:2となるように、移動軸上で領域境界を決定することもできる。上記により、それぞれの関節間部位に属する領域を決定することができる。この効果として、図12(a)に示されるような入力画像1201から、図12(b)に示されるような出力画像1202が得られる。つまり、領域ごとに色分けを行ったり、テクスチャを変えて、画像関節物体を構成する各部位を見分けることが容易な画像を生成することが可能である。
【0082】
次に、ステップS2005における画像生成部104による画像生成について、図13を用いて詳しく説明する。ここでは、2枚の時系列画像I(t)1301(図13(a))とI(t+n)1302(図13(c))を入力として、その画像を時間的に内挿、外挿する画像を生成する例について述べるが、入力の枚数を規定するものでは無い。また、説明のため領域が2個の場合について説明するが、領域数を限定するものではない。さらに、ステップS2004で抽出した動き情報を用いて、内挿画像1303(図13(b))を生成する例について述べるが、ステップS2003で検出した関節位置の動き情報を用いても良い。
【0083】
I(t)1301とI(t+n)1302との間に時間的に内挿する画像1303をN枚生成する場合について説明する。
【0084】
画素移動位置計算部1041は、生成するフレーム(時刻)に対応した画素位置を、動き情報をもとに、以下のようにして決定する
領域Aの動きパラメータをMa、領域Bの動きパラメータをMbとすると、内挿する画像1303は、I(t)1301の画像をもとに、領域A、Bに属するそれぞれの画素を、Ma/(N+1),Mb/(N+1)ずつ移動させることによって生成できる。
【0085】
外挿する場合については、I(t)1301とI(t+n)1302の間で生成した動き情報をもとに、I(t+n)1302の画像から、領域A、Bに属するそれぞれの画素を、Ma/(N+1),Mb/(N+1)移動させることによって生成できる。
【0086】
なお、動きパラメータMaとしては、平均動きベクトルuA(ave)を、領域Bの動きパラメータMbとしては、平均動きベクトルをuB(ave)を用いることができる。ただし、動きパラメータは、動きベクトルに限らず、アフィンパラメータ、加速度ベクトル、近似曲線パラメータでも構わない。
【0087】
この時、領域Aと領域Bが異なる方向に移動するために、図13(d)の画像1304および図13(e)の画像1305のように関節位置および領域境界を中心に領域Aと領域Bが分離したり、重なったりする可能性がある。これについては、以下のように処理を行うと効果的である。
【0088】
まず、隣接する領域AおよびBにおいて、領域Aの動きパラメータをMa,領域Bの動きパラメータをMbとする。次に、各領域に属する画素ごとに、領域境界の画素までの最短距離distj_minを計算する。ここでjは、画素である。なお、distj_minは、領域境界の重心までの距離でも構わない。
【0089】
領域Aに属する画素を例として説明する。
【0090】
次のように、各画素の動きパラメータMa_jを決定する。ここでjは画素である。
【0091】
【数17】


【0092】
【数18】


同様に、領域Bに属する画素については、
【0093】
【数19】


【0094】
【数20】


で表せる。
【0095】
なお、非線形関数を利用しても良く、
【0096】
【数21】


のようにすることも可能である。
【0097】
以上のように、関節位置および領域境界を基準とした画素移動もしくは画像生成を行うことによって、図13(b)の内挿画像1303のように、関節で接続された部位が分離せず、かつ領域どうしが重ならない新たな画像を生成することが可能である。
【0098】
ここでは、領域境界付近の画素の動き情報がなだらかに変化するような条件が望ましい。
【0099】
もちろん、図14における外挿画像1404についても同様である。
【0100】
また、さらに、画素を移動させることによって、新たに生成した画像の画素が一部欠ける場合があるが、この場合は、補間処理部1042が近傍画素から補間するか、もしくは、時刻t+nの画像から、時間的に逆向きの時刻tの画像を生成し、順方向から生成した画像と逆方向から生成した画像とを用いて画像を生成することも有効である。なお、補間方法としては、バイリニア法やバイキュービック法、モルフォロジー処理等を用いることができる。
【0101】
以上の処理により、関節を有する関節モデルの当てはめによって得た動きや関節の位置等に関するパラメータと画像から得た形状や服装等に関するパラメータとを用いて、画素値決定部1043は、画像中に存在する関節物体の情報(特性)を反映した画素値、つまり、新たな画像を生成する。
【0102】
また、内挿画像1403、外挿画像1404と入力画像とを時間順に並べて再生することによって、フレームレートの低い動画像から、よりフレームレートの高い動画像の生成が可能である。
【0103】
(実施の形態2)
次に、本発明の実施の形態2について説明する。図15は、実施の形態2における画像生成装置の構成を示す機能ブロック図である。この画像生成装置は、実施の形態1に加えて、生成した画像を評価しながら関節物体の関節位置、形状、服装、動きに関するパラメータを変更することによって、画像中に存在する関節物体の関節の位置や形状、服装、動きに関する情報を反映した、より精度の高い新たな画像の生成を可能とする装置であり、画像入力部101、パラメータ算出部102、領域分割部103、画像生成部104、画像評価部201およびパラメータ変更部202から構成される。画像入力部101、パラメータ算出部102、領域分割部103については、実施の形態1と同様であるので、説明は省略する。
【0104】
画像生成部104は、図14に示されるように、入力画像I(t)1401をもとに、入力画像I(t)1401とI(t+n)1402のから検出したパラメータを用いて、I(t+n)に相当する時刻の画像を生成する。これを生成画像I'(t+n)とする。
【0105】
画像評価部201は、図16に示されるように、前記入力画像I(t+n)3401と生成画像I'(t+n)3402との誤差を計算する処理部である。
【0106】
ここで、生成画像I'(t+n)3402は、関節間部位ごとにハッチングで表示したが、領域分割部の領域分割結果をもとに、色やテクスチャを貼り付けても良い。
【0107】
パラメータ変更部202は、関節位置や動きパラメータを変更する処理部である。変更したパラメータに従って、再度、領域分割部103、画像生成部104、画像評価部201は、それぞれの処理を行う。この処理を繰り返しながら、本実施の形態の画像生成装置は、誤差が小さくなるパラメータを決定し、この時のパラメータを用いて、新たな画像を生成する。
【0108】
ここで、処理の繰返しは、必ずしもすべてのパラメータを網羅的に変更する必要は無く、誤差が閾値以下になるまで行ったり、規定回数繰り返したり、処理時間によって決定することができる。処理時間によって決定する場合は、フレームレートと新たに生成する画像の枚数を考慮する必要がある。例えば、10フレーム/秒で入力される画像に対し、フレーム間に2枚の画像を新たに生成することで、30フレーム/秒の画像列をリアルタイムに生成することを考えた場合、少なくとも0.1秒の間に2枚の画像を生成する必要がある。この場合、一枚あたり0.05秒で生成する必要があり、このような情報を処理時間の閾値として用いることが可能である。
【0109】
次に、以上のように構成された本実施の形態の画像生成装置による関節物体の画像生成方法について、図17のフローチャートを用いて詳細に説明する。なお、ステップS2101〜S2104までは、実施の形態1と同様であるため、説明を省略する。
【0110】
ステップS2105では、図14に示されるように、画像生成部104は、入力画像I(t)1401をもとに、入力画像I(t)1401とI(t+n)1402から検出したパラメータを用いて、I(t+n)に相当する時刻の画像を生成する。これを図16で説明すると、I(t+n)3401を目標画像と呼び、ステップS2105で生成した予測画像をI'(t+n)3402とする。
【0111】
I'(t+n)の生成方法について述べる。ここでは、実施の形態1と同様の手法により、入力画像I(t)をもとに、ステップS2103とステップS2104にて検出したパラメータを用いて、時刻t+nの予測画像I'(t+n)3402を生成する。ここで、予測画像I'(t+n)3402は、ハッチングによって示した領域である。
【0112】
ステップS2106では、画像評価部201は、評価値として、目標画像I(t+n)3401と予測画像I'(t+n)3402との誤差を計算する。
【0113】
評価値の計算方法としては、目標画像I(t+n)3401の画素値と、生成画像I'(t+n)3402の画素値との差を計算する。目標画像I(t+n)と生成画像I'(t+n)3402とのオーバーラップが多く、かつ画素値が近ければ、目標画像に近いと判断することが望ましい。そこで、次のような評価値を用いることができる。
【0114】
【数22】


もちろん、上式に限らず、目標画像と予測画像との誤差を評価する計算方法であれば良い。
【0115】
次に、ステップS2107では、画像評価部201は、Err値があらかじめ設定した評価値を満たしているか否かを計算する。ここで、Err値があらかじめ設定した評価値を満たしていない場合は、現時点において、最も評価値に近い値とその時のステップS2103及びステップS2104で検出したパラメータとを組として保持する。反対に、Err値があらかじめ設定した評価値を満たしている場合は、ステップS2109の処理を行う。もちろん、すべてのパラメータを網羅的に処理し、評価値が最も良いパラメータを決定してからステップS2109の処理を行っても良い。ただし、リアルタイム処理等、処理時間を考慮する場合は、規定回数繰返したり、規定した処理時間に達するまでとしても良い。この場合は、繰返し処理の中で最も評価値に近いパラメータを選択する。
【0116】
次に、ステップS2108では、パラメータ変更部202は、図10(b)に示されるように、ステップS2104で得られた領域境界1103を関節位置1105に近づける。この場合、領域境界の重心1104と関節位置1105とを結んだ線を、移動軸1106として、移動軸1106上に、領域境界1103と関節位置1105をそれぞれ移動させる。この時、領域境界1103は、移動軸となす角度を保ったまま移動させる。この結果、関節位置1105が移動することになり、ステップS2104における関節間部位の中心位置が変更されることになる。そして、変更された関節間部位の中心位置を領域分割の初期値として、領域分割部103、画像生成部104および画像評価部201等が、再度ステップS2104以降を繰り返す。
【0117】
また、さらに、パラメータ変更部202は、あらかじめ用意した関節モデルの関節間の距離を変更するように、関節位置1105を移動させることも可能である。この時、図18に示されるように、関節モデルを関節物体の構造(関節間部位の接続関係)をもとに階層的に表現し、上位の階層に属する関節位置から順にパラメータを変更することで、効率的にパラメータを変更、決定することができる。関節モデルの階層的表現については、後述する。
【0118】
次に、ステップS2109では、画像生成部104は、ステップS2107で最終的に決定したパラメータを用いて画像を生成する。この時の画像生成方法は、実施の形態1におけるステップS2005と同様であり、時間的に内挿、外挿した画像を生成することもできるし、関節物体の構成する各部位を明確に目視できるように、各部位に異なる色やテクスチャ等を貼り付けた画像を生成することもできる。図16の画像3402に示されるように、画像評価前の画像生成時には、実際の目標画像と一部ずれがあったとしても、(数22)のような評価に基づいてパラメータを変更することによって、パラメータ変更後の画像3403に示されるように、目標画像とのずれを最小限に押さえた画像を生成することができる。これにより、より精度の高い新たな画像を生成することができる。
【0119】
以上の処理により、実施の形態1の効果に加えて、生成した画像を評価しながら関節物体の関節位置、形状、服装、動きに関するパラメータを変更することによって、画像中に存在する関節物体の関節の位置や形状、服装、動きに関する情報を反映した、より精度の高い新たな画像の生成が可能となる。
【0120】
(実施の形態3)
次に、本発明の実施の形態3について説明する。図19は、実施の形態3における画像生成装置の構成を示す機能ブロック図である。この画像生成装置は、実施の形態1に加えて、モデル当てはめによって抽出した画像中に存在する関節物体の関節の位置や動きに関する情報から、モデル変換を行うことによって、オクルージョン等によって得られなかった関節の位置や動きに関する情報を推定することを可能とし、それによって、本来、画像のみからでは抽出不能なパラメータを用いた新たな画像の生成を可能とする装置であり、画像入力部101、パラメータ算出部102、領域分割部103、画像生成部104およびモデル変換部301から構成される。画像入力部101、パラメータ算出部102、領域分割部103については、実施の形態1と同様であるため、説明は省略する。
【0121】
モデル変換部301は、パラメータ算出部102で抽出した関節物体の関節位置やその動きを入力として、形状情報を含むさらに高精度な関節物体の関節位置や動きの情報を出力したり、オクルージョン等で得られなかった関節の位置やその動きに関する情報を出力する処理部である。
【0122】
画像生成部104は、モデル変換部301で推定した関節位置および、関節間部位の動き情報や形状情報と、領域分割部103で抽出した、関節間部位の色やテクスチャ情報を用いて、新たな画像を生成する。
【0123】
次に、以上のように構成された本実施の形態の画像生成装置による関節物体の画像生成方法について、図20のフローチャートを用いて詳細に説明する。なお、ステップS2201〜S2204までは、実施の形態1と同様であるため、説明を省略する。また、並行に並んでいる2つのステップ(ここでは、ステップS2204とS2205)は、いずれが先か後かの順序を問わない手順(並行処理も含まれる)を示す(以下、他のフローチャートについても同様)。
【0124】
ステップS2205では、モデル変換部301は、入力と出力の関係を記述したモデル変換データを使用することによって、入力情報から出力情報を推定する。具体的には、パラメータ算出部102で抽出された関節物体の関節位置やその動きを入力として、オクルージョン等で得られなかった関節の位置やその動きに関する情報を出力する。さらに、パラメータ算出部102で抽出された関節物体の関節位置やその動きを入力として、形状情報を含むさらに高精度な関節物体の関節位置等の情報を出力する。ここでは、モデル変換データを相関情報によって生成する例について述べる。
【0125】
まず、入力ベクトルをxとする。xは、パラメータ算出部102で抽出された関節物体の関節位置やその動きに相当する。
【0126】
【数23】


Xは、入力ベクトルの集合である。Nは、データセットの数である。
【0127】
また、
【0128】
【数24】


であり、mは関節位置や関節間部位に相当する。
【0129】
次に、出力ベクトルをyとする。yは、推定したいパラメータであり、オクルージョン等で得られなかった関節の位置やその動きに関する情報でも良いし、形状情報を含むさらに情報量の多い関節物体の関節位置等の情報でも良い。
【0130】
【数25】


Yは、出力ベクトルの集合である。
【0131】
【数26】


であり、lは、関節位置、関節間部位に加えて、形状を表現するためのマーカ位置等の情報を含む。
【0132】
次に、Xの自己相関行列を次のように決定する。
【0133】
【数27】


また、XとYの相互相関行列を次のように決定する。
【0134】
【数28】


ここで、モデル変換行列をCとすると、
【0135】
【数29】


で表すことができる。ここで、Cx*はCxの逆行列、または疑似逆行列である。
【0136】
そして、モデル変換(ステップS2105)によって推定したいyは、モデル変換行列を用いて次の式で表すことができる。
【0137】
【数30】


ここで、mxおよびmyは、xおよびyの平均ベクトルである。
【0138】
(数30)より、xの平均ベクトルmxおよびyの平均ベクトルmy、モデル変換行列Cを保持しておけば、新たに与えられた入力ベクトルxから、出力ベクトルyを推定することが可能である。
【0139】
ここで、具体的なmx、my、Cの決定方法について説明する。
【0140】
XおよびYとしては、モーションキャプチャデータを使うことができる。
【0141】
モーションキャプチャは、実際の関節物体の関節位置などにマーカを取り付けて、そのマーカの3次元位置を時系列で得ることができるものである。
【0142】
時刻tにおける入力ベクトルxをマーカmについて次のように記述すると、
【0143】
【数31】


として、位置情報と動き情報を表現できる。
【0144】
動き情報については、動きベクトルの他に、動きベクトルを関数で近似しても良いし、アフィンパラメータでも良いし、加速度を用いても良い。
【0145】
また、yも同様にマーカlについて記述すると、
【0146】
【数32】


のように、位置情報と動き情報を表現できる。
【0147】
ここでも、動き情報については、動きベクトルの他に、動きベクトルを関数で近似しても良いし、アフィンパラメータでも良いし、加速度を用いても良い。
【0148】
xおよびyは、これらのベクトルをマーカ順に並べたもので表現できる。
【0149】
さらに、mx、myは、マーカ順に並べたそれぞれのベクトルの平均である。
【0150】
そして、モデル変換行列Cは、同時刻におけるxとyを組として、(数27)、(数28)、(数29)によって、計算することが可能である。なお、mx、my、Cについては、あらかじめ計算しておいても良いし、データセットからその都度計算しても良い。
【0151】
ここで、具体的なxとyの例について図21を用いて説明する。xについては、画像から比較的検出しやすいことが重要であるため、図21(a)のマーカデータ3501に示されるように、大まかな関節位置に取り付けたマーカデータを用いることが望ましい。そして、yについては、図21(b)のマーカデータ3502に示されるように、黒丸で示したxの関節位置に加えて、白丸で示した関節間部位等に取り付けたマーカデータも含むことができる。ここで、黒丸で示した関節位置を示すマーカと白丸で示した関節間部位に取り付けたマーカとの位置関係を用いれば、おおまかな形状を得ることができる。これによって、画像から検出しやすい関節位置のデータから、形状に関わる情報も含めた詳細なデータを推定することが可能である。
【0152】
また、オクルージョンが生じやすい例として、人物や動物等が画像上を横向きに移動している場合がある。このような例では、左半身、もしくは右半身のどちらか一方の情報が得られない事がある。他にも、他の物体によって対象とする関節物体の一部が隠されたり、画質が悪い場合には、関節物体の情報の一部が得られない事もある。
【0153】
このような状況に備えるためには、図22(a)の例に示されるように、xについては、マーカデータ3601の片半身に関するマーカデータを用いて生成し、図22(b)のの例に示されるように、yについては、マーカデータ3602の白丸で示すマーカを含む全身に関するマーカデータを生成することによって、片半身の情報から全身の情報を推定することが可能である。なお、x、mx、Cについては、あらかじめテスト画像等で、画像にモデルを当てはめた結果を用いて生成しても良い。さらに、CGの関節位置データを用いても良い。また、yについては、形状データを含めてCGからデータを生成しても良い。さらに、モデル変換の例として、関節物体の体型や動作ごとに、上記mx、my、Cを複数組用意しても良いし、オクルージョンが生じやすい例ごとに上記mx、my、Cを複数組用意しても良い。
【0154】
また、図23に示されるように、異なる姿勢間の相関情報を求めておくことによって、入力された姿勢情報とは異なる姿勢情報を出力することも可能である。例えば、図23(a)のマーカデータ3701に示されるように、歩行動作に関連する姿勢を表現するマーカデータをxとして、図23(b)のマーカデータ3702に示されるように、走行動作に関連する姿勢を表現するマーカデータをyとすることによって、歩行動作の入力画像から、走行動作の出力画像を得ることができる。これにより、画像中に存在する関節物体の情報(特性)を反映した上で、他の姿勢に加工した画像の生成を可能とする。さらに、図23に示されるように、異なる姿勢間の相関情報において、x、yそれぞれのベクトルの要素として位置情報に加えて、(数31)、(数32)のように動き情報を含め、さらに、動き情報を含めたx、yから相関情報を求めておけば、入力された動作とは異なる動作を出力することも可能である。これにより、画像中に存在する関節物体の情報(特性)を反映した上で、他の動きに加工した画像の生成を可能とする。さらに、上記相関情報のみならず、ニューラルネットワークを用いて、XとYの関係を学習しても良い。
【0155】
次に、ステップS2206では、画像生成部104は、ステップS2205で推定した関節物体の関節位置、動き、形状に関するパラメータとステップS2203にて抽出した服装や色に関する情報を用いて画像生成を行う。
【0156】
なお、ステップS2205にて、形状に関するパラメータを推定しない場合は、ステップS2206は、実施の形態1および2と同様の処理を行うことができる。
【0157】
以上の処理により、実施の形態1および2の効果に加えて、オクルージョン等で画像から検出困難なパラメータをモデル変換によって推定することで、画像のみからでは抽出不能なパラメータを用いた新たな画像の生成を可能とするものである。
【0158】
また、本実施の形態の変形例として、図24に示される構成要素によって画像生成装置を構成してもよい。図24は、実施の形態3の変形例における画像生成装置の構成を示す機能ブロック図である。こ画像生成措置は、モデル当てはめによって抽出した画像中に存在する関節物体の関節の位置や動きに関する情報から、図21に示されるようにモデル変換を行うことによって、形状や動きに関するパラメータを推定する、つまり、画像評価とパラメータ変更を行いながらモデル変換を繰り返すことによって、画像のみからでは抽出不能なパラメータを推定して、さらに高精度な新たな画像の生成を可能とする装置であり、画像入力部101、パラメータ算出部102、領域分割部103、画像生成部104、モデル変換部301、画像評価部201およびパラメータ変更部202から構成される。画像入力部101、パラメータ算出部102、領域分割部103、モデル変換部301、画像生成部104、画像評価部201、パラメータ変更部202は、実施の形態1および2で説明した方法によって、実現可能であるため説明を省略する。
【0159】
画像評価部201は、モデル変換によって推定された形状や動きに関するパラメータを用いて生成された画像を評価する処理部である。パラメータ変更部202は、その評価に従って、関節物体の関節位置、形状、服装、動きに関するパラメータを変更し、変更したパラメータが再度、モデル変換されるように、パラメータ算出部102にフィードバックする処理部である。
【0160】
このような構成された変形例の画像生成装置の詳細な動作フローを図25に示す。このフローは、実施の形態2の動作手順を示すフロー(図17)と、実施の形態3の動作手順を示すフロー(図20)とを組み合わせたものに相当し、各ステップの詳細な説明を省略する。
【0161】
以上のことから分かるように、この変形例に係る画像生成装置は、実施の形態2と実施の形態3とを組み合わせた処理を行い、その結果、実施の形態2および3で得られた両方の効果を発揮する。つまり、実施の形態1の効果に加えて、生成した画像を評価しながら関節物体の関節位置、形状、服装、動きに関するパラメータを変更することによって、画像中に存在する関節物体の関節の位置や形状、服装、動きに関する情報を反映した、より精度の高い新たな画像の生成が可能になるとともに、オクルージョン等で画像から検出困難なパラメータをモデル変換によって推定することで、画像のみからでは抽出不能なパラメータを用いた新たな画像の生成が可能となる。
【0162】
なお、推定するパラメータyを、図18に示されるように階層的に表現することによって、上位の階層に属する関節位置から順にパラメータを変更することで、効率的にパラメータを変更、決定することができる。関節モデルの階層的表現の詳細については、後述する。
【0163】
(実施の形態4)
次に、本発明の実施の形態4について説明する。図26は、実施の形態4における画像生成装置の構成を示す機能ブロック図である。この画像生成装置は、実施の形態3に加えて、画像中に存在する関節物体の情報(特性)を反映した上で、他の形状に加工した画像の生成を可能とする装置であり、画像入力部101、パラメータ算出部102、領域分割部103、画像生成部104、モデル変換部301およびユーザ設定部501から構成される。画像入力部101、パラメータ算出部102、領域分割部103、モデル変換部301については、実施の形態3と同様であるため、説明は省略する。
【0164】
ここでは、モデル変換部301にて、パラメータ算出部102で抽出された関節物体の関節位置やその動きを入力として、形状情報を含むさらに高精度な関節物体の関節位置等の情報を出力する場合について説明する。
【0165】
ユーザ設定部501は、モデル変換部301で得られた形状情報を含むパラメータをユーザの指示に従って変更する処理部である。ここでは、太らせる、痩せさせる、といったパラメータを変更するように画面表示することも可能である。
【0166】
画像生成部104は、ユーザ設定部501で設定した形状情報を含むパラメータと領域分割部103で得たパラメータとモデル変換部301で得たパラメータとを用いた画像生成を行うことで、入力された関節物体の形状、動き、色などに関する情報を反映した上で、形状を変更した画像を生成する。
【0167】
次に、以上のように構成された本実施の形態の画像生成装置による関節物体の画像生成方法について、図27のフローチャートを用いて詳細に説明する。なお、ステップS2401〜S2404までは、実施の形態3と同様であるため、説明を省略する。
【0168】
ステップS2405のモデル変換では、実施の形態3の図21でも説明したように、関節位置以外の形状を含む情報を推定することができる。この場合、関節間部位の大まかな形状を知ることができる。この情報とステップS2404にて行った領域分割の結果を用いた画像生成について説明する。
【0169】
ステップS2405で推定したパラメータyは、関節位置やその動きに関する情報に加えて、関節間部位に取り付けたマーカの位置情報も得ることができる。これはすなわち、大まかな形状を表現していることになる。
【0170】
次に、ステップS2406では、ユーザ設定部501により、特に関節間部位に取り付けられたマーカ位置情報等、形状に関するパラメータをユーザが変更する。人物や動物の場合を例に挙げると、図28に示されるように、腹の上に取り付けたマーカの位置情報を変更することによって、腹の大きさを変更することができる。図29にユーザが変更するパラメータの設定画面の例を示す。ユーザが変更可能なパラメータは、例えば、図29のA〜Eのように、あらかじめ制御可能な関節間部位位置を決定しておくことが望ましい。具体的には図21のyのマーカ位置の例3502に示されるように、白丸で示した形状に関連するマーカ位置を制御可能な関節間部位位置とすることで、入力画像の形状を関節間部位ごとに変化させることが可能である。そして、ユーザは、形状パラメータ制御バー3802を操作することによって、関節間部位ごとに形状を変化させる。
【0171】
次に、ステップS2407では、画像生成部104は、ステップS2404で得た領域分割の結果と、ステップS2405で得た主に関節位置に関するパラメータと、ステップS2406で変更した形状に関するパラメータとを用いて画像を生成する。図28に示されるように、入力画像1701を入力として、ステップS2406で形状に関するパラメータを変更することによって、入力画像の情報を反映した上で、一部の形状を加工もしくは変更した出力画像1702を得ることができる。
【0172】
ここで、ステップS2407における画像生成部104の画像生成について図30を用いて詳しく説明する。ステップS2404で得た領域境界1103とステップS2405で得た関節位置1105の関係については、実施の形態1と同様であるため、説明は省略する。ここでは、ステップS2406でユーザが変更したパラメータの作用について説明する。
【0173】
ステップS2405にて、図30における形状パラメータ1605が得られたとする。この時、両端の関節位置を端点として、形状パラメータ1605の点を制御点としたベジェ曲線を生成する。そして、ステップS2406にて、ユーザは、図29の形状パラメータ制御バー3802を操作する。この操作によって、例えば、形状パラメータ1605を図30(a)の矢印のように変更すると、画像生成部104は、両端の関節位置と変更された形状パラメータ1605の点とを通るベジェ曲線を生成して、新たな画像を生成する。ここで、図29の形状パラメータ制御バー3802は、図21のマーカデータ3502に示した白丸の点の位置を変更させることになり、これは、図30における形状パラメータ1605に相当する。
【0174】
この時、色情報やテクスチャ情報は、ステップS2403の領域分割によって得られた情報をそのまま用いる。なお、領域の輪郭点すべてをベジェ曲線の制御点とすることも可能であるし、ベジェ曲線の代わりとして、スプライン補間などのパラメトリックに曲線を処理する手法を使うことも可能である。
【0175】
以上の処理により、画像中に存在する関節物体の情報(特性)を反映した上で、他の形状に加工した画像の生成が可能となる。
【0176】
(実施の形態5)
次に、本発明の実施の形態5について説明する。実施の形態5は、実施の形態1〜4で説明した処理に加えて、パラメータ算出、領域分割等において動き情報を用いる画像生成装置である。ここでは、実施の形態1に適用した例として説明するが、すべての実施の形態において適用可能である。また、入力画像は、時系列に並んだ複数枚の画像であることが望ましい。なお、時系列に並んだ画像を3次元に並べた時空間画像としても良い。
【0177】
図1のパラメータ算出部102および領域分割部103で用いることができる動き情報について説明する。パラメータ算出部102では、モデル当てはめ手法を用いて、3次元の関節位置および、角度情報を得ることができる。ここで、時系列画像を入力した場合は、上記に加えて各時刻における動き情報を得ることができる。さらに、領域分割部103においても、オプティカルフロー処理により、画像上での動きベクトルui(t)を得ることができる。以下に、上記動きベクトルに加えて、加速度ベクトルを用いた例を説明する。
【0178】
例えば、T枚の時系列に並んだ画像を入力とした場合、各関節位置iの動きベクトル{ΔXwi(t),ΔYwi(t),ΔZwi(t)}を、T−1個得ることができる。この時、3枚以上の時系列画像が入力された場合は、次式のように加速度ベクトルsを得ることができる。なお、vは動きベクトルである。
【0179】
【数33】


加速度ベクトルは、画像上での動きベクトルui(t)からも同様に計算可能である。
【0180】
計算した加速度ベクトルを用いた場合の画像生成方法を説明する。実施の形態1におけるステップS2005の画像生成では、画像中の関節物体が一定速度で動いている場合における、時間的に内挿、外挿する画像の生成例ついて説明した。これに加えて、加速度ベクトルを用いて、実施の形態1における動きパラメータを(s/(N+1)+u)/(N+1)とすることで、加速度を加味した時間的に内挿、外挿した画像を生成することが可能である。
【0181】
具体的には、関節物体の動きが急激に早くなったり、急激に止まったりといった場合に、その加速度を反映して、内挿、外挿した画像を生成することが可能となる。
【0182】
次に、動きベクトルの代わりに、N次関数をフィッティングした場合について述べる。T枚の時系列に並んだ画像を入力とした場合、T個の関節位置情報や画像上での位置情報に対してN次の関数でフィティングすることができる。これにより、フィッティングした関数の値に沿うように、時間的に内挿、外挿した画像を生成することが可能である。具体的には、関数でフィッティングすることによって、より滑らかな動きを表現することが可能となるため、内挿、外挿した画像を用いてより滑らかな動画を生成することが可能となる。
【0183】
次に、動きベクトルの代わりに、アフィンパラメータを用いる場合について述べる。
【0184】
T枚の時系列に並んだ画像を入力とした場合、T個の関節位置情報や画像上での位置情報を用いて、アフィンパラメータを推定することが可能である。
【0185】
ここでは、画像上での位置情報を用いて、アフィンパラメータを推定する例について説明する。時刻tにおける画素位置を(x、y)、時刻t+1でその画素が移動した先を(x',y')とすると、アフィン変換は、次のように表すことができる。
【0186】
【数34】


ここで、アフィンパラメータa〜fを数7の代わりとして用いれば、動きベクトルの代わりにアフィンパラメータを用いた領域分割を行うことができる。これによって、動きパラメータとして、動きベクトルの代わりにアフィンパラメータを用いた時間的に内挿、外挿した画像を生成することができる。特に、アフィンパラメータは、回転運動を含む動きの表現が可能であり、腕や足の回旋運動の表現に適している。
【0187】
次に、実施の形態2を例として、関節モデルを関節間部位の接続関係をもとに階層的に表現し、それに対しアフィンパラメータを組み合わせた例について述べる。図18に関節モデルを関節物体の構造(つまり、関節間部位の接続関係)をもとに、胴体を最上位として階層的に表現した例を示す。
【0188】
パラメータ算出部102では、検出された関節位置に対して、図18のような階層表現との対応付けを行う。これによって、領域分割部103では、各領域iについて、他の領域との階層的な接続関係を得ることができる。この効果としては、例えば、胴体のパラメータを先に決定し、次に、左右上腕、左右大腿、頭のように、胴体と接続されている関係を用いて、上位の階層に属する関節位置から順にパラメータを変更することで、効率的にパラメータを変更、決定することができることにある。
【0189】
画像生成部104では、上記階層表現を利用した画像生成を行うことができる。図18において、上位の階層にある関節間部位の動きパラメータをMb、上位階層と直接接続している下位階層にある動きパラメータをMaとすると、(数17)〜(数20)で示した、各画素の動きパラメータは、次式のように書き換えられる。
【0190】
【数35】


【0191】
【数36】


【0192】
【数37】


これによって、上位階層の関節間部位の動きが支配的になるため、より関節物体の構造を反映した画像を生成することができる。つまり、関節位置を基準とした画素移動を行うことにより、新たな画像を生成することができる。
【0193】
さらに、パラメータ変更部202において、関節位置や動きパラメータを変更する場合に、例えば、胴体のパラメータを最初に変更、決定し、次に、左右上腕、左右大腿、頭のように、上位階層との接続関係を用いることによって、上位階層の関節位置や動きパラメータから順に変更することが望ましい。人物や動物に代表される関節物体は、各関節間部位が繋がっているために、図18の階層関係が示すように、胴体の動きに、左右上腕、左右大腿、頭の動きが影響を受け、左右前腕は、左右上腕の動きに影響を受ける。このような階層関係を用いることで、効率的に誤差が小さくなるパラメータを決定することができる。
【0194】
以上で説明した動きパラメータの決定方法により、実施の形態1〜4で説明した効果に加えて、効率的に高精度な画像を生成可能である。
【0195】
(実施の形態6)
次に、本発明の実施の形態6について説明する。図31は、実施の形態6における画像生成装置の構成を示す機能ブロック図である。この画像生成装置は、実施の形態1〜4に加えて、特に歩行動作や走行動作の情報をより正確に検出することを可能とする装置であり、より詳しくは、周期的な動きをする関節物体の周期を検出して、一周期分の画像を生成することで、周期的動作を時間的に無限に生成することを可能とする装置であり、画像入力部101、パラメータ算出部102、領域分割部103、画像生成部104および周期性検出部601から構成される。
【0196】
画像入力部101では、時系列の画像が逐次入力される。
【0197】
周期性検出部601は、逐次入力される画像同士の自己相関を求めることによって、周期的動作を含む関節物体が存在するか否かを判定し、さらにその周期を検出する。そして、検出した周期を用いて、1周期分の時系列画像を切り出す。もちろん、ここでは、時系列画像中から周期的動作を検出できるものであれば良い。たとえば、Ross Cutler and Larry.Davis “Robust Real−Time Periodic Motion Detection,Analysis and Applications”, IEEE PAMI,VOL.22,NO.8,pp.781−796,2000等を用いて周期性を検出してもよい。
【0198】
なお、パラメータ算出部102、領域分割部103、画像生成部104については、入力画像が1周期分の画像列であることを除いて、実施の形態1〜5で説明した方法と同じであるため、説明を省略する。
【0199】
このような構成によって、本実施の形態における画像生成装置は、1周期分の画像中に存在する関節物体の情報(特性)を反映した、新たな画像の生成が可能である。特に、歩行動作や走行動作のような、周期的な動作においては、時間的に内挿、外挿した画像と入力画像とを時間順に並べて、1周期分の画像を生成し、それを1周期ごとに繋げて再生することによって、フレームレートの低い動画像から、よりフレームレートの高い動画像を時間的に無限に生成、および再生が可能という効果がある。
【0200】
なお、本実施の形態では、実施の形態1の例に従って説明したが、周期性検出部601と実施の形態1〜5とを組み合わせる構成としてもよい。
【0201】
以上、本発明に係る画像生成装置について、実施の形態及び変形例に基づいて説明したが、本発明は、これらの形態や例に限定されるものではない。各実施の形態や変形例における構成要素を適宜組み合わせて実現される別の形態や、各実施の形態に対して当業者が思いつく変形を施して得られる形態も本発明に含まれる。
【0202】
なお、特許請求の範囲と実施の形態における構成要素の対応は次の通りである。つまり、特許請求の範囲における「画像入力手段」、「パラメータ算出手段」、「領域分割手段」、「画像生成手段」、「画像評価手段」、「パラメータ変更手段」、「モデル変換手段」、「周期性検出手段」の一例が、それぞれ、実施の形態における画像入力部101、パラメータ算出部102、領域分割部103、画像生成部104、画像評価部201、パラメータ変更部202、モデル変換部301、周期性検出部601である。ただし、特許請求の範囲における構成要素は、これら実施の形態における対応する構成要素だけに限定されるのでなく、その等価物も含まれる。
【産業上の利用可能性】
【0203】
本発明は、画像生成装置として、特に、画像処理によって、人物や動物等を含む関節物体の画像を生成する装置として、例えば、画像中に存在する関節物体の動きや関節の位置等に関するパラメータと形状、服装等に関するパラメータとを用いて、画像中に存在する関節物体の特性を反映した新たな画像を生成する装置、アニメーション生成装置、デジタルカメラ・カメラ付き携帯電話・ビデオ装置等で撮影した映像を補完して精度を向上させる映像補完装置、ゲーム・映画・コンピュータグラフィックス用の静止画や動画を生成する装置として、有用である。
【図面の簡単な説明】
【0204】
【図1】本発明の実施の形態1における画像生成装置の構成を示す図
【図2】パラメータ算出部の詳細な構成を示す図
【図3】領域分割部の詳細な構成を示す図
【図4】画像生成部の詳細な構成を示す図
【図5】画像生成装置の動作を示すフローチャート
【図6】関節モデルを示す図
【図7】頭、手、足の位置を示すデータベースの例を示す図
【図8】3次元情報の画像への投影例を示す図
【図9】領域分割の例を示す図
【図10】関節位置の決定方法を示す図
【図11】関節モデルの体積比率の例を示す図
【図12】画像生成の例を示す図
【図13】画像生成方法を示す図
【図14】内挿、外挿画像の例を示す図
【図15】本発明の実施の形態2における画像生成装置の構成を示す図
【図16】画像評価部の例を示す図
【図17】画像生成装置の動作を示すフローチャート
【図18】関節モデルの階層表現の例を示す図
【図19】本発明の実施の形態3における画像生成装置の構成を示す図
【図20】画像生成装置の動作を示すフローチャート
【図21】入力、出力ベクトルの例を示す図
【図22】入力、出力ベクトルの例を示す図
【図23】入力、出力ベクトルの例を示す図
【図24】本発明の実施の形態3の変形例における画像生成装置の構成を示す図
【図25】画像生成装置の動作を示すフローチャート
【図26】本発明の実施の形態4における画像生成装置の構成を示す図
【図27】画像生成装置の動作を示すフローチャート
【図28】画像生成の例を示す図
【図29】パラメータ設定画面の例を示す図
【図30】画像生成方法を示す図
【図31】本発明の実施の形態6における画像生成装置の構成を示す図
【符号の説明】
【0205】
101 画像入力部
102 パラメータ算出部
103 領域分割部
104 画像生成部
201 画像評価部
202 パラメータ変更部
301 モデル変換部
501 ユーザ設定部
601 周期性検出部
1021 関節物体領域抽出部
1022 モデル当てはめ部
1023 関節間部位位置計算部
1031 領域分割処理部
1032 関節位置修正部
1041 画素移動位置計算部
1042 補間処理部
1043 画素値決定部




 

 


     NEWS
会社検索順位 特許の出願数の順位が発表

URL変更
平成6年
平成7年
平成8年
平成9年
平成10年
平成11年
平成12年
平成13年


 
   お問い合わせ info@patentjp.com patentjp.com   Copyright 2007-2013