Warning: copy(.htaccess): failed to open stream: Permission denied in /home/jp321/public_html/header.php on line 8
画像生成方法、画像生成プログラム、画像生成プログラムを記録したコンピュータ読取可能な記録媒体および画像生成装置 - ミノルタ株式会社
米国特許情報 | 欧州特許情報 | 国際公開(PCT)情報 | Google の米国特許検索
 
     特許分類
A 農業
B 衣類
C 家具
D 医学
E スポ−ツ;娯楽
F 加工処理操作
G 机上付属具
H 装飾
I 車両
J 包装;運搬
L 化学;冶金
M 繊維;紙;印刷
N 固定構造物
O 機械工学
P 武器
Q 照明
R 測定; 光学
S 写真;映画
T 計算機;電気通信
U 核技術
V 電気素子
W 発電
X 楽器;音響


  ホーム -> 計算機;電気通信 -> ミノルタ株式会社

発明の名称 画像生成方法、画像生成プログラム、画像生成プログラムを記録したコンピュータ読取可能な記録媒体および画像生成装置
発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開2003−22451(P2003−22451A)
公開日 平成15年1月24日(2003.1.24)
出願番号 特願2001−206479(P2001−206479)
出願日 平成13年7月6日(2001.7.6)
代理人 【識別番号】100064746
【弁理士】
【氏名又は名称】深見 久郎 (外2名)
【テーマコード(参考)】
5B050
5B057
5B080
【Fターム(参考)】
5B050 BA06 CA07 DA01 EA04 EA28 FA02 
5B057 BA11 CA16 CB18 CG07 CH08 CH11
5B080 BA07 GA22
発明者 長谷川 弘
要約 課題
原画像とほぼ同程度の精度の形状で画像を復元すること。

解決手段
画像合成方法は、原画像の入力を受付けるステップ(S01)と、入力された原画像からオブジェクトの形状を表わす形状データおよび形状データに対応したテクスチャを表わすテクスチャデータを抽出し、参照モデルに射影して参照モデルにおけるパラメータを生成するステップ(S03)と、生成されたパラメータの少なくとも1つの要素を変更するステップ(S04)と、変更されたパラメータに対応するオブジェクトの形状データとテクスチャデータとを再構成するステップ(S05)と、原画像から抽出されたテクスチャデータを用いて、再構成されたテクスチャデータを補正するステップ(S06)と、再構成された形状データと再構成されたテクスチャデータとを用いて画像を生成するステップ(S08)とを含む。
特許請求の範囲
【請求項1】 原画像の入力を受付けるステップと、前記入力された原画像からオブジェクトの形状を表わす形状データおよび前記形状データに対応したテクスチャを表わすテクスチャデータを抽出するステップと、同一の属性を有する複数のオブジェクト画像を統計的に解析して得られたオブジェクトモデル空間に、抽出された前記形状データおよび前記テクスチャデータを射影して前記オブジェクトモデル空間におけるパラメータを生成するステップと、前記生成されたパラメータの少なくとも1つの要素を変更するステップと、前記変更されたパラメータに対応するオブジェクトの形状データとテクスチャデータとを再構成するステップと、前記原画像から抽出されたテクスチャデータを用いて、前記再構成されたテクスチャデータを補正するステップと、前記再構成された形状データと前記補正されたテクスチャデータとを用いて画像を生成するステップとを含む、画像生成方法。
【請求項2】 前記原画像から抽出された形状データを用いて前記再構成された形状データを補正するステップをさらに含む、請求項1に記載の画像生成方法。
【請求項3】 前記再構成されたテクスチャデータを補正するステップは、前記原画像から抽出されたテクスチャデータと前記原画像から抽出された形状データとを用いて前記再構成されたテクスチャデータを補正するステップを含む、請求項1に記載の画像生成方法。
【請求項4】 原画像の入力を受付けるステップと、前記入力された原画像からオブジェクトの形状を表わす形状データおよび前記形状データに対応したテクスチャを表わすテクスチャデータを抽出するステップと、同一の属性を有する複数のオブジェクト画像を統計的に解析して得られたオブジェクトモデル空間に、抽出された前記形状データおよび前記テクスチャデータを射影して前記オブジェクトモデル空間におけるパラメータを生成するステップと、前記生成されたパラメータの少なくとも1つの要素を変更するステップと、前記変更されたパラメータに対応するオブジェクトの形状データとテクスチャデータとを再構成するステップと、前記原画像から抽出された形状データを用いて、前記再構成された形状データを補正するステップと、前記補正された形状データと前記再構成されたテクスチャデータとを用いて画像を生成するステップとを含む、画像生成方法。
【請求項5】 前記原画像から抽出されたテクスチャデータと前記原画像から抽出された形状データとを用いて前記再構成されたテクスチャデータを補正するステップをさらに含む、請求項4に記載の画像生成方法。
【請求項6】 前記オブジェクトは人間の顔であり、前記パラメータの要素を変更するステップは、顔の表情のカテゴリまたは年齢のカテゴリに属するパラメータを変更するステップを含む、請求項1〜5のいずれかに記載の画像生成方法。
【請求項7】 原画像の入力を受付けるステップと、前記入力された原画像からオブジェクトの形状を表わす形状データおよび前記形状データに対応したテクスチャを表わすテクスチャデータを抽出するステップと、同一の属性を有する複数のオブジェクト画像を統計的に解析して得られたオブジェクトモデル空間に、抽出された前記形状データおよび前記テクスチャデータを射影して前記オブジェクトモデル空間におけるパラメータを生成するステップと、前記生成されたパラメータの少なくとも1つの要素を変更するステップと、前記変更されたパラメータに対応するオブジェクトの形状データとテクスチャデータとを再構成するステップと、前記原画像から抽出されたテクスチャデータを用いて、前記再構成されたテクスチャデータを補正するステップと、前記再構成された形状データと前記補正されたテクスチャデータとを用いて画像を生成するステップとをコンピュータに実行させる、画像生成プログラム。
【請求項8】 原画像の入力を受付けるステップと、前記入力された原画像からオブジェクトの形状を表わす形状データおよび前記形状データに対応したテクスチャを表わすテクスチャデータを抽出するステップと、同一の属性を有する複数のオブジェクト画像を統計的に解析して得られたオブジェクトモデル空間に、抽出された前記形状データおよび前記テクスチャデータを射影して前記オブジェクトモデル空間におけるパラメータを生成するステップと、前記生成されたパラメータの少なくとも1つの要素を変更するステップと、前記変更されたパラメータに対応するオブジェクトの形状データとテクスチャデータとを再構成するステップと、前記原画像から抽出された形状データを用いて、前記再構成された形状データを補正するステップと、前記補正された形状データと前記再構成されたテクスチャデータとを用いて画像を生成するステップとをコンピュータに実行させる、画像生成プログラム。
【請求項9】 請求項7または8に記載の画像生成プログラムを記録したコンピュータ読取可能な記録媒体。
【請求項10】 原画像の入力を受付ける受付手段と、前記入力された原画像からオブジェクトの形状を表わす形状データおよび前記形状データに対応したテクスチャを表わすテクスチャデータを抽出する抽出手段と、同一の属性を有する複数のオブジェクト画像を統計的に解析して得られたオブジェクトモデル空間に、抽出された前記形状データおよび前記テクスチャデータを射影して前記オブジェクトモデル空間におけるパラメータを生成するパラメータ生成手段と、前記生成されたパラメータの少なくとも1つの要素を変更する変更手段と、前記変更されたパラメータに対応するオブジェクトの形状データとテクスチャデータとを再構成する再構成手段と、前記原画像から抽出されたテクスチャデータを用いて、前記再構成されたテクスチャデータを補正する補正手段と、前記再構成された形状データと前記補正手段によって補正されたテクスチャデータとを用いて画像を生成する画像生成手段とを備えた、画像生成装置。
【請求項11】 原画像の入力を受付ける受付手段と、前記入力された原画像からオブジェクトの形状を表わす形状データおよび前記形状データに対応したテクスチャを表わすテクスチャデータを抽出する抽出手段と、同一の属性を有する複数のオブジェクト画像を統計的に解析して得られたオブジェクトモデル空間に、抽出された前記形状データおよび前記テクスチャデータを射影して前記オブジェクトモデル空間におけるパラメータを生成するパラメータ生成手段と、前記生成されたパラメータの少なくとも1つの要素を変更する変更手段と、前記変更されたパラメータに対応するオブジェクトの形状データとテクスチャデータとを再構成する再構成手段と、前記原画像から抽出された形状データを用いて、前記再構成された形状データを補正する補正手段と、前記補正手段によって補正された形状データと前記再構成されたテクスチャデータとを用いて画像を生成する画像生成手段とを備えた、画像生成装置。
発明の詳細な説明
【0001】
【発明の属する技術分野】この発明は画像生成方法、画像生成プログラム、画像生成プログラムを記録したコンピュータ読取可能な記録媒体および画像生成装置に関し、特に、入力された画像をオブジェクトモデル空間に射影して編集することが可能な画像生成方法、画像生成プログラム、画像生成プログラムを記録したコンピュータ読取可能な記録媒体および画像生成装置に関する。
【0002】
【従来の技術】従来、人物の顔を含む顔画像を固有空間モデル上にマッピングすることにより、主として顔の表情などの特徴をより低次元の表現で説明する方法が知られている。特開平10−228544号公報には、入力影像を固有顔データベースを用いて符号化する技術が開示されている。符号化には、主成分分析として知られるているKL(Karhuuen-Loeve)拡張が用いられる。KL拡張を用いて入力影像を符号化することにより、特徴の変化を説明するためのより低次元の表現を見つけることができる。そして、特開平10−228544号公報では、入力された顔画像を固有顔データベースを用いてより低次元の空間内の点で表わした固有顔の符号化係数(固有値)を送信し、受信側に設けられた固有顔データベースを用いて、受信した固有顔の符号化係数から顔の影像を復元するものである。
【0003】
【発明が解決しようとする課題】しかしながら、特開平10−228544号公報では、固有顔データベースを用いて符号化することにより得られた符号化係数を、そのまま固有顔データベースを用いて復号することにより顔の影像を復元するものである。このため、送信側で符号化に用いられた顔の影像と、受信側で復元された顔の影像とは同じ表情の影像となる。したがって、表情を変化させることはできない。
【0004】また、固有顔データベースを用いて固有顔の影像を復号化する場合、符号化係数は、影像よりも低次元の空間内の点で表現されるため、固有顔データベースを用いて復号した影像は、元の影像がそのまま復元されることはなく、形状が異なったり、解像度が低くなったりするといった問題があった。
【0005】この発明は上述の問題点を解決するためになされたもので、この発明の目的の1つは、オブジェクトモデル空間における形状の精度が原画像に比べて悪い場合であっても、原画像とほぼ同程度の精度の形状で画像を復元することが可能な画像生成方法、画像生成プログラム、画像生成プログラムを記録したコンピュータ読取可能な記録媒体、および画像生成装置を提供することである。
【0006】この発明の他の目的は、オブジェクトモデル空間におけるテクスチャの精度が原画像に比べて悪い場合であっても、原画像とほぼ同程度の精度のテクスチャで画像を復元することが可能な画像生成方法、画像生成プログラム、画像生成プログラムを記録したコンピュータ読取可能な記録媒体、および画像生成装置を提供することである。
【0007】
【課題を解決するための手段】上述の目的を達成するためにこの発明のある局面によれば、画像生成方法は、原画像の入力を受付けるステップと、入力された原画像からオブジェクトの形状を表わす形状データおよび形状データに対応したテクスチャを表わすテクスチャデータを抽出するステップと、同一の属性を有する複数のオブジェクト画像を統計的に解析して得られたオブジェクトモデル空間に、抽出された形状データおよびテクスチャデータを射影してオブジェクトモデル空間におけるパラメータを生成するステップと、生成されたパラメータの少なくとも1つの要素を変更するステップと、変更されたパラメータに対応するオブジェクトの形状データとテクスチャデータとを再構成するステップと、原画像から抽出されたテクスチャデータを用いて、再構成されたテクスチャデータを補正するステップと、再構成された形状データと再構成されたテクスチャデータとを用いて画像を生成するステップとを含む。
【0008】この発明に従えば、再構成された形状データと再構成されたテクスチャデータとが合成される前に、原画像から抽出されたテクスチャデータを用いて再構成されたテクスチャデータが補正される。このため、オブジェクトモデル空間におけるテクスチャの精度が原画像に比べて悪い場合であっても、原画像とほぼ同程度の精度のテクスチャで画像を復元することが可能な画像生成方法を提供することができる。
【0009】好ましくは、原画像から抽出された形状データを用いて再構成された形状データを補正するステップをさらに含む。
【0010】この発明に従えば、再構成された形状データと再構成されたテクスチャデータとが合成される前に、原画像から抽出された形状データを用いて再構成された形状データが補正される。このため、オブジェクトモデル空間における形状の精度が原画像に比べて悪い場合であっても、原画像とほぼ同程度の精度の形状で画像を復元することが可能な画像生成方法を提供することができる。
【0011】好ましくは、再構成されたテクスチャデータを補正するステップは、原画像から抽出されたテクスチャデータと原画像から抽出された形状データとを用いて再構成されたテクスチャデータを補正するステップをさらに含む。
【0012】この発明に従えば、原画像から抽出されたテクスチャデータと原画像から抽出された形状データとを用いて再構成されたテクスチャデータが補正されるので、再構成されたテクスチャデータを部分的に補正することができる。
【0013】この発明の他の局面によれば、画像生成方法は、原画像の入力を受付けるステップと、入力された原画像からオブジェクトの形状を表わす形状データおよび形状データに対応したテクスチャを表わすテクスチャデータを抽出するステップと、同一の属性を有する複数のオブジェクト画像を統計的に解析して得られたオブジェクトモデル空間に、抽出された形状データおよびテクスチャデータを射影してオブジェクトモデル空間におけるパラメータを生成するステップと、生成されたパラメータの少なくとも1つの要素を変更するステップと、変更されたパラメータに対応するオブジェクトの形状データとテクスチャデータとを再構成するステップと、原画像から抽出された形状データを用いて、再構成された形状データを補正するステップと、再構成された形状データと再構成されたテクスチャデータとを用いて画像を生成するステップとを含む。
【0014】この発明に従えば、再構成された形状データと再構成されたテクスチャデータとが合成される前に、原画像から抽出された形状データを用いて再構成された形状データが補正されるので、オブジェクトモデル空間における形状の精度が原画像に比べて悪い場合であっても、原画像とほぼ同程度の精度の形状で画像を復元することが可能な画像生成方法を提供することができる。
【0015】好ましくは、再構成されたテクスチャデータを補正するステップは、原画像から抽出されたテクスチャデータと原画像から抽出された形状データとを用いて再構成されたテクスチャデータを補正するステップをさらに含む。
【0016】この発明に従えば、原画像から抽出されたテクスチャデータと原画像から抽出された形状データとを用いて再構成されたテクスチャデータが補正されるので、再構成されたテクスチャデータを部分的に補正することができる。
【0017】好ましくは、同一の属性を有する複数のオブジェクト画像を統計的に解析して得られたオブジェクトモデル空間は、主成分分析により得られる固有空間である。
【0018】この発明に従えば、オブジェクトモデル空間は主成分分析により得られる固有空間なので、オブジェクトモデル空間を容易に求めることができる。
【0019】好ましくは、オブジェクトは人間の顔である。この発明に従えば、人間の顔の形状とテクスチャを変化させた画像を合成することができる。
【0020】好ましくは、パラメータの要素を変更するステップは、顔の表情のカテゴリに属するパラメータを変更するステップを含む。
【0021】この発明に従えば、顔の表情のカテゴリに属するパラメータが変更されるので、表情を変化させた顔の画像を合成することができる。
【0022】好ましくは、パラメータの要素を変更するステップは、年齢のカテゴリに属するパラメータを変更するステップを含む。
【0023】この発明に従えば、年齢のカテゴリに属するパラメータが変更されるので、年齢を変化させた顔の画像を合成することができる。
【0024】この発明のさらに他の局面によれば、画像生成プログラムは、原画像の入力を受付けるステップと、入力された原画像からオブジェクトの形状を表わす形状データおよび形状データに対応したテクスチャを表わすテクスチャデータを抽出するステップと、同一の属性を有する複数のオブジェクト画像を統計的に解析して得られたオブジェクトモデル空間に、抽出された形状データおよびテクスチャデータを射影してオブジェクトモデル空間におけるパラメータを生成するステップと、生成されたパラメータの少なくとも1つの要素を変更するステップと、変更されたパラメータに対応するオブジェクトの形状データとテクスチャデータとを再構成するステップと、原画像から抽出されたテクスチャデータを用いて、再構成されたテクスチャデータを補正するステップと、再構成された形状データと再構成されたテクスチャデータとを用いて画像を生成するステップとをコンピュータに実行させる。
【0025】この発明に従えば、再構成された形状データと再構成されたテクスチャデータとが合成される前に、原画像から抽出されたテクスチャデータを用いて再構成されたテクスチャデータが補正される。このため、オブジェクトモデル空間におけるテクスチャの精度が原画像に比べて悪い場合であっても、原画像とほぼ同程度の精度のテクスチャで画像を復元することが可能な画像生成プログラムおよび画像生成プログラムを記録したコンピュータ読取可能な記録媒体を提供することができる。
【0026】この発明のさらに他の局面によれば、画像生成プログラムは、原画像の入力を受付けるステップと、入力された原画像からオブジェクトの形状を表わす形状データおよび形状データに対応したテクスチャを表わすテクスチャデータを抽出するステップと、同一の属性を有する複数のオブジェクト画像を統計的に解析して得られたオブジェクトモデル空間に、抽出された形状データおよびテクスチャデータを射影してオブジェクトモデル空間におけるパラメータを生成するステップと、生成されたパラメータの少なくとも1つの要素を変更するステップと、変更されたパラメータに対応するオブジェクトの形状データとテクスチャデータとを再構成するステップと、原画像から抽出された形状データを用いて、再構成された形状データを補正するステップと、再構成された形状データと再構成されたテクスチャデータとを用いて画像を生成するステップとをコンピュータに実行させる。
【0027】この発明に従えば、再構成された形状データと再構成されたテクスチャデータとが合成される前に、原画像から抽出された形状データを用いて再構成された形状データが補正される。このため、オブジェクトモデル空間における形状の精度が原画像に比べて悪い場合であっても、原画像とほぼ同程度の精度の形状で画像を復元することが可能な画像生成プログラムおよび画像生成プログラムを記録したコンピュータ読取可能な記録媒体を提供することができる。
【0028】この発明のさらに他の局面によれば、画像生成装置は、原画像の入力を受付ける受付手段と、入力された原画像からオブジェクトの形状を表わす形状データおよび形状データに対応したテクスチャを表わすテクスチャデータを抽出する抽出手段と、同一の属性を有する複数のオブジェクト画像を統計的に解析して得られたオブジェクトモデル空間に、抽出された形状データおよびテクスチャデータを射影してオブジェクトモデル空間におけるパラメータを生成する生成手段と、生成されたパラメータの少なくとも1つの要素を変更する変更手段と、変更されたパラメータに対応するオブジェクトの形状データとテクスチャデータとを再構成する再構成手段と、原画像から抽出されたテクスチャデータを用いて、再構成されたテクスチャデータを補正する補正手段と、再構成された形状データと再構成されたテクスチャデータとを用いて画像を生成する合成手段とを備える。
【0029】この発明に従えば、再構成された形状データと再構成されたテクスチャデータとが合成される前に、原画像から抽出されたテクスチャデータを用いて再構成されたテクスチャデータが補正されるので、オブジェクトモデル空間におけるテクスチャの精度が原画像に比べて悪い場合であっても、原画像とほぼ同程度の精度のテクスチャで画像を復元することが可能な画像生成装置を提供することができる。
【0030】この発明のさらに他の局面によれば、画像生成装置は、原画像の入力を受付ける受付手段と、入力された原画像からオブジェクトの形状を表わす形状データおよび形状データに対応したテクスチャを表わすテクスチャデータを抽出する抽出手段と、同一の属性を有する複数のオブジェクト画像を統計的に解析して得られたオブジェクトモデル空間に、抽出された形状データおよびテクスチャデータを射影してオブジェクトモデル空間におけるパラメータを生成する生成手段と、生成されたパラメータの少なくとも1つの要素を変更する変更手段と、変更されたパラメータに対応するオブジェクトの形状データとテクスチャデータとを再構成する再構成手段と、原画像から抽出された形状データを用いて、再構成された形状データを補正する補正手段と、再構成された形状データと再構成されたテクスチャデータとを用いて画像を生成する合成手段とを備える。
【0031】この発明に従えば、再構成された形状データと再構成されたテクスチャデータとが合成される前に、原画像から抽出された形状データを用いて再構成された形状データが補正されるので、オブジェクトモデル空間における形状の精度が原画像に比べて悪い場合であっても、原画像とほぼ同程度の精度の形状で画像を復元することが可能な画像生成装置を提供することができる。
【0032】
【発明の実施の形態】以下、本発明の実施の形態を図面を参照して説明する。なお、図中同一符号は同一または相当する部材を示し、重複する説明を繰返さない。
【0033】[第1の実施の形態]図1は、発明の第1の実施の形態における画像生成システムの概略構成を示すブロック図である。図1を参照して、画像生成システム1は、人の顔の画像を入力するための画像入力装置20と、画像入力装置20から受信した画像に含まれる顔の表情等を変化させた画像を生成する画像生成装置10と、画像生成装置10で生成された画像を表示するための画像表示装置30と、画像入力装置20、画像生成装置10および画像表示装置30と接続され、それらを制御するための制御装置40と、制御装置40に接続された外部記憶装置50とを含む。
【0034】画像入力装置20は、イメージスキャナであり、ライン型のCCD(Charge Coupled Device)センサを有する。顔が撮影された写真等を読込み、2次元の顔画像を画像生成装置10に出力する。なお、実際の人物を撮影して2次元の顔画像をデジタルデータとして出力することが可能なデジタルカメラ、デジタルビデオカメラ等を用いることもできる。さらに、画像入力装置20は、外部のイメージスキャナやデジタルカメラ等と接続するための入力端子であってもよい。
【0035】画像生成装置10は、画像入力装置20より受信した顔画像を、後述する固有空間に射影し、表情等の顔の特徴を固有空間モデル上で変化させた後、表情が変化した顔を固有空間モデルを用いて復号化して画像表示装置30に出力する。
【0036】画像生成装置10は、パーソナルコンピュータ等で構成することができ、中央演算装置(CPU)と、CPUで実行するプログラムを記録するための読出専用メモリ(ROM)と、CPUでプログラムを実行する際に用いられるランダムアクセスメモリ(RAM)と、磁気記録装置等の固定記録装置を有する。CPUは、画像入力装置20および画像表示装置30と接続するためのインターフェイスと接続されている。
【0037】画像表示装置30は、液晶表示装置または陰極線管等で構成され、画像生成装置10で生成された画像を表示するためのディスプレイである。なお、ディスプレイに代えてプリンタを用いるようにしてもよい。
【0038】制御装置40は、画像入力装置20、画像生成装置10および画像表示装置30と接続され、それらの動作を制御する。具体的には、画像入力装置20での画像の読込、および画像生成装置10への送信、画像生成装置10における顔の表情を変化させるための変化パラメータの入力、画像生成装置10に対する画像の生成指示および生成された画像の画像表示装置30への送信等を行なう。
【0039】外部記憶装置50は、コンピュータ読取可能な記録媒体51に記録されたプログラムやデータを読込み、制御装置40を介して画像生成装置10に送信する。また、画像生成装置10からの指示により、コンピュータ読取可能な記録媒体51に必要なデータを書込む。
【0040】コンピュータ読取可能な記録媒体51としては、磁気テープやカセットテープなどのテープ系、磁気ディスク(フレキシブルディスク、ハードディスク等)や光ディスク(CD−ROM/MO/MD/DVD等)などのディスク系、ICカード(メモリカードを含む)や光カードなどのカード系、あるいはマスクROM、EPROM、フラッシュメモリなどの半導体メモリ等の固定的にプログラムを担持する媒体である。また、記録媒体51をネットワークからプログラムがダウンロードされるように流動的にプログラムを担持する記録媒体とすることもできる。
【0041】プログラムとは、中央演算装置により直接実行可能なプログラムだけでなく、ソースプログラム形式のプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む概念である。
【0042】図2は、第1の実施の形態における画像生成システムの制御装置40の操作パネルの一例を示す図である。図2を参照して、制御装置40は、表情操作パネル41と年齢操作パネル42と、OKボタン47と、NGボタン48と、リセットボタン49とを含む。なお制御装置40の操作パネルに隣接して画像表示装置30が配置されている。
【0043】表情操作パネル41は、喜びの表情を表わすための変化パラメータを変動させるためのスライドスイッチ41aと、怒りの表情を表わす変化パラメータを変動させるためのスライドスイッチ41bと、悲しみの表情を表わす変化パラメータを変動させるためのスライドスイッチ41cと、驚きの表情を表わす変化パラメータを変動させるためのスライドスイッチ41dとを含む。年齢操作パネル42は、年齢を表わす変化パラメータを変化させるためのスライドスイッチ42aを含む。
【0044】制御装置40の表情操作パネル41または年齢操作パネル42の各スイッチ41a〜41d,42aで使用者が所望の変化パラメータを設定することが可能である。そして、スライドスイッチ41a〜41d,42aで設定された各変化パラメータが、OKボタン47の押下により画像生成装置10へ送信される。
【0045】制御装置40の操作パネルの近傍には画像表示装置30の表示部が配置される。画像入力装置20より画像が読込まれると、読込まれた画像が画像生成装置10および画像表示装置30へ送信される。画像表示装置30では、画像入力装置20より受信した顔画像を表示部に表示する。
【0046】この状態で、制御装置40の表情操作パネル41のスライドスイッチ41a〜41dおよび年齢操作パネル42のスライドスイッチ42aを使用者が操作し、それぞれの変化パラメータを設定した後、OKボタン47が押下されると、設定された変化パラメータが画像生成装置10へ送信される。画像生成装置10では、受信された変化パラメータに従って表情を変化させた顔画像を生成し、画像表示装置30に出力する。画像表示装置30では、表情が変化した後の顔画像が表示部に表示される。
【0047】NGボタン48は、画像生成装置10で生成された顔画像の表情をさらに変化させる場合に、その指示を入力するためのボタンである。
【0048】リセットボタン49は、表情操作パネル41および年齢操作パネル42で設定された変化パラメータをデフォルトの状態に戻すスイッチである。リセットボタン49が押下されると、スライドスイッチ41a〜41d,42aがデフォルトの位置に自動的に戻るようになっている。
【0049】なお、制御装置40の操作パネルを、画像表示装置30のディスプレイに表示し、マウス等のポインティングデバイスを用いて、スライドスイッチ41a〜41d,42aを構成するようにしてもよい。この場合には、制御装置40と画像表示装置30とが一体の装置となる。
【0050】図3は、第1の実施の形態における画像生成システムの画像生成装置の概略機能を示すブロック図である。図3を参照して、画像生成装置10は、画像入力装置20より受信した2次元画像に含まれる人の顔の形状を抽出し、形状ベクトルを生成する形状抽出部102と、画像入力装置20より受信した2次元画像から形状抽出部102で生成された形状ベクトルに対応するテクスチャを抽出し、テクスチャベクトルgを生成するテクスチャ抽出部103と、参照モデル111および特徴モデル112を記憶するための記憶部110と、形状ベクトルsとテクスチャベクトルgを参照モデル111に射影してパラメータベクトルcを生成する符号化部104と、符号化部104で生成したパラメータベクトルcを、特徴モデル112を用いて変換する特徴変換部105と、特徴変換部105により変換されたパラメータベクトルctを、参照モデル111において復号化することにより、形状ベクトルstおよびテクスチャベクトルgtを生成する復号化部106と、復号化部106により生成された形状ベクトルstを形状抽出部102で生成された形状ベクトルsを用いて補正する形状決定部107と、復号化部106で復号化されたテクスチャベクトルgtをテクスチャ抽出部103で生成されたテクスチャベクトルgを用いて補正するテクスチャ決定部108と、形状決定部107で補正された形状ベクトルs′とテクスチャ決定部108で補正されたテクスチャベクトルg′とを用いて人の顔画像を復元する画像復元部109とを含む。
【0051】画像入力装置20では、人の顔を含む画像が出力され、画像生成装置10に出力される。
【0052】形状抽出部102は、画像入力装置20から入力された画像から、ポインティングデバイスなどを用いた手作業によって顔の形状抽出を行なう。顔の形状とは、たとえば顔の輪郭、目、眉、鼻、口などの各部位の輪郭をいう。それぞれの輪郭を特定するために特徴点がポインティングデバイスなどで指定されると、指定された特徴点の座標値が形状ベクトルsとして生成される。形状ベクトルsは、特徴点の座標を予め定められた順に配列したベクトルである。したがって、形状ベクトルsから人の顔の輪郭、目、鼻、眉および口などの輪郭を特定することができる。
【0053】なお、形状の抽出は、ポインティングデバイスを用いた手作業によるものに代えて、たとえば、画像にエッジ抽出処理等を行なうことにより、特徴点を自動的に抽出することもできる。
【0054】生成された形状ベクトルsは、テクスチャ抽出部103、符号化部104および形状決定部107に出力される。
【0055】テクスチャ抽出部103は、画像入力装置20より入力された画像と、形状抽出部102より入力された形状ベクトルsを用いて、人の顔の各部位のテクスチャを抽出する。より具体的には、形状ベクトルsで特定された特徴点の画素値を抽出し、テクスチャベクトルgを生成する。テクスチャベクトルgは、形状ベクトルsで特定された特徴点の画素値を、形状ベクトルsの各要素に対応して配列したベクトルである。したがって、形状ベクトルsとテクスチャベクトルgとで人の顔の輪郭とテクスチャとが定義される。
【0056】テクスチャ抽出部103で生成されたテクスチャベクトルgは、符号化部104とテクスチャ決定部108に出力される。
【0057】符号化部104では、形状抽出部102から受信した形状ベクトルsおよびテクスチャ抽出部103より受信したテクスチャベクトルsをそれぞれ適切な正規化関数fs,fgを用いて正規化する。そして、正規化された形状ベクトルfs(s)および正規化されたテクスチャベクトルfg(g)を参照モデル111に射影してパラメータベクトルcを生成する。生成されたパラメータベクトルcは、特徴変換部105へ出力される。また、形状ベクトルsの正規化処理に用いた正規化関数fsは、形状決定部107へ出力され、テクスチャベクトルgの正規化処理に用いられた正規化関数fgは、テクスチャ決定部108へ出力される。
【0058】正規化関数fsは、形状ベクトルsを正規化するために用いられる。ここでいう正規化とは、たとえば、形状の回転、拡大、縮小または平行移動などのアフィン変換、または、線形補正などを含む。
【0059】また、正規化関数fgは、テクスチャベクトルgを正規化するために用いられる。ここでの正規化には、たとえば、解像度変換、濃度ヒストグラム変換、色補正変換などが含まれる。
【0060】記憶部110に記憶される参照モデル111は、人の顔を含む複数の画像それぞれから得られる顔の形状ベクトルおよびテクスチャベクトルを用いて、たとえば、主成分分析法などによる統計的な解析を行なうことによって、作成されるより次元の低い統計モデルである。この統計モデルは、固有モデル空間である。
【0061】符号化部104は、予め作成された参照モデル111に、形状ベクトルsおよびテクスチャベクトルgを射影する。これにより、参照モデルにおけるパラメータベクトルcが導出される。パラメータベクトルcは、参照モデル111において、形状ベクトルsとテクスチャベクトルgとから定まるパラメータベクトルである。パラメータベクトルcは、その成分が顔画像を表わすのに重要度の高い順に要素が並べられた多次元のベクトルである。
【0062】特徴変換部105は、符号化部104より受信したパラメータベクトルcに特徴モデル112を用いて、パラメータベクトルcを変換したパラメータベクトルctを生成する。
【0063】ここで、特徴モデル112について説明する。ここでは、一例として人の顔の表情成分を変換する場合について説明する。この場合、特徴モデル112は、顔の表情に関する特徴モデル空間となる。このような特徴モデルは、たとえば次のような方法で作成することができる。
【0064】(1) 複数の人物のいろいろな表情の顔を含む画像と無表情の顔を含む画像を1枚準備する。
【0065】(2) これらの画像それぞれに対して、形状抽出部102、テクスチャ抽出部103および符号化部104で、パラメータベクトルcを算出しておく。
【0066】(3) 表情成分の抽出を行なう。表情成分の抽出は、同一人物の表情のある顔を含む画像に基づき生成されたパラメータベクトルceと、無表情の顔を含む画像に基づき生成されたパラメータベクトルcnの差分をとった差分ベクトルxを算出する。
【0067】x=ce−cn差分ベクトルxは、同一人物のパラメータベクトルce,cnから算出されるので、差分ベクトルxには個人性が排除された表情に関わる成分のみが抽出されることになる。このようにして算出された差分ベクトルxを複数の人物ごとに、表情ごとに算出する。
【0068】(4) 差分ベクトルxについて、表情ごとにたとえば主成分分析を行ない、表情ごとの固有空間を求める。すなわち、表情ごとの固有空間は、無表情の顔を含む画像を表わすパラメータベクトルcからの差分ベクトルを平均した差分平均ベクトルバーxと、この点まわりの固有ベクトルe1,e2,e3,…で定義することができる。
【0069】一方、この特徴モデルを用いた表情に関するパラメータベクトルcの変換は、次の手順で行なうことができる。
【0070】(1) 符号化部104から出力されるパラメータベクトルcに、表情を変化させたい表情に対応する差分平均ベクトルバーxと、特徴モデル112の固有空間を定義する固有ベクトルe1,e2,e3,…を、係数h,k1,k2,k3,…で適当に線形加算して任意の表情成分を付加したパラメータベクトルctに変換する。
【0071】この変換式は、(1)式により表わされる。特徴変換部105で変換されたパラメータベクトルctは復号化部106へ出力される。復号化部106では、特徴変換部105より受信したパラメータベクトルctと参照モデル111とを用いて、形状ベクトルstおよびテクスチャベクトルgtを生成する。形状ベクトルstとテクスチャベクトルgtとは、表情が付加された結果の形状およびテクスチャをそれぞれ表わすベクトルである。
【0072】補正部121は、形状決定部107およびテクスチャ決定部108とを含む。形状決定部107は、形状抽出部102から受信した形状ベクトルsおよび復号化部106より受信した表情が付加された形状を表わす形状ベクトルstを用いて、(2)式を用いた変換処理が行なわれ、出力形状ベクトルs′を生成する。
【0073】ここで、変換関数fS-1は、形状抽出部102で正規化処理に用いた正規化関数fSの逆関数である。形状決定部107で生成された出力形状ベクトルs′は、画像復元部109へ出力される。
【0074】テクスチャ決定部108は、テクスチャ抽出部103より受信したテクスチャベクトルgおよび復号化部106より受信した表情が付加された画像のテクスチャを表わすテクスチャベクトルgtを用いて、(3)式による変換処理が行なわれ、出力テクスチャベクトルg′を決定する。
【0075】ここで、関数fg-1はテクスチャ抽出部103で正規化処理で用いた正規化関数fgの逆関数である。関数fgまたは逆関数fg-1には画素の間引きによる解像度変換が含まれるため、これらの関数を合成した合成関数fg*fg-1は、必ずしも恒等変換とはならない。
【0076】参照モデル111より得られるテクスチャベクトルgtとの原画像からの変化分を原画像から得られるテクスチャベクトルgに配合することによって、参照モデルから得られるテクスチャベクトルgtだけでは復元することができない成分を、原画像から得られるテクスチャベクトルgで補間するので、不自然さのないよりリアルな画質の画像を出力することができる。
【0077】テクスチャ決定部108で生成された出力テクスチャベクトルg′は、画像復元部109へ出力される。
【0078】画像復元部109では、形状決定部107より受信した出力形状ベクトルs′およびテクスチャ決定部108より受信した出力テクスチャベクトルg′とを用いて、出力テクスチャベクトルg′を出力形状ベクトルs′で表わされる形状に変形するワーピング処理が行なわれる。そして、ワーピング処理により出力画像I′(s′,g′)が生成される。生成された出力画像I(s′,g′)は、画像表示装置30へ出力される。
【0079】図4は、第1の実施の形態における画像生成装置10で実行される画像生成処理の流れを示すフローチャートである。図4を参照して、画像生成装置10では、画像入力装置20より原画像を入力する(ステップS01)。画像入力装置20より入力される原画像には、人の顔が含まれる。
【0080】そして、入力された原画像を、画像表示装置30へ出力する(ステップS02)。この結果、画像表示装置30では、画像入力装置20で読取られた画像が表示されることになる。
【0081】次に、画像入力装置より入力された原画像に対して、形状抽出部102およびテクスチャ抽出部103それぞれにおいて、形状ベクトルsとテクスチャベクトルgとが生成され、符号化部104において生成された形状ベクトルsとテクスチャベクトルgとを参照モデル111に射影することにより符号化される。そして、符号化の結果生成されたパラメータベクトルcが特徴変換部105へ出力される(ステップS03)。
【0082】制御装置40から特徴変換指示が受信される(ステップS04)。ここでの特徴変換指示は、図2に示した表情操作パネル41または年齢操作パネル42により入力された変化パラメータが、制御装置40から受信される。
【0083】そして、制御装置40より受信した特徴変換指示に基づき、特徴モデル112より受信された変化パラメータに従った表情に対応する差分平均ベクトルバーxとその特徴モデル112を定義する固有ベクトルe1,e2,e3,…とを用いて、(1)式を用いてパラメータベクトルcを表情が付加された顔を表わすパラメータベクトルctに変換する。この変換処理は、特徴変換部105において行なわれる。
【0084】次に、ステップS04で変換されたパラメータベクトルctを、参照モデル111を用いて形状ベクトルstとテクスチャベクトルgtとに復号化する(ステップS05)。これにより、表情が付加された顔の画像を定義する形状ベクトルstとテクスチャベクトルgtとが生成されることになる。
【0085】そして、生成された形状ベクトルstが形状決定部107で形状抽出部102で生成された形状ベクトルsを用いて補正されるとともに、テクスチャ決定部108で復号化部106で生成されたテクスチャベクトルgtがテクスチャ抽出部103で生成されたテクスチャベクトルgを用いて補正される(ステップS06)。形状ベクトルstの補正は、(2)式に基づき行なわれ、テクスチャベクトルgtの補正は、(3)式に基づき行なわれる。
【0086】そして、画像復元部109において、補正された形状ベクトルs′と補正されたテクスチャベクトルg′とを用いて、テクスチャベクトルg′を形状ベクトルs′で表わされる形状に変形するワーピング処理が行なわれることにより、出力画像が生成される(ステップS07)。
【0087】そして、生成された出力画像が画像表示装置30に出力される(ステップS08)。この結果、制御装置40の操作パネルから入力された表情に、顔の表情が変換された画像が画像表示装置30に出力されることになる。
【0088】次にステップS09では、制御装置40からOKの指示が入力されたか否かが判断される。OKの指示が入力された場合にはステップS01へ進み、そうでない場合にはステップS04に進む。OKの指示は、制御装置40のOKボタン47が押下されることにより、画像生成装置10へ出力される。NGボタン48が押下された場合には、画像生成装置10にNGの指示が出力される。制御装置40よりNGの指示が入力された場合には、ステップS04〜ステップS08の処理が繰返し行なわれる。この結果、画像生成システム1の使用者は、制御装置40の操作パネルのスライドスイッチ41a〜41d,42aを操作して所望の表情の顔画像が画像表示装置30に出力されるまで繰返すことができる。
【0089】ステップS10では、出力画像が画像生成装置10が備える記憶部110に記憶される。次のステップS11では、別の画像が画像入力装置20より入力されたか否かが判断される。別の画像が入力された場合にはステップS01へ進み、そうでない場合には処理を終了する。
【0090】以上説明したように、第1の実施の形態における画像生成システムにおいては、補間原画像から得られるテクスチャベクトルgと、参照モデル111より得られるテクスチャベクトルgtとを配合することによって、参照モデルから得られるテクスチャベクトルgtだけでは復元することができない成分を、原画像から得られるテクスチャベクトルgで補間するので、不自然さのないよりリアルな画質の画像を出力することができる。
【0091】次に第1の実施の形態における画像生成システムのテクスチャ決定部108と形状決定部107の変形例について説明する。
【0092】<テクスチャ決定部108の第1の変形例>上述のテクスチャ決定部108では、(3)式に基づき、復号化部106で生成された表情が付加された画像のテクスチャを表わすテクスチャベクトルgtを、テクスチャ抽出部103で生成されたテクスチャベクトルgを用いて補正するものであった。変形されたテクスチャ決定部108では、係数kgを用いた(4)式によって配合の割合を決定するものである。これにより、入力された画像から生成されるテクスチャベクトルgと、表情が付加されて復号化部106で生成されたテクスチャベクトルgtとの配合割合を係数kgで調節することが可能となる。このため、復元される画像の解像度を重視するのか、あるいは、表情の変化を重視するのかを係数kgで決定することができる。係数kgの値が大きければ、表情が付加された画像のテクスチャを表わすテクスチャベクトルgが重視されるが、参照モデル111の解像度が小さい場合には、解像度も小さくなる。
【0093】このように、参照モデル111から復元されたテクスチャベクトルgtと原画像から抽出されたテクスチャベクトルgを適切な割合で配合することによって、よりリアルな画像を復元することができる。
【0094】<テクスチャ決定部108の第2の変形例>次に、テクスチャ決定部108の第2の変形例について説明する。第2の変形例におけるテクスチャ決定部108は、テクスチャ抽出部103で生成されたテクスチャベクトルgおよび復号化部106で表情が付加された画像を表わすテクスチャベクトルgtを用いて、適当な係数kgによって、(5)式を用いてテクスチャベクトルg′が決定される。ここで、関数fg-1は、形状の正規化処理に用いられた変換関数fgの逆関数である。出力テクスチャベクトルg′は、画像復元部109へ出力される。
【0095】(5)式では、特徴変換部105により表情を変化させた画像に対するテクスチャベクトルgtの変化分に逆正規化変換を施し、これに配合割合である係数kgで調節したものを原画像から抽出されたテクスチャベクトルgに加算する。このため、参照モデル111のテクスチャに関する解像度が原画像の解像度よりも低い場合であっても、原画像と同等の解像度を持った画像を復元することができる。また、テクスチャの変化分を配合する割合を、係数kgで決定することができる。その結果、符号化部104で行なわれる符号化および復号化部130で行なわれる復号化処理で生じる符号化歪みが画質に与える影響を小さくすることができる。
【0096】<テクスチャ決定部108の第3の変形例>第3の変形例におけるテクスチャ決定部108は、(6)式により、復号化部106で生成された表情が付加された画像のテクスチャを表わすテクスチャベクトルgtをテクスチャ抽出部103で生成されたテクスチャベクトルgを用いて補正する。(6)式において、関数Kgは、形状決定部107で生成された表情が付加された画像の形状を表わす形状ベクトルstによって制御される値を出力する。これにより、関数Kgが出力する値を、顔の形状の部分により異ならせることが可能となる。たとえば、口と目の部分においては、Kg=1.0とし、その他の部分はKg=0.0のように出力する値が形状ベクトルstにより制御されることが可能となる。すなわち、口と目の部分はテクスチャベクトルgtを100%反映させ、その他の顔の部分に関しては、テクスチャベクトルgtを用いないようにすることができる。これにより、テクスチャ抽出部103で生成されたテクスチャベクトルgによる解像度を維持しながら、顔の表情を部分的に変更させることができる。
【0097】<形状決定部107の第1の変形例>形状決定部107の第1の変形例においては、(7)式を用いて、復号化部106で生成された表情が付加された画像の形状を表わす形状ベクトルstを形状抽出部102で生成された形状ベクトルsを用いて補正するものである。形状ベクトルsと表情が付加された形状ベクトルstとを配合する割合が係数ksによって定められる。このため、入力された画像から生成される形状ベクトルsと、表情が付加されて復号化部106で生成された形状ベクトルstとの配合割合を係数kgで調節することが可能となる。このため、復元される画像の解像度を重視するのか、あるいは、表情の変化を重視するのかを係数kgで決定することができる。係数kgの値が大きければ、表情が付加された画像の形状を表わす形状ベクトルsが重視されるが、参照モデル111の解像度が小さい場合には、解像度も小さくなる。
【0098】<形状決定部107の第2の変形例>第2の変形例における形状決定部107においては、(8)式を用いて、復号化部106で生成された表情が付加された画像の形状を表わす形状ベクトルstが形状抽出部102で生成された形状ベクトルsを用いて補正される。(8)式には、表情が付加された画像の形状を表わす形状ベクトルstによってその出力される値が制御される関数Ksが含まれる。これにより、関数Ksが出力する値を、顔の形状の一部分、たとえば口と目の部分については、関数Ksの出力を「1.0」とし、その他の部分での関数Ksの出力を「0.0」のようにすることができる。すなわち、口と目の部分は表情が付加された画像の形状を表わす形状ベクトルstを用い、その他の顔の部分に関しては形状ベクトルsを用いるように補正することができる。
【0099】なお、上述の形状決定部107またはその変形例と、テクスチャ決定部108またはその変形例とを組合わせることも可能である。たとえば、形状決定部107の第2の変形例とテクスチャ決定部108の第3の変形例との組み合わせることにより、参照モデル111を用いて表情を変化させて復元された形状ベクトルstおよびテクスチャベクトルgtを用いるか、原画像から得られる形状ベクトルsおよびテクスチャベクトルgを用いるかを、顔の形状の部分により、選択的に重み付けすることができる。たとえば、顔の口、目、鼻、眉、輪郭等で、いずれのデータを用いるのか、またいずれのデータを重視して用いるのかを変更することができる。このため、たとえば、原画像が目または口を閉じた表情の顔を含む画像から目や口をあけた表情の画像に表情を変化させた場合であっても、目や口の中の形状とテクスチャ(この場合には、眼球や歯などになる)を復元することができる。
【0100】
【数1】

【0101】[第2の実施の形態]次に、第2の実施の形態における画像生成システムについて説明する。第2の実施の形態における画像生成システムは、第1の実施の形態における画像生成システムの画像生成装置10を変更したものである。その他の点については第1の実施の形態における画像生成システムと同じであるので、異なる部分について説明する。
【0102】図5は、第2の実施の形態における画像生成装置60の概略機能を示すブロック図である。図5を参照して、第2の実施の形態における画像生成装置60は、第1の実施の形態における復号化部106と補正部121に変更を加えたものである。その他の点については、第1の実施の形態における画像生成装置10と同じである。
【0103】第2の実施の形態における画像生成装置60の復号化部130は、特徴変換部105より受信するパラメータベクトルctから参照モデル111を用いて形状ベクトルstおよびテクスチャベクトルgtを生成するのに加えて、符号化部104が出力するパラメータベクトルcから参照モデル111を用いて形状ベクトルsOおよびテクスチャベクトルgOを生成する。復号化部130が生成した形状ベクトルst,sOは、ともに形状決定部132へ出力される。また、復号化部130が生成するテクスチャベクトルgt,gOは、ともにテクスチャ決定部133へ出力される。
【0104】形状決定部132では、(9)式を用いて、形状ベクトルstが補正される。この補正には、パラメータベクトルcから復号化された形状ベクトルsOと形状抽出部102で生成された形状ベクトルsとが加味される。(9)式を用いて生成された出力形状ベクトルs′は、画像復元部109へ出力される。
【0105】参照モデル111で表情を変化させた後の形状ベクトルstと表情を変化させる前の形状ベクトルs0との差を、原画像から得られる形状ベクトルsに配合することによって、参照モデルから得られる形状ベクトルstだけでは復元することができない成分を、原画像から得られる形状ベクトルsで補間することができる。
【0106】テクスチャ決定部133では、(10)式を用いて、復号化部130で生成された表情が付加された画像のテクスチャを表わすテクスチャベクトルgtが補正される。この補正には、パラメータベクトルcから復号化されたテクスチャベクトルgOとテクスチャ抽出部103で生成されたテクスチャベクトルgとが加味される。(10)式を用いて生成された出力テクスチャベクトルg′は、画像復元部109へ出力される。
【0107】参照モデル111で表情を変化させた後のテクスチャベクトルgtと表情を変化させる前のテクスチャベクトルg0との差を、原画像から得られるテクスチャベクトルgに配合することによって、参照モデルから得られるテクスチャベクトルgtだけでは復元することができない成分を、原画像から得られるテクスチャベクトルgで補間することができる。
【0108】以上説明したように、第2の実施の形態における画像生成システムにおいては、参照モデル111上で特徴変換をさせて得られる形状ベクトルstとテクスチャベクトルgtとの特徴変換をさせた成分のみを、原画像から得られる形状ベクトルsおよびテクスチャベクトルgにそれぞれ加算する。このため、処理対象となる画像に含まれる顔が参照モデル111によく適合しない場合であって、参照モデル111を用いて復元された画像が画質的に不十分な場合であっても画質が劣化するのを防止することができる。すなわち、参照モデル111のテクスチャに関する解像度が原画像の解像度よりも低い場合であっても、原画像と同等の解像度を持った画像を復元することができる。
【0109】また、符号化部104で行なわれる符号化および復号化部130で行なわれる復号化処理で生じる符号化歪みが画質に与える影響を小さくすることができる。
【0110】<テクスチャ決定部133の第1の変形例>テクスチャ決定部133の第1の変形例においては、(11)式を用いて、復号化部130で生成された表情が付加された画像のテクスチャを表わすテクスチャベクトルgtが補正される。この補正には、適当な係数kgによって、補正の度合いが定められる。
【0111】補正されたテクスチャベクトルg′は、入力された画像から生成されるテクスチャベクトルgと、表情が付加されて復号化部106で生成されたテクスチャベクトルgtの参照モデル111上での変化分との配合割合を係数kgで調節する。このため、変化分を配合する割合を係数kgで決定することができる。
【0112】<テクスチャ決定部133の第2の変形例>第2の変形例におけるテクスチャ決定部133では、(12)式を用いて復号化部130が生成した表情が付加された画像のテクスチャを表わすテクスチャベクトルgtが補正される。
【0113】この補正には、復号化部130が出力する表情が付加される前のテクスチャベクトルgOと復号化される前のテクスチャベクトルgとが用いられる。(12)式において、関数Kgは、復号化部130で生成された表情が付加された画像の形状を表わす形状ベクトルstによりその出力が制御される関数である。たとえば、関数Kgの出力を、顔の形状の一部分、たとえば口と目の部分は「1.0」とし、その他の部分はその関数Kgの出力を「0.0」のように変化させることが可能である。このため、参照モデル111上での変化分を部分的に配合することができる。
【0114】これにより、形状ベクトルおよびテクスチャベクトルが符号化および復号化されることにより生じる符号化歪みが画質に与える影響を小さくすることができるとともに、顔の一部分のみを変化させることができる。
【0115】<形状決定部132の第1の変形例>形状決定部132の第1の変形例においては、(13)式を用いて、復号化部130で生成された表情が付加された画像の形状を表わす形状ベクトルstが補正される。特徴変換部105で表情が付加されたテクスチャベクトルstの表情が付加される前のテクスチャベクトルs0から得られるテクスチャの変化分に逆正規化変換を施し、これを原画像から抽出されたテクスチャベクトルgに対して配合する際、その配合割合が係数ksによって定められる。
【0116】したがって、入力された画像から生成される形状ベクトルsと、表情が付加されて復号化部106で生成された形状ベクトルstの参照モデル111上での変化分との配合割合を係数kgで調節することが可能となる。このため、入力画像と復元画像との間に解像度の違いがある場合でも適切に対処可能である。
【0117】<形状決定部132の第2の変形例>第2の変形例における形状決定部132は、(14)式を用いて、形状ベクトルを補正する。形状ベクトルs′は、復号化部130が出力する形状ベクトルst,sOおよび形状抽出部102が出力する形状ベクトルsとを用いて決定される。また、(14)式における関数Ksは、復号化部130が出力する形状ベクトルstの値によりその出力が変化する関数である。たとえば、関数Ksの出力を、顔の形状の一部分、たとえば口と目の部分の場合は「1.0」とし、その他の部分の場合は「0.0」のように部分の違いにより選択的に出力を異ならせるようにした関数である。これにより、参照モデル111上での形状の変化分を、部分的に配合することができる。
【0118】なお、上述の形状決定部132またはその変形例とテクスチャ決定部133またはその変形例とを組合わせることも可能である。たとえば、形状決定部132の第2の変形例とテクスチャ決定部133の第2の変形例とを組み合わせることにより、参照モデル111を用いて表情を変化させて復元された形状ベクトルstおよびテクスチャベクトルgtの参照モデル111上での変化分を用いるか、原画像から得られる形状ベクトルsおよびテクスチャベクトルgを用いるかを、顔の形状の部分により、選択的に重み付けすることができる。たとえば、顔の口、目、鼻、眉、輪郭等で、いずれのデータを用いるのか、またいずれのデータを重視して用いるのかを変更することができる。このため、たとえば、原画像が目または口を閉じた表情の顔を含む画像から目や口をあけた表情の画像に表情を変化させた場合であっても、目や口の中の形状とテクスチャ(この場合には、眼球や歯などになる)を復元することができる。
【0119】
【数2】

【0120】今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。




 

 


     NEWS
会社検索順位 特許の出願数の順位が発表

URL変更
平成6年
平成7年
平成8年
平成9年
平成10年
平成11年
平成12年
平成13年


 
   お問い合わせ info@patentjp.com patentjp.com   Copyright 2007-2013