Warning: fopen(data/log202007112029.log): failed to open stream: No space left on device in /home/jp321/public_html/header.php on line 106

Warning: flock() expects parameter 1 to be resource, boolean given in /home/jp321/public_html/header.php on line 107

Warning: fclose() expects parameter 1 to be resource, boolean given in /home/jp321/public_html/header.php on line 112
通信システム、アニメーション生成装置、およびアニメーションの生成方法 - ミノルタ株式会社
米国特許情報 | 欧州特許情報 | 国際公開(PCT)情報 | Google の米国特許検索
 
     特許分類
A 農業
B 衣類
C 家具
D 医学
E スポ−ツ;娯楽
F 加工処理操作
G 机上付属具
H 装飾
I 車両
J 包装;運搬
L 化学;冶金
M 繊維;紙;印刷
N 固定構造物
O 機械工学
P 武器
Q 照明
R 測定; 光学
S 写真;映画
T 計算機;電気通信
U 核技術
V 電気素子
W 発電
X 楽器;音響


  ホーム -> 計算機;電気通信 -> ミノルタ株式会社

発明の名称 通信システム、アニメーション生成装置、およびアニメーションの生成方法
発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開2003−85582(P2003−85582A)
公開日 平成15年3月20日(2003.3.20)
出願番号 特願2001−274450(P2001−274450)
出願日 平成13年9月11日(2001.9.11)
代理人 【識別番号】100086933
【弁理士】
【氏名又は名称】久保 幸雄
【テーマコード(参考)】
5B050
【Fターム(参考)】
5B050 AA08 BA08 BA12 CA08 EA24 EA28 FA02 FA10 
発明者 遠山 修
要約 課題
送信側の環境に関係なく送信側からのメッセージの内容に合わせて表情を変えながら動作するアニメーションを実現する
解決手段
端末装置1αおよび通信回線4を介してデータを端末装置1αに送信する端末装置1βを有し、端末装置1αには、言葉と動作を指定するための顔文字とが含まれる電子メール70を端末装置1βに送信する送信手段が設けられ、端末装置1βには、受信した電子メール70に含まれる顔文字が指定する動作を行い電子メール70に含まれる言葉に合わせて口を動かす顔アニメーションを生成する動画像生成部が設けられる。
特許請求の範囲
【請求項1】第一の端末装置および通信回線を介してデータを前記第一の端末装置に送信する第二の端末装置を有し、前記第二の端末装置には、言葉と動作を指定するための動作指定記号とが表されたテキストデータを前記第一の端末装置に送信する送信手段が設けられ、前記第一の端末装置には、受信した前記テキストデータに表される前記動作指定記号が指定する動作を行い当該テキストデータに表される前記言葉に合わせて口を動かす顔アニメーションを生成するアニメーション生成手段が設けられ、てなることを特徴とする通信システム。
【請求項2】言葉と動作を指定するための動作指定記号とが表されたテキストデータを受信する受信手段と、受信した前記テキストデータを解析して、当該テキストデータから前記動作指定記号と前記言葉に含まれる音とを取得する解析手段と、取得された前記動作指定記号が指定する動作を行い取得された前記各音に合わせて口を動かす顔アニメーションを生成するアニメーション生成手段と、を有することを特徴とするアニメーション生成装置。
【請求項3】モデルを用いたアニメーションを生成するアニメーション生成装置であって、言葉と動作を指定するための動作指定記号とが表されたテキストデータを受信する受信手段と、顔の形状モデルを記憶し、音の種類ごとに当該音を発するときの顔の形状に関する発音形状データを記憶し、動作の種類ごとに当該動作を行うときの顔の形状に関する動作形状データを動作指定記号に対応付けて記憶する記憶手段と、受信した前記テキストデータを解析して、当該テキストデータから動作指定記号と言葉に含まれる音とを取得する解析手段と、取得された動作指定記号に対応する前記動作形状データおよび取得された各音に対応する前記発音形状データに基づいて、受信した前記テキストデータに表される動作指定記号が指定する動作を行い当該テキストデータに表される言葉に合わせて口を動かす顔アニメーションを生成するアニメーション生成手段と、を有することを特徴とするアニメーション生成装置。
【請求項4】前記アニメーション生成手段は、言葉に関連付けられた動作指定記号が指定する動作を行いながら当該言葉に合わせて口を動かすように前記形状モデルを変形する、請求項3記載のアニメーション生成装置。
【請求項5】前記アニメーション生成手段は、前記解析手段によって取得した動作指定記号が指定する動作を行いながら当該動作指定記号と同じ行に表された言葉に合わせて口を動かすように前記形状モデルを変形する、請求項3記載のアニメーション生成装置。
【請求項6】言葉と動作を指定するための動作指定記号とが表されたテキストデータを受信し、受信した前記テキストデータを解析して、当該テキストデータから前記動作指定記号と前記言葉に含まれる音とを取得し、取得した前記動作指定記号が指定する動作を行い前記各音に合わせて口を動かす顔アニメーションを生成する、ことを特徴とするアニメーションの生成方法。
【請求項7】モデルを用いたアニメーションを生成するアニメーションの生成方法であって、顔の形状モデルと音の種類ごとに当該音を発するときの顔の形状に関する発音形状データと動作の種類ごとに当該動作を行うときの顔の形状に関するデータであって動作指定記号に対応付けられた動作形状データとを記憶手段に記憶しておき、言葉と動作を指定するための動作指定記号とが表されたテキストデータを受信し、受信した前記テキストデータを解析して、当該テキストデータから動作指定記号と言葉に含まれる音とを取得し、取得した動作指定記号に対応する前記動作形状データおよび取得した各音に対応する前記発音形状データに基づいて、受信した前記テキストデータに表される動作指定記号が指定する動作を行い当該テキストデータに表される言葉に合わせて口を動かす顔アニメーションを生成する、ことを特徴とするアニメーションの生成方法。
【請求項8】音を発するときの顔の形状に関する発音形状データおよび動作を行うときの顔の形状に関する動作形状データに基づいて形状モデルを用いたアニメーションを生成するコンピュータに用いられるコンピュータプログラムであって、言葉と動作を指定するための動作指定記号とが表されたテキストデータを受信するステップと、受信した前記テキストデータを解析して、当該テキストデータから前記動作指定記号と言葉に含まれる音とを取得するステップと、取得した前記動作指定記号が指定する動作のための前記動作形状データおよび取得した各音を発するときの前記各発音形状データに基づいて、受信した前記テキストデータに表される動作指定記号が指定する動作を行い当該テキストデータに表される言葉に合わせて口を動かす顔アニメーションを生成するステップと、をコンピュータに実行させるためのコンピュータプログラム。
【請求項9】請求項8に記載のコンピュータプログラムが記録されたコンピュータ読み取り可能な記録媒体。
発明の詳細な説明
【0001】
【発明の属する技術分野】本発明は、メッセージに合わせて動作するアニメーションのためのデータの送受信を行う通信システムおよびアニメーション生成装置に関する。
【0002】
【従来の技術】従来より、メッセージに合わせてアニメーションを動作させる技術が提案されている。
【0003】例えば、特開平6−162167号に開示されている発明は、文章(テキスト)データおよび合成画像データを相手側の端末装置に送信すると、相手側の端末装置においてTV電話のように送信者が喋っている顔の合成画像を表示することができる。合成画像データは、送信側で作成され、最初の文章データを送信する前に一度だけ送信される。この際に、顔表情を示すパラメータを指定することができ、これにより、文章作成者の意図する表情で顔の合成画像を相手側の端末装置に表示することができる。
【0004】しかし、文章の内容の変化に伴って顔の合成画像の表情を変えることはできない。例えば、最初に嬉しそうな表情を指定すれば、文章が途中で明るい話題からシリアスな話題に移っても、顔の合成画像は嬉しそうな表情のままでシリアスな部分を喋ることとなる。
【0005】そこで、受信者側で表示される顔の合成画像の表情を変化させるためのデータ(表情変化データ)をメッセージに付加して送信するシステムが提案されている。
【0006】
【発明が解決しようとする課題】ところが、係る方法によると、送信側にはその表情変化データを生成するための特殊なアプリケーションツールが必要となり、受信側には受信した表情変化データの符号を解析し画像を表示するための特殊なアプリケーションツールが必要となる。つまり、表情変化データのデータ形式に対応したアプリケーションツールを送信側および受信側の両方に導入しなければならない。
【0007】したがって、例えば、係るデータ形式に対応したメールソフトをユーザが自分の端末装置に導入しても、係るデータ形式に対応したアプリケーションツールが電子メールの送り先の端末装置において導入されていなければ、そのメールソフトは役に立たない。このことは、表情変化データに対応したメールソフトを導入しようとする気をユーザに起こさせず、表情変化データをメッセージに付加して送信するシステムの普及の妨げになっている。
【0008】また、係るデータ形式に対応したアプリケーションツールを持たない端末装置に、表情変化データを添付したメッセージ(電子メール)を送信した場合は、表情変化データは全く役に立たず無駄になり、結局、通信コストの増大を招くだけである。
【0009】本発明は、このような問題点に鑑み、送信側に画像データを生成するアプリケーションがなくても送信側からのメッセージの内容に合わせて表情を変えながら動作するアニメーションを実現する通信システムおよびアニメーション生成装置を提供することを目的とする。
【0010】
【課題を解決するための手段】本発明に係る通信システムは、第一の端末装置および通信回線を介してデータを前記第一の端末装置に送信する第二の端末装置を有し、前記第二の端末装置には、言葉と動作を指定するための動作指定記号とが表されたテキストデータを前記第一の端末装置に送信する送信手段が設けられ、前記第一の端末装置には、受信した前記テキストデータに表される前記動作指定記号が指定する動作を行い当該テキストデータに表される前記言葉に合わせて口を動かす顔アニメーションを生成するアニメーション生成手段が設けられてなる。
【0011】本発明に係るアニメーション生成装置は、言葉と動作を指定するための動作指定記号とが表されたテキストデータを受信する受信手段と、受信した前記テキストデータを解析して、当該テキストデータから前記動作指定記号と前記言葉に含まれる音とを取得する解析手段と、取得された前記動作指定記号が指定する動作を行い取得された前記各音に合わせて口を動かす顔アニメーションを生成するアニメーション生成手段と、を有してなる。
【0012】または、モデルを用いたアニメーションを生成するアニメーション生成装置であって、言葉と動作を指定するための動作指定記号とが表されたテキストデータを受信する受信手段と、顔の形状モデルを記憶し、音の種類ごとに当該音を発するときの顔の形状に関する発音形状データを記憶し、動作の種類ごとに当該動作を行うときの顔の形状に関する動作形状データを動作指定記号に対応付けて記憶する記憶手段と、受信した前記テキストデータを解析して、当該テキストデータから動作指定記号と言葉に含まれる音とを取得する解析手段と、取得された動作指定記号に対応する前記動作形状データおよび取得された各音に対応する前記発音形状データに基づいて、受信した前記テキストデータに表される動作指定記号が指定する動作を行い当該テキストデータに表される言葉に合わせて口を動かす顔アニメーションを生成するアニメーション生成手段と、を有してなる。
【0013】または、前記アニメーション生成手段は、前記解析手段によって取得した動作指定記号が指定する動作を行いながら当該動作指定記号と同じ行に表された言葉に合わせて口を動かすように前記形状モデルを変形する。
【0014】本発明に係るアニメーションの生成方法は、モデルを用いたアニメーションを生成するアニメーションの生成方法であって、顔の形状モデルと音の種類ごとに当該音を発するときの顔の形状に関する発音形状データと動作の種類ごとに当該動作を行うときの顔の形状に関するデータであって動作指定記号に対応付けられた動作形状データとを記憶手段に記憶しておき、言葉と動作を指定するための動作指定記号とが表されたテキストデータを受信し、受信した前記テキストデータを解析して、当該テキストデータから動作指定記号と言葉に含まれる音とを取得し、取得した動作指定記号に対応する前記動作形状データおよび取得した各音に対応する前記発音形状データに基づいて、受信した前記テキストデータに表される動作指定記号が指定する動作を行い当該テキストデータに表される言葉に合わせて口を動かす顔アニメーションを生成する。
【0015】本発明に係るコンピュータプログラムは、音を発するときの顔の形状に関する発音形状データおよび動作を行うときの顔の形状に関する動作形状データに基づいて形状モデルを用いたアニメーションを生成するコンピュータに用いられるコンピュータプログラムであって、言葉と動作を指定するための動作指定記号とが表されたテキストデータを受信するステップと、受信した前記テキストデータを解析して、当該テキストデータから前記動作指定記号と言葉に含まれる音とを取得するステップと、取得した前記動作指定記号が指定する動作のための前記動作形状データおよび取得した各音を発するときの前記各発音形状データに基づいて、受信した前記テキストデータに表される動作指定記号が指定する動作を行い当該テキストデータに表される言葉に合わせて口を動かす顔アニメーションを生成するステップと、をコンピュータに実行させる。
【0016】
【発明の実施の形態】図1は本発明に係る通信システム100の構成を説明する図、図2は端末装置1α、1βの構成を説明する図、図3は磁気記憶装置12に記憶されるプログラムおよびデータを示す図、図4は受信側の端末装置1βの機能的構成を説明する図、図5は電子メール70の例を示す図である。
【0017】本発明に係る通信システム100は、図1に示すように、複数の端末装置1によって構成される。端末装置1は、ネットワーク4を介して他の端末装置1に電子メール70を送信することができる。また、端末装置1は、他の端末装置1と互いに接続しまたはネットワーク4上のWebサーバを介するなどして当該他の端末装置1とチャットを行うことができる。ネットワーク4として、アナログ回線またはISDNなどの公衆回線、携帯電話回線、専用線、またはインターネットなどが用いられる。以下、電子メールまたはチャットのメッセージの送信側の端末装置1と受信側の端末装置1とを区別するために、それぞれ、端末装置1α、1βと記載することがある。
【0018】端末装置1α、1βは、図2に示すように、処理装置10、ディスプレイ装置11、磁気記憶装置12、キーボード13、マウス14、およびスピーカ15などによって構成される。
【0019】処理装置10は、CPU10a、RAM10b、ROM10c、各種の入出力ポート10d、および各種のコントローラ10eなどによって構成される。端末装置1αの磁気記憶装置12には、図3(a)に示すように、オペレーティングシステム(OS)12a、電子メール用プログラム12b、およびチャット用プログラム12cなどが記憶されている。端末装置1βの磁気記憶装置12には、図3(b)に示すように、オペレーティングシステム(OS)12a、電子メール用プログラム12b、チャット用プログラム12c、顔画像制御プログラム12d、およびモデリングプログラム12eなどのプログラム、および後に説明する種々の処理に用いられるデータなどが記憶されている。
【0020】磁気記憶装置12に記憶されているプログラムおよびデータは、必要に応じてRAM10bにロードされる。ロードされたプログラムは、CPU10aによって実行される。ネットワーク4を介して端末装置1を他のコンピュータに接続し、プログラムまたはデータをダウンロードしてもよい。または、フロッピディスク19a、CD−ROM19b、または光磁気ディスク(MO)19cなどの各種リムーバブルディスク(記録媒体)からプログラムまたはデータをロードしてもよい。
【0021】ディスプレイ装置11の表示画面HGには、処理装置10による処理結果が表示される。例えば、端末装置1βのディスプレイ装置11の表示画面HGには、端末装置1αから受信した電子メール70の内容に合わせて動作する顔画像HF(リップシンクアニメーション)が表示される。
【0022】顔画像HFは、その人物の3次元形状モデルを所定の方向から2次元上に投影することによって得られる。つまり、顔画像HFの動作は、3次元形状モデルを電子メール70の内容に合わせて変形することによって制御される。
【0023】端末装置1βのスピーカ15は、顔画像HFの動作すなわちリップシンクアニメーションに合わせて電子メールまたはチャットによるメッセージ(言葉)を音声として出力する。これにより、顔画像HFがそのメッセージを読み上げているかのように端末装置1βのユーザに認識させることができる。
【0024】端末装置1として、例えば、ワークステーション、パーソナルコンピュータ、PDA(Personal Digital Assistant)、または携帯電話装置など、通信機能を有する種々の端末装置が用いられる。
【0025】このような構成によって、端末装置1αには、端末装置1βに電子メールを送信する機能および端末装置1βとチャットを行う機能が設けられる。端末装置1βには、図4に示すように、顔モデルデータ生成部101、データ記憶部102、テキストデータ受信部103、顔画像制御部104、および音声出力部105などが設けられる。
【0026】端末装置1αは、図5に示すような電子メール70を作成し、端末装置1βに送信する。電子メール70には、送信相手すなわち端末装置1βのユーザへのメッセージ(言葉)とともに、点線で示すように、電子メール70の作成者すなわち端末装置1αのユーザの感情などを表した顔文字7fを含めることができる。例えば、電子メール70の2行目に示す「(・O・)」の5文字の文字列からなる顔文字7fは、「驚き」の感情を表現するときに用いられ、驚いたことが書かれた行の行末に付けられる。電子メール70の内容すなわちメッセージおよび顔文字は、文字コード化されテキストデータとして端末装置1βに送信される。チャット機能を用いる場合は、1行からなるテキストデータが端末装置1βに送信される。
【0027】図4において、端末装置1βのテキストデータ受信部103は、端末装置1αからの電子メール70(テキストデータ)を受信する。顔モデルデータ生成部101は、顔画像HFの基となる3次元形状モデルを生成する。例えば、端末装置1αのユーザの顔画像HFが電子メール70のメッセージを読み上げているように表示画面HGに表示したい場合は、端末装置1αのユーザの3次元形状モデルを生成しておく。3次元形状モデルは、次のような手順で生成される。
〔3次元形状モデル(顔モデル)の生成〕図6は3次元形状モデルの生成の処理の流れを説明するフローチャート、図7は標準モデルDSの例を示す図、図8は変形処理の流れを説明するフローチャート、図9は標準モデルDSの面Sと3次元計測データの点Pとを模式的に示す図、図10は標準モデルDSの異常変形を防ぐための仮想バネを説明するための図である。
【0028】図6において、まず、図7に示す標準モデルDSと人物(例えば端末装置1αのユーザ)の3次元計測データとの概略の位置合わせを行う(#101)。標準モデルDSは、標準的な顔のサイズおよび形状を有した、頭部の全周を構造化した3次元データである。3次元計測データは、点群からなるユーザの顔の3次元データである。すなわち、ステップ#101では、標準モデルDSと3次元計測データとの距離が最小となるように、標準モデルDSの向き、大きさ、および位置を変更する。一般に、標準モデルDSおよび3次元計測データとして、無表情の状態のものが用いられる。なお、3次元計測データは、3次元計測装置でユーザを撮影するなどして予め用意されている。
【0029】輪郭および特徴点を抽出する(#102)。標準モデルDSについての輪郭RKおよび特徴点TTと同じ位置に配置されるべき輪郭および特徴点を、3次元計測データ上に、またはそれに対応する2次元画像上に配置する。
【0030】特徴点として、例えば、目や口の端部、鼻の頂部、顎の下端部のように実際に特徴のある部分、または、それらの中間のようなそれ自体では特徴はないが位置的に特定し易い部分などが選ばれる。輪郭として、顎のライン、唇のライン、または瞼のラインなどが選ばれる。
【0031】計算量および誤差を削減するために、3次元計測データについてデータの削減を行う(#103)。標準モデルDSの変形を行う(#104)。すなわち、3次元計測データの各点と標準モデルDSの面との間の距離に関連して定義されたエネルギー関数、または過剰な変形を回避するために定義されたエネルギー関数などを用い、それらが最小となるように標準モデルDSの面を変形させる。
【0032】そして、対象とするエネルギー関数および制御点を変更し、ステップ#104と同様な変更のための処理を繰り返す(#105)。次に、ステップ#104の変形処理について説明する。
【0033】図9において、3次元計測データを構成する点群の1つが点Pkで示されている。標準モデルDSの面Sにおいて、点Pkに最も近い点がQkで示されている。点Qkは、点Pkから面Sに垂線を下ろしたときの交点である。
【0034】点群に面Sをフィッティングする方法は次の通りである。ここでは、一般的なフィッティングについて説明する。点群の中の1つの点Pk、それに対応する点Qk、および対応点群T={(Pk,Qk),k=1…n}について、フィッティングエネルギー(Fitting Energy) 関数Ff(U)を、次の式(1)のように設定する。
【0035】
【数1】

【0036】ただし、Qk(U)は、QkがUの関数であることを示す。また、面Sの過度の変形を防ぐために、図10に示す仮想バネ(elastic bar)KBを導入する。仮想バネKBの制約に基づいて、面Sの形状安定化のための安定化エネルギー関数を導く。
【0037】すなわち、図10において、フィッティング対象である標準モデルDSの面(曲面)Sの一部が示されている。面Sは、制御点群U=|ui,i=1…n|で形成されている。隣接する制御点間には、仮想バネKBが配置されている。仮想バネKBは、制御点間に引っ張り力による拘束を与え、面Sの異常変形を防ぐ働きをする。
【0038】つまり、隣接する制御点uの間隔が大きくなった場合に、それに応じて仮想バネKBによる引っ張り力が大きくなる。例えば、点Qkが点Pkに近づく場合に、その移動にともなって制御点uの間隔が大きくなると、仮想バネKBによる引っ張り力が増大する。点Qkが移動しても制御点uの間隔が変わらなければ、つまり制御点u間の相対位置関係に変化がなければ、仮想バネKBによる引っ張り力は変化しない。仮想バネKBによる引っ張り力を面Sの全体について平均化したものを、安定化エネルギーとして定義する。したがって、面Sの一部が突出して変形した場合に安定化エネルギーは増大する。面Sの全体が平均して移動すれば安定化エネルギーは零である。
【0039】安定化エネルギー関数Fs(U)は、次の式(2)で示される。
【0040】
【数2】

【0041】ここで、【0042】
【数3】

【0043】は、それぞれ、仮想バネKBの初期端点、変形後の仮想バネKBの端点である。cはバネ係数であり、Mは仮想バネKBの本数である。また、次の関係が成り立つ。
【0044】
【数4】

【0045】したがって、バネ係数cを大きくすると、仮想バネKBは硬くなって変形し難くなる。このような安定化エネルギー関数Fs(U)を導入することにより、面Sの形状変化に一定の拘束を設けることとなり、面Sの過度の変形を防ぐことができる。
【0046】上に述べたフィッティングエネルギー関数Ff(U)、および安定化エネルギー関数Fs(U)を用い、フィッティングの評価関数F(U)を次の式(3)のように定義する。
【0047】
F(U)=WfFf(U)+WsFs(U) ……(3)
ここで、Wf,Wsは、それぞれ正規化のための重み係数である。式(3)の評価関数F(U)が十分小さくなるように、面Sの変形および対応点の探索を繰り返し、面のフィッティングを行う。例えば、F(U)のUに関する微分が0に近づく方向にフィッティングを行う。
【0048】図8において、変形処理では、まず、点Pkに対応する点Qkを計算で求め、点Pkと点Qkの組みを作成する(#111)。面Sを変形し(#112)、変形後の評価関数F(U)を計算する(#113)。評価関数F(U)が収束するまで(#114でYes)、処理を繰り返す。
【0049】評価関数F(U)の収束を判定する方法として、評価関数F(U)が所定の値よりも小さくなったときを収束とする方法、前回の計算と比較べた変化の割合が所定値以下となったときに収束とする方法など、公知の方法を用いることが可能である。
【0050】このような処理によって標準モデルDSを変形し、端末装置1αのユーザの顔の形状をした3次元形状モデルを生成することができる。
〔筋肉の定義〕図11は顔モデル3Mの構成の例を示す図、図12は筋肉配置データ71の例を示す図、図13はノード影響データ72の例を示す図、図14はあるノードNの移動による影響が及ぶ範囲の例を説明する図である。
【0051】図4の顔モデルデータ生成部101によって生成されたユーザの顔の3次元形状モデルは、データ記憶部102に記憶される。以下、3次元形状モデルを「顔モデル3M」と記載する。
【0052】図11(a)において、複数の細い直線同士の交点は、顔モデル3Mの構成頂点(Model Vertex)Vを示す。顔の表面すなわち皮膚の位置は、構成頂点Vによって決まる。
【0053】太い直線は、顔モデル3Mの筋肉を意味するエッジ(Edge)Eを示す。黒い丸印は筋肉の端点を意味するノード(Node)Nを示す。つまり、筋肉(エッジE)の位置は、異なる2つのノードNによって決まる。ノードN(N1、N2、…)は、3次元形状モデルの各制御点uに対応しており、顔全体の各筋肉の端点となる位置に配置されている。なお、図11(b)は、ノードNとエッジEとの関係を分かりやすくするために図11(a)から構成頂点Vを省略して示している。図11(a)(b)は、顔の右半分のノードNおよびエッジEを省略して示しているが、実際には、左半分と同様にノードNおよびエッジEが存在する。
【0054】ノードNの位置は、次に示す式(4)のように構成頂点Vの相対的位置として表される。
【0055】
【数5】

【0056】図12に示す筋肉配置データ71は、顔モデル3Mの各筋肉(エッジE1、E2、…)の構成に関するデータである。エッジEの第一のパラメータは、そのエッジEの端点となる2つのノードNを示す。エッジEの第二のパラメータは、そのエッジE(筋肉)を変位させた場合に、どちらの端点(ノードN)をどれだけの割合(ウェイト)で移動させるかを示す。例えば、エッジE3の第二のパラメータ「0.7,0.3」は、ノードN4、N5をそれぞれ7対3の割合で移動させるということを示している。
【0057】エッジEが変位するとき、ノードNが移動する位置は、次に示す式(5)によって求められる。
【0058】
【数6】

【0059】ただし、実際には複数のエッジEに関係するノードNが存在するため、収束演算または連立演算によってノードNの移動後の位置が求められる。ノード影響データ72は、図13に示すように、ノードNの移動に伴って構成頂点Vに及ぼされる影響に関するデータである。ノード影響データ72の第二のパラメータは、各ノードNが移動したときに影響を受ける構成頂点Vを示している。つまり、ノードNが移動したときの影響の範囲を示している。ノードNの移動による影響を受ける構成頂点Vは、そのノードNの周辺に集中している。例えば、図14において、大きい黒丸が示すノードNの移動による影響を受ける構成頂点Vは、小さい黒丸が示す9つの構成頂点Vである。
【0060】第一のパラメータは、ノードNが移動したときに構成頂点Vに対して与える影響の度合(intensity )を示している。この値が大きいと、ノードNの移動に伴う構成頂点Vの移動量(変位量)が大きくなる。
【0061】ノードNが移動するのに伴って構成頂点Vが移動する位置は、次に示す式(6)によって求められる。
【0062】
【数7】

【0063】なお、筋肉配置データ71およびノード影響データ72は、データ記憶部102に記憶されている。
〔顔モデルの形状を制御するためのデータ〕図15は音韻別形状データ74の例を示す図、図16は各形状グループの形状に変化したときの顔モデル3Mの例を示す図、図17は動作別形状データ73の例を示す図である。
【0064】上述のように、各エッジEを変位させて各構成頂点Vの位置を変えることによって、顔モデル3Mを変形させることができる。したがって、電子メール70のメッセージ(言葉)に合わせて口が開閉するように顔モデル3Mを連続して動かすには、その言葉に含まれる音ごとに各エッジEの変位量を決めればよい。
【0065】しかし、一般に、互いに異なる音韻であっても発音するときの口の形状の特徴が同一でありまたは類似するものがある。例えば、子音「b」および子音「p」は、ともに唇を合わせて発音されるという点で類似する。
【0066】音韻別形状データ74は、このように、発音するときの口の形状の特徴が同一または類似の音韻をグループ化し、グループごとに各筋肉(エッジE1、E2、…)の変位量を定めている。本実施形態では、図15に示すように、5つの母音のグループ(形状グループA、E、I、O、U)および3つの子音のグループ(形状グループ1〜3)が設けられている。
【0067】形状グループA、E、I、O、Uには、それぞれ「a」、「e」、「i」、「o」、「u」の1種類ずつの母音が属する。形状グループ1は唇を合わせて発音する子音のグループ、形状グループ2は唇を合わせずに口を所定の形状にして発音する子音のグループ、形状グループ3は前に発した音の口の形状のまま発音する子音のグループである。係る分類によると、通常、形状グループ1には「b、f、m、p、v」の5種類の子音が属し、形状グループ2には「d、g、j、k、l、n、r、s、t、w、z」の11種類の子音が属し、形状グループ3には「h、y」の2種類の子音が属する。
【0068】すなわち、音韻別形状データ74は、各形状グループA、E、I、O、U、1、2に属する音を発するときに、顔モデル3Mがそれぞれ図16(a)〜(g)に示す形状になるように顔モデル3Mの各筋肉(エッジE1、E2、…)を変位させるためのデータである。ただし、形状グループ3の場合は、顔モデル3Mは前に発した音(音韻)の形状のまま保たれるので、変位量の値を持たない。音韻別形状データ74の各値は、筋肉の収縮の度合を示している。収縮していない状態を「0」、最も収縮した状態を「20」とする。例えば、変形量(収縮の度合)が「15.0」であれば、その筋肉(エッジE)が75%収縮することを示す。
【0069】また、顔モデル3Mの各エッジEを変位させることによって、言葉に合わせて口を開閉する以外の動作を行ったときの形状に顔モデル3Mを変形することができる。
【0070】動作別形状データ73は、言葉に合わせて口を開閉する以外の動作を行ったときの形状に顔モデル3Mを変形するための各エッジEの変位量を定めている。例えば、図17に示すように、喜んだ表情をしたときの形状(「喜び」の形状)、驚いた表情をしたときの形状(「驚き」の形状)、およびウィンクをしたときの形状(「ウィンク」の形状)などに変形するための各エッジEの変位量が定められている。係る変位量に基づいて各エッジを変位させると、顔モデル3Mの形状は、図16(h)〜(j)に示すように変化する。
【0071】これらの各形状は、形状グループと対応付けられている。例えば、「喜び」の形状および「驚き」の形状は、それぞれ、形状グループ11および形状グループ12に対応付けられている。さらに、各形状グループは、それぞれの動作を表す文字列(顔文字)と対応付けられている。
【0072】以下、音韻を発したときの形状に関する形状グループ(形状グループA〜Uおよび1〜3)とそれ以外の動作の形状に関する形状グループ(形状グループ11〜16)とを区別するために、前者を「音韻形状グループ」と記載し、後者を「動作形状グループ」と記載することがある。
【0073】動作別形状データ73および音韻別形状データ74は、データ記憶部102に記憶される。動作別形状データ73または音韻別形状データ74を用いると、形状グループ名を指定するだけで顔モデル3Mを変形させることができる。
〔顔画像の制御(アニメーションの実行)〕図4に戻って、顔画像制御部104は、形状取得部161、時間配分部162、形状補間部163、および動画像生成部164によって構成され、受信した電子メール70に従って顔画像HFが動作するように制御する。
【0074】形状取得部161は、電子メール70に含まれるメッセージ(言葉)を音韻ごとに区切り、区切られた各音韻がいずれの形状グループに属するかを図15に示す音韻別形状データ74に基づいて求める。例えば、図5に示す電子メール70の1行目の「こんにちは」は、「k、o、n、n、i、t、i、w、a」の9つの音韻に区切られ、「2、O、1、2、I、2、I、2、A」という形状グループが求められる。
【0075】ただし、「こんにちは」の「は」は、「わ」と発音されるので、8番目の音韻は「h」ではなく「w」となる。また、3番目の「n」は直後に母音がないので口を閉じて発音されるが、4番目の「n」は直後に母音があるので口を閉じずに発音されるので、それぞれ、形状グループ2、1となる。このように、記述(スペル)通りに発音しない場合または前後の音韻によって発音の際の口の形状が変化する場合などは、適宜、その音韻の属する形状グループを変更する。
【0076】電子メール70に顔文字7fが含まれている場合は、その顔文字7fがいずれの形状グループに属するかを図17に示す動作別形状データ73に基づいて求める。例えば、図5に示す電子メール70のように、2行目に「(・O・)」という文字列(顔文字)が含まれている場合は、形状グループ12が求められる。
【0077】時間配分部162は、形状取得部161によって求められた各形状グループに合わせて顔モデル3Mを変形させる際のタイミングに関する設定を行う。図18はタイムテーブルの例を示す図、図19は形状グループの継続時間などを説明する図、図20は連続する2つの形状グループの配置を説明する図である。タイミングに関する設定は、まず、図18に示すタイムテーブルのように電子メール70のメッセージから求められた各音韻形状グループを時間軸t(横軸)に沿って順番に並べる。
【0078】図19に示すように、形状グループを表す台形の上辺の長さは、その形状グループの形状を保っている継続時間T2を意味する。継続時間T2は、母音よりも子音のほうが短く、母音が0.4秒、子音が0.1秒程度である。母音が連続する場合は、後の母音の継続時間を通常よりも短めに設定してもよい。
【0079】立ち上がり時間T1は、ある形状(例えば無表情の形状)からその形状に変化するまでの時間を意味する。終息時間T3は、その形状が無表情の形状に戻るまでの時間を意味する。立ち上がり時間T1および終息時間T3は、ともに極めて短い時間であり、0.1秒以下である。
【0080】図20に示すように、隣り合う2つの台形は、前の台形の形状が終息したとき(t=tb)に後の台形の形状の立ち上がりが完了するように配置される。つまり、後の音韻は、tbよりも終息時間T3だけ前に立ち上がりはじめるように配置される(t=ta)。
【0081】図18に戻って、電子メール70のメッセージの行末に顔文字7fが含まれている場合は、その行の言葉の各音韻に対応する音韻形状グループと重なるように顔文字7fに対応する動作形状グループを配置する。このとき、動作形状グループの形状の立ち上がりが始まる時刻を、その行の最初の音韻の音韻形状グループの形状の立ち上がりが始まる時刻と一致させる(例えば2行目の場合は、t=ts)。同様に、動作形状グループの形状が終息する時刻を、その行の最後の音韻の音韻形状グループの形状が終息する時刻と一致させる(t=te)。
【0082】図4の形状補間部163は、ある形状グループの形状からその次の形状グループの形状へ移る際の顔モデル3Mの形状のデータを補間する。また、音韻形状グループと動作形状グループとが重なる時間帯(例えば、図18のts<t<te)の形状のデータを生成する。
【0083】音韻形状グループと動作形状グループとが重ならない時間帯(例えば、t0<t<ts)については、タイムテーブルに配置された隣り合う形状グループの重なる各時間帯における顔モデル3Mの形状すなわち各構成頂点Vの位置を、次の式(7)に基づいて直線近似して補間する。
【0084】
【数8】

【0085】音韻形状グループと動作形状グループとが重なる時間帯については、まず、次の式(8)に基づいて、顔モデル3Mの各構成頂点Vの位置を求める。
【0086】
【数9】

【0087】つまり、その音韻形状グループおよびそれに重なる動作形状グループのそれぞれの形状に顔モデル3Mを変形させた場合の各構成頂点Vp、Veのうち、標準の状態(すべてのエッジEに変位量を与えていない無表情の状態)の各構成頂点V0からの移動量が大きいほうを、両形状グループが重なった場合における顔モデル3Mの構成頂点Vの位置とする。そして、式(7)に基づいて、1つの音韻から次の音韻に変わる各時間帯における各構成頂点Vの位置を補間する。これにより、動作形状グループの示す動作をしながら各音韻形状グループの示す音を発しているかのように顔モデル3Mを変形することができる。例えば、驚いた表情をしながら「いきなりで驚きましたが」という言葉を発しているように顔モデル3Mを変形することができる。
【0088】動画像生成部164は、形状取得部161および形状補間部163によって得られた顔モデル3Mの形状すなわち構成頂点Vの位置を図19に示すタイムテーブルに従って変化させながら所定の方向から2次元上に投影することによって顔画像HFを動作させ、リップシンクアニメーションを生成する。
【0089】音声出力部105は、電子メール70のメッセージを音声化し、リップシンクアニメーションと同期して出力する。例えば、所定の音韻が立ち上がるときに顔画像制御部104から発せられる信号(トリガー)に合わせて順次音声を出力する。テキストデータ(メッセージ)を音声化する方法として、公知の音声合成技術が用いられる。
【0090】次に、電子メール70に合わせてユーザの顔画像HFを動かしリップシンクアニメーションを生成する処理の流れを、フローチャートを参照して説明する。図21は受信側の端末装置1βの全体の処理の流れを説明するフローチャート、図22は形状の取得の処理の流れを説明するフローチャート、図23は時間配置の処理の流れを説明するフローチャートである。
【0091】図21に示すように、まず、端末装置1αのユーザの顔画像の基となる顔モデル3Mを生成し(#1)、エッジE(筋肉)の位置を設定する(#2)。ノードNの位置の変化による影響が及ぶ構成頂点Vの範囲を設定し、顔モデル3Mの筋肉が動いたときの皮膚への影響について設定する(#3)。音韻形状グループおよび動作形状グループごとにエッジEの位置を設定する(#4)。動作形状グループについては、顔文字と対応付ける(#5)。ステップ#1〜#5は、顔画像の生成のための準備なので、既に顔モデル3Mを生成し各設定を行っている場合は省略してもよい。
【0092】端末装置1αから電子メール70を受信し(#6)、この電子メール70に含まれるメッセージおよび顔文字に基づいて顔モデル3Mの形状を取得する(#7)。すなわち、図22に示すように、電子メール70に基づいてメッセージ(言葉)の各音韻に対応する音韻形状グループおよび各顔文字に対応する動作形状グループを求める(#121)。そして、求められた各音韻形状グループおよび各動作形状グループに対応する顔モデル3Mの形状を図15に示す音韻別形状データ74および図17に示す動作別形状データ73に基づいて取得する(#122)。
【0093】各音韻形状グループおよび各動作形状グループを図18に示すタイムテーブルのように配置する(#8)。図23に示すように、音韻が子音である場合は(#131でNo)その音韻の継続時間T2を0.1秒程度にし(#132)、通常の母音である場合は(#133でNo)継続時間T2を0.4秒程度にする(#135)。連続母音である場合は、(#133でYes)継続時間T2を通常の母音の場合よりも短くする(#134)。例えば、0.2〜0.3秒程度にする。
【0094】音韻形状グループと動作形状グループとが重なった時間帯における顔モデル3Mの各構成頂点Vの位置を求める。さらに、隣り合う形状グループ同士の重なる部分について、形状の補間を行う(#9)。そして、上記の処理によって得られたデータに基づいて顔モデル3Mの形状を変形させ、リップシンクアニメーションを生成する(#10)。
【0095】本実施形態によると、送信側の端末装置1αの条件に関わらず、送信側からのメッセージの内容に合わせて表情を変えながら動作するアニメーションを実現することができる。
【0096】メッセージおよび顔文字はバイナリデータではなくテキストデータとして作成すればよいので、送信側の端末装置1αにはテキストエディタおよび電子メール機能などが備わっていればよく、特殊な機能を必要としない。
【0097】端末装置1βで受信される電子メールは、端末装置1βのユーザへのメッセージおよびアニメーションの制御データの両方の役割を果たす。したがって、従来のように特殊なデータを必要とせず、通信のデータ量を少なくすることができる。
【0098】電子メールに含まれる顔文字は、その文字自体が電子メールの作成者の感情などを視覚的に表している。したがって、端末装置1βの機能を有しない端末装置が本実施形態の電子メールを受信した場合であっても、ユーザは従来の電子メールツールなどによってメッセージとともに感情を確認することができる。よって、端末装置1βの機能を有しない端末装置に本実施形態の電子メールを送信しても、無駄なデータを通信することにはならない。また、送信者は、送信相手の端末装置の機能を気にすることなく電子メールを送信することができる。
【0099】本実施形態では、図5に示す電子メール70の2行目の「いきなりで驚きましたが、(・O・)」のように行単位で顔文字を言葉に関連付けたが、「いきなりで驚きましたが、(・O・)/お誘いいただき、ありがとうございます。(^O^)」のように「/(スラッシュ)」などの記号で文章を区切って顔文字を言葉に関連付けてもよい。
【0100】本実施形態では、顔文字を主に顔の表情を制御するために用いたが、首振りや手足の動作など体の種々の動作を制御するために用いてもよい。以上のように、本発明は、感情などを表す符号として顔文字すなわちテキストデータが用いられるので、従来の電子メールまたはチャットなどの読み上げツールとして適用することができる。
【0101】その他、通信システム100、端末装置1α、1βの全体または各部の構成、処理内容、処理順序などは、本発明の趣旨に沿って適宜変更することができる。
【0102】
【発明の効果】本発明によると、送信側に画像データを生成するアプリケーションがなくても送信側からのメッセージの内容に合わせて表情を変えながら動作するアニメーションを実現することができる。




 

 


     NEWS
会社検索順位 特許の出願数の順位が発表

URL変更
平成6年
平成7年
平成8年
平成9年
平成10年
平成11年
平成12年
平成13年


 
   お問い合わせ info@patentjp.com patentjp.com   Copyright 2007-2013