米国特許情報 | 欧州特許情報 | 国際公開(PCT)情報 | Google の米国特許検索
 
     特許分類
A 農業
B 衣類
C 家具
D 医学
E スポ−ツ;娯楽
F 加工処理操作
G 机上付属具
H 装飾
I 車両
J 包装;運搬
L 化学;冶金
M 繊維;紙;印刷
N 固定構造物
O 機械工学
P 武器
Q 照明
R 測定; 光学
S 写真;映画
T 計算機;電気通信
U 核技術
V 電気素子
W 発電
X 楽器;音響


  ホーム -> 計算機;電気通信 -> 株式会社東芝

発明の名称 映像機器、映像記録方法および映像再生方法
発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開2007−13313(P2007−13313A)
公開日 平成19年1月18日(2007.1.18)
出願番号 特願2005−188484(P2005−188484)
出願日 平成17年6月28日(2005.6.28)
代理人 【識別番号】100058479
【弁理士】
【氏名又は名称】鈴江 武彦
発明者 古町 亮平 / 小林 丈朗 / 石橋 泰博
要約 課題
動画像、メニューボタン、字幕などの複数の映像を含んだ映像ストリームを扱う映像機器に於いて、ユーザまたはコンテンツ視聴者が複数映像を任意に操作して意図した映像ストリームを効率よく記録し、再生することのできる映像機器、映像記録方法および映像再生方法を提供する。

解決手段
複数種の映像を互いに重なりのないように1枚の映像上へ座標配置してソース映像(A)を生成するとともに、前記ソース映像(A)から上記複数種の映像101〜103を個別に切り出すための映像復元用情報105を生成し、生成したソース映像をエンコードする処理手段(S11)と、エンコードしたソース映像のデータに、上記映像復元用情報および所定の映像出力用情報(B)を付加して、映像ユニットデータ(C)を生成し、この映像ユニットデータの集合でなる映像ストリーム(D)を情報記憶媒体(E)に記録する処理手段(S12)とを有する。
特許請求の範囲
【請求項1】
複数種の映像を互いに重なりのないように配置した映像ストリームに、前記映像ストリームから前記複数種の映像を個別に切り出すための映像復元用情報を付加して所定の情報記憶媒体に記録する記録手段を具備したことを特徴とする映像機器。
【請求項2】
前記記録手段は、
複数種の映像を互いに重なりのないように1枚の映像上へ座標配置してソース映像を生成するとともに、前記ソース映像から前記複数種の映像を個別に切り出すための映像復元用情報を生成する映像記録処理手段と、
前記映像記録処理手段により生成された前記ソース映像をエンコードし、エンコードした前記ソース映像のデータに、前記映像記録処理手段により生成された前記映像復元用情報および所定の映像出力用情報を付加して映像ユニットデータを生成する映像ユニットデータ生成処理手段と、
前記映像ユニットデータ生成処理手段で生成された前記映像ユニットデータの集合を前記情報記憶媒体に記録する記録処理手段と
を具備して、一つの映像ストリームから複数の映像ストリームを生成可能したことを特徴とする請求項1記載の映像機器。
【請求項3】
前記所定の映像出力用情報は、前記映像復元用情報を用いて切り出した映像を合成して一枚の出力映像に配置するときの座標および回転角度と、透過処理とを指示する映像合成用情報を含むことを特徴とする請求項2記載の映像機器。
【請求項4】
前記所定の映像出力用情報は、前記複数種の映像各々の表示に対する指示を行う映像表示用情報を含むことを特徴とする請求項3記載の映像機器。
【請求項5】
映像記録処理手段が処理する前記複数種の映像は、主映像と二次映像とを有する、表示画面の1フレームに相当するソース映像であり、前記記録処理手段は、前記ソース映像の集合を前記情報記憶媒体に記録する請求項4記載の映像機器。
【請求項6】
前記二次映像は、動画像、字幕、メニュー、マスクのすべて、若しくは動画像、字幕、メニュー、マスクいずれかの組合せ、若しくは動画像、字幕、メニューのいずれかによる映像である請求項5記載の映像機器。
【請求項7】
前記映像記録処理手段は、所定表示解像度のソース映像に、前記表示解像度より低い表示解像度の少なくとも1枚の主映像と、任意表示解像度の少なくとも1枚の二次映像とを配置する処理手段を具備する請求項6記載の映像機器。
【請求項8】
前記映像記録処理手段は、所定表示解像度のソース映像に、前記表示解像度より低い表示解像度の複数の動画像と、任意表示解像度の少なくとも1つの二次映像とを配置する処理手段を具備する請求項6記載の映像機器。
【請求項9】
複数種の映像を互いに重なりのないように配置した映像ストリーム、および前記映像ストリームから前記複数種の映像を個別に切り出すための映像復元用情報を入力する入力手段と、
前記入力手段に入力された映像復元用情報を用いて前記入力手段に入力された映像ストリームから前記複数種の映像を個別に切り出し、復元して、前記復元した複数種の映像をもとに出力映像を生成する出力手段と
を具備したことを特徴とする映像機器。
【請求項10】
前記入力手段は、前記映像復元用情報を用いて前記映像ストリームから切り出した前記複数種の映像を合成処理するための映像合成用情報をさらに入力し、
前記出力手段は、前記入力手段に入力された前記映像合成用情報をもとに前記復元した複数種の映像を合成処理して前記出力映像を生成する請求項9記載の映像機器。
【請求項11】
前記出力手段による前記映像合成用情報を用いた前記映像の合成処理は、前記複数種の映像に対して、回転処理、透過処理を行い、重なりを許して、座標配置処理を行い、1枚の映像に纏める処理を行うことを特徴とする請求項10記載の映像機器。
【請求項12】
複数種の映像を有する映像ストリームの記録方法であって、
前記複数種の映像を互いに重なりのないように1枚の映像上へ座標配置してソース映像を生成するステップと、
前記ソース映像の生成に伴って前記ソース映像から前記複数種の映像を個別に切り出すための映像復元用情報を生成するステップと、
前記生成された前記ソース映像をエンコードするステップと、
前記エンコードした前記ソース映像のデータに、前記映像復元用情報および所定の映像出力用情報を付加して映像ユニットデータを生成するステップと、
前記映像ユニットデータの集合を所定の情報記憶媒体に記録するステップと
を具備したことを特徴とする映像記録方法。
【請求項13】
前記映像出力用情報は、前記映像復元用情報を用いて切り出した映像を合成して一枚の出力映像に配置するときの座標および回転角度と、透過処理とを指示する映像合成用情報を含むことを特徴とする請求項12記載の映像記録方法。
【請求項14】
映像ストリームに含まれる複数映像の再生方法であって、
複数種の映像を互いに重なりのないように配置した映像ストリーム、および前記映像ストリームから前記複数種の映像を個別に切り出すための映像復元用情報を入力する入力ステップと、
前記入力ステップで入力した映像復元用情報を用いて前記入力ステップで入力した映像ストリームから前記複数種の映像を個別に切り出し、復元して、当該復元した複数種の映像をもとに出力映像を生成する出力ステップと
を具備したことを特徴とする映像再生方法。
【請求項15】
前記入力ステップは、前記映像復元用情報を用いて前記映像ストリームから切り出した前記複数種の映像を合成処理するための映像合成用情報をさらに入力し、
前記出力ステップは、前記入力ステップで入力した前記映像合成用情報をもとに前記復元した複数種の映像に対して、回転処理、透過処理を行い、重なりを許して、座標配置処理を行い、1枚の映像に纏める合成処理を行う請求項14記載の映像再生方法。
発明の詳細な説明
【技術分野】
【0001】
本発明は、複数種の映像を1枚の映像上に座標配置したデータ構造の映像ストリームを扱う映像機器、映像記録方法および映像再生方法に関する。
【背景技術】
【0002】
動画像、メニューボタン、字幕などの複数の映像を含んだ映像ストリームを扱う映像機器に於いては、ユーザまたはコンテンツ視聴者が複数映像を任意に操作して意図した映像ストリームを効率よく記録し、再生することのできる技術が要求される。
【0003】
従来、複数の動画像を表示操作する技術として、例えば複数のビデオデータ源ユニットの動画像に対して、動画像識別番号レジスタ、識別番号比較器等を用い、フレームバッファへ取り込む動画像を制御することで、複数の動画像の表示を可能とする複数動画像の表示技術が存在する。また、映像ストリーム中の複数の映像を操作する技術として、動画像から前景オブジェクトと背景画像を分離して抽出する映像操作技術が存在する。
【特許文献1】特開平8−123401号公報
【特許文献2】特開2002−118843号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
しかしながら、上記した複数動画像の表示技術に於いては、映像ごとに情報記録媒体からデータ供給/読み取りを行なわなくてはならず、従って映像の数に比例してデータ読み取り時間のオーバーヘッドが増加するとともに、再生する映像数と同数のデコーダを必要とし、さらに複数映像のフレーム同期をとる仕組みが複雑化するという問題があった。また上記した映像操作技術に於いては、映像の切り出しに煩雑な処理が必要になるという問題があった。
【0005】
本発明は、動画像、メニューボタン、字幕などの複数の映像を含んだ映像ストリームを扱う映像機器に於いて、ユーザまたはコンテンツ視聴者が複数映像を任意に操作して意図した映像ストリームを効率よく記録し、再生することのできる映像機器、映像記録方法および映像再生方法を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明は、複数種の映像を互いに重なりのないように配置した映像ストリームに、前記映像ストリームから前記複数種の映像を個別に切り出すための映像復元用情報を付加して所定の情報記憶媒体に記録する記録手段を具備した映像機器を特徴とする。
【0007】
また本発明は、複数種の映像を互いに重なりのないように配置した映像ストリーム、および前記映像ストリームから前記複数種の映像を個別に切り出すための映像復元用情報を入力する入力手段と、前記入力手段に入力された映像復元用情報を用いて前記入力手段に入力された映像ストリームから前記複数種の映像を個別に切り出し、復元して、前記復元した複数種の映像をもとに出力映像を生成する出力手段とを具備した映像機器を特徴とする。
【0008】
また本発明は、複数種の映像を有する映像ストリームの記録方法であって、前記複数種の映像を互いに重なりのないように1枚の映像上へ座標配置してソース映像を生成するステップと、前記ソース映像の生成に伴って前記ソース映像から前記複数種の映像を個別に切り出すための映像復元用情報を生成するステップと、前記生成された前記ソース映像をエンコードするステップと、前記エンコードした前記ソース映像のデータに、前記映像復元用情報および所定の映像出力用情報を付加して映像ユニットデータを生成するステップと、前記映像ユニットデータの集合を所定の情報記憶媒体に記録するステップとを具備したことを特徴とする。
【0009】
また本発明は、映像ストリームに含まれる複数映像の再生方法であって、複数種の映像を互いに重なりのないように配置した映像ストリーム、および前記映像ストリームから前記複数種の映像を個別に切り出すための映像復元用情報を入力する入力ステップと、前記入力ステップで入力した映像復元用情報を用いて前記入力ステップで入力した映像ストリームから前記複数種の映像を個別に切り出し、復元して、当該復元した複数種の映像をもとに出力映像を生成する出力ステップとを具備したことを特徴とする。
【発明の効果】
【0010】
動画像、メニューボタン、字幕などの複数の映像を含んだ映像ストリームを扱う映像機器に於いて、ユーザまたはコンテンツ視聴者が複数映像を任意に操作して意図した映像ストリームを効率よく記録し、再生することができる。
【発明を実施するための最良の形態】
【0011】
以下図面を参照して本発明の実施形態を説明する。
【0012】
本発明の実施形態に係る映像記録方法および映像機器を図1を参照して説明する。
【0013】
本発明の実施形態に係る映像機器は、図1に示すような複数映像の記録手段を実現している。この記録手段は、複数種の映像101〜103を互いに重なりのないように1枚の映像上へ座標配置したソース映像(A)、およびこのソース映像(A)から映像101〜103を個別に切り出すための映像復元用情報105を生成して、ソース映像をエンコードし、映像復元用情報および所定の映像出力用情報(B)を付加して映像ユニットデータ(C)を生成する処理手段(S11)と、この映像ユニットデータの集合でなる映像ストリーム(D)を情報記憶媒体(E)に記録する処理手段(S12)とを有する。上記処理手段(S11)により、複数種の映像を互いに重なりのないように1枚の映像上へ座標配置してソース映像を生成するとともに、このソース映像から前記複数種の映像を個別に切り出すための映像復元用情報を生成する映像記録処理手段と、この映像記録処理手段により生成されたソース映像をエンコードし、エンコードしたソース映像のデータに、映像記録処理手段により生成された映像復元用情報および所定の映像出力用情報を付加して映像ユニットデータを生成する映像ユニットデータ生成処理手段とが実現される。また上記処理手段(S12)により上記映像ユニットデータ生成処理手段で生成された映像ユニットデータの集合を情報記憶媒体に記録する記録処理手段が実現される。
【0014】
上記複数の映像101〜103は、それぞれ異なる1枚の映像である。複数の映像101〜103に対して回転処理を行い、互いに重なりのないように1枚の映像上へ座標配置処理することで、ソース映像104と、このソース映像104に対する映像復元用情報105を生成する。この処理を映像記録処理と呼ぶ。ソース映像104は一フレームに相当する映像である。
【0015】
映像合成用情報106は複数の映像101〜103を一枚の映像に合成するための情報であり、この映像合成用情報106を用いた映像の合成処理については図3を参照して後述する。
【0016】
映像表示用情報107は、合成した映像を出力する時刻並びに表示画面の解像度を設定するための情報を有する。
【0017】
ソース映像104をエンコードした、エンコード済みソース映像のデータに対して、上記映像復元用情報105と、映像合成用情報106と、映像表示用情報107を付与することで、映像ユニットデータ108を生成する。
【0018】
この映像ユニットデータ108の集合109を情報記憶媒体110へ記録する。この情報記憶媒体110に記録された映像ユニットデータの集合109は、複数種の映像を互いに重なりの無いように1枚の映像に座標配置して生成されたエンコード済み複数映像の映像ストリームである。なお、ここでは情報記憶媒体110として光メディアを例に挙げているが、本発明が想定する情報記憶媒体はこの限りではない。
【0019】
上記した複数映像記録処理の一連の手順については図8を参照して後述する。本発明に於ける複数映像記録方法は、上記した処理の流れに於いて上記映像記録処理と映像ユニットデータの生成処理を行なうことを特徴とする。
【0020】
上記実施形態に係る映像機器は、図2に示すような複数映像の再生手段を実現している。この再生手段は、上記映像ストリームの1構成要素となる映像ユニットデータ(A)をデコードしてソース映像(B)を生成する処理手段(S21)と、上記デコードしたソース映像(B)から、上記映像ユニットデータ(A)に含まれる映像復元用情報を参照して、複数の映像203〜205を切り出して復元する処理手段(S22)とを有する。
【0021】
上記図1に示す情報記憶媒体110から読み込んだ映像ユニットデータ201をデコードすることによって、ソース映像202を生成する。
【0022】
デコードされた映像ユニットデータ201に含まれる映像復元用情報を参照しながら、ソース映像202から複数の映像203〜205を復元する。
【0023】
復元した映像のうち、表示画面全体に表示する映像を主映像と呼び、主映像の上に重ねて表示する映像を二次映像と呼ぶ。また、二次映像に対してマスク処理(透過処理)を行なうための映像をマスクと呼ぶ。ただし、本発明が想定する映像の透過処理はマスク処理だけではない。上記した複数映像再生処理の一連の手順については図9を参照して後述する。
【0024】
本発明の実施形態に係る映像機器は、図3に示すような複数映像の合成手段を実現している。この合成手段は、主映像(A)に対して回転、座標の配置を行う処理手段(S31a)と、二次映像(B)に対してマスク(C)処理を行う処理手段(S31b)、およびこのマスク済み二次画像(E)に対して回転、座標の配置を行う処理手段(S32b)と、上記回転、座標配置を行った主映像(D)と二次映像(F)を合成して合成映像(G)を生成する処理手段(S33)とを有する。
【0025】
複数映像の合成とは、複数の映像に対して回転処理、透過処理を行い、重なりを許して座標配置処理を行なって一枚の映像にまとめることをいう。主映像プレーン301は、主映像を描画するための映像プレーンである。二次映像プレーン302は、マスク処理された二次映像を描画するための映像プレーンである。
【0026】
映像合成用情報を参照しながら、主映像303を回転して主映像プレーン301へ描画する。また、二次映像304に対してマスク305を用いてマスク処理を行い、マスク処理済二次映像306を生成する。さらに、マスク処理済二次映像306を回転し、二次映像プレーン302上へ座標配置して描画する。主映像プレーン301と二次映像プレーン302を重ね合わせることで合成映像307を生成する。
【0027】
上記2つの映像プレーンの層構造は図4に示される。主映像プレーン401の上に二次映像プレーン402が重なっている。
【0028】
上記した複数映像の合成・復元処理の一連の手順については図10を参照して後述する。本発明に於ける複数映像再生方法は、この処理の流れにおいて上記した映像復元処理と映像合成処理を行なうことを特徴とする。
【0029】
ここで、上記した映像ユニットデータのデータ構造を図5を用いて説明する。
【0030】
映像ユニットデータ501は映像ユニットデータ生成処理(図1に示す処理手段(S12)の映像ユニットデータ生成処理(C)参照)に於いて生成されるデータである。ヘッダ情報502は、映像の再生に関連するパラメータが設定されている。合成映像表示時刻503には、合成映像を画面に表示する時刻が設定される。主映像ID番号504には、初期状態で主映像とする映像の映像ID番号(後述する)が設定される。主映像矩形505には主映像ID番号で指定された映像の矩形が設定される。これは、画面に表示する映像の解像度の設定に使用される。総映像数506には、ソース映像に含まれる映像の総数が記述される。
【0031】
映像情報507はN個の映像情報(映像情報#1〜N)508,…で構成されている。ただし、Nはソース映像に記録した映像の最大数を指す。一つの映像情報(#n)508のデータ構造については図6を用いて後述する。
【0032】
マスク情報509はM個のマスク情報(マスク情報#1〜M)510,…から構成されている。ただし、Mはソース映像に記録したマスクの最大数を指す。一つのマスク情報(#k)510のデータ構造については図7を用いて後述する。
【0033】
エンコード済みソース映像511とは、複数映像を記録したソース映像を任意の符号化手法を用いてエンコードしたデータを指す。
【0034】
映像情報(#n)508のデータ構造を図6を用いて説明する。
【0035】
映像ID番号601は、ソース映像に記録した映像1つ1つに割り振られる固有のID番号である。
映像復元情報602は、ソース映像から映像を復元するために必要な情報である。
映像切り抜き元座標603には、ソース映像上の映像の座標が格納される。そのX座標は切り抜き元X座標604へ格納され、Y座標は切り抜き元Y座標605へ格納される。
【0036】
映像矩形606には、ソース映像上に記録されている映像の矩形が格納される。ただし、映像が回転して配置されている場合は回転後の矩形が格納される。映像の高さ情報は映像の高さ607へ格納され、映像の幅情報は映像の幅608へ格納される。
【0037】
映像合成情報609は、ソース映像から復元した映像に対して合成処理を行なうために必要な情報である。
【0038】
映像回転角度610には、ソース映像へ映像を記録する時の回転角度情報が格納される。
【0039】
映像配置先座標611には、映像を合成映像上へ配置するための座標が格納される。配置先のX座標は612 配置先X座標に格納され、Y座標は613 配置先Y座標へ格納される。
【0040】
表示ON/OFFフラグ614は映像を合成するかどうかを設定するフラグであり、値が真(True)の場合は映像に対して合成処理を行い、偽(False)の場合は合成処理を行なわない。
【0041】
マスク適用フラグ615は、映像#nに対してマスク処理を行なうかどうかを設定するフラグである。Trueである場合は映像に対してマスク処理を行ない、Falseの場合はマスク処理を行なわない。
【0042】
適用マスクID番号616には、映像に適用するマスクのマスクID番号(後述する)が格納される。
【0043】
マスク情報#n510のデータ構造を図7を用いて説明する。
マスクID番号701は、1つ1つのマスク固有のID番号である。
マスク切り抜き元座標702にはソース映像上のマスクの座標が格納される。そのX座標は切り抜き元X座標703へ格納され、Y座標は切り抜き元Y座標704へ格納される。
【0044】
マスク矩形705はソース映像上に記録されているマスクの矩形が格納される。ただし、マスクが回転して配置されている場合は回転後の矩形が格納される。マスクの高さ情報はマスクの高さ706へ格納され、マスクの幅情報はマスクの幅707へ格納される。
【0045】
マスク回転角度708には、ソース映像へマスクを記録したときの回転角度が格納される。
【0046】
ここで、本発明の実施形態に於ける複数映像の記録・再生の処理の流れを図8を用いて説明する。
【0047】
図8は本発明の実施形態に於ける複数映像の記録処理の流れを示す。
【0048】
複数映像記録処理(ステップ801)に於いては、1フレーム分のN枚の映像とM枚のマスクを1枚の映像上へ重なりが無いように配置し、ソース映像を生成する。また、それと同時にN枚の映像分の映像復元情報とM枚のマスク分のマスク復元情報を生成する。この複数映像記録処理を完了すると、映像のエンコード処理(ステップ802)へ遷移する。
【0049】
映像のエンコード処理(ステップ802)に於いては、上記した複数映像記録処理(ステップ801)で生成したソース映像を任意の符号化形式でエンコードし、エンコード済みソース映像を生成する。このエンコード済みソース映像の生成処理を完了すると、映像合成情報、マスク情報生成処理(ステップ803)へ遷移する。
【0050】
映像合成情報、マスク情報生成処理(ステップ803)に於いては、複数映像を1枚の映像へ合成するための映像合成情報と、映像に透過処理を行なうために必要なマスク合成情報を生成する。このマスク情報生成処理を終了すると、映像ユニットデータ生成処理(ステップ804)の処理へ遷移する。
【0051】
映像ユニットデータ生成処理(ステップ804)に於いては、ヘッダ情報を生成する。また映像復元情報と映像合成情報から映像情報#1〜Nを生成し、それらの集合から映像情報を生成する。さらにマスク復元情報とマスク合成情報からマスク情報#1〜Mを生成し、それらの集合からマスク情報を生成する。ヘッダ情報と、映像情報と、マスク情報と、エンコード済みソース映像を束ねることによって映像ユニットデータを生成する。この映像ユニットデータ生成処理を完了すると全フレームの記録処理終了を確認する条件分岐(ステップ805)へ遷移する。
【0052】
この条件分岐(ステップ805)に於いて、全てのフレームの記録処理が終わったことを確認したならば映像記録処理を終了する。また全てのフレームの記録処理が終わっていなければ複数映像記録処理(ステップ801)へ遷移して上記した処理を繰り返し実行する。
【0053】
以上の処理により、複数の映像ストリームを1つの映像ストリームに格納することができる。上記した一連の複数映像記録処理は、上記図8に示す処理ルーチンをもつプログラムを、例えば後述する複数映像の再生処理装置のプログラムメモリ部に格納して、MPUにより処理することで、複数映像の記録・再生装置が実現される。または上記図8に示す処理ルーチンをもつプログラムをパーソナルコンピュータに例えばグラフィック編集ツールとして格納することにより、動画像、メニューボタン、字幕などの複数映像をユーザが任意に操作して意図した映像ストリームを効率よく作成し記録することができる。
【0054】
つぎに複数映像を再生する処理の流れを、図9のフローチャートを用いて説明する。
映像ユニットデータ取得処理(ステップ901)に於いては、映像ユニットデータを読み込み、ヘッダ情報、映像情報、マスク情報、エンコード済みソース映像を取得する。この映像ユニットデータ取得処理を完了すると、映像プレーン生成処理(ステップ902)へ遷移する。
【0055】
映像プレーン生成処理(ステップ902)に於いては、ヘッダ情報の主映像矩形に従って、主映像プレーン、二次映像プレーン、マスクプレーンを生成する。この映像プレーン生成処理を終了すると、デコード処理(ステップ903)へ遷移する。
【0056】
デコード処理(ステップ903)に於いては、エンコード済みソース映像データをデコードし、ソース映像を取得する。このデコード処理を終了すると、複数映像復元・合成処理(ステップ904)へ遷移する。
【0057】
複数映像復元・合成処理(ステップ904)に於いては、映像復元情報を参照してソース映像から複数の映像・マスクを復元する。復元した映像・マスクに対して映像合成情報を参照して回転・座標配置処理を行い、主映像、二次映像、マスクをそれぞれ生成する。さらに、二次映像に対してマスクを用いてマスク処理を行いマスク処理済二次映像を生成する。そして生成した主映像とマスク処理済二次映像を合成し、合成映像を生成する。
【0058】
この複数映像の復元・合成処理の詳細は図10のフローチャートを用いて後述する。この複数映像の復元・合成処理が完了すると、合成映像出力処理(ステップ905)へ遷移する。
【0059】
合成映像出力処理(ステップ905)に於いては、複数映像復元・合成処理(ステップ904)に於いて生成された合成映像を、映像ユニットデータのヘッダ情報に含まれる合成映像表示時刻に合わせて映像表示機器へ出力する。この合成映像出力処理を完了すると、最終フレームの表示処理が終了したことを確認する条件分岐(ステップ906)へ遷移する。
【0060】
この条件分岐(ステップ906)に於いて、映像が最終フレームまで表示されたかどうかを判断し、最終フレームまで表示されたならば処理を終了する。また、最終フレームの表示に至っていない場合は映像ユニットデータ取得処理(ステップ901)に遷移して上記した処理を繰り返し実行する。
【0061】
以上の処理により、一映像分のデータストリームから複数の映像を再生することができる。
【0062】
ここで、上記図9に於ける複数映像復元・合成処理(ステップ904)の流れを図10のフローチャートを用いて説明する。
【0063】
映像復元ループ(ステップ1001)は、映像を復元し、主映像プレーンと二次映像プレーンへ配置するループである。一回ループするごとに映像情報取得用カウンタiを1だけ増やし、全ての映像情報について処理を行なう。
【0064】
映像情報#iの取得(ステップ1002)に於いては、映像ユニットデータに含まれる映像情報#iを取得する。処理を完了すると条件分岐(ステップ1003)へ遷移する。
【0065】
この条件分岐(ステップ1003)に於いては、映像合成情報に含まれる、表示ON/OFFフラグを判定し、Trueならば映像の切り抜き(ステップ1004)へ遷移し、Falseであればループ端(ステップ1013)へ遷移する。
【0066】
上記映像切切り抜き(ステップ1004)に於いては、映像復元情報(602)の映像切抜き元座標(603)と映像矩形(606)に従って映像を切り抜く。処理を完了すると条件分岐(ステップ1005)へ遷移する。
【0067】
この条件分岐(ステップ1005)に於いては、ヘッダ情報(502)に含まれる主映像ID番号(504)と、映像情報#i(508)に含まれる映像ID番号(701)を比較し、一致していたら主映像の回転・座標配置(ステップ1006)へ遷移する。一致しなければ二次映像の回転(ステップ1007)へ遷移する。
【0068】
主映像の回転・座標配置(ステップ1006)に於いては、映像合成情報(609)を参照して、主映像を回転し、主映像プレーン上へ配置する。この処理を完了するとループ端(ステップ1013)へ遷移する。
【0069】
上記二次映像の回転(ステップ1007)に於いては、映像切り抜き(ステップ1004)に於いて切り抜いた二次映像を映像合成情報を参照しながら回転する。この処理を完了すると条件分岐(ステップ1008)へ遷移する。
【0070】
この条件分岐(ステップ1008)に於いては、映像合成情報に含まれるマスク適用フラグを参照し、Trueであればマスク切抜き(ステップ1009)へ遷移する。Falseであれば二次映像の座標配置(ステップ1012)へ遷移する。
【0071】
マスク切り抜き(ステップ1009)に於いては、映像合成情報(609)の適用マスクID番号(616)と一致するマスクID番号を持つマスク情報を取得する。さらに映像復元情報(602)を参照してソース映像からマスクを切り抜く。この処理を完了するとマスク二値化処理(ステップ1010)へ遷移する。
【0072】
このマスク二値化処理(ステップ1010)に於いては、上記マスク切り抜き(ステップ1009)で取得したマスクを二値化し、二値化済みマスクを生成する。この処理を完了するとマスク処理(ステップ1011)へ遷移する。
【0073】
このマスク処理(ステップ1011)に於いては、映像合成情報(609)を参照してマスク二値化処理(ステップ1010)に於いて二値化した二値化済みマスクを回転する。さらに回転後の映像に対して回転後の二値化済みマスクを用いてマスク処理を行い、マスク処理済み二次映像を生成する。この処理を完了すると二次映像の座標配置(ステップ1012)へ遷移する。
【0074】
この二次映像の座標配置(ステップ1012)に於いては、映像合成情報(609)を参照してマスク処理済二次映像を二次映像プレーンへ配置する。この処理を完了すると再生処理ループ端(ステップ1013)へ遷移する。
【0075】
このループ端(ステップ1013)に於いては、ヘッダ情報(502)の総映像数(506)と映像情報取得用カウンタiを比較し、総映像数が大きければカウンタiに1を足してループ開始端(ステップ1001)へ遷移する。そうでなければループを終了し、映像プレーン合成処理(ステップ1014)へ遷移する。
【0076】
映像プレーン合成処理(ステップ1014)に於いては、主映像プレーンと二次映像プレーンを重ね合わせ、合成映像を生成する。この処理を完了すると、複数映像の復元・合成処理を終了する。
【0077】
以上の処理により一フレーム分の合成映像の生成が完了する。
【0078】
ここで、本発明の実施形態に於ける複数映像の再生処理装置について説明する。
【0079】
複数映像の再生処理装置のシステム構成について図11を用いて説明する。
【0080】
MPU部1101は本発明の実施形態に係る再生処理装置に於ける演算処理を行なう処理部である。メモリ部1102は、MPU部1101が処理を行なうプログラムを展開するための装置である。ROM部1103には本発明の実施形態に係る再生処理装置起動用プログラムが保存されている。このプログラムは本発明の実施形態に係る再生処理装置の電源投入直後にメモリ部1102へ読み込まれる。バスブリッジ1104はバスに流れるデータを制御する装置である。
【0081】
光ディスク1105と、HDD1106と、フラッシュメモリ(Flash Memory)1111と、ネットワークストレージ1107はそれぞれ情報記録媒体である。ただし本発明が想定する情報記録媒体はこれに限定されない。
【0082】
データプロセッサ部1109は各モジュールから入力された映像ストリームを映像デコーダ部1115へ入力する。
【0083】
ディスクドライブ部1110は光ディスク1105から映像ストリームを読み込み、データプロセッサ部1109へ映像ストリームを供給する装置である。
【0084】
Flash Memory1111は映像ストリームをデータプロセッサ部1109へ供給する記憶媒体である。HDD1106は映像ストリームをデータプロセッサ部1109へ供給する装置である。
【0085】
ネットワークコントローラ1112はネットワークから映像ストリームを読み込み、データプロセッサ部1109へ映像ストリームを供給する装置である。
【0086】
映像デコーダ部1113は、入力された映像ストリームをデコードして映像を生成し、映像復元・合成処理部1114へ出力する。
【0087】
映像復元・合成処理部1114は、ビデオメモリ部1115から映像を読み込み、その映像から複数の映像を復元する。さらに、復元した複数の映像を1枚の映像へ合成してビデオプロセッサ部1116へ出力する。映像復元・合成処理部1114の内部構成は図12を用いて後述する。
【0088】
ビデオプロセッサ部1116は、入力された映像を、映像表示機器の画面に表示させる。外部入力信号処理部1117はユーザからのリモコン入力信号を受信し、その信号をUI(User Interface)処理部1118へ入力する。
【0089】
UI処理部1118は外部入力信号処理部1117からの入力を解釈し、ユーザイベントを映像復元・合成処理部1114へ入力する。表示パネル1119は再生時間や装置の状態などのさまざまな情報を表示させる。
【0090】
上記図11に於ける映像復元・合成処理部1114のモジュール構成を図12を用いて説明する。
【0091】
映像関連情報解析部1201に於いては、映像デコーダ部1113から入力されたヘッダ情報、映像情報、マスク情報を解析し、その解析結果を後述するモジュール1202〜1212へ提供する。
【0092】
映像切り分け部1202は、映像情報の映像復元情報を参照してソース映像から映像を復元する処理と、マスク情報を参照してソース映像からマスク復元する処理を行なう。さらに、主映像を主映像回転・座標配置部1203へ出力し、二次映像を二次映像回転部1204へ出力し、マスクをマスク二値化部1205へ出力する。
【0093】
主映像回転・座標配置処理部1203は、映像合成情報を参照して主映像を回転し、その結果を主映像プレーンへ配置する。主映像プレーンに描画されたデータは主映像プレーンバッファ1206へ蓄えられる。
【0094】
二次映像回転部1204は、映像合成情報を参照して二次映像を回転し、その結果を二次映像一時バッファ1207へ蓄える。
【0095】
マスク二値化処理部1205は、入力されたマスクを二値化し、二値化済みマスクを二値化済みマスクバッファ1208へ蓄える。
【0096】
マスク回転処理部1209は、二値化済みマスクバッファ1208に蓄えられている二値化済みマスクをマスク情報に従って回転し、マスクバッファ1210へ蓄える。
【0097】
マスク処理部1211は、入力されたマスクプレーンを用いて二次映像プレーンへマスク処理を行ない、マスク処理済二次映像を生成する。さらに、映像情報を参照して二次映像を回転し、二次映像プレーン上へ座標配置する。二次映像上に描画されたデータは二次映像プレーンバッファ1212に蓄えられる。
【0098】
ミキサー1213は、主映像プレーンバッファ1206に蓄えられている主映像プレーンと、二次映像プレーンバッファ1212に蓄えられている二次映像プレーンを合成し、合成映像を出力する。
【0099】
上記した複数映像の再生処理装置により、ユーザは入力装置を用いて映像を操作することができる。ユーザが実施することができる映像操作と、映像再生処理装置内部で行なわれる処理について図13に示す。ここでは、ユーザが実施する映像操作として、マルチアングル再生、動画(二次映像)の表示・非表示、ペアレンタルロック再生、動画(二次映像)のマスク処理オン/オフ、動画(二次映像)の形状変更、字幕(二次映像)の表示・非表示、字幕の言語選択、字幕(二次映像)のマスク処理オン/オフ、メニューの表示、メニューボタンの形状の変更等の映像操作を実現可能にしている。
【0100】
なお、上記した複数映像の再生処理装置に於いて、MPU部1101が実行するプログラムを格納するメモリ部1102に、上記図8乃至図10に示す処理ルーチンをもつプログラムを格納し、このプログラムをMPU部1101が実行することにより、上記した複数映像の再生処理にとどまらず、複数映像の記録処理を含めて実現可能であり、これにより複数種の映像を1枚の映像上に座標配置した映像ストリームの記録・再生システムが実現できる。
【0101】
上述した本発明の実施形態によれば、1つの映像ストリームに複数の映像ストリームを格納することができる。この処理に於いて、複数の映像ストリームを読み込む必要がないため、データ読み込みのオーバーヘッドが少ない。また複数の映像を個別にデコードする場合に比べ、複数映像のフレーム同期を簡単にとることができる。これにより内部構成を簡素にした映像機器が実現できる。
【0102】
つぎに、上記した本発明の映像処理技術を実機構成に照らして実現した場合の本発明をより具現化した映像機器について説明する。ここでは、1080i/p(interlace/progressive)の解像度を持つソース映像へ配置する映像の解像度の組み合わせについて、その具体例を示す。
【0103】
1080i/pの解像度を持つソース映像へ、現行のテレビシステムで表示可能な解像度(720i/p、480i/p)の映像と、任意の解像度の二次映像を記録し、発明のポイントの複数映像再生処理装置で再生する事を考える。配置する映像の解像度の組み合わせと、同時に配置する二次映像の使用用途を図14に示す。ここでは解像度の組み合わせを4例(組み合わせ1〜4)について示している。
【0104】
組み合わせ1の映像のソース映像の例を図15に示し、合成映像の例を図16に示す。
【0105】
図15に、組み合わせ1の場合のソース映像1301を示す。このソース映像1301には、720i/pの解像度を持つ主映像(動画)1302と、480i/pの解像度を持つ二次映像(動画)1303をもつ。さらにソース映像1301には、任意の解像度を持つ字幕映像1304、および当該字幕映像1304のマスク(字幕映像用のマスク)1305と、任意の解像度を持つボタン映像1306、および当該ボタン映像1306のマスク(ボタン映像用のマスク)1307をそれぞれ二次映像としてもつ。
【0106】
図15に示した映像1302〜1307をもつソース映像1301に於ける、組み合わせ1の合成映像の一例を図16に示す。ここでは720i/pの解像度を持つ主映像(動画)上の左上端を基点に480i/pの解像度をもつ二次映像(動画)を配置し、さらに主映像に字幕、二次映像にボタンを配置した合成映像1401を例示している。
【0107】
図17に、組み合わせ2の場合のソース映像1501を示す。このソース映像1501には、720i/pの解像度を持つ主映像(動画)1502と、任意の解像度をもつ字幕映像1503〜1505、およびこれら字幕映像1503〜1505のマスク(字幕映像用のマスク)1506〜1508をそれぞれ二次映像としてもつ。
【0108】
図17に示した映像1502〜1508をもつソース映像1501に於ける、組み合わせ2の合成映像の一例を図18に示す。ここでは720i/pの解像度を持つ主映像(動画)上に複数の字幕を配置した合成映像1601を例示している。
【0109】
図19に、組み合わせ3の場合のソース映像1701を示す。このソース映像1701には、それぞれ480i/pの解像度をもつ4種の映像(動画1〜4)1702〜1705をもつ。図19に示した映像1702〜1705をもつソース映像1701に於ける、組み合わせ3の合成映像の一例を図20に示す。ここでは4つの映像1702〜1705を用いたマルチアングル再生の例を示している。
【0110】
図21に、組み合わせ4の場合のソース映像1901を示す。このソース映像1901には、それぞれ480i/pの解像度をもつ3種の映像(動画1〜3)1902〜1904と、任意の解像度をもつ字幕映像1905、および当該字幕映像1905のマスク(字幕映像用のマスク)1906と、2つのボタン映像1907,1908、および当該ボタン映像1907,1908のマスク(ボタン映像用のマスク)1909,1910とをもつ。図21に示した映像1902〜1910をもつソース映像1901に於ける、組み合わせ4の合成映像の一例を図22に示す。この例ではボタン映像に適用するマスクを動的に変えることができる。
【図面の簡単な説明】
【0111】
【図1】本発明の実施形態に係る映像記録方法および映像機器の説明図。
【図2】上記実施形態に係る複数映像再生手段の説明図。
【図3】上記実施形態に係る複数映像合成手段の説明図。
【図4】上記実施形態に係る映像プレーンの層構造を示す図。
【図5】上記実施形態に係る映像ユニットデータのデータ構造を示す図。
【図6】上記実施形態に係る映像情報のデータ構造を示す図。
【図7】上記実施形態に係るマスク情報のデータ構造を示す図。
【図8】上記実施形態に係る複数映像記録処理の手順を示すフローチャート。
【図9】上記実施形態に係る複数映像再生処理の手順を示すフローチャート。
【図10】上記実施形態に係る複数映像の合成・復元処理手順を示すフローチャート。
【図11】上記実施形態に係る複数映像再生処理装置の構成を示すブロック図。
【図12】上記図11に示す映像復元・合成処理部の構成を示すブロック図。
【図13】上記複数映像再生処理装置に於いてユーザが実施することができる映像操作と、装置内部で行なわれる処理を対応付けて示す図。
【図14】上記実施形態に係る複数映像の合成・復元処理に於ける映像の解像度の組み合わせ例を示す図。
【図15】上記図14に於ける組み合わせ1の場合のソース映像例を示す図。
【図16】上記図15の合成映像例を示す図。
【図17】上記図14に於ける組み合わせ2の場合のソース映像例を示す図。
【図18】上記図17の合成映像例を示す図。
【図19】上記図14に於ける組み合わせ3の場合のソース映像例を示す図。
【図20】上記図19の合成映像例を示す図。
【図21】上記図14に於ける組み合わせ4の場合のソース映像例を示す図。
【図22】上記図21の合成映像例を示す図。
【符号の説明】
【0112】
101〜103,203〜205…映像、104,202…ソース映像、105…映像復元用情報、106…映像合成用情報、107…映像表示用情報、108,201…映像ユニットデータ、109…映像ユニットデータの集合(映像ストリーム)、110…情報記憶媒体、301,403…主映像プレーン、302,402…二次映像プレーン、303…主映像、305…マスク、306…マスク処理済二次映像、307…合成映像、1101…MPU部、1102…メモリ部、1103…ROM部、1105…光ディスク、1106…HDD、1107…ネットワークストレージ、1108…ネットワークストレージ、1109…データプロセッサ部、1110…ディスクドライブ部、1111…フラッシュメモリ(Flash Memory)、1112…ネットワークコントローラ、1113…映像デコーダ部、1114…映像復元・合成処理部、1115…映像デコーダ部、1116…ビデオプロセッサ部、1117…外部入力信号処理部、1201…映像関連情報解析部、1202…映像切り分け部、1203…主映像回転・座標配置部、1204…二次映像回転部、1205…マスク二値化部、1206…主映像プレーンバッファ、1207…二次映像一時バッファ、1208…二値化済みマスクバッファ、1209…マスク回転処理部、1210…マスクバッファ、1211…マスク処理部、1212…二次映像プレーンバッファ、1213…ミキサー。




 

 


     NEWS
会社検索順位 特許の出願数の順位が発表

URL変更
平成6年
平成7年
平成8年
平成9年
平成10年
平成11年
平成12年
平成13年


 
   お問い合わせ info@patentjp.com patentjp.com   Copyright 2007-2013