米国特許情報 | 欧州特許情報 | 国際公開(PCT)情報 | Google の米国特許検索
 
     特許分類
A 農業
B 衣類
C 家具
D 医学
E スポ−ツ;娯楽
F 加工処理操作
G 机上付属具
H 装飾
I 車両
J 包装;運搬
L 化学;冶金
M 繊維;紙;印刷
N 固定構造物
O 機械工学
P 武器
Q 照明
R 測定; 光学
S 写真;映画
T 計算機;電気通信
U 核技術
V 電気素子
W 発電
X 楽器;音響


  ホーム -> 計算機;電気通信 -> 株式会社東芝

発明の名称 代表画像抽出装置及びその方法
発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開2007−6129(P2007−6129A)
公開日 平成19年1月11日(2007.1.11)
出願番号 特願2005−183751(P2005−183751)
出願日 平成17年6月23日(2005.6.23)
代理人 【識別番号】100059225
【弁理士】
【氏名又は名称】蔦田 璋子
発明者 大盛 善啓 / 山本 晃司 / 井田 孝
要約 課題
類似した代表画像の抽出を抑制して識別が容易な代表画像の一覧を生成できる代表画像抽出装置を提供する。

解決手段
複数の映像を記憶する映像記憶手段200、それぞれの映像から複数個の代表画像の候補を抽出する候補抽出手段201、候補画像の中からそれぞれの映像毎に1枚の画像を選択した組み合わせを作る組み合わせ手段205、画像の組み合わせの評価値を算出する評価値算出手段202と、評価値算出手段202で算出した評価値が最大になるようにそれぞれの映像の候補から代表画像を一つずつ選択する代表画像決定手段203、選択した代表画像を出力する代表画像出力手段204から構成される。
特許請求の範囲
【請求項1】
一、または、複数の映像を複数の映像単位に分けて記憶する映像記憶部と、
前記映像単位毎に記憶された映像の特徴量に基づいて、前記映像単位毎の代表フレーム画像の類似度が異なるように代表画像を決定する代表画像決定部と、
前記決定された映像単位毎の代表画像を出力する出力部と、
を具備する
ことを特徴とする代表画像抽出装置。
【請求項2】
前記代表画像決定部は、
前記各映像単位の映像から複数枚のフレーム画像を代表候補画像としてそれぞれ選択する代表候補画像選択部と、
前記各映像単位の複数枚の代表候補画像のそれぞれについて特徴量を算出する特徴量算出部と、
前記各映像単位の複数枚の代表候補画像を組み合わせて複数の画像セットを作る組み合わせ部と、
前記各画像セットに含まれる代表候補画像間の類似度を、前記算出した特徴量を用いて算出する類似度算出部と、
前記各画像セットの中で最も類似度の低い画像セット、または、閾値より低い類似度を有する画像セットを求め、その求めた画像セットに含まれる各映像単位の代表候補画像を、前記各映像単位の代表画像とする代表画像セット決定部と、
を具備する
ことを特徴とする請求項1記載の代表画像抽出装置。
【請求項3】
前記代表候補画像選択部は、前記各映像単位の映像から複数枚の画像を代表候補画像として選択するときに、前記各映像単位の映像を構成する全てのフレーム画像を前記代表候補画像として選択するか、または、前記各映像単位の映像を構成する一部のフレーム画像を前記代表候補画像として選択する
ことを特徴とする請求項2記載の代表画像抽出装置。
【請求項4】
前記映像単位が、一つの映像、同一映像内のシーン、並びに、一または複数の映像を含むフォルダである
ことを特徴とする請求項1記載の代表画像抽出装置。
【請求項5】
前記映像記憶部に新たな映像単位を追加した場合に、
前記代表候補画像選択部は、前記追加された映像単位の映像から複数枚の画像を代表候補画像として選択し、
前記特徴量算出部は、前記追加された映像単位の複数枚の代表候補画像のそれぞれについて特徴量を算出し、
前記組み合わせ部は、追加前の各映像単位の代表画像と前記追加された映像単位の複数枚の代表候補画像を組み合わせて複数の画像セットを新たに作り、
前記類似度算出部は、前記新たな各画像セットに含まれる代表候補画像間の類似度を、前記算出した特徴量を用いて算出し、
前記代表画像セット決定部は、前記新たな各画像セットの中で最も類似度の低い画像セット、または、閾値より低い類似度を有する画像セットを求め、その求めた画像セットに含まれる各映像単位の代表候補画像を、前記各映像単位の代表画像とする
ことを特徴とする請求項2記載の代表画像抽出装置。
【請求項6】
前記特徴量は、色相、輝度、エッジ数、L*a*b*表色系、エントロピーの少なくとも一つである
ことを特徴とする請求項1記載の代表画像抽出装置。
【請求項7】
前記特徴量算出部は、前記画像の全ての領域の画素、または、前記画像の部分領域の画素を用いて前記特徴量を算出する
ことを特徴とする請求項2記載の代表画像抽出装置。
【請求項8】
前記代表候補画像選択部は、前記映像記憶部に記憶されているn個(n>1)の映像単位の中からm個(n>m>1)の映像単位を選択し、これらm個の映像単位のそれぞれから代表候補画像を選択する
ことを特徴とする請求項2記載の代表画像抽出装置。
【請求項9】
前記代表候補画像選択部は、前記映像単位における特定の属性を持った映像区間を選択し、この映像区間から代表候補画像を選択する
ことを特徴とする請求項2記載の代表画像抽出装置。
【請求項10】
前記組み合わせ部は、前記各映像単位の映像から複数枚のフレーム画像を選択して、これら画像を並べて合成して代表候補画像を生成する
ことを特徴とする請求項2記載の代表画像抽出装置。
【請求項11】
前記代表候補画像選択部が前記各映像単位の映像から一部のフレーム画像を選択して代表候補画像とするときに、前記映像を構成する画像からランダムに選択するか、前記映像を構成する画像の特徴量に基づいて選択するか、前記映像を構成する画像の特徴量を用いてクラスタリングした結果に基づいて選択するかの少なくとも一つによって選択する
ことを特徴とする請求項2記載の代表画像抽出装置。
【請求項12】
一、または、複数の映像を複数の映像単位に分けて記憶する映像記憶ステップと、
前記映像単位毎に記憶された映像の特徴量に基づいて、前記映像単位毎の代表フレーム画像の類似度が異なるように代表画像を決定する代表画像決定ステップと、
前記決定された映像単位毎の代表画像を出力する出力ステップと、
を具備する
ことを特徴とする代表画像抽出方法。
【請求項13】
一、または、複数の映像を複数の映像単位に分けて記憶する映像記憶機能と、
前記映像単位毎に記憶された映像の特徴量に基づいて、前記映像単位毎の代表フレーム画像の類似度が異なるように代表画像を決定する代表画像決定機能と、
前記決定された映像単位毎の代表画像を出力する出力機能と、
をコンピュータによって実現する
ことを特徴とする代表画像抽出プログラム。
発明の詳細な説明
【技術分野】
【0001】
本発明は映像から代表画像を抽出する装置及びその方法に関する。特に、複数の映像から抽出した代表画像を一覧表示する場合に用い、類似した代表画像の抽出を抑制して識別が容易な代表画像の一覧を生成する装置及びその方法に関する。
【背景技術】
【0002】
ハードディスクレコーダーやカムコーダーなどで録画された多数の映像を管理する手段の一つとして、映像から代表画像を自動的に抽出する技術に関してさまざまな研究開発が行われてきた。例えば、一つの映像から代表画像を選択する技術、複数の映像から抽出した代表画像を一覧表示する技術などがある。
【0003】
複数の映像から抽出した代表画像を一覧表示する従来方法として、例えば映像を視聴して手動で代表画像となるフレームを選択する方法がある。映像数が少数の場合には類似した代表画像を選択しないように気をつければ、一覧表示しても識別が容易な代表画像を選択できる。しかし、映像数が多数になるとどのような代表画像を選択したかを記憶することは困難になり、類似した代表画像を選択する可能性が大きくなる。また、全ての映像を視聴する時間が膨大となり実用的ではない。
【0004】
この他に、代表画像を一覧表示する際に、重要な映像ほど代表画像を大きく表示したり枠を濃くしたりするというように、重要度に応じて代表画像を強調表示する方法がある(例えば、特許文献1参照)。この方法はどの映像が重要かを一覧表示で簡単に確認するものであって、同じ重要度で類似した代表画面が抽出された場合には識別が困難であることに変わりはない。
【0005】
また、一つの映像に複数の代表画像を持たせてスライドショーのような動画像を生成して一覧表示する方法がある(例えば、特許文献2参照)。代表画像を動画にすると代表画像を複数枚の静止画で構成するため、1枚の静止画で一覧表示するよりも類似した代表画像になりにくい。しかし、動画像を一覧表示すると、映像を識別するためには動画の代表画像を視聴する時間が必要になったり画面がちらついて見にくくなったりするという別の問題が発生する。
【特許文献1】特開2004−320659公報
【特許文献2】特開平11−176137号公報
【発明の開示】
【発明が解決しようとする課題】
【0006】
上記従来の方法では、シーンや番組の映像単位で独立に代表画像を生成したために、一覧表示した際に類似した代表画像を生成して識別が困難な場合がある。
【0007】
そこで、本発明は、類似した代表画像の抽出を抑制して識別が容易な代表画像の一覧を生成できる代表画像抽出装置及びその方法を提供する。
【課題を解決するための手段】
【0008】
本発明は、一、または、複数の映像を複数の映像単位に分けて記憶する映像記憶部と、前記映像単位毎に記憶された映像の特徴量に基づいて、前記映像単位毎の代表画像の類似度が異なるように代表フレーム画像を決定する代表画像決定部と、前記決定された映像単位毎の代表画像を出力する出力部と、を具備することを特徴とする代表画像抽出装置である。
【発明の効果】
【0009】
本発明によれば、類似した代表画像の抽出を抑制して識別が容易な代表画像の一覧を生成できる。
【発明を実施するための最良の形態】
【0010】
本発明の実施形態を説明する前に、まず、説明で用いる用語を定義する。
【0011】
「映像」とは、例えばテレビ番組を録画したような動画像と音声を含むものを指す。
【0012】
「番組」とは、例えばテレビ番組のような映像の単位を表す。
【0013】
「シーン」とは、番組の一部の映像を表し、番組は一つ以上のシーンで構成される。
【0014】
「フォルダ」とは、映像を分類するためにまとめて格納する記憶領域を表す。
【0015】
以下、本発明の各実施形態を図面に基づいて説明する。
【0016】
(第1の実施形態)
本発明の第1の実施形態について図1〜図11に基づいて説明する。
【0017】
第1の実施形態では、毎週放送されるテレビ番組をハードディスクレコーダーで録画した複数の映像から、一覧表示した際に識別しやすい代表画像を抽出する例を説明する。もちろん、本実施形態は録画したテレビ番組に限らず別の映像にも適用可能であるが、典型例として取り上げる。
【0018】
(1)処理対象の映像
図1に、本実施形態における処理対象の映像の一例を示す。
【0019】
映像は、映像X、映像Y、映像Zの3個録画され、それぞれの映像はタイトル映像、本編映像、エンディング映像の3部分から構成されるものとする。映像Xはタイトル映像103、本編映像100、エンディング映像104から構成され、同様に映像Yは映像Xと同一のタイトル映像103、本編映像101、映像Xと同一のエンディング映像104から構成される。映像Zについても映像X,映像Yと同様に構成されるものとする。
【0020】
すなわち、映像X、映像Y、映像Zは連続番組であり、このような連続番組は以上に説明した構造を持つことが多い。
【0021】
(2)代表画像抽出装置の構成
図2に、本実施形態に係る代表画像抽出装置の構成を示す。
【0022】
本装置は、複数の映像を記憶する映像記憶手段200、それぞれの映像から複数個の代表画像の候補を抽出する候補抽出手段201、候補画像の中からそれぞれの映像毎に1枚の画像を選択した組み合わせを作る組み合わせ手段205、画像の組み合わせの評価値を算出する評価値算出手段202と、評価値算出手段202で算出した評価値が最大になるようにそれぞれの映像の候補から代表画像を一つずつ選択する代表画像決定手段203、選択した代表画像を出力する代表画像出力手段204から構成される。
【0023】
映像記憶手段200は、例えばハードディスクとファイルシステムにより構成され、複数の映像を記憶し、ファイル名によって映像にアクセスできる。
【0024】
候補抽出手段201、評価値算出手段202、組み合わせ手段205及び代表画像決定手段203は、例えばコンピュータプログラムにより構成される。
【0025】
代表画像出力手段204は、例えばハードディスクとファイルシステムにより構成され、代表画像決定手段203によって選択された複数の代表画像をハードディスクにファイル名をつけて記憶させる。
【0026】
(3)処理手順の概略
図3に、本実施形態に係る代表画像抽出方装置による処理の概要を示し、以下に処理手順の概要を説明する。
【0027】
映像300は、映像記憶手段200に記憶された映像を表し、この例では図1に示した映像X、映像Y、映像Z、の3個の映像が記憶されているとする。
【0028】
代表候補画像301は、候補抽出手段201によって映像300から抽出された代表画像の候補を示す。候補抽出手段201は後述する方法で映像を解析して、例えば真っ暗な画面を除外するなどして代表画像としてふさわしい画像を選択する。映像Xに関して言えばx1、x2、x3の3つの代表候補画像を抽出し、映像Y、映像Zについても同様にy1、y2、y3、及びz1、z2、z3の代表候補画像を3個ずつ抽出する。
【0029】
代表画像302は組み合わせ手段205、評価値算出手段202及び代表画像決定手段203によって選択された代表画像を示す。代表画像決定手段203、評価値算出手段202、及び組み合わせ手段205は、後述する方法で代表候補画像301から代表画像を一覧した際に代表画像が類似しないように代表候補画像301から代表画像の組み合わせを選択する。この例ではx2、y2、z1が選択されている。以下、この組み合わせを「画像セット」という。
【0030】
代表画像出力手段204は、代表画像決定手段203によって選択された代表画像302を出力する。この例では(x2、y2、z1)の画像セットが出力される。
【0031】
(4)代表候補画像の抽出方法
候補抽出手段201は、代表候補画像301を以下の手順で代表候補画像を抽出する。
【0032】
まず、映像Xの先頭から30秒後のフレーム画像を代表候補画像x1として抽出する。
【0033】
代表候補画像x1の画面全体の輝度の平均値が予め与えられた大きな閾値以上の場合には真っ白な画面と判定し、予め与えられた小さな閾値以下の場合には真っ黒な画面と判定し、代表候補画像として採用しない。
【0034】
同様に、代表候補画像x1を図4に示す16分割した画面領域毎に色相の平均値を算出して、その色相の分散が予め与えられた閾値以下の場合には画面が単色で構成されると判定して候補として採用しない。
【0035】
色相には、人間が色を見たときに心理的に同じ色違いに見える色同士の距離を均等にしてある色空間の一つであるL*a*b*表色系を用いる。
【数1】


【0036】
但し、Nは領域に含まれる画像数、Lはi番目の画素の明度指数、a、bはi番目の画素のクロマティネクス指数を表す。iは画面の右方向にカウントアップし、例えば領域400の右端までくると一つ下の行の左端からカウントアップするものとする。
【数2】


【0037】
輝度による判定と色相による判定のどちらか一方で候補でないと判定された場合には候補として採用せず、そうでない場合には候補として採用する。候補として採用されなかった場合、候補基準を調べたフレーム以降のフレームについて順次特徴量を調べて、基準に満ちたフレームまで到達するとそのフレームを新たに代表候補画像x1として抽出する。
【0038】
なお、も基準を満たすフレームが映像の最後まで検出されなかった場合には、より多くの画像が選択されるように閾値を変更してから再度候補画像を検索する。それでも検出されなかった場合には閾値の変更を繰り返す。
【0039】
代表候補画像x2は、代表候補画像x1からさらに30秒後のフレームの画像を代表候補画像x2として抽出する。この場合も基準に満たない場合は同様にそのフレーム以降のフレームを調べて基準を満たすフレームを新たに代表候補画像x2として抽出する。代表候補画像x2が番組の範囲内にない場合は、代表候補画像x1がより前方のフレームになるように閾値を変更して代表候補画像x1を再度抽出する。同様にして代表候補画像x3も抽出する。
【0040】
候補抽出手段201は、映像Y、Zに関しても同様にして代表候補画像y1、y2、y3、z1、z2、z3を抽出する。
【0041】
図1に示すように、代表候補画像x1、x2、x3、y1、y2、y3、z1、z2、z3は、映像中での先頭からの時間で表すことができ、それぞれTx1、Tx2、Tx3、Ty1、Ty2、Ty3、Tz1、Tz2、Tz3となる。ここで、代表候補画像x1、y1、z1はタイトル映像103の中から選択され、その他の代表候補画像は本編映像の中から選択されたとする。
【0042】
図5に候補選択手段101が選択した代表候補画像301の例を示す。代表候補画像x1、y1、z1は同じタイトル映像103から抽出されたので、全ての映像が同じ候補画像を抽出している。もしも(x1、y1、z1)の画像セットで代表画像を抽出すると、全ての代表画像が同一になって一覧表示したときに差がなくなって識別できなくなるが、以下に説明する方法でこれを避ける。
【0043】
(5)代表画像302の抽出方法
代表画像302は以下の手順で抽出する。
【0044】
組み合わせ手段205は、代表候補画像301からそれぞれの映像について1個の代表候補画像を選び、評価値算出手段202は画像の特徴量に基づいて評価値を算出し、代表画像決定手段203は組み合わせ手段205が選択する全ての画像セットについて、評価値算出手段202によって算出された評価値を調べて、評価値が最大となる組み合わせを代表画像として選択する。
【0045】
評価値は、一つの画像セットに含まれる代表候補画像間の類似度が低い程に高くなる値である。この評価値の算出方法として、例えば画面を16分割した領域毎に2つの画像間で色相空間内での距離の2乗総和を算出して、さらにこの2乗総和を代表候補画像から2つを選択する全ての組み合わせについての総和を評価値とする。このように算出する評価値は、x1、y1、z1が色相空間内で互いに離れれば離れるほど大きくなるので、画像が異なる指標として使用できる。
【0046】
映像Xから代表候補画像x1、y1、z1の画像セットを(x1、y1、z1)と表すことにして、この評価値H(x1、y1、z1)を算出する場合を説明する。まず、代表候補画像x1について、候補抽出手段201での色相の算出方法と同様の方法で、算出する。すなわち、
【数3】


【0047】
次に、3つの代表候補画像から2つを選択して、その2つの代表候補画像の間の色差の総和を算出する。x、yを代表候補画像、kを画面全体を16分割した領域の番号とすると、色差L(x,y)の2乗は次式で表せる。
【数4】


【0048】
代表画像決定手段203は組み合わせ手段205が選択する全ての画像セットについて評価値算出手段202を用いて評価値を算出して、評価値が最大となる画像セットを選択する。図6にこのようにして算出された代表候補画像の(x、y、z)の画像セットと評価値Hの例を示す。
【0049】
図6の601に示すように、(x2、y2、z1)の画像セットの評価値が最大であるとすると、代表画像決定手段203は図3に示すように(x2、y2、z1)の画像セットを選択する。図7に以上の手順で選択した代表画像を画面上に一覧した例を示す。
【0050】
(6)フローチャートの説明
図8に、本実施形態の代表画像抽出方法の処理手順のフローチャートを示す。
【0051】
映像記憶手段200が映像を入力し(ステップs800)、候補抽出手段201が候補を抽出する(ステップs801)。組み合わせ手段205が候補抽出手段201の中から画像セットを順番に選択し(ステップs802)、選択した画像セットの評価値を評価値算出手段202で算出する(ステップs803)。代表画像決定手段は全ての画像セットについて評価値を調べ、全ての評価した場合はステップs805に進み、そうでない場合はステップs802に戻って次の画像セットを評価する(ステップs804)。全てを評価し終えると、代表画像決定手段203は評価値が最大の画像セットを選択し(ステップs805)、代表画像出力手段204がその画像セットの画像を出力する(ステップs806)。
【0052】
以上に説明したように、本実施形態によれば、複数の映像から抽出した代表画像を一覧表示する場合に、類似した代表画像の抽出を抑制して識別が容易な代表画像の一覧を生成できる。
【0053】
(第2の実施形態)
本発明の第2の実施形態について図12〜図14に基づいて説明する。
【0054】
第2の実施形態は、ハードディスクレコーダーで録画したテレビ番組を複数のフォルダに振り分けて格納する場合に、フォルダを一覧表示した際に識別しやすい代表画像をフォルダに格納された映像から抽出する例を説明する。
【0055】
(1)処理対象の映像
図12に、本実施形態における処理対象の映像の一例を示す。
【0056】
フォルダXには映像X1〜X4の4個の映像、フォルダYには映像Y1〜Y2の2個の映像、フォルダZには映像Z1〜Z3の3個の映像がそれぞれ格納されている。例えば、フォルダXには野球番組、フォルダYには料理番組、フォルダZにはその他の番組、といったようにジャンルやユーザーの嗜好で分類するために一般的に用いられる。フォルダの一覧表示とは、フォルダに格納された映像から各フォルダに対して一つだけ代表画像を抽出して画面に表示することである。
【0057】
(2)代表画像抽出装置の構成
本実施形態に係る代表画像抽出方法の構成は、第1の実施形態に係る代表画像抽出装置の構成と同一であるが、映像記憶手段200と候補抽出手段201の動作が異なり、その他の構成要素の動作は同一であるので、差分のみを以下に説明する。
【0058】
映像記憶手段200は例えばハードディスクとファイルシステムにより構成され、フォルダ機能を有し、複数の映像をフォルダ内に格納して、フォルダ名を含むファイル名によって映像にアクセスできる。候補抽出手段201は例えばコンピュータプログラムにより構成される。
【0059】
(3)処理の概要
図14に、本実施形態に係る代表画像抽出装置による処理の概要を示し、以下に処理手順の概要を説明する。
【0060】
映像1300は、図13に示したように映像記憶手段200にフォルダ単位で分類されて記憶された映像を表し、この例では図13に示したX〜Zの3個のフォルダとX1〜X4、Y1〜Y2、Z1〜Z3の映像がそれぞれのフォルダに記憶されているものとする。映像は処理の前に予めフォルダに振り分けられているものとする。映像のフォルダへの振り分けは、例えば、予約録画の際にユーザーがどのフォルダに格納するかを指定してもよいし、録画後にユーザーが手動で映像を振り分けてもよい。
【0061】
代表候補画像1301に、候補抽出手段201によって映像1300から抽出された代表画像の候補を示す。候補抽出手段201は、フォルダXに格納された全ての映像の全てのフレーム画像について、類似したフレーム画像を10種類に分類する。分類されたフレーム画像の集合はクラスタと呼ばれ、類似した画像に分類する処理をクラスタリングと呼ぶ。
【0062】
次に、各クラスタを構成するフレーム画像の数を数える。そして、クラスタを構成するフレーム画像の数が大きいものから順番に3つのクラスタを代表候補クラスタとする。
【0063】
次に、3つの代表候補クラスタにおいて、各クラスタ中心に最も類似しているフレーム画像を代表候補画像x1、x2、x3として抽出する。
【0064】
例えば、フォルダXがプロ野球を録画した野球番組X1(5月15日の放送)、X2(5月16日の放送)、X3(5月17日の放送)、X4(5月18日の放送)から構成されているとする。そして、これら番組X1、X2、X3、X4から3つの代表候補クラスタから選ばれたとする。例えば、投球場面のクラスタ、打つ場面のクラスタ、観客席の場面のクラスタが3つの代表候補クラスタとする。そして、投球場面のクラスタ、打つ場面のクラスタ、観客席の場面のクラスタのそれぞれから代表候補画像x1、x2、x3として抽出する。代表候補画像x1は投球場面の画像であり、代表候補画像x2は打つ場面の画像であり、代表候補画像x3は観客席の場面の画像となる。
【0065】
同様にフォルダY、Zについても代表候補画像y1、y2、y3、z1、z2、z3を抽出する。
【0066】
代表画像決定手段203は代表候補画像1301から代表画像の画像セットを選択する方法は、第1の実施形態と同一なので省略する。
【0067】
(4)クラスタリングの方法
フレーム画像のクラスタリングには一般的な方法であるk−means法を用いればよく、以下にアルゴリズムを簡単に説明する。
【0068】
まず、フォルダXからランダムに10個のフレーム画像を選択し、初期クラスタ中心を決める。全てのフレーム画像について、最も類似したクラスタ中心のクラスタに分類する。すなわち、初期クラスタ中心の10枚のフレーム画像をF1、F2・・・、F10とすると、F1に類似したフレーム画像をフォルダ内から検索して抽出する。この画像が類似しているかどうかの判定は、例えば第1の実施形態の式2に示した、画面全体を16分割した領域毎にL*a*b*表色系による色相の平均を総和したものを距離として用いればよい。そして、F2・・・、F10についても同じ処理を行いフォルダ内の全てのフレーム画像を10種類のクラスタに分類する。
【0069】
これら10種類のクラスタのそれぞれについてクラスタの重心を計算する。クラスタの重心については、画面を16分割した領域毎に、色相の各要素についてヒストグラムを作り、要素値とヒストグラム度数の積の総和を要素数で割って計算する。この計算した10個のクラスタの重心を二回目の初期クラスタ中心とする。
【0070】
この二回目の初期クラスタ中心の10枚のフレーム画像について上記と同様にして計算して、三回目の初期クラスタ中心を計算する。
【0071】
そして、この処理を繰り返し新たなクラスタ中心が全て前回と同じであれば処理を停止して、そのクラスタ中心を持つクラスタが求めるクラスタである。一方、同じでなければ新たなクラスタ中心を初期クラスタとして処理を繰り返す。
【0072】
(5)フローチャートの説明
図14に、本実施形態の代表画像抽出方法の処理手順のフローチャートを示す。
【0073】
映像記憶手段200が映像を入力してフォルダに格納し(ステップs1400)、フォルダ毎にクラスタリングし(ステップs1401)、クラスタを構成するフレーム画像の数が大きいクラスタから順に3個のクラスタを選択し(ステップs1402)、クラスタ中心に最も類似したフレーム画像を代表候補画像とする(ステップs1403)。以降の処理は、本発明の第1の実施形態のステップs802以降の処理と同様である。
【0074】
以上に説明したように、第2の実施形態によれば、複数のフォルダから代表画像を抽出して一覧表示する場合に、類似した代表画像の抽出を抑制して識別が容易な代表画像の一覧を生成できる。
【0075】
(変形例)
本発明は上記各実施形態に限らず、その主旨を逸脱しない限り種々に変更することができる。
【0076】
(1)変形例1
第1の実施形態では、候補抽出手段201によって抽出された画像から、組み合わせ手段205が画像セットを選んだ。しかし、映像記憶手段200に記憶された映像を構成する画像から直接画像セットを選んでもよい。この場合は、候補抽出手段201が全ての画像を抽出したものとみなすことができ、候補抽出手段201の抽出からもれた画像も組み合わせ手段201の対象にできる。
【0077】
(2)変形例2
第1の実施形態では、映像記憶手段200に記憶する映像は独立の映像とした。しかし、これに限らず、異なる映像の単位であればなんでもよい。
【0078】
例えば、カット検出してシーンに分割してある映像では、シーンを単位として代表画像を抽出してもよい。
【0079】
(3)変形例3
第1の実施形態では、映像記憶手段200に全ての映像が存在するとしたが、これに限らず、新たに映像を追加した場合には、既に選択された代表画像はそのままにして、新たに追加した映像についてのみ逐次的に代表画像を抽出してもよい。
【0080】
図9に逐次的に代表画像を抽出する処理の概要を示す。
【0081】
x2、y2、z1は第1の実施形態で抽出された代表画像であり、映像900に新たに映像Q、Rを追加した場面を表している。
【0082】
候補抽出手段201は、第1の実施形態と同様に映像Q、Rについてそれぞれ3個ずつの代表候補画像901をq1、q2、q3、r1、r2、r3として抽出する。
【0083】
次に、組み合わせ手段205がそれぞれの映像について1個の代表候補画像を選ぶ。しかし、代表候補画像901に示すように、映像X、Y、Zについては既に抽出された代表画像x2、y2、z1を代表候補画像とする。
【0084】
組み合わせ手段205は式3を用いて全ての代表候補画像の画像セットについて評価値を算出し、評価値が最大の画像セットを選択する。このような逐次処理により処理時間を低減すると同時に、既に選択された代表画像も考慮して追加された映像の代表画像を抽出できる。
【0085】
図10は第1の実施形態で逐次的に代表画像を抽出する方法の処理手順のフローチャートを示す。第1の実施形態では候補選択手段203が候補画像を選択するステップs801がステップs1000とs1001に置き換わっているところが異なる。
【0086】
映像記憶手段200が追加映像を入力し(ステップs1000)、既存の映像について候補抽出手段201は候補を抽出し(ステップs1001)、追加の映像について候補抽出手段203は第1の実施形態と同様に各映像から3個の代表候補画像を抽出する(ステップs1002)。ステップs802に進んで、組み合わせ手段205が候補抽出手段201の中から画像セットを順番に選択し、これ以降の処理は第1の実施形態と同様である。
【0087】
この変形例では画像セットの範囲を追加映像から抽出した代表候補画像に限定するために、うまく識別できない代表画像を選択してしまう可能性がある。これを解決するには、例えば、評価値が予め定められた閾値を超えない場合には逐次的に処理せず、全ての映像から再度代表画像を抽出すればよい。
【0088】
(4)変形例4
第1の実施形態では、候補抽出手段201と評価値算出手段202はL*a*b*表色系を特徴量として用いたが、これに限らず、代表画像の識別が容易になる特徴量であればなんでもよい。例えば、画像に存在するエッジ数やエントロピーに基づいて算出してもよい。
【0089】
(4−1)エッジ数
評価値としてエッジ数を用いる場合について説明する。
【0090】
代表候補画像の輝度値をx軸方向に画素毎に1次微分して、その値が予め定められた閾値を超える場合にエッジを検出する。エッジの数を図4に示すように画面全体を16分割した領域単位で数え、2つの画像の距離をエッジ数の差の2乗を全ての領域についての総和と定義する。
【0091】
代表候補画像について2つの画像を選択する全ての画像セットについて距離を算出し、その総和を評価値とする。j,k,M,Nを代表候補画像の番号、分割領域の番号、代表候補画像の数、分割領域の数、Ej,kを代表候補画像jの領域kにあるエッジ数とすると、エッジ数による評価値Hは次式で表せる。
【数5】


【0092】
(4−2)エントロピー
評価値として情報量を表すエントロピーを用いる場合について説明する。
【0093】
この場合、全ての代表候補画像を構成する全ての画素について、輝度値毎にヒストグラムを求めて出現確率を算出して、その積の総和を評価値とする。
【0094】
iを輝度の範囲の番号、pをi番目の輝度範囲の出現確率とすると、エントロピーによる評価値HEntolopyは次式で表せる。
【数6】


【0095】
(5)変形例5
第1の実施形態では、特徴量の計算は画面全体に対して行った。しかし、これに限らず、画像の部分領域でもよい。
【0096】
例えば、画像の中央部分のみを用いて特徴量を抽出してもよい。この場合、画面の周辺には画像の内容とはあまり関係のないものが映っていることが多く、この影響を低減できると同時に、処理時間も短縮できる。
【0097】
あるいは、映像を構成する全てのフレームに対して特徴量を計算するのではなく、映像が大きく変化するところでシーンを予め区切っておいて、シーンの先頭の画像のみを特徴量を算出する処理の対象としてもよい。
【0098】
(6)変形例6
第1の実施形態では、組み合わせ手段は全ての代表候補画像から画像セットを選択したが、これに限らず一部の画像セットに限定して処理量を低減して高速化してもよい。
【0099】
例えば、代表画像を同時に一覧表示する映像の範囲に限定して代表画像を抽出してもよい。具体的には、10個の映像が存在し、録画時間の早い順に6個の映像から代表画像をそれぞれ表示するものとする。候補抽出手段201は全ての映像から代表候補画像を抽出するのではなく、6個ずつの映像から代表候補画像を抽出する。以降の処理手順は第1の実施形態と同一である。
【0100】
あるいは、シーン単位で代表画像を抽出する場合に、CMなどの特定の属性を持った映像区間を処理対象から除外して、番組本編の映像区間のみを処理対象としてもよい。
【0101】
あるいは、評価値が低い可能性が大きい画像セットを選択しなくてもよい。この場合、まず全ての代表候補画像について式2で表される色差の2乗を算出し、色差の2乗が予め定められた閾値より小さい場合にはその代表候補画像の組を、例えば((x1、y3)、(x1、z1)、…(x3、z1))のようにテーブル形式で記憶してマークする。マークされた代表候補画像は類似した画像であり、これらを含む代表候補画像の画像セットは評価値が低い可能性が高いため、式3で評価値を算出するときに、このテーブルを検索して評価すべき代表候補画像の画像セットの中にマークされた組がある場合には、評価値を算出せずに次の処理に進む。
【0102】
(7)変形例7
第1の実施形態では、組み合わせ手段205はそれぞれの映像毎に1枚の画像を選択したが、これに限らず、複数枚の画像を選択してもよい。
【0103】
例えば、図11に示すように2枚の画像を選択して、2枚の画像を上下に並べて合成した画像を代表画像にしてもよい。1枚の代表画像よりも2枚の画像を並べて合成した代表画像の方が類似した代表画像になりにくいため、類似した画像が多い映像の場合でも識別が容易な代表画像を選択しやすくなる。
【0104】
この場合、組み合わせ手段205は代表候補画像301から各映像に対して2個の候補を選択して画像セットを作る。3個の映像がある場合には、6個の代表候補画像の画像セットとなる。以降の処理は第1の実施形態と同一である。
【0105】
(8)変形例8
第1の実施形態では、代表画像決定手段203は評価値が最大になる画像セットを代表画像として決定した。しかし、これに限らず、代表画像が十分に異なると識別できる方法であればなんでもよい。
【0106】
例えば、代表画像が十分に異なると識別できる閾値を予め定めておいて、評価値がこの値を超えた場合にはその画像セットを代表画像に決定してもよい。この場合、その後の評価を停止するので処理量を低減できる。
【0107】
(9)変形例9
第2の実施形態では、代表候補画像1301はクラスタリングによって代表候補画像を抽出した。しかし、これに限らず、代表候補を抽出できる方法であればなんでもよい。
【0108】
例えば、フォルダに含まれる映像をつなげて一つの映像を生成して、本発明の第1の実施形態と同様の方法で代表候補画像を抽出してもよい。
【0109】
(10)変形例10
第2の実施形態における代表候補画像をクラスタリングによって代表候補画像を抽出した方法を第1の実施形態における代表候補画像の抽出に用いても良い。
【図面の簡単な説明】
【0110】
【図1】本発明の第1の実施形態に係る処理対象の映像の一例である。
【図2】第1の実施形態に係る代表画像抽出方法の構成図である。
【図3】第1の実施形態に係る代表画像抽出方法の概要を説明するための図である。
【図4】第1の実施形態の候補抽出手段201に係る色相の算出方法を説明するための図である。
【図5】第1の実施形態に係る代表候補画像301の一例である。
【図6】第1の実施形態の組み合わせ手段205が代表画像の画像セットに対する評価値を算出する方法を説明するための図である。
【図7】第1の実施形態に係る代表画像302を一覧表示した一例である。
【図8】第1の実施形態に係る処理手順をまとめたフローチャートである。
【図9】第1の実施形態の変形例3に係る代表画像抽出方法の概要を説明するための図である。
【図10】第1の実施形態の変形例3に係る処理手順をまとめたフローチャートである。
【図11】第1の実施形態の変形例7に係る複数枚のフレーム画像で構成される代表画像302を一覧表示した一例である。
【図12】第2の実施形態に係る処理対象の映像の一例である。
【図13】第2の実施形態に係る代表画像抽出方法の概要を説明するための図である。
【図14】第2の実施形態に係る処理手順をまとめたフローチャートである。
【符号の説明】
【0111】
200 映像記憶手段
201 候補抽出手段
202 評価値算出手段
203 代表画像決定手段
204 代表画像出力手段
205 組み合わせ手段




 

 


     NEWS
会社検索順位 特許の出願数の順位が発表

URL変更
平成6年
平成7年
平成8年
平成9年
平成10年
平成11年
平成12年
平成13年


 
   お問い合わせ info@patentjp.com patentjp.com   Copyright 2007-2013