米国特許情報 | 欧州特許情報 | 国際公開(PCT)情報 | Google の米国特許検索
 
     特許分類
A 農業
B 衣類
C 家具
D 医学
E スポ−ツ;娯楽
F 加工処理操作
G 机上付属具
H 装飾
I 車両
J 包装;運搬
L 化学;冶金
M 繊維;紙;印刷
N 固定構造物
O 機械工学
P 武器
Q 照明
R 測定; 光学
S 写真;映画
T 計算機;電気通信
U 核技術
V 電気素子
W 発電
X 楽器;音響


  ホーム -> 計算機;電気通信 -> 松下電器産業株式会社

発明の名称 作業状況管理装置
発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開平7−98734
公開日 平成7年(1995)4月11日
出願番号 特願平6−11528
出願日 平成6年(1994)2月3日
代理人 【弁理士】
【氏名又は名称】小鍜治 明 (外2名)
発明者 山口 孝雄 / 浜田 正宏
要約 目的
本発明の目的は、作業中に記録された映像情報や音声情報における所望の箇所を容易に検索することのできる装置を提供することにある。

構成
作業状況管理装置は、作業に関連する情報を入力する入力部11と、入力された情報に対して所定の変化が発生したことを検出し、検出された所定の変化に応じて、所定の変化が発生した時刻を示す情報と所定の変化を特定する情報とを生成する作業状況管理部13と、所定の変化が発生した時刻を示す情報と所定の変化を特定する情報とを記憶する作業状況記憶部14とを備えている。
特許請求の範囲
【請求項1】作業に関連する情報を入力する入力手段と、該入力された情報に対して所定の変化が発生したことを検出する検出手段と、該検出された所定の変化に応じて、該所定の変化が発生した時刻を示す情報と該所定の変化を特定する情報とを生成する生成手段と、該所定の変化が発生した該時刻を示す該情報と該所定の変化を特定する該情報とを作業状況として記憶する記憶手段とを備えた作業状況管理装置。
【請求項2】入力手段は、利用者による操作に応じて該操作を示すカメラ操作信号を生成するカメラを有しており、検出手段は、該カメラ操作信号を受け取り、該カメラ操作信号に基づいて該カメラの所定の操作が発生したことを検出するカメラ操作検出手段を備えている請求項1に記載の作業状況管理装置。
【請求項3】入力手段は、複数の映像チャネルを有しており、検出手段は、ある映像チャネルが他の映像チャネルに切り替わることを検出する映像チャネル変化検出手段を備えている請求項1に記載の作業状況管理装置。
【請求項4】入力手段は、映像情報を入力する映像情報入力手段を有しており、検出手段は、該映像情報に基づいて映像シーンの変化を検出する映像シーン変化検出手段を備えている請求項1に記載の作業状況管理装置。
【請求項5】入力手段は、音声情報を入力する音声情報入力手段を有しており、検出手段は、該音声情報を有音部と無音部に分割することにより、該音声情報の無音部から有音部への変化を検出する音声情報変化検出手段を備えている請求項1に記載の作業状況管理装置。
【請求項6】検出手段は、ウインドウ情報の変化を検出するウインドウ情報検出手段を備えている請求項1に記載の作業状況管理装置。
【請求項7】検出手段は、指示情報の変化を検出する指示情報検出手段を備えている請求項1に記載の作業状況管理装置。
【請求項8】検出手段は、映像情報の変化と音声情報の変化とウインドウ情報の変化と指示情報の変化との間の任意の組み合わせのうち少なくとも1つが発生したことを検出する手段を備えている請求項1に記載の作業状況管理装置。
【請求項9】複数の端末装置と該複数の端末装置にネットワークを介して接続される作業状況管理装置とを備えたシステムであって、複数の端末装置のそれぞれは、作業に関連する情報を入力する入力手段と該入力された情報を該作業状況管理装置に送信する送信手段とを有しており、該作業状況管理装置は、該複数の端末装置のそれぞれからの該情報を受信する受信手段と、該受信された情報に対して所定の変化が発生したことを検出する検出手段と、該検出された所定の変化に応じて、該所定の変化が発生した時刻を示す情報と該所定の変化を特定する情報とを生成する生成手段と、該所定の変化が発生した該時刻を示す該情報と該所定の変化を特定する該情報とを作業状況として記憶する記憶手段とを有していることを特徴とする作業状況管理装置。
【請求項10】作業の時間的経過を表す情報を記憶する記憶手段と、該記憶手段に記憶された該作業の時間的経過を表す該情報に基づいて、該作業に要した時間のうち、キーワードを付すべき時間帯を特定する時間帯特定手段と、該時間帯特定手段によって特定された該時間帯に対して、少なくとも1つのキーワード候補を特定するキーワード候補特定手段と、該少なくとも1つのキーワード候補の中から1つのキーワード候補を所定のルールに従って選択し、該選択されたキーワード候補を該時間帯に対応するキーワードとして決定するキーワード決定手段とを備えた作業状況管理装置。
【請求項11】作業の時間的経過を表す前記情報は、該作業中に発生した音声情報に含まれる有音部と無音部とを識別する情報であり、時間帯特定手段は、該有音部に対応する該時間帯のみをキーワードを付すべき時間帯として特定する請求項10に記載の作業状況管理装置。
【請求項12】作業の時間的経過を表す前記情報は、該作業に要した時間のうち、資料情報を表示するウインドウが利用者により着目されていると推定される時間帯を示す情報であり、時間帯特定手段は、該ウインドウが該利用者により着目されていると推定される該時間帯のみをキーワードを付すべき時間帯として特定する請求項10に記載の作業状況管理装置。
【請求項13】作業の時間的経過を表す前記情報は、該作業に要した時間のうち、資料情報を表示するウインドウに対して指示情報が発生した時間帯を示す情報であり、時間帯特定手段は、該ウインドウに対して該指示情報が発生した該時間帯のみをキーワードを付すべき時間帯として特定する請求項10に記載の作業状況管理装置。
【請求項14】作業の時間的経過を表す前記情報は、該作業中に発生した音声情報に含まれる有音部と無音部とを識別する情報と、該作業に要した時間のうち、資料情報を表示するウインドウが利用者により着目されていると推定される時間帯を示す情報と、該作業に要した時間のうち、該ウインドウに対して指示情報が発生した時間帯を示す情報のうちの少なくとも1つを含み、時間帯特定手段は、該有音部に対応する該時間帯と該ウインドウが該利用者により着目されていると推定される該時間帯と該ウインドウに対して該指示情報が発生した該時間帯とのうち少なくとも1つに基づいて決定される時間帯のみをキーワードを付すべき時間帯として特定する請求項10に記載の作業状況管理装置。
【請求項15】キーワード候補特定手段は、作業において、編集可能な文字情報を含む資料情報が使用される場合に、該作業に要した時間のうち第1時刻での該資料情報における第1文字情報と該作業に要した時間のうち第2時刻での該資料情報における第2文字情報との間の差分を表す差分情報を記憶する差分情報記憶手段と、該差分情報記憶手段に記憶された該差分情報から少なくとも1つのキーワード候補を抽出する文書キーワード抽出手段とを備えている請求項10に記載の作業状況管理装置。
【請求項16】キーワード候補特定手段は、作業において文字情報を含む資料情報が使用される場合に、該作業中に利用者によって指示された文字情報の位置を示す位置情報を記憶する位置情報記憶手段と、該位置情報記憶手段に記憶された該位置情報に基づいて、該資料情報から少なくとも1つのキーワード候補を抽出する指示キーワード抽出手段とを備えている請求項10に記載の作業状況管理装置。
【請求項17】キーワード候補特定手段は、作業において資料情報が表題を記述するための部分を有するウインドウに表示される場合に、該表題を記憶する表題記憶手段と、該表題記憶手段に記憶された該表題から少なくとも1つのキーワード候補を抽出する表題キーワード抽出手段とを備えている請求項10に記載の作業状況管理装置。
【請求項18】キーワード候補特定手段は、作業において資料情報が個人情報を記述するための部分を有するウインドウに表示される場合に、該個人情報を記憶する個人情報記憶手段と、該個人情報記憶手段に記憶された該個人情報から少なくとも1つのキーワード候補を抽出する個人情報キーワード抽出手段とを備えている請求項10に記載の作業状況管理装置。
【請求項19】キーワード候補特定手段は、作業において生成される音声情報を認識して、該音声情報に対応する文字情報を生成する音声認識手段と、該音声情報に対応する該文字情報を記憶する音声認識情報記憶手段と、音声認識情報記憶手段に記憶された該文字情報から少なくとも1つのキーワード候補を抽出する音声キーワード抽出手段とを備えている請求項10に記載の作業状況管理装置。
【請求項20】キーワード候補特定手段は、利用者によって入力された文字情報を受け取り、該受け取った文字情報をキーワード候補とするキーワード候補入力手段を備えている請求項10に記載の作業状況管理装置。
【請求項21】所定のルールは、キーワードの出現比率に関連する評価値に基づいてキーワードを決定するルールを含む請求項10に記載の作業状況管理装置。
【請求項22】所定のルールは、競合区間に割り当てられた複数のキーワードのうちいずれのキーワードを選択すべきかを規定するルールを含む請求項10に記載の作業状況管理装置。
【請求項23】作業の時間的経過を表す情報を記憶する記憶手段と、利用者からの検索キーワードを入力するための検索キーワード入力手段と、該入力された検索キーワードに基づいて、該記憶手段に記憶された該作業の時間的経過を表す該情報を検索する検索手段と、該入力された検索キーワードと検索結果とを記憶する検索キーワード記憶手段と、該検索結果に基づいて、該検索キーワードが適切か否かを評価する検索キーワード評価手段とを備えた作業状況管理装置。
【請求項24】検索キーワード評価手段は、少なくとも前記検索キーワードが利用者により入力された回数と、前記検索結果が利用者により採用された回数とに基づいて、該検索キーワードを評価する、請求項23に記載の作業状況管理装置。
【請求項25】第1映像情報を複数の第1映像ブロックに分割し、第2映像情報を複数の第2映像ブロックに分割する映像情報分割手段と、ある時間帯に、該複数の第1映像ブロックのうちの1つと該複数の第2映像ブロックのうちの1つとが存在するか否かを判定し、該時間帯に該複数の第1映像ブロックのうちの1つと該複数の第2映像ブロックのうちの1つとが存在すると判定された場合には、所定のルールに従って、該時間帯に存在する映像ブロックのうちのいずれを優先的に選択するかを決定する映像ブロック評価手段とを備えた作業状況管理装置であって、これにより、該第1映像情報と該第2映像情報とを統合して1つの映像情報を生成する、作業状況管理装置。
【請求項26】所定のルールは、前記時間帯に存在する映像ブロックの時間的な先後関係に基づいて、選択すべき映像ブロックを決定するルールを含む請求項25に記載の作業状況管理装置。
【請求項27】所定のルールは、作業状況の変化に基づいて、選択すべき映像ブロックを決定するルールを含む、請求項25に記載の作業状況管理装置。
発明の詳細な説明
【0001】
【産業上の利用分野】本発明は単体の端末もしくは複数の端末間で情報処理を行い、利用者の作業状況にあわせて情報管理する作業状況管理装置に関するものである。
【0002】
【従来の技術】近年、各種情報をリアルタイムで交換しながら、会議や意志決定をはじめとした協同作業を行うことを支援するネットワーク会議システムが提案され構築されている。例えば、渡辺 他「マルチメディア分散会議システム MERMAID」、情報処理学会論文誌、Vol.32、No.9(1991)や中山 他「多者間電子対話システム ASSOCIA」、情報処理学会論文誌、Vol.32、No.9(1991)が挙げられる。
【0003】従来の技術では、個人利用や複数端末間での情報交換のためにウインドウを開き、ファイル単位での会議資料(テキスト、イメージ、図形等からなる文書)の編集や提示等を行う。そのため、会議終了後、議事録としては会議中のメモや会議資料は利用者の手元には残るが、会議の状況といった体系的には取り扱いにくい動的な情報まで含めて会議の議事録として残すことができない(例えば、参加者の一人がカメラで提示された資料を指で指示した場合の指の位置情報の時間経過といった動的な情報が挙げられる)。従って、利用者の記憶を助けるという観点からは従来の手法では十分ではない。
【0004】また、会議の状況を記録するためにVTR等を利用する方法が考えられるが、会議の状況をすべてVTR等で撮影することにより膨大な情報が発生するため、会議終了後、撮影された映像・音声の情報を検索・編集するのは、利用者に大変な労力を強いる。
【0005】更に、従来のCAI(計算機支援による教育システム)システムでは、教材を先生や生徒間で共有し、会話の場を設定することが目的であったため、生徒が授業後、個人的な観点で復習をしたり、先生が授業の状況を反映させた教材作成を行うことは難しかった。
【0006】
【発明が解決しようとする課題】従来の手法では、個人利用や複数端末間での情報交換のためにウインドウを開き、ファイル単位での会議資料(テキスト、イメージ、図形等からなる文書)の編集や提示等を行う。そのため、会議終了後、議事録としては会議中のメモや会議資料が利用者の手元には残るが、会議の状況といった体系的には取り扱いにくい動的な情報まで含めて会議の議事録として残すことができない。また、会議の状況をすべてVTR等で取るにも膨大な情報量になるため、会議終了後、撮影された映像・音声の情報を検索・編集するのは、利用者に大変な労力を強いる。従って、利用者の記憶を助けるという観点からは従来の手法では十分ではないという課題と、必要な情報を必要な量だけ記録できなければならないという課題がある。本発明の目的は、利用者が作り出す様々な情報を作業状況管理装置にて管理を行うとともに、利用者の作業状況にあわせて必要な情報管理することにある。
【0007】
【課題を解決するための手段】本発明の作業状況管理装置は、作業に関連する情報を入力する入力手段と、該入力された情報に対して所定の変化が発生したことを検出する検出手段と、該検出された所定の変化に応じて、該所定の変化が発生した時刻を示す情報と該所定の変化を特定する情報とを生成する生成手段と、該所定の変化が発生した該時刻を示す該情報と該所定の変化を特定する該情報とを作業状況として記憶する記憶手段とを備えており、これにより、上記目的が達成される。
【0008】前記入力手段は、利用者による操作に応じて該操作を示すカメラ操作信号を生成するカメラを有しており、前記検出手段は、該カメラ操作信号を受け取り、該カメラ操作信号に基づいて該カメラの所定の操作が発生したことを検出するカメラ操作検出手段を備えていてもよい。
【0009】前記入力手段は、複数の映像チャネルを有しており、前記検出手段は、ある映像チャネルが他の映像チャネルに切り替わることを検出する映像チャネル変化検出手段を備えていてもよい。
【0010】前記入力手段は、映像情報を入力する映像情報入力手段を有しており、前記検出手段は、該映像情報に基づいて映像シーンの変化を検出する映像シーン変化検出手段を備えていてもよい。
【0011】前記入力手段は、音声情報を入力する音声情報入力手段を有しており、前記検出手段は、該音声情報を有音部と無音部に分割することにより、該音声情報の無音部から有音部への変化を検出する音声情報変化検出手段を備えていてもよい。
【0012】前記検出手段は、ウインドウ情報の変化を検出するウインドウ情報検出手段を備えていてもい。
【0013】前記検出手段は、指示情報の変化を検出する指示情報検出手段を備えていてもよい。
【0014】前記検出手段は、映像情報の変化と音声情報の変化とウインドウ情報の変化と指示情報の変化との間の任意の組み合わせのうち少なくとも1つが発生したことを検出する手段を備えていてもよい。
【0015】本発明の作業状況管理システムは、複数の端末装置と該複数の端末装置にネットワークを介して接続される作業状況管理装置とを備えたシステムであって、該複数の端末装置のそれぞれは、作業に関連する情報を入力する入力手段と該入力された情報を該作業状況管理装置に送信する送信手段とを有しており、該作業状況管理装置は、該複数の端末装置のそれぞれからの該情報を受信する受信手段と、該受信された情報に対して所定の変化が発生したことを検出する検出手段と、該検出された所定の変化に応じて、該所定の変化が発生した時刻を示す情報と該所定の変化を特定する情報とを生成する生成手段と、該所定の変化が発生した該時刻を示す該情報と該所定の変化を特定する該情報とを作業状況として記憶する記憶手段とを有しており、これにより、上記目的が達成される。
【0016】本発明の他の作業状況管理装置は、作業の時間的経過を表す情報を記憶する記憶手段と、該記憶手段に記憶された該作業の時間的経過を表す該情報に基づいて、該作業に要した時間のうち、キーワードを付すべき時間帯を特定する時間帯特定手段と、該時間帯特定手段によって特定された該時間帯に対して、少なくとも1つのキーワード候補を特定するキーワード候補特定手段と、該少なくとも1つのキーワード候補の中から1つのキーワード候補を所定のルールに従って選択し、該選択されたキーワード候補を該時間帯に対応するキーワードとして決定するキーワード決定手段とを備えており、これにより、上記目的が達成される。
【0017】前記作業の時間的経過を表す前記情報は、該作業中に発生した音声情報に含まれる有音部と無音部とを識別する情報であり、前記時間帯特定手段は、該有音部に対応する該時間帯のみをキーワードを付すべき時間帯として特定してもよい。
【0018】前記作業の時間的経過を表す前記情報は、該作業に要した時間のうち、資料情報を表示するウインドウが利用者により着目されていると推定される時間帯を示す情報であり、前記時間帯特定手段は、該ウインドウが該利用者により着目されていると推定される該時間帯のみをキーワードを付すべき時間帯として特定してもよい。
【0019】前記作業の時間的経過を表す前記情報は、該作業に要した時間のうち、資料情報を表示するウインドウに対して指示情報が発生した時間帯を示す情報であり、前記時間帯特定手段は、該ウインドウに対して該指示情報が発生した該時間帯のみをキーワードを付すべき時間帯として特定してもよい。
【0020】前記作業の時間的経過を表す前記情報は、該作業中に発生した音声情報に含まれる有音部と無音部とを識別する情報と、該作業に要した時間のうち、資料情報を表示するウインドウが利用者により着目されていると推定される時間帯を示す情報と、該作業に要した時間のうち、該ウインドウに対して指示情報が発生した時間帯を示す情報のうちの少なくとも1つを含み、前記時間帯特定手段は、該有音部に対応する該時間帯と該ウインドウが該利用者により着目されていると推定される該時間帯と該ウインドウに対して該指示情報が発生した該時間帯とのうち少なくとも1つに基づいて決定される時間帯のみをキーワードを付すべき時間帯として特定してもよい。
【0021】前記キーワード候補特定手段は、前記作業において、編集可能な文字情報を含む資料情報が使用される場合に、該作業に要した時間のうち第1時刻での該資料情報における第1文字情報と該作業に要した時間のうち第2時刻での該資料情報における第2文字情報との間の差分を表す差分情報を記憶する差分情報記憶手段と、該差分情報記憶手段に記憶された該差分情報から少なくとも1つのキーワード候補を抽出する文書キーワード抽出手段とを備えていてもよい。
【0022】前記キーワード候補特定手段は、前記作業において文字情報を含む資料情報が使用される場合に、該作業中に利用者によって指示された文字情報の位置を示す位置情報を記憶する位置情報記憶手段と、該位置情報記憶手段に記憶された該位置情報に基づいて、該資料情報から少なくとも1つのキーワード候補を抽出する指示キーワード抽出手段とを備えていてもよい。
【0023】前記キーワード候補特定手段は、前記作業において資料情報が表題を記述するための部分を有するウインドウに表示される場合に、該表題を記憶する表題記憶手段と、該表題記憶手段に記憶された該表題から少なくとも1つのキーワード候補を抽出する表題キーワード抽出手段とを備えていてもよい。
【0024】前記キーワード候補特定手段は、前記作業において資料情報が個人情報を記述するための部分を有するウインドウに表示される場合に、該個人情報を記憶する個人情報記憶手段と、該個人情報記憶手段に記憶された該個人情報から少なくとも1つのキーワード候補を抽出する個人情報キーワード抽出手段とを備えていてもよい。
【0025】前記キーワード候補特定手段は、前記作業において生成される音声情報を認識して、該音声情報に対応する文字情報を生成する音声認識手段と、該音声情報に対応する該文字情報を記憶する音声認識情報記憶手段と、音声認識情報記憶手段に記憶された該文字情報から少なくとも1つのキーワード候補を抽出する音声キーワード抽出手段とを備えていてもよい。
【0026】前記キーワード候補特定手段は、利用者によって入力された文字情報を受け取り、該受け取った文字情報をキーワード候補とするキーワード候補入力手段を備えていてもよい。
【0027】前記所定のルールは、キーワードの出現比率に関連する評価値に基づいてキーワードを決定するルールを含んでいてもよい。
【0028】前記所定のルールは、競合区間に割り当てられた複数のキーワードのうちいずれのキーワードを選択すべきかを規定するルールを含んでいてもよい。
【0029】本発明の他の作業状況管理装置は、作業の時間的経過を表す情報を記憶する記憶手段と、利用者からの検索キーワードを入力するための検索キーワード入力手段と、該入力された検索キーワードに基づいて、該記憶手段に記憶された該作業の時間的経過を表す該情報を検索する検索手段と、該入力された検索キーワードと検索結果とを記憶する検索キーワード記憶手段と、該検索結果に基づいて、該検索キーワードが適切か否かを評価する検索キーワード評価手段とを備えており、これにより、上記目的が達成される。
【0030】前記検索キーワード評価手段は、少なくとも前記検索キーワードが利用者により入力された回数と、前記検索結果が利用者により採用された回数とに基づいて、該検索キーワードを評価してもよい。
【0031】本発明の他の作業状況管理装置は、第1映像情報を複数の第1映像ブロックに分割し、第2映像情報を複数の第2映像ブロックに分割する映像情報分割手段と、ある時間帯に、該複数の第1映像ブロックのうちの1つと該複数の第2映像ブロックのうちの1つとが存在するか否かを判定し、該時間帯に該複数の第1映像ブロックのうちの1つと該複数の第2映像ブロックのうちの1つとが存在すると判定された場合には、所定のルールに従って、該時間帯に存在する映像ブロックのうちのいずれを優先的に選択するかを決定する映像ブロック評価手段とを備えており、これにより、該第1映像情報と該第2映像情報とを統合して1つの映像情報を生成する。これにより、上記目的を達成できる。
【0032】前記所定のルールは、前記時間帯に存在する映像ブロックの時間的な先後関係に基づいて、選択すべき映像ブロックを決定するルールを含んでいてもよい。
【0033】前記所定のルールは、作業状況の変化に基づいて、選択すべき映像ブロックを決定するルールを含んでいてもよい。
【0034】
【作用】本発明においては、会議参加者が作り出す様々な情報を作業状況管理装置にて管理を行うとともに、利用者が必要な情報(資料、コメント、会議の状況)を効率的に取り出して作業できるよう、会話状況といった体系的には取り扱いにくい動的な情報までも取り扱うことが可能である。
【0035】
【実施例】以下、図面を参照しながら本発明を実施例について説明する。
【0036】図1の(a)は、本発明の実施例の作業状況管理装置10の構成を示す。作業状況管理装置10は、作業に関連する情報を入力する入力部11と、利用者による作業状況を管理する作業状況管理部13と、作業状況を記憶する作業状況記憶部14と、資料情報を記憶する資料情報記憶部15と、入力部11と作業状況管理部13とを制御する端末制御部12を備えている。典型的には、「作業」とは、1人または複数人の利用者が資料を提示してその資料を説明することをいう。特に、本明細書では、複数人の利用者が共通の資料をリアルタイムに検討し、意見を交換しあう電子会議を典型的な作業として想定している。しかし、本明細書にいう作業は、そのような作業に限定されない。本明細書では、「作業状況」とは、その作業がどのような経過で行われたかを示す時系列な情報の集合をいう。また、「資料情報」とは、その作業において利用者により提示される資料に関連する情報をいう。
【0037】図1の(b)は、利用者が資料を提示してその資料を説明する場合の、典型的な作業風景を示したものである。利用者は、作業状況管理装置の前に座り、資料を説明する。その資料を撮影するためのカメラ18(以下、このカメラを書画カメラという)と、その利用者を撮影するためのカメラ19(以下、このカメラを対人カメラという)と、その利用者が発する音声を収録ためのマイクロフォン20が作業状況管理装置に接続される。書画カメラ18、対人カメラ19によって撮影された映像情報とマイクロフォン20によって収録された音声情報とは、作業状況管理装置の入力部11を介して、端末制御部12に供給される。このようにして、利用者がどのような表情で説明していたか、どのような資料をどのような順番で提示していたかといった作業の経過を示す情報が作業状況管理装置に入力されることとなる。また、入力部11として、キーボード、マウス、デジタイザ、タッチパネル、ライトペンを使用してもよい。
【0038】上述したように、端末制御部12には、種々の入力装置が入力部11として接続され得る。端末制御部12には、端末制御部12に接続されている入力装置を特定するための識別子が予め設定される。端末制御部12は、複数の入力装置から情報が入力された場合に、予め設定された識別子に基づいて、どの入力装置からどの情報が入力されたかを識別する。例えば、対人カメラ19によって撮影された映像情報が端末制御部12に供給された場合には、端末制御部12は、対人カメラ19を特定する識別子とその映像情報との対を作業状況管理部13に出力する。
【0039】作業状況管理部13は、入力される情報に対して所定の変化が発生したことを検出する。複数の情報が作業状況管理部13に入力される場合には、作業状況管理部13は、その複数の情報のそれぞれに対して所定の変化が発生したことを検出する。その所定の変化は、その複数の情報に共通する変化であってもよいし、複数の情報に応じて互いに異なる変化であってもよい。作業状況管理部13は、入力された情報に対して所定の変化が発生したことを検出すると、その所定の変化が発生した時刻を示す情報とその所定の変化を特定する情報とを作業状況として作業状況記憶部14に記憶する。このような情報を作業状況記憶部14に記憶しておくことにより、特定の情報に対する所定の変化を検索キーとして利用して、その作業における所望の箇所を検索することが可能となる。また、入力される音声情報や映像情報そのものも作業状況として作業状況記憶部14に記憶される。
【0040】資料情報記憶部15は、資料情報を記憶する。資料情報記憶部15としては、磁気ディスク、VTR、光ディスク等の装置が使用される。
【0041】作業状況管理装置10は、作業状況や資料情報を出力する出力部16と、他の装置とネットワークを介して接続するための伝送部17とをさらに備えていてもよい。出力部16としては、ディスプレイ、スピーカー、プリンタ等の装置が使用される。伝送部12としては、ローカルエリアネットワーク(LAN)、ケーブルテレビ(CATV)、モデム、デジタルPBX等の装置が使用される。
【0042】図2は、複数の端末装置20にネットワークを介して接続された作業状況管理装置10を示す。複数の端末装置20のそれぞれは、作業に関連する情報を入力する入力部21と、作業状況管理装置とネットワークを介して接続するための伝送部22と、作業状況や資料情報を出力する出力部24と、入力部21と伝送部22と出力部24とを制御する端末制御部23とを備えている。端末装置20の入力部21から入力された情報は、伝送部22、伝送部17を介して作業状況管理装置10の端末制御部12に供給される。端末制御部12には、ネットワークを介して端末制御部12に接続されている入力装置と端末制御部12に直接接続されている入力装置とを特定するための識別子が予め設定される。端末制御部12は、複数の入力装置から情報が入力された場合に、予め設定された識別子に基づいて、どの入力装置からどの情報が入力されたかを識別する。このようにして、複数の利用者によって使用される複数の端末装置20のそれぞれから作業の時間的経過を示す情報が作業状況管理装置10に収集される。端末装置20の入力部21としては、キーボード、マウス、デジタイザ、タッチパネル、ライトペン、カメラ、マイク等の装置が使用される。端末装置20の出力部24としては、ディスプレイ、スピーカー、プリンタ等の装置が使用される。端末装置20の伝送部22としては、ローカルエリネットワーク(LAN)、ケーブルテレビ(CATV)、モデム、デジタルPBX等の装置が使用される。
【0043】図3は、作業状況管理部13の構成例を示す。作業状況管理部13は、映像情報の変化を管理する映像情報管理部31と、音声情報の変化を管理する音声情報管理部32と、映像情報管理部31と音声情報管理部32とを制御する作業状況制御部33とを含む。本明細書では、「映像情報」とは、作業の時間的経過を示す情報のうち、映像に関連するものをすべて含む。例えば、カメラによって撮影された複数のフレームからなる映像が映像情報に含まれることはもちろんのこと、カメラ操作によって生じる制御信号も映像情報に含まれる。本明細書では、「音声情報」とは、作業の時間的経過を示す情報のうち、音声に関連するものをすべて含む。例えば、マイクロフォンによって生成される音声信号は音声情報に含まれる。
【0044】入力部11から入力された映像情報は、作業状況制御部33を介して、映像情報管理部31に入力される。映像情報管理部31は、入力された映像情報に対して所定の変化が発生したことを検出し、その所定の変化が発生した時刻を示す情報とその所定の変化を特定する情報とを生成する。
【0045】入力部11から入力された音声情報は、作業状況制御部33を介して、音声情報管理部32に入力される。映像情報管理部31は、入力された音声情報に対して所定の変化が発生したことを検出し、その所定の変化が発生した時刻を示す情報とその所定の変化を特定する情報とを生成する。
【0046】図3に示す作業状況管理部13は、作業状況として管理すべき対象を映像情報と音声情報とに限定している。その結果、作業状況管理部13は、ウインドウを表示する表示装置やウインドウに対して指示する入力装置を要しないので、小型化が容易であるという利点がある。通常のVTR装置の機能を拡張することにより、通常のVTR装置とほぼ同等の大きさを有する作業状況管理装置を実現することができるだろう。また、映像情報の利用が可能となるため、会議参加者の表情や計算機には取り込みにくい立体形状の資料の記録などが可能となる。従って、特に、相手の表情を分析する必要がある駆け引きの強い会議や、計算機には取り込みにくい立体形状の組立過程や操作過程を記憶する場合には、作業状況管理部13は、映像情報管理部31を有していることが好ましい。
【0047】図4は、作業状況管理部13の他の構成例を示す。作業状況管理部13は、音声情報の変化を管理する音声情報管理部32と、ウインドウ情報の変化を管理をするウインドウ情報管理部43と、音声情報管理部32とウインドウ情報管理部43とを制御する作業状況制御部33とを含む。本明細書では、「ウインドウ情報」とは、ウインドウが有する資源を示す情報をいう。例えば、ウインドウの数、ウインドウのサイズ、ウインドウの位置は、ウインドウ情報に含まれる。利用者の操作によりウインドウ情報が変化すると、そのウインドウ情報の変化を示す制御信号が入力部11を介して、ウインドウ情報管理部43に入力される。利用者の操作によりウインドウ情報が変化したことは、端末制御部12によって検出される。ウインドウ情報の検出を担当する端末制御部12の部分は、通常、ウインドウ管理部(不図示)と呼ばれる。ウインドウ情報管理部43は、入力された制御信号を受け取り、その制御信号を受け取った時刻を示す情報とその制御信号を特定する情報とを生成する。ウインドウ情報管理部43によって生成された情報は作業状況制御部33に送られ、作業状況制御部33によって作業状況記憶部14に記憶される。このようにして、利用者が作業している間のウインドウ情報の変化を作業状況記憶部14に記憶しておくことにより、利用者が作業をしている間の利用者のウインドウ操作をキーとして利用して、音声情報や映像情報を検索することが可能となる。その結果、利用者は、作業の経過において要所となる箇所を容易に振り返ることが可能となる。
【0048】図4に示す作業状況管理部13は、大量の記憶容量を要する映像情報を作業状況記録部14に記憶しない。従って、作業状況記録部14に記憶される情報量を大幅に削減できるという利点がある。また、図4に示す作業状況管理部13の構成は、会議室などで同一場所に利用者が集まる場合に会議の状況を記録する場合や、音声情報を主として取り扱う通常の電話機の機能を拡張することにより作業状況管理装置を実現する場合に、適している。
【0049】図5は、作業状況管理部13の他の構成例を示す。この構成は、図4に示す構成に、映像情報の変化を管理する映像情報管理部31を追加した構成である。このような構成とすることにより、実空間における映像情報・音声情報と計算機内の資源であるウインドウ情報とを統合的に管理することができる。
【0050】図6は、作業状況管理部13の他の構成例を示す。作業状況管理部13は、音声情報の変化を管理する音声情報管理部32と、指示情報の変化を管理する指示情報管理部53と、音声情報管理部32と指示情報管理部53とを制御する作業状況制御部33とを含む。本明細書では、「指示情報」とは、資料情報に対する指示を示す情報をいう。例えば、マウスポインタの位置やタッチパネルによって検出される座標位置は、指示情報に含まれる。
【0051】入力部11から入力された指示情報は、作業状況制御部33を介して、指示情報管理部53に入力される。指示情報管理部53は、入力された指示情報に対して所定の変化が発生したことを検出し、その所定の変化が発生した時刻を示す情報とその所定の変化を特定する情報とを生成する。
【0052】図6に示す作業状況管理部13によれば、指示情報の変化と音声情報の変化が同時に発生する箇所を検出できるため、利用者が説明を行った資料の位置に基づいて、会議状況の検索を行うことが容易となる。その理由は、人がある事柄(資料)を説明しようとする場合、音声を発生するのとほぼ同時に資料を指示することが多いからである。図6に示す作業状況管理部13も、図4に示す作業状況管理部13と同様にして、大量の記憶容量を要する映像情報を作業状況記録部14に記憶しない。従って、作業状況記録部14に記憶される情報量を大幅に削減できるという利点がある。また、図6に示す作業状況管理部13の構成も、図4に示す作業状況管理部13の構成と同様にして、会議室などで同一場所に利用者が集まる場合に会議の状況を記録する場合や、音声情報を主として取り扱う通常の電話機の機能を拡張することにより作業状況管理装置を実現する場合に、適している。さらに、図6に示す作業状況管理部13の構成は、図4に示す作業状況管理部13の構成に比較して、ウインドウに対する操作が少ない作業に適している。例えば、資料への書き込みがそれほど頻繁に起こらない報告型の会議などである。
【0053】図7は、作業状況管理部13の他の構成例を示す。この構成は、図6に示す構成に、映像情報の変化を管理する映像情報管理部31を追加した構成である。このような構成とすることにより、実空間における映像情報・音声情報と計算機内の資源である指示情報とを統合的に管理することができる。
【0054】図8は、作業状況管理部13の他の構成例を示す。この構成は、図3〜図7に示す構成を統合したものである。このような構成とすることにより、上述した各構成の長所を引き出すことができるという利点がある。
【0055】図9は、映像情報管理部31の構成を示す。映像情報管理部31は、カメラ操作を検出するカメラ操作検出部91と、映像シーンの変化を検出する映像シーン変化検出部92と、映像チャネルの変化を検出する映像チャネル変化検出部93と、映像情報の変化に応じてその変化が発生した時刻を示す情報とその変化を特定する情報とを生成する映像情報生成部94と、映像情報管理制御部95とを含む。
【0056】カメラ操作検出部91は、所定のカメラ操作を検出する。カメラ操作を検出する理由は、カメラ操作が発生した前後に、利用者にとって着目すべき情報が発生したとみなせる場合が多いからである。端末制御部12に接続されているカメラが操作されると、そのカメラ操作に応じて、カメラ操作信号が端末制御部12に入力される。カメラ操作は、被写体に対する映像の倍率を変更するズーム操作と、被写体に焦点をあわせるフォーカス操作と、カメラの位置を固定した状態で水平方向にカメラの向きを変更するパン操作と、カメラの位置を固定した状態で上下方向にカメラの向きを変更するチルト操作とを含む。カメラ操作信号は、ズーム操作を示すズーム操作信号と、フォーカス操作を示すフォーカス操作信号とパン操作を示すパン操作信号とチルト操作を示すチルト操作信号とを含む。端末制御部12は、カメラ操作信号がどのカメラから入力されたかを識別し、カメラの識別子とカメラ操作信号とを作業状況管理部13に送る。そのカメラの識別子とそのカメラ操作信号とは、作業状況制御部33と映像情報管理制御部95とを介して、カメラ操作検出部91に入力される。カメラ操作検出部91は、入力されたカメラ操作信号に所定の変化が発生したか否かを判定する。例えば、カメラ操作信号が操作量に比例したアナログ値で表される場合には、カメラ操作信号が所定のレベルを越えた時、所定の変化が発生したと判定する。その所定のレベルは0であってもよい。また、カメラ操作信号が0または1のデジタル値で表される場合には、カメラ操作信号が0から1に変化した時、所定の変化が発生したと判定する。ここで、デジタル値0はカメラ操作がなされていない状態を示し、デジタル値1はカメラ操作がなされている状態を示す。入力されたカメラ操作信号に所定の変化が発生したと判定された場合には、カメラ操作検出部91は、その所定の変化を示す検出信号を映像情報生成部94に送る。映像情報生成部94は、カメラ操作検出部91からの検出信号に応じて、そのカメラ操作が発生した時刻を示す情報とそのカメラ操作を特定する情報とを生成する。その所定の変化が発生した時刻を示す情報は、年月日時分秒の少なくとも1つを示す文字列である。「12時15分10秒」、「5/3 18:03」は、その文字列の一例である。あるいは、その所定の変化が発生した時刻を示す情報は、文字列の代わりに、バイナリ形式のデータであってもよい。このような時刻を表す情報は、現在時刻を管理するタイマー部(不図示)に現在時刻を問い合わせることにより生成される。
【0057】次に、映像シーン変化検出部92について説明する。端末制御部12に利用者の顔を撮影するための対人カメラと資料情報を撮影するための書画カメラとが接続されていると仮定する。映像シーン変化検出部92の目的は、対人カメラの前に着席している利用者の動きを検知すること、および書画カメラによって撮影される資料情報の動きまたは資料情報を指示する利用者の手などの動きを検出することにある。対人カメラおよび書画カメラによって撮影された映像は、作業状況制御部33および映像情報管理制御部95を介して、映像シーン変化検出部92に入力される。映像シーン変化検出部92は、入力された映像のフレーム間の差分を算出し、その差分が所定の値より大きいか否かを判定する。その差分が所定の値より大きいと判定された場合に、映像シーン変化検出部92は、映像シーンの変化が発生したとみなして、その変化を示す検出信号を映像情報生成部94に送る。映像情報生成部94は、映像シーン変化検出部92からの検出信号に応じて、映像シーンの変化が発生した時刻を示す情報と映像シーンの変化を特定する情報とを生成する。
【0058】資料情報に対する利用者の手の動きを検知するセンサーが設けられている場合には、映像シーン変化検出部92は、映像のフレーム間の差分に基づいて映像シーンの変化を検出する代わりに、そのセンサーからの出力信号に応じて映像シーンの変化を検出してもよい。例えば、そのセンサーは、利用者の手が資料情報の少なくとも一部を遮ったことを検知する。同様に、対人カメラの前に着席している利用者の動きを検知するセンサーが設けられている場合には、映像シーン変化検出部92は、映像のフレーム間の差分に基づいて映像シーンの変化を検出する代わりに、そのセンサーからの出力信号に応じて映像シーンの変化を検出してもよい。例えば、そのセンサーは、利用者が離席したことを検知する。そのセンサーは、所定の動きを検知したときのみ1の値を有する出力信号を生成する。そのようなセンサーとしては、赤外線センサーや超音波センサーが使用され得る。映像シーン変化検出部92は、そのセンサーから出力信号を受け取り、その出力信号の値が1であるか否かを判定する。その出力信号の値が1であると判定された場合には、映像シーン変化検出部92は、映像シーンの変化が発生したとみなして、その変化を示す検出信号を映像情報生成部94に送る。映像情報生成部94は、映像シーン変化検出部92からの検出信号に応じて、映像シーンの変化が発生した時刻を示す情報と映像シーンの変化を特定する情報とを生成する。
【0059】次に、映像チャネル変化検出部93について説明する。端末制御部12には4つのカメラ(第1カメラ〜第4カメラ)が接続されていると仮定する。それらのカメラは、ネットワークを介して端末制御部12に接続されているか、直接的に端末制御部12に接続されているかを問わない。端末制御部12は、カメラからの入力をウインドウに割り当て、カメラからの入力とウインドウとの間の割り当て関係を管理する機能を有する。例えば、端末制御部12は、第1カメラからの入力を第1ウインドウに割り当て、第2カメラからの入力を第2ウインドウに割り当てる。本明細書では、「映像チャネルの変化」とは、カメラからの入力とウインドウとの間の割り当て関係を変更することをいう。例えば、上記の割り当て関係を変更して、第3カメラからの入力を第1ウインドウに割り当て、第4カメラからの入力を第2ウインドウに割り当てる場合、映像チャネルの変化が発生したという。端末制御部12は、利用者により入力された所定のコマンドに従って、または、プログラムからの所定の制御命令に従って、カメラからの入力とウインドウとの間の割り当て関係を変更する。例えば、会議の司会者が発言を求める会議参加者の顔を常に同一のウインドウに表示することを望む場合には、会議の司会者は発言者が変更する度に映像チャネルを切り替えるコマンドを入力するかもしれない。あるいは、参加者の顔を均等に同一ウインドウに表示するために、一定の時間間隔ごとにプログラムが映像チャネルを自動的に切り替えるかもしれない。映像チャネル変化検出部93は、所定のコマンドまたはプログラムからの所定の制御命令を検出した場合に、映像チャネルの変化が発生したとみなして、その変化を示す検出信号を映像情報生成部94に送る。映像情報生成部94は、映像チャネル変化検出部93からの検出信号に応じて、その映像チャネルの変化が発生した時刻を示す情報とその映像チャネルの変化を特定する情報とを生成する。映像シーンの変化を検出することは、映像チャネルの利用目的(例えば、会議の参加者の映像を流す映像チャネルなど)が明確である場合に特に有効である。さらに、映像チャネル変化検出部93によれば、撮影時にカメラ操作に関する情報が記憶されていない場合でも、撮影された映像情報のみに基づいて、映像シーンの変化を検出することが可能である。
【0060】上述したように、カメラ操作検出部91と映像シーン変化検出部92と映像チャネル変化検出部93の機能は、互いに独立である。従って、映像情報管理部31をカメラ操作検出部91と映像シーン変化検出部92と映像チャネル変化検出部93のうちの1つ、または、任意の2つを含むように構成することも可能である。
【0061】図10は、音声情報管理部32の構成を示す。音声情報管理部32は、マイクロフォンから入力される音声信号のパワーに基づいて、入力される音声信号を有音部と無音部とに分割する音声情報分割部101と、音声信号の無音部から有音部への変化に応じて、その変化が発生した時刻を示す情報とその変化を特定する情報とを生成する音声情報生成部102と、音声情報分割部101と音声情報生成部102とを制御する音声情報管理制御部103とを含む。
【0062】音声情報分割部101は、入力される音声信号のパワーを測定し、その測定結果に基づいて入力される音声信号を有音部と無音部とに分割する。音声信号を有音部と無音部に分割する具体的な方法については図34を参照して後述する。音声情報分割部101は、この音声分割に基づいて、音声信号の無音部から有音部への変化と有音部が継続する音声ブロック数とを検出する。音声情報生成部102は、音声情報分割部101からの検出信号に応じて、音声信号が無音部から有音部に変化した時刻を示す情報と有音部が継続する音声ブロック数を示す情報とを生成する。音声信号が無音部から有音部に変化した時刻を示す情報と有音部が継続する音声ブロック数を示す情報とは、作業状況記憶部14に記憶される。このように、音声信号が無音部から有音部に変化した時刻と有音部が継続する音声ブロック数とを作業状況記憶部14に記憶しておくことにより、音声信号の有音部に対応する時間帯に利用者により記録もしくは利用された映像情報のみを再生することが可能となる。その結果、利用者は作業の経過において要所となる箇所を容易に振り返ることが可能となる。
【0063】図11は、ウインドウ情報管理部43の構成を説明する図である。ウインドウ情報管理部43は、ウインドウの生成・破壊を検出するウインドウ生成・破壊検出部111と、ウインドウサイズの変化を検出するウインドウサイズ変化検出部112と、ウインドウの表示位置の変化を検出するウインドウ表示位置変化検出部113と、ウインドウに対するフォーカス(利用者間で編集(話題)の対象となるウインドウの切り替え作業)の変化を検出するウインドウフォーカス変化検出部114と、ウインドウで表示すべき情報の表示領域の変化を検出するウインドウ表示領域変化検出部115と、複数のウインドウ間の重なり関係の変化を検出するウインドウ間の表示変化検出部116と、ウインドウ情報の変化に応じて、その変化が発生した時刻を示す情報とその変化を特定する情報とを生成するウインドウ情報生成部117と、ウインドウ情報管理制御部118とを含む。
【0064】ウインドウ生成・破壊検出部111は、ウインドウの生成またはウインドウの破壊を検出して、検出信号をウインドウ情報生成部117に送る。その他の検出部112〜116も、同様にして、所定の変化を検出して、検出信号をウインドウ情報生成部117に送る。ウインドウ情報生成部117は、検出信号を受け取り、その検出信号に応じてその変化が発生した時刻を示す情報とその変化を特定する情報とを生成する。
【0065】図12は、指示情報管理部53の構成を示す。指示情報管理部53は、指示情報の変化を検出する指示情報検出部121と、指示情報の変化に応じて、その変化が発生した時刻を示す情報とその変化を特定する情報とを生成する指示情報生成部122と、指示情報管理制御部123とを含む。
【0066】マウスポインタによる指示を例にとり、指示情報管理部53の動作を説明する。利用者によってマウスのボタンが押下されると、マウスのボタン押下を示す信号とマウスポインタの座標位置を示す信号が指示情報検出部121に入力される。指示情報検出部121は、マウスポインタの座標位置の所定の変化を検出し、その所定の変化を示す検出信号を生成する。例えば、その所定の変化は、マウスポインタがウインドウ上のある位置から他の位置に移動することである。あるいは、その所定の変化は、マウスポインタがウインドウ上のある領域内からその領域外へ移動することであってもよい。あるいは、その所定の変化は、マウスのボタンがダブルクリックされたことであってもよいし、マウスがドラッギングされていることであってもよい。指示情報生成部122は、指示情報検出部121からの検出信号に応じて、その変化が発生した時刻を示す情報とその変化を特定する情報とを生成する。
【0067】図13は、音声情報生成部102によって生成され、作業状況制御部33によって作業状況記憶部14に記憶される情報の例を示す。この例では、音声情報の変化が発生した時刻を示す情報として、有音部の開始時刻が記憶されている。また、音声情報の変化を特定する情報として、音声ブロックの識別子、音声を発した利用者、有音部の音声ブロック長が記憶されている。音声を発した利用者は、入力装置の識別子と利用者との対応関係に基づいて特定される。この対応関係は予め設定される。例えば、図13の第1行は、「山口さん」の端末装置に接続されているマイクロフォンから入力された音声情報において、「12時15分10秒」から「15ブロック長(秒)」だけ有音部が続いたという作業状況を示す。
【0068】図14は、映像情報生成部94によって生成され、作業状況制御部33によって作業状況記憶部14に記憶される情報の例を示す。この例では、映像情報の変化が発生した時刻を示す情報として、事象の発生時刻が記憶されている。また、映像情報の変化を特定する情報として、発生事象、事象発生者、発生位置が記憶されている。本明細書では、「事象」とは、所定の変化と同義であると定義する。発生事象は、映像シーンの変化を含む。事象発生者および発生位置は、入力装置の識別子と利用者と入力装置の用途との対応関係に基づいて特定される。この対応関係は予め設定される。例えば、図14の第1行は、「山口さん」の端末装置に接続されている「書画カメラ」から入力される映像情報において、「5/318:03」に「映像シーンの変化」という事象が発生したという作業状況を示す。
【0069】なお、映像情報の変化を検出するための方法としては、資料を提示するための書画カメラに手の動きを検出するための赤外線センサーを付加する方法や、利用者の表情を撮影するための対人カメラに利用者の在席状況を調べるための超音波センサーを付加する方法がある。これらの方法により、映像情報の変化を検出することができる。このように、各種センサーを目的に合わせて利用することにより、利用者の動き情報が得られる。また、カメラで得られる映像情報のフレーム間の差分情報を利用することにより、動き情報を得ることも可能である。詳細については、以下の図27を参照して後述する。
【0070】図15は、映像情報生成部94によって生成され、作業状況制御部33によって作業状況記憶部14に記憶される情報の他の例を示す。この例では、発生事象は、図14で説明した映像シーンの変化に加えて、カメラ操作の変化および映像チャネルの変化をも含む。例えば、図15の第1行は、「山口さん」の端末装置に接続されている「書画カメラ」から入力される映像情報において、「5/318:03」に「ズーム拡大」という事象が発生したという作業状況を示す。
【0071】図16は、ウインドウ情報生成部117および指示情報生成部122によって生成され、作業状況制御部33によって作業状況記憶部14に記憶される情報の例を示す。この例では、ウインドウ情報または指示情報の変化が発生した時刻を示す情報として、事象の発生時刻が記憶されている。また、ウインドウ情報または指示情報の変化を特定する情報として、発生事象、事象発生者、発生位置が記憶されている。事象発生者および発生位置は、入力装置の識別子と利用者と入力装置の用途との対応関係に基づいて特定される。この対応関係は予め設定される。例えば、図15の第1行は、「山口さん」の端末装置のウインドウに表示されている「資料番号1番」の資料の「第1章」において「5/3 18:03」に「マウスポインタによる指示」という事象が発生したという作業状況を示す。ウインドウに対する操作は、論理的なページ、章、節を基本単位としてもよい。更に、ウインドウが個人的なメモを記述するための個人メモ記述部を有している場合には、個人メモ記述部の内容の変化に着目してもよい。このように、作業状況を作業状況記憶部14に記憶しておくことにより、利用者が作業中の記憶をもとに、作業中に撮影した映像情報や音声情報を検索することが可能となる。
【0072】図17〜図20を参照して、ネットワークで相互接続された複数の端末装置を利用して、複数の利用者で電子会議を行う場合に、作業状況管理部13により管理されることが好ましい所定の変化を例示する。
【0073】図17を参照して、ウインドウ情報の変化を検出することにより、利用者が着目しているウインドウを決定する方法を説明する。以下、利用者が着目していると作業状況管理部13により推定されるウインドウを着目ウインドウという。ウインドウ情報の変化としてウインドウサイズの変更を例にとり、その方法を説明する。ウインドウは、ウインドウサイズを変更するためのウインドウサイズ変更部を有しているものと仮定する。公知のウインドウシステムでは、ウインドウサイズ変更部はウインドウの周辺部分に設けられていることが多い。通常、利用者は、ウインドウサイズ変更部をマウスで指示したまま、そのマウスをドラッギングすることにより、そのウインドウのサイズを変更する。作業状況管理部13は、ウインドウサイズの変化を検出し、サイズが変更されたウインドウを着目ウインドウであると決定する。作業状況管理部13は、どのウインドウが着目ウインドウであるかを示す情報を時系列に作業状況記憶部14に記憶する。なお、複数のウインドウに対してウインドウサイズの変更が行われ得る場合には、作業状況管理部13は、最も最近にサイズが変更されたウインドウを着目ウインドウである決定してもよい。あるいは、作業状況管理部13は、所定のサイズより大きいサイズを有するウインドウを着目ウインドウであると決定してもよい。また、ウインドウが着目されている時間間隔が所定の時間間隔より短い場合に、利用者が資料を検索していると判断して、そのウインドウは着目されていないと決定してもよい。そのようなウインドウは、利用者の主たる話題の対象ではないと推定されるからである。同様にして、ウインドウサイズの変更以外のウインドウ情報の変化(例えば、ウインドウフォーカスの変化やウインドウ間の表示変化)を利用して、着目ウインドウを決定することも可能である。
【0074】図18を参照して、ウインドウの所有者情報を利用して利用者が着目しているウインドウを決定する方法を説明する。ディスプレイに表示される編集領域は、図18に示されるように、複数の利用者により編集可能な共同編集領域181と1人の利用者によりのみ編集可能な個人編集領域182とを含み、共同編集領域181の位置と個人編集領域182の位置とは予め設定されていると仮定する。作業状況管理部13は、利用者の操作によりウインドウの位置が個人情報編集領域182から共同情報編集領域181へと移動したことを検出し、その移動したウインドウを着目ウインドウであると決定する。作業状況管理部13は、どのウインドウが着目ウインドウであるかを示す情報とともに、着目ウインドウが共同編集領域181および個人編集領域182のうちいずれの領域に位置するかを示す情報を時系列に作業状況記憶部14に記憶する。
【0075】図19を参照して、ウインドウ表示領域の変化を検出することにより、利用者の着目している情報を決定する方法を説明する。ウインドウは、表示内容をスクロールするためのウインドウ表示領域変更部191を有するものと仮定する。公知のウインドウシステムにおいては、ウインドウ表示領域変更部191は、スクロール・バー形式のユーザインタフェースを有することが多い。しかし、ウインドウ表示領域変更部191は、押しボタン形式などの他のユーザインタフェースを有していてもよい。利用者がウインドウ表示領域変更部191を操作すると、ウインドウの表示内容がスクロールされる。作業状況管理部13は、ウインドウ表示領域が変化したことを検出する。作業状況管理部13は、ウインドウ表示領域が変化した後、所定のレベル以上の音声信号が所定の時間以上(例えば、1秒間以上)継続するか否かを判定する。このような判定が有効な理由は、人は資料を他人に説明する場合に、資料の特定の位置を指示して説明の対象をあきらかにした後、音声(言葉)を用いて他人に自分の意図を伝えようとすることが多いからである。ウインドウ表示領域が変化した後、所定のレベル以上の音声信号が所定の時間以上継続したと判定された場合には、作業状況管理部13は、利用者が着目している資料情報の時間的、位置的情報(例えば、文書名や項目名等)を作業状況記憶部14に記憶する。また、作業状況管理部13は、ウインドウ表示領域が変化した後、資料情報に対する指示が発生したことを検出し、その指示の時間的、位置的情報を利用者の着目地点を示す情報として作業状況記憶部14に記憶してもよい。更に、上述した2つの検出方法を組み合わせて、作業状況管理部13が利用者が発する音声を所定の時間以上検出し、且つ、資料情報に対する指示が発生したことを検出した場合に、利用者が着目している資料情報の時間的、位置的情報を作業状況記憶部14に記憶してもよい。
【0076】図20および図21を参照して、映像情報に対する利用者の着目地点を検出する方法を説明する。図21に示すように、端末装置には資料情報を撮影するための書画カメラが接続されていると仮定する。作業状況管理部13は、利用者によって所定のカメラ操作がなされた後に、利用者により音声情報が生成されたことを検出する。その所定のカメラ操作とは、例えば、映像ソースが複数存在する場合の映像チャンネルの切り替え、カメラのズーム操作、VTR機器などの記録装置の操作などである。このような検出が有効である理由は、所定のカメラ操作をした後に、利用者が何かを意図的に説明しようとして音声を発することが多いからである。作業状況管理部13は、そのようなタイミングでの音声情報の発生は利用者の着目地点を示すと判断して、利用者の着目地点を示す時間的、位置的情報(例えば、映像情報のどの位置を、いつ指示したかを示す情報)を作業状況記憶部14に記憶する。
【0077】図20は、電子会議中に、ある利用者が書画カメラを利用して「回路基盤」を図示した資料を映し出し、他の参加者が「回路基盤」の映像に自分が手で指示している映像をオーバーレイ(重ね合わせ)させているところを示す。ここで、音声情報の会話状態(例えば、誰が、いつ、有音部とみなせる情報を発したか)を利用者毎に記憶しておくことにより、誰が、いつ、着目すべき発言を行ったかを容易に検索することができる。作業状況管理部13は、利用者によってカメラ操作がなされた後に、資料情報に対する指示が発生したことを検出する。作業状況管理部13は、そのようなタイミングでの資料情報に対する指示は利用者の着目地点を示すと判断して、その指示の時間的、位置的情報を作業状況記憶部14に記憶する。資料情報に対する指示を検出する方法としては、例えば、マウスポインタによる指示を検出する方法や、図27に示すように、資料情報を手などで指示したことを書画カメラに設けられた赤外線センサーなどにより検出する方法がある。なお、書画カメラによって撮影された映像情報を利用して資料情報に対する指示を検出する方法としては、映像情報におけるフレーム間の差分を利用してもよい。あるいは、作業状況管理部13は、利用者によってカメラ操作がなされた後に、利用者が発する音声情報を検出し、且つ、資料情報に対する指示が発生したことを検出した場合に、その指示の時間的、位置的情報を利用者の着目地点を示す情報として作業状況記憶部14に記憶してもよい。このような検出が有効な理由は、人は資料を他人に説明する場合に、資料の特定の位置を指示して説明の対象をあきらかにした後、音声(言葉)を用いて他人に自分の意図を伝えようとすることが多いからである。特に、図20に示したように、映像を見ながら複数の利用者の間でその映像について議論をする場合には、音声の発生時間(音声の有音部となる区間)や映像に対する指示を利用者毎に記憶することが有効である。その理由は、利用者が映像に着目したと推定される時点が利用者毎に分かるため資料情報の検索・編集が容易になるからである。さらに、利用者が着目していると推定される時点の映像情報や音声情報のみを記録もしくは出力することにより、利用者に提示する情報量の低減や記憶容量の低減を図ることができる。
【0078】次に、作業状況記憶部14に記憶された作業状況を利用して、映像情報もしくは音声情報にキーワードを付加するキーワード管理部220を有する作業状況管理装置を説明する。本明細書では、「映像情報もしくは音声情報にキーワードを付加する」とは、時間帯tに対してその時間帯tに対応するキーワードを決定することをいう。例えば、キーワード管理部220は、時間帯t1に対してキーワード「A」、時間帯t2に対してキーワード「B」、時間帯t3に対してキーワード「C」を割り当てる。映像情報もしくは音声情報は時刻tの関数によって表されるので、キーワードを検索キーとして利用して、映像情報もしくは音声情報の所望の箇所を検索することが可能になる。
【0079】図22は、キーワード管理部220の構成を示す。キーワード管理部220は、作業状況記憶部14から作業の時間的経過を示す情報を入力し、キーワード記憶部224に時間帯tとその時間帯tに対応するキーワードK(t)の組(t,K(t))を出力する。キーワード管理部220は、作業状況記憶部14から作業の時間的経過を示す情報を読み出し、その情報に基づいて、作業に要した時間のうち、キーワードを付すべき時間帯を特定する時間帯特定部221と、時間帯特定部221によって特定された時間帯に対して、少なくとも1つのキーワード候補を特定するキーワード候補特定部222と、キーワード候補の中から1つのキーワード候補を所定のルールに従って選択し、選択されたキーワード候補をその時間帯に対応するキーワードとして決定するキーワード決定部223とを有している。時間帯とその時間帯に対応するキーワードとは、キーワード記憶部224に記憶される。
【0080】上述したように、キーワード管理部220によって映像情報もしくは音声情報にキーワードを付加するためには、作業の時間的経過を示す情報が作業状況記憶部14に予め記憶されている必要がある。作業の時間的経過を示す情報は、作業状況管理部13によって生成され、作業状況記憶部14に記憶される。以下、どのような情報を作業状況記憶部14に記憶しておくべきかを説明する。
【0081】図23の(a)は、文書を編集する作業の流れを示したものである。例えば、文書Aに対して変更、挿入、削除などの編集作業が行なわれ、その結果文書A’が作成される。作業状況管理部13は、編集前の文書Aと編集後の文書A’との間の差分を生成し、その差分が発生した時刻を示す情報とその差分を特定する情報を作業状況記憶部14に出力する。差分を特定する情報は、例えば、差分文字列を格納するファイルの名称である。作業状況管理部13は、その差分を特定する情報の代わりに編集後の文書A’を特定する情報を作業状況記憶部14に出力してもよい。差分が存在しない場合もあり得るからである。編集前の文書Aと編集後の文書A’との間の差分を取得するタイミングは、一定時間ごとであってもよいし、ウインドウがオープンされた時またはウインドウがクローズされた時であってもよい。
【0082】図23の(b)は、図23の(a)に示す作業を行った場合に、作業状況管理部13により作業状況記憶部14に記憶される情報の例を示す。この例では、文書が編集された時間帯と、編集前の文書名と、編集後の文書名と、差分とが記憶されている。
【0083】図24の(a)は、作業において、利用者により資料情報の一部が指示されている場面を示す。利用者は、マウスポインタやタッチパネルなどを用いて資料情報を指示することにより、資料情報の範囲を指定する。図24の(a)では、利用者により指定された範囲が反転表示されている。作業状況管理部13は、利用者により指定された範囲を検出し、利用者による指示が発生した時刻を示す情報と利用者により指定された範囲を特定する情報とを作業状況記憶部14に出力する。
【0084】図24の(b)は、図24の(a)に示す指示が発生した場合に、作業状況管理部13により作業状況記憶部14に記憶される情報の例を示す。この例では、指示をした人物名と、指示が発生した時間帯と、その指示により指定された範囲とが記憶されている。
【0085】図25の(a)は、作業において、資料情報がウインドウに表示されている場面を示す。そのウインドウは資料情報の表題を記述するための表題記述部2501を有している。表題としては、例えば、章、節、項の名称や番号が記述される。作業状況管理部13は、利用者により着目されているウインドウを検出し、着目ウインドウを検出した時刻を示す情報とそのウインドウの表題記述部2501に記述されている情報とを作業状況記憶部14に出力する。さらに、ウインドウは、利用者の個人的なメモを記述するための個人情報記述部2502を有していてもよい。作業状況管理部13は、利用者により着目されているウインドウを検出し、着目ウインドウを検出した時刻を示す情報とそのウインドウの個人情報記述部2502に記述されている情報とを作業状況記憶部14に出力する。
【0086】図25の(b)は、作業状況管理部13により作業状況記憶部14に記憶される情報の例を示す。この例では、表題と、対象者と、そのウインドウが着目されていた時間帯と、個人メモとが記憶されている。
【0087】図26の(a)は、音声キーワード検出部2601の構成を示す。音声キーワード検出部2601は作業状況管理部13に含まれる。音声キーワード検出部2601は、入力部11から入力される音声情報に含まれる所定の音声キーワードを検出して、所定の音声キーワードを検出した時刻を示す情報と検出された音声キーワードを示す情報とを作業状況記憶部14に出力する。音声キーワード検出部2601は、音声認識部2602と、音声キーワード抽出部2603と、音声キーワード辞書2604と、音声処理制御部2605とを有している。音声認識部2602は、入力部11から音声情報を受け取り、その音声情報をその音声情報に対応する文字列に変換する。音声キーワード抽出部2603は、音声認識部2602から音声情報に対応する文字列を受け取り、音声キーワード辞書2604を検索することにより、音声情報に対応する文字列から音声キーワードを抽出する。音声キーワード辞書2604には、抽出すべき音声キーワードが予め格納される。例えば、音声キーワード辞書2604に「ソフトウェア」という音声キーワードが予め格納されていると仮定する。音声認識部2602に「このソフトウェアの特徴は高速に動作することである」という音声情報が入力されると、音声認識部2602は、「このソフトウェアの特徴は高速に動作することである」という文字列を生成する。音声キーワード抽出部2603は、「このソフトウェアの特徴は高速に動作することである」という文字列を受け取り、受け取った文字列から音声キーワード辞書2604に格納されている音声キーワードである「ソフトウェア」に一致する文字列を抽出する。音声処理制御部2605は、上述の処理を制御する。
【0088】図26の(b)は、作業状況管理部13により作業状況記憶部14に記憶される情報の例を示す。この例では、発話した人物名と、発話が行われた時間帯と、発話内容から抽出された音声キーワードとが記憶されている。
【0089】図27は、図22に示すキーワード管理部220が行う音声情報もしくは映像情報へのキーワード付加処理の流れを示す。時間帯特定部221は、映像情報もしくは音声情報の評価対象区間(時間帯)を特定する(ステップS2701)。評価対象区間(時間帯)の指定方法は、図28の(a)〜(c)を参照して後述される。キーワード候補特定部222は、後述する各キーワード抽出処理部の処理結果に基づいて、少なくとも1つのキーワード候補を特定する(ステップS2702)。キーワード候補の中から1つを採用するために、キーワード決定部223は、後述するキーワードの決定ルールの中から決定ルールを選択する(ステップS2703)。キーワード決定部223は、選択された決定ルールに基づき、評価対象区間(時間帯)に対応するキーワードを決定する(ステップS2704)。
【0090】図28の(a)〜(c)を参照して、映像情報もしくは音声情報の評価対象区間(時間帯)を特定する方法を説明する。その方法は主として3つある。1つ目は、キーワードを付すべき範囲を音声情報の有音部に限定する方法である。2つ目は、キーワードを付すべき範囲を利用者がウインドウに着目している区間に限定する方法である。利用者が特定のウインドウに着目していることを検出する方法については、図17〜図21を参照して既に説明した。3つ目は、キーワードを付すべき範囲を、指示情報が発生した区間に限定する方法である。指示情報としては、上述したように、マウスポインタによる指示や資料情報への指による指示などが挙げられる。これらの対象範囲の指定方法を組み合わせる方法が、図28の(a)〜(c)に示されている。
【0091】図28の(a)は、ウインドウ情報と音声情報とに基づいて、キーワードを付すべき範囲を限定する方法である。時間帯特定部221は、キーワードを付すべき範囲を音声情報の有音部と利用者がウインドウに着目している時間帯との重複部分に限定する。図28の(a)に示す例では、音声情報の有音部と利用者がウインドウに着目している時間帯との重複部分として時間帯T1、T2が時間帯特定部221により特定される。
【0092】図28の(b)は、ウインドウ情報と指示情報とに基づいて、キーワードを付すべき範囲を限定する方法である。時間帯特定部221は、キーワードを付すべき範囲を利用者がウインドウに着目している時間帯と指示情報が発生した時間帯との重複部分に限定する。図28の(b)に示す例では、利用者がウインドウに着目している時間帯と指示情報が発生した時間帯との重複部分として時間帯T1、T2、T3が時間帯特定部221により特定される。
【0093】図28の(c)は、指示情報と音声情報とに基づいて、キーワードを付すべき範囲を限定する方法である。時間帯特定部221は、キーワードを付すべき範囲を指示情報が発生した時間帯と音声情報の有音部との重複部分に限定する。図28の(c)に示す例では、指示情報が発生した時間帯と音声情報の有音部との重複部分として時間帯T1、T2、T3が時間帯特定部221により特定される。
【0094】上記の時間帯T1、T2、T3には、互いに異なるキーワードが付加されてもよいし、同一のキーワードが付加されてもよい。例えば、図28の(a)〜(c)に示す例では、時間帯T1、T2、T3に同一のキーワード「回路基板」が付加される。このように、異なる時間帯に同一のキーワードを付加することにより、時間帯の異なる映像情報を、同一キーワードを有する論理的な1つのグループである映像ブロックとして扱うことが可能となる。同様にして、異なる時間帯に同一のキーワードを付加することにより、時間帯の異なる音声情報を、同一キーワードを有する論理的な1つのグループである音声ブロックとして扱うことが可能となる。その結果、映像情報および音声情報を論理的な情報単位で取り扱うことが容易になる。
【0095】図29は、図22に示すキーワード候補特定部222の構成を示す。キーワード候補特定部222は、編集前の文書と編集後の文書との間の差分に基づいてキーワード候補を抽出する文書キーワード抽出部2901と、指示情報に基づいてキーワード候補を抽出する指示キーワード抽出部2902と、個人情報記述部2502に記述されるメモの内容に基づいてキーワード候補を抽出する個人キーワード抽出部2903と、表題記述部2501に記述される表題の内容に基づいてキーワード候補を抽出する表題キーワード抽出部2904と、音声情報に基づいてキーワード候補を抽出する音声キーワード抽出部2905と、利用者からキーワード候補を入力するためのキーワード入力部2906と、キーワード制御部2907とを有している。
【0096】次に、キーワード候補特定部222の動作を説明する。時間帯特定部221によって特定された時間帯Tは、キーワード制御部2907に入力される。キーワード制御部2907は、その時間帯Tを抽出部2901〜2905のそれぞれと、キーワード入力部2906とに送る。抽出部2901〜2905のそれぞれは、時間帯Tに対して付加すべきキーワード候補を抽出して、抽出されたキーワード候補をキーワード制御部2907に送り返す。利用者により入力されたキーワード候補もまたキーワード制御部2907に送られる。このようにして、キーワード制御部2907には、時間帯Tに対して少なくとも1つのキーワード候補が収集される。時間帯Tに対して収集された少なくとも1つのキーワード候補は、キーワード決定部223に送られる。
【0097】例えば、「10時00分から10時01分」の時間帯がキーワード候補特定部222に入力されたと仮定する。文書キーワード抽出部2901は、作業状況記憶部14に記憶されている図23の(b)に示すテーブルを検索する。その結果、「10時00分から10時01分」の時間帯を含む「10時00分から10時03分」(10:00―>10:03)の時間帯がヒットする。文書キーワード抽出部2901は、ヒットされた時間帯に編集された文書の差分からキーワード候補を抽出する。文書の差分からキーワード候補を抽出する方法としては、例えば、文書の差分に含まれる文字列のうち名詞に相当する文字列のみをキーワード候補とする方法がある。文字列が名詞に相当するか否かを判定するには、ワードプロセッサなどで利用する「かな漢字変換辞書」を利用すればよい。
【0098】指示キーワード抽出部2902は、作業状況記憶部14に記憶されている図24の(b)に示すテーブルを検索する。その結果、「10時00分から10時01分」の時間帯に一致する「10時00分から10時01分」(10:00―>10:01)の時間帯がヒットする。指示キーワード抽出部2902は、ヒットされた時間帯の指定範囲に含まれる文字列からキーワード候補を抽出する。
【0099】同様にして、個人キーワード抽出部2903と表題キーワード抽出部2904とは、作業状況記憶部14に記憶されている図25の(b)に示すテーブルを検索する。音声キーワード抽出部2905は、作業状況記憶部14に記憶されている図26の(b)に示すテーブルを検索する。
【0100】次に、キーワード決定部223の動作を説明する。キーワード決定部223は、キーワード候補特定部222から少なくとも1つのキーワード候補を受け取り、所定のキーワード決定ルールに従って、受け取ったキーワード候補のうちの1つを選択する。
【0101】図30は、キーワード決定ルールの例である。ルール1〜4は、いずれの抽出部から抽出されたキーワード候補を優先的に選択すべきかを定めている。ルール5は、キーワード評価値に基づいて、複数の抽出部から抽出されたキーワード候補のいずれを選択すべきかを定めている。
【0102】次に、図31に定義されるキーワード評価値に基づいて、複数のキーワード候補のうち1つのキーワード候補を選択する方法を説明する。その方法は、キーワード抽出部の評価や、評価区間の違いを考慮するか否かで、以下の4つに分類される。(1)キーワード評価値に基づいてキーワード候補を選択する方法:キーワード評価値は、1つのキーワード抽出部から複数のキーワード候補が抽出された場合に、その複数のキーワード候補のうちの1つを選択するために使用される。キーワード評価値とは、キーワード抽出部での出現回数を、キーワード抽出部で得られたキーワード候補の数によって割ることにより得られるキーワード出現比率の値である。(2)キーワード総合評価値に基づいてキーワード候補を選択する方法:キーワード総合評価値は、複数のキーワード抽出部の評価結果を考慮したものである。キーワード総合評価値は、キーワード評価値と利用者により予め定義されたキーワード抽出部に対する評価値との積をキーワード抽出部毎に求め、それらの積の総和を求めることにより得られる。(3)キーワード重要度に基づいてキーワード候補を選択する方法:キーワード重要度は、1つのキーワード抽出部から得られる同一名のキーワードを総合的に評価するものである。キーワード重要度は、キーワード評価値を映像ブロックもしくは音声ブロックの時間長であるキーワード出現時間で割ることによって得られる単位時間キーワード評価値を映像ブロック(音声ブロック)毎に求め、当該キーワードが出現するすべての映像ブロック(音声ブロック)に対して単位時間キーワード評価値の総和を求めることにより得られる。(4)キーワード総合重要度に基づいてキーワード候補を選択する方法:キーワード総合重要度は、複数のキーワード抽出部の評価結果を考慮したものである。キーワード総合重要度は、キーワード重要度と利用者により予め定義されたキーワード抽出部に対する評価値との積をキーワード抽出部毎に求め、それらの積の総和を求めることにより得られる。
【0103】図32を参照して、キーワード評価値およびキーワード重要値に基づいて、キーワードを決定する方法の手順を具体例に即して説明する。まず、(1)キーワードを付すべき評価対象区間(時間帯)毎にキーワード評価値を求める。(2)キーワード評価値に基づいて、キーワードを決定する。図32の例では、評価対象区間(時間帯)T1のキーワード評価値は、キーワード毎にそれぞれ、「回路基盤」が0.5、「回路図面」が0.4、「安全性」が0.1となっている。その結果、キーワード評価値の一番高いものを優先するならば、評価対象区間(時間帯)T1のキーワードは「回路基盤」に決定される。同様にして、評価対象区間(時間帯)T2のキーワードは「回路図面」に決定され、評価対象区間(時間帯)T3のキーワードは「安全性」に決定され、評価対象区間(時間帯)T4のキーワードは「回路基盤」に決定される。(3)複数の評価対象区間(時間帯)に同一のキーワードが付加される場合も考えられる。この場合には、その複数の評価対象区間(時間帯)にまたがってキーワードの評価を行うために、キーワードが出現する時間長が考慮される。図32の例では、キーワード評価値0.5を有する「回路基盤」が時間長5を有する評価対象区間(時間帯)T1に出現し、キーワード評価値0.6を有する「回路基盤」が時間長5を有する評価対象区間(時間帯)T4に出現するので、「回路基盤」のキーワード重要度は、(0.5+0.6)/(5+5)=0.11となる。同様にして、「回路図面」のキーワード重要度は0.1、「安全性」のキーワード重要度は0.25となる。キーワード重要度に従って、キーワードを利用者に提示する順序を制御すると、「安全性」、「回路基盤」、「回路図面」の順になる。これにより、映像情報や音声情報に付加されるキーワードの数を不必要に多くならないように制御できる。
【0104】次に、図33を参照して、会話情報の自動編集を行う方法を説明する。この方法は、映像情報もしくは音声情報に付加されたキーワードを利用する例の1つである。
【0105】図33は、音声情報を基準として映像情報もしくは音声情報にキーワードを付加する場合の会話情報の自動編集を行う方法の手順を示す。利用者の会話により発生した音声情報を有音部と無音部とに分割する(ステップS3301)。音声情報を有音部と無音部とに分割するには、例えば、音声情報の有音状態と無音状態とを区別するために音声パワーの閾値を予め決めておき、閾値に基づき分割してゆけばよい。この分割方法は、図34を参照して後述される。特に、複数の利用者が共同して1つの作業をする場合には、会話により発生した音声情報を利用者毎に記録し、管理することにより、会話中の音声情報をより詳細に検索し、編集することが可能になる。次に、ステップS3301により得られた音声情報から雑音部分を削除する(ステップS3302)。例えば、音声情報の有音部の長さが所定の時間(例えば、1秒間)より短い場合には、その音声情報は雑音であるとみなしてよい。なお、音声情報から雑音部分を削除する場合には、該当する音声情報を同じ時間長の無音情報に置き換える。雑音が除去された音声情報をもとに、映像情報を音声情報の無音部に対応する区間と音声情報の有音部に対応する区間とに分割する(ステップS3303)。図27に示すキーワード付加の方法に基づき、映像情報(もしくは音声情報)にキーワードを付加する(ステップS3304)。映像情報(もしくは音声情報)にキーワードを付加するためには、例えば、図30に示されるキーワード決定ルールを適用すればよい。複数の映像情報チャンネル(もしくは複数の音声情報チャネル)が存在する場合には、同一時間帯を示す1つの区間に複数の映像ブロック(もしくは音声ブロック)が存在する場合が有り得る。以下、本明細書では、この区間を競合区間という。競合区間に存在する複数の映像ブロック(もしくは音声ブロック)に対して、異なるキーワードが付加されている場合には、後述される所定のキーワード統合化ルールに従って、それらのキーワードの中から1つのキーワードを選択する(ステップS3305)。映像情報(もしくは音声情報)に付加されたキーワードおよび映像情報(もしくは音声情報)が記録された時刻に基づいて、会話の情報を文字情報に変換する(ステップS3306)。最後に、文字情報を音声情報に変換して出力する(ステップS3307)。なお、文字情報から音声情報への変換は音声合成を用いればよい。
【0106】図34は、音声情報を有音部と無音部とに分割する方法の手順を示す。音声の無音区間の時間長を測定するために、無音タイマーをセット(MT=0)する(ステップS3401)。音声が有音部か無音部かを示す状態フラグをセットする。すなわち、St=Trueとする(ステップS3402)。音声のレベルが閾値(ThV)を下回っていれば、有音部が開始した時刻(TB)をセットする(ステップS3403)。なお、閾値(ThV)は発話していない状態での音声のレベルに基づいて、予め設定される。音声の状態フラグをクリアーする。すなわち、St=Falseとする(ステップS3404)。音声のレベルが閾値(ThV)を切り、かつ、無音区間が閾値時間(TM)を越えれば、音声の状態フラグをセットする(ステップS3405)。なお、閾値時間(TM)は400ミリ秒から1秒間程度の長さに予め設定される。音声のレベルが閾値(ThV)を切り、かつ、無音区間が閾値時間(TM)を越えず、以前の音声区間が有音部であれば、有音部が終了した時刻(TE)をセットする(ステップS3406)。作業状況記憶部14にTBとTEの値を出力する(ステップS3407)。無音タイマーをセットする(ステップS3408)。
【0107】次に、図35および図36を参照して、競合区間におけるキーワード統合化ルールを説明する。以下、映像ブロックが競合する場合のキーワード統合化ルールを説明するが、音声ブロックが競合する場合も同様である。映像ブロックAと映像ブロックBとが競合しており、映像ブロックAと映像ブロックBとの競合区間Cが存在すると仮定する。キーワード統合化ルールの例としては、以下の(a)〜(d)の4つルールがある。(a)開始時刻が早い方の映像ブロックを優先するルール。図35の(a)に示す例では、映像情報Aの開始時刻が映像情報Bの開始時刻より早いため、競合区間Cでは、映像情報Aに付加された「回路基盤1」というキーワードが選択される。(b)開始時刻が遅い方の映像ブロックを優先するルール。図35の(b)に示す例では、映像ブロックBの開始時刻が映像情報Aの開始時刻より遅いため、競合区間Cでは、映像ブロックBに付加された「回路基盤2」というキーワードが選択される。(c)競合区間Cにおける利用者の操作履歴情報(状況変化を示す情報)の評価値に基づいてキーワードを決定するルール。図36の(c)に示す例では、状況変化を示す情報は上向きの矢印で表されている。その矢印の数は状況変化の発生した回数を示す。競合区間Cにおける映像ブロックAに対する状況変化の回数は、競合区間Cにおける映像ブロックBに対する状況変化の回数より多い。従って、競合区間Cでは、映像ブロックAに付加された「回路基盤1」というキーワードが選択される。(d)映像ブロックの各時間帯に含まれる利用者の操作履歴情報(状況変化を示す情報)の評価値に基づいてキーワードを決定するルール。図36の(d)に示す例では、映像ブロックBに対する状況変化の回数は、映像ブロックAに対する状況変化の回数より多い。従って、競合区間Cでは、映像ブロックBに付加された「回路基盤2」というキーワードが選択される。
【0108】図37は、競合区間におけるキーワード統合化ルールを記述した例である。図35および図36を参照して上述したキーワード統合化ルールを含め4つのルールが記述されている。これらのルールに基づいて競合区間におけるキーワードが決定される。
【0109】次に、キーワード記憶部224に記憶されたキーワードを利用して、作業状況を示す文字情報を生成する文書化部380を説明する。文書化部380は、作業状況管理装置に含まれる。
【0110】図38は、文書化部380の構成を示す。文書化部380は、キーワードとキーワードが出現する時間帯との関係(Whenに関する情報)を抽出する時間情報抽出部381と、キーワードと対象者との関係(Whoに関する情報)を抽出する対象者抽出部382と、キーワード自身を抽出する対象物抽出部383と、文書化ルールを記憶する文書化ルール記憶部385と、文書化制御部384とを有している。
【0111】図39を参照して、作業状況を示す文字情報を生成する方法を説明する。以下、映像情報に基づいて作業状況を示す文字情報を生成する方法を説明する。音声情報に基づいて作業状況を示す文字情報を生成する場合も同様である。(a)映像ブロック毎に、文字情報を生成するための属性情報を予め割り当てる。その属性情報は、撮影対象者を特定する情報(Whoに関する情報)と、撮影を開始、終了した時刻の情報(Whenに関する情報)と、利用者により仮想的に設定された会議場所を特定する情報(Whereに関する情報)と、対象物を特定する情報(Whatに関する情報)と、音声の出力が存在するか否かを示す情報(Howに関する情報)とを含む。対象物を特定する情報として、その映像ブロックに付加されたキーワードを使用してもよい。このように、作業状況について5W1H(Who、Why、What、When、Where、How)による文章表現が可能なように、各映像ブロックに予め属性情報を割り当てておく。(b)所定の文書化ルールに従って、映像情報に含まれる複数の映像ブロックのうち特定の映像ブロックを選択する。所定の文書化ルールは利用者により予め作成される。例えば、図39の(b)のルール1に示すように「無音区間は文書化しない」という文書化ルールがある場合には、音声情報の有音部に対応する映像ブロックのみが選択される。(c)映像ブロックに予め割り当てられた属性情報に基づいて、所定の文書化ルールに従って、選択された映像ブロックに対応する作業状況を示す文字情報を生成する。例えば、特定の映像ブロックに対して、Whoに関する情報として「山口さん」が割り当てられ、Whenに関する情報として「○○時ごろ」が割り当てられ、Whatに関する情報として「△△について」が割り当てられ、Howに関する情報として「話しをしました」が割り当てられていると仮定する。この場合には、例えば、図39の(c)に示されるように、「山口さんが○○時ごろ、△△について話をしました」という文字情報が生成される。
【0112】図40を参照して、作業状況を示す文字情報を生成する他の方法を説明する。その方法は、音声情報における有音部を特定するステップと、その有音部に対応する映像ブロックを特定するステップと、作業状況の変化を検出するステップと、検出された作業状況の変化に基づいて、映像ブロックに対する文字情報を生成するステップとを含む。例えば、映像シーンの変化と音声ブロックが検出された場合には、図39の(b)のルール3に従って、「山口さん、書画カメラで説明」という文字情報を生成することができる。さらに、映像ブロックに付加されたキーワードが「回路基盤」である場合には、そのキーワードを対象物を特定する情報として利用して、「山口さん、書画カメラで回路基盤の説明」という文字情報を生成することができる。これにより、映像情報(もしくは音声情報)に応じて作業内容を示す文字情報を生成したり、その文字情報を検索キーとして映像情報(もしくは音声情報)を検索することが可能となる。
【0113】次に、キーワード記憶部224に記憶されたキーワードを利用して、作業状況記憶部14に記憶される作業状況を検索するキーワード検索部410を説明する。キーワード検索部410は、作業状況管理装置に含まれる。
【0114】図41は、キーワード検索部410の構成を示す。キーワード検索部410は、利用者からの検索キーワードを入力するための検索キーワード入力部411と、入力された検索キーワードに基づいて、作業状況記憶部14を検索する検索部412と、入力された検索キーワードと検索結果とを記憶する検索キーワード記憶部413と、検索結果に基づいて、検索キーワードが適切か否かを評価する検索キーワード評価部414とを有している。
【0115】次に、キーワード検索部410の動作を説明する。検索キーワード入力部411は、利用者からの検索キーワードを入力する。利用者による検索キーワードの入力を容易にするために、検索キーワード入力部411は、キーワード記憶部224に記憶された複数のキーワードをメニュー形式で表示し、表示されたキーワードの1つを検索キーワードとして利用者が選択的に入力することを許してもよい。検索キーワード入力部411から入力された検索キーワードは、検索キーワード記憶部413に記憶される。
【0116】検索部412は、入力された検索キーワードに基づいて、作業状況記憶部14を検索する。より詳しくいうと、検索部412は、検索キーワードがキーワード記憶部224に記憶された複数のキーワードのうちの1つに一致するか否かを判定し、一致したキーワードが付加されている映像情報を検索結果として出力部16に出力する。映像情報の代わりにまたは映像情報に加えて、作業状況記憶部14に記憶されている任意の情報が検索結果として出力部16に出力されてもよい。検索部412は、出力部16に出力された検出結果が所望のものである否かを利用者に問い合わせる。その問い合わせに対する利用者の応答は、検索キーワード記憶部413に記憶される。このようにして、入力した検索キーワードに対して所望の検索結果が得られたか否かを示す情報が検索キーワード記憶部413に蓄積される。
【0117】図42は、検索キーワード記憶部413に記憶される情報の例を示す。この例では、利用者により入力された検索キーワードに加えて、その利用者が所属するグループ名と、利用者名と、検索キーワードが入力された日時と、検索キーワードが入力された項目名と、検索キーワードに基づいて検索された文書名と、検索された文書と利用者が望んでいた文書とが一致したか否かを示す情報とが記憶されている。この例では、検索された文書と利用者が望んでいた文書とが一致した場合には、「採用」が記憶され、一致しない場合には、「不採用」が記憶される。あるいは、検索された文書と利用者が望んでいた文書との一致の度合いを示す数字が記憶されていてもよい。例えば、一致の度合い「70%」などである。ここでは、文書が検索対象となっている例を説明した。もちろん、文書の代わりにまたは文書に加えて、作業状況記憶部14に記憶されている任意の情報が検索対象となり得る。複数の視点からの検索を可能とするために、検索キーワードを入力可能な項目は、図43に示すように、複数個設けられていることが好ましい。また、検索キーワードに基づいて検索された複数の文書名を検索キーワード記憶部413に記憶するようにしてもよい。
【0118】図43は、検索キーワードを入力するための検索パネル430の例を示す。検索パネル430は、情報を検索するためのユーザインターフェースを利用者に提供する。検索パネル430は、映像キーワード入力部431と、文書キーワード入力部432と、イベント入力部433とを有している。映像キーワード入力部431は、映像情報に付加された複数のキーワードをメニュー形式で表示し、表示されたキーワードの1つを検索キーワードとして利用者が選択的に入力すること許す。文書キーワード入力部432は、文書を検索するための検索キーワードを利用者が入力することを許す。イベント入力部433は、書画カメラを操作することによって発生した端末の状態変化(例えば、映像シーンの変化や映像チャネルの変化など)や、ウインドウに対する利用者の操作によって発生した端末の状態変化(例えば、マウスポインタの移動やウインドウの開閉状態など)を検索キーワードとして利用者が入力することを許す。
【0119】次に、図41に示す検索キーワード評価部414の動作を説明する。図44は、検索キーワード評価部414により実行される処理の流れを示す。その処理は、評価範囲を指定するステップ(S4401)と指定された評価範囲において検索キーワードを評価するステップ(S4402)とを含む。評価範囲を指定するために、グループ名、利用者名および日時のうちの少なくとも1つが検索キーワード評価部414に入力される。評価範囲を指定するステップ(S4401)は、グループ名が入力された場合に、検索キーワード記憶部413からそのグループに所属する利用者により使用された検索キーワードを抽出するステップ(S4403)と、利用者名が入力された場合に、検索キーワード記憶部413からその利用者により使用された検索キーワードを抽出するステップ(S4404)と、日時が入力された場合に、検索キーワード記憶部413からその日時に使用された検索キーワードを抽出するステップ(S4405)と、利用者により指定された演算子(例えば、論理和や論理積など)により定義される検索条件に従って検索キーワード記憶部413から検索キーワードを抽出するステップ(S4406)とを含む。指定された評価範囲において検索キーワードを評価するステップ(S4402)は、ステップS4401で抽出された検索キーワードについて、その検索キーワードの採用回数と使用回数とからその検索キーワードのヒット率を算出するステップ(S4407)を含む。ここで、検索キーワードのヒット率(%)は採用回数/使用回数×100により算出される。過去に入力された検索キーワードをヒット率の高い順に利用者に提示することにより、所望の検索結果が得られる確率の高い検索キーワードを利用者が入力することが容易となる。その結果、利用者が所望の検索結果を得るまでに、利用者が検索キーワードを入力する回数が低減される。さらに、検索された情報に対する評価値(利用者が望む情報と検索された情報との一致度合い、例えば、0〜1の間の値)を検索キーワード記憶部413に蓄積するようにすれば、所望の検索結果が得られる確率のより高い検索キーワードを利用者に提示することが可能となる。この場合の検索キーワードのヒット率(%)は採用回数×評価値/使用回数×100により算出される。
【0120】図45は、作業状況管理部13の他の構成を示す。作業状況管理部13は、映像情報を複数の映像ブロックに分割する映像情報分割部451と、映像ブロックを評価する映像ブロック評価部452と、映像情報分割部451と映像ブロック評価部452とを制御する映像情報統合制御部453とを含む。
【0121】次に、図45に示す作業状況管理部13の動作を説明する。映像情報分割部451は、作業状況記憶部14に記憶される作業状況に基づいて、映像情報を複数の論理的な映像ブロックに分割する。各映像ブロックは、少なくとも1つの映像シーンを含む。例えば、音声情報の有音部に応じて映像情報をブロック化すればよい。映像情報をブロック化する方法の詳細は、既に述べたので、ここでは説明を省略する。このようにして、映像情報分割部451は、第1映像情報を複数の第1映像ブロックに分割し、第2映像情報を複数の第2映像ブロックに分割する。例えば、第1映像情報は、利用者Aにより撮影された映像情報であり、第2映像情報は、利用者Bにより撮影された映像情報である。
【0122】映像ブロック評価部452は、同一時間帯に複数の映像ブロックが存在するか否かを判定し、同一時間帯に複数の映像ブロックが存在すると判定された場合に、その複数の映像ブロックのうちいずれの映像ブロックを優先的に選択するかを決定する。従って、同一時間帯に、複数の第1映像ブロックのうちの1つと複数の第2映像ブロックのうちの1つが存在する場合には、映像ブロック評価部452により、同一時間帯に存在する第1映像ブロックおよび第2映像ブロックのうちの1つが選択される。このようにして、第1映像情報と第2映像情報とが統合され、1つの映像情報が生成される。これにより、利用者Aにより撮影された映像情報と利用者Bにより撮影された映像情報とに基づいて、利用者Aと利用者Bとの対話状況を示す映像情報を生成することが可能となる。
【0123】図46は、図45に示す作業状況管理部13によって実行される映像情報統合化処理の手順を示す。映像情報分割部451は、映像情報をブロック化することにより、複数の映像ブロックを生成する(ステップS4601)。映像ブロック評価部452は、同一時間帯に複数の映像ブロックが存在するか否かを判定する(ステップS4602)。同一時間帯に複数の映像ブロックが存在すると判定された場合には、映像ブロック評価部452は、所定の優先規則に従って、その複数の映像ブロックのうちのいずれを優先的に選択するかを決定する(ステップS4603)。その所定の優先規則は、利用者により予め設定される。
【0124】図47は、優先規則の例を示す。図47に示されるように、作業状況の変化に関連する優先規則、時間の先後関係に基づく優先規則など、様々な優先規則が存在する。
【0125】次に、図48〜図50を参照して、図47に示される規則番号1〜10の優先規則を具体的に説明する。
【0126】規則番号1の優先規則は、同一時間帯に複数の映像ブロックが存在する場合に、開始時刻が最も早い映像ブロックを優先的に選択することを規定する。図48の(a)に示す例では、映像ブロック1bの開始時刻より映像ブロック1aの開始時刻の方が早いので、映像ブロック1aが選択される。
【0127】規則番号2の優先規則は、同一時間帯に複数の映像ブロックが存在する場合に、し、開始時刻が最も最近の映像ブロックを優先的に選択することを規定する。図48の(b)に示す例では、時間帯T2においては、映像ブロック2bの開始時刻が最も最近であるので、映像ブロック2bが選択される。しかし、時間帯T1においては、映像ブロック2aの開始時刻が最も最近であるので、映像ブロック2aが選択される。
【0128】規則番号3の優先規則は、同一時間帯に複数の映像ブロックが存在する場合に、時間的に最も長い映像ブロックを優先的に選択することを規定する。図48の(c)に示す例では、映像ブロック3bの長さより映像ブロック3aの長さの方が長いので、映像ブロック3aが選択される。
【0129】規則番号4の優先規則は、同一時間帯に複数の映像ブロックが存在する場合に、時間的に最も短い映像ブロックを優先的に選択することを規定する。図49の(a)に示す例では、映像ブロック4aの長さより映像ブロック4bの長さの方が短いので、映像ブロック4bが選択される。
【0130】規則番号5の優先規則は、同一時間帯に複数の映像ブロックが存在する場合に、単位時間あたりの作業状況の変化を示す情報を最も多く含む映像ブロックを優先的に選択することを規定する。図49の(b)に示す例では、作業状況の変化を示す情報が発生した時刻が三角印で表されている。この例では、映像ブロック5bの方が映像ブロック5aより単位時間あたりの作業状況の変化を示す情報を多く含んでいるので、映像ブロック5bが選択される。
【0131】規則番号6の優先規則は、同一時間帯に複数の映像ブロックが存在する場合に、所定の発生事象の組み合わせ規則に合致した映像ブロックを優先的に選択することを規定する。図49の(c)に示す例では、映像ブロック6bが所定の発生事象の組み合わせ規則に合致するので、映像ブロック6bが選択される。
【0132】図51は、発生事象の組み合わせ規則の例を示す。発生事象の組み合わせ規則は、作業においてほぼ同時に発生する事象の組み合わせとその組み合わせに対応する事象名とを規定したものである。例えば、書画カメラを用いて、利用者が資料を説明する場合、対象物を手で指し示しながら行うことが多い。このため、手の動きと音声とがほぼ同時に発生する。図51の第1行に示されるように、例えば、「映像シーンの変化」という事象と「音声ブロック」という事象の組み合わせは、「書画カメラでの説明」という事象であると定義される。また、利用者がウインドウ上に表示された資料情報を説明する場合には、マウスポインタによる指示と音声とがほぼ同時に発生する。図51の第2行に示されるように、例えば、「マウスポインタによる指示」という事象と「音声ブロック」という事象の組み合わせは、「ウインドウ上での説明」という事象であると定義される。
【0133】図50を参照して、規則番号7の優先規則は、同一時間帯に複数の映像ブロックが存在する場合に、指定されたキーワードを含む文書情報を利用していた時間帯に対応する映像ブロックを優先的に選択することを規定する。規則番号8の優先規則は、同一時間帯に複数の映像ブロックが存在する場合に、指定されたキーワードを最も多く含む文書情報を利用していた時間帯に対応する映像ブロックを優先的に選択することを規定する。図50の(a)に示す例では、指定されたキーワードは文書情報の第2ページに含まれるので、映像ブロック7aが選択される。
【0134】規則番号9の優先規則は、同一時間帯に複数の映像ブロックが存在する場合に、指定された作業状況の変化が発生した時間帯に対応する映像ブロックを優先的に選択することを規定する。規則番号10の優先規則は、同一時間帯に複数の映像ブロックが存在する場合に、指定された対象者に関連する映像ブロックを優先的に選択することを規定する。図50の(b)に示す例では、規則番号9の優先規則を適用することにより、映像ブロック9bが選択され、規則番号10の優先規則を適用することにより、映像ブロック9cが選択される。
【0135】図52は、情報を操作するための操作パネル5200を示す。操作パネル5200は、作業状況管理装置に対するユーザインタフェースを利用者に提供する。図52に示されるように、操作パネル5200は、映像情報を少なくとも1枚以上の映像フレームからなる映像ブロックに分割した結果を表示するパネル5201と、音声を有音部と無音部とに分割した結果と作業状況の変化を示す情報(映像シーンの切り替えおよび映像チャンネルの切り替え)とを表示するパネル5202、ウインドウに対する利用者による操作(ウインドウのオープン、クローズ、生成、削除など)と、付せん紙(ウインドウに付された個人的なメモ)への記入と、マウスポインタによる指示とを行った履歴を示す情報を表示するパネル5203と、参照資料を表示するパネル5204と、検索結果の映像を表示するパネル5205とを含む。
【0136】図53は、情報を検索・編集するための操作パネル5300を示す。操作パネル5300は、作業状況管理装置に対するユーザインタフェースを利用者に提供する。図53に示されるように、操作パネル5300は、作業状況を記録するための操作パネル5301と、情報を検索するための操作パネル5302と、情報を操作するための操作パネル5303と、複数の情報を編集するための操作パネル5304と、同一時間帯に複数の映像ブロックが存在する場合の優先規則を選択する操作パネル5305とを含む。なお、操作パネル5305において優先規則を選択することにより、計算機による半自動的な情報編集が可能となる。操作パネル5306は、映像ブロック毎に、時間情報、映像ブロックに付加された事象名、対象物の情報に応じて、作業状況(例えば、会議の内容など)を文字情報に自動的に変換するためパネルである。
【0137】図54は、参加者毎に記録された映像情報と音声情報とを統合するための操作パネル5400を示す。操作パネル5400は、ある利用者Aが撮影した映像情報と発話による音声情報とを表示するパネル5401と、他の利用者Bが撮影した映像情報と発話による音声情報とを表示するパネル5402と、自動編集の結果、統合された映像情報と音声情報とを表示するパネル5403とを含む。
【0138】なお、本発明は会議だけではなく、個人での編集装置利用ではマルチメディアメールの検索・編集、共同での編集装置利用ではCAI(計算機支援による教育)での教材作成などへの応用利用が可能である。
【0139】
【発明の効果】上述したように、本発明の作業状況管理装置によれば、作業の時間的経過を示す様々な情報を管理することが可能になる。これにより、作業状況の変化に着目して、作業中に記録された映像情報や音声情報の所望の箇所を検索することが容易となる。利用者が必要な情報(資料、コメント、会議の状況)を効率的に取り出して作業できるように、個人の日常の作業内容と対応づけて個人的な観点から管理を行うことが可能である。また、会話状況といった体系的には取り扱いにくい動的な情報を個人的な観点で扱うことが可能である。さらに、利用者が着目していると推定される時点の映像情報や音声情報のみを記録もしくは出力することにより、利用者に提示する情報量の低減や記憶容量の低減をは図ることができる。
【0140】さらに、本発明の作業状況管理装置によれば、映像情報や音声情報にキーワードを付加することが可能となる。キーワードを利用することにより、映像情報や音声情報の所望の箇所を検索することが容易となる。また、キーワードを利用して、作業状況を示す文字情報を生成することが可能となる。




 

 


     NEWS
会社検索順位 特許の出願数の順位が発表

URL変更
平成6年
平成7年
平成8年
平成9年
平成10年
平成11年
平成12年
平成13年


 
   お問い合わせ info@patentjp.com patentjp.com   Copyright 2007-2013