米国特許情報 | 欧州特許情報 | 国際公開(PCT)情報 | Google の米国特許検索
 
     特許分類
A 農業
B 衣類
C 家具
D 医学
E スポ−ツ;娯楽
F 加工処理操作
G 机上付属具
H 装飾
I 車両
J 包装;運搬
L 化学;冶金
M 繊維;紙;印刷
N 固定構造物
O 機械工学
P 武器
Q 照明
R 測定; 光学
S 写真;映画
T 計算機;電気通信
U 核技術
V 電気素子
W 発電
X 楽器;音響


  ホーム -> 計算機;電気通信 -> カシオ計算機株式会社

発明の名称 人物監視システム及びプログラム
発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開2007−74330(P2007−74330A)
公開日 平成19年3月22日(2007.3.22)
出願番号 特願2005−258705(P2005−258705)
出願日 平成17年9月7日(2005.9.7)
代理人 【識別番号】100090619
【弁理士】
【氏名又は名称】長南 満輝男
発明者 森川 重則
要約 課題
監視カメラによって撮影された撮影画像を解析することによって、例えば、購買意欲を持った顧客かどうか、不審者かどうかなどを適切に認識して通知できるようにする。

解決手段
店舗PC3は、監視カメラ1によって店内を撮影した撮影画像を解析しながら当該撮影画像内に含まれている人物の特徴から監視対象者を特定すると共に、この監視対象者が登場してから現時点までの滞在時間を計時し、この滞在時間が監視テーブルに設定されている「滞在時間」を経過したか否かを判別し、この設定時間が経過した場合に、例えば、担当者所持の携帯端末装置6にメールなどを送信してその旨を通知する。
特許請求の範囲
【請求項1】
監視カメラによって撮影された撮影画像に基づいて人物を監視する人物監視システムであって、
前記撮影画像を解析しながら当該撮影画像内に含まれている人物の特徴から監視対象者を特定する特定手段と、
この特定手段によって特定された監視対象者が登場してから現時点までの滞在時間を計時する計時手段と、
この計時手段によって得られた滞在時間が予め設定されている設定時間を経過したか否かを判別する判別手段と、
この判別手段によって設定時間の経過が判別された場合にその旨を通知する通知手段と、
を具備したことを特徴とする人物監視システム。
【請求項2】
前記特定手段は、撮影画像内に含まれている人物の特徴からその年齢層を推測すると共に、この推測年齢層に基づいて監視対象者を特定する、
ようにしたことを特徴とする請求項1記載の人物監視システム。
【請求項3】
前記特定手段は、撮影画像内に含まれている人物の特徴からその性別を推測すると共に、この性別に基づいて監視対象者を特定する、
ようにしたことを特徴とする請求項1あるいは請求項2記載の人物監視システム。
【請求項4】
前記特定手段は、撮影画像の全領域の中から予め設定された領域を監視領域として特定すると共に、この監視領域内に含まれている人物の特徴から監視対象者を特定する、
ようにしたことを特徴とする請求項1記載の人物監視システム。
【請求項5】
前記特定手段は、予め設定されている監視時間帯を検出すると共に、この監視時間帯を検出する毎に、監視対象者を特定する動作を行う、
ようにしたことを特徴とする請求項1記載の人物監視システム。
【請求項6】
監視カメラによって撮影された撮影画像に基づいて人物を監視する人物監視システムであって、
人物の特徴から監視対象者を特定するために年齢層を含む特徴情報と監視エリアを特定するための領域情報とを対応付けて記憶管理する監視情報記憶手段と、
予め設定されている監視時間帯を検出する検出手段と、
前記監視時間帯において前記撮影画像内の監視領域に含まれている人物の年齢層を推測する推測手段と、
この推測手段によって推測された年齢層が前記特徴情報で示される年齢層に該当する人物である場合に、当該人物を監視対象者として特定する特定手段と、
この特定手段によって監視対象者が監視領域内に居ることを通知する通知手段と、
を具備したことを特徴とする人物監視システム。
【請求項7】
前記監視対象者を特定するための特徴情報は、年齢層のほかに性別を含み、
前記推測手段は、人物の年齢層と共に、性別を推測し、
前記特定手段は、推測された年齢層及び性別が前記特徴情報で示される年齢層及び性別に該当する人物である場合に、当該人物を監視対象者として特定する、
ようにしたことを特徴とする請求項6記載の人物監視システム。
【請求項8】
予め決められている通知先宛に電子メールを送信して通知する方法、撮影画像のモニタ画面上でオペレータに対して通知する方法、予め決められている通話相手先に音声メッセージを送信して通知する方法の中から任意の通知方法を選択して設定する通知方法設定手段を設け、
前記通知手段は、前記任意に選択された通知方法によって通知する、
ようにしたことを特徴とする請求項1あるいは請求項6記載の人物監視システム。
【請求項9】
コンピュータに対して、
監視カメラによって撮影された撮影画像を解析しながら当該撮影画像内に含まれている人物の特徴から監視対象者を特定する機能と、
特定された監視対象者が登場してから現時点までの滞在時間を計時する機能と、
計時された滞在時間が予め設定されている設定時間を経過したか否かを判別する機能と、
設定時間の経過が判別された場合に、その旨を通知する機能と、
を実現させるためのプログラム。
【請求項10】
コンピュータに対して、
人物の特徴から監視対象者を特定するために年齢層を含む特徴情報と監視エリアを特定するための領域情報とを対応付けて記憶管理する機能と、
予め設定されている監視時間帯において監視カメラによって撮影された撮影画像内の監視領域に含まれている人物の年齢層を推測する機能と、
推測された年齢層が前記特徴情報で示される年齢層に該当する人物である場合に、当該人物を監視対象者として特定する機能と、
この特定された監視対象者が監視領域内に居ることを通知する機能と、
を実現させるためのプログラム。
発明の詳細な説明
【技術分野】
【0001】
この発明は、監視カメラによって撮影された撮影画像に基づいて人物を監視する人物監視システム及びプログラムに関する。
【背景技術】
【0002】
従来、監視カメラによって撮影された撮影画像に基づいて人物を監視する人物監視システムとしては、例えば、顧客の顔、全体像を撮影する監視カメラと、このカメラによって撮影された映像情報をネットワーク経由で映像サーバに転送するシステムと、顧客情報をデータサーバに転送するシステムとを備え、映像情報と顧客情報とをリンクさせて記憶管理するようにした顧客情報管理システムが知られている(特許文献1参照)。また、監視カメラによって事務所内を撮影した画像から不審者の侵入を検出した際にその旨を示すメールを携帯電話へ送信するようにした遠隔監視システムが知られている(特許文献2参照)。
【特許文献1】特開2002−183413号公報
【特許文献2】特開2002−230654号公報
【発明の開示】
【発明が解決しようとする課題】
【0003】
しかしながら、上述した顧客情報管理システムにあっては、映像情報と顧客情報とをリンクさせて記憶管理することで、常連客を画像認識してサービスを提供するようにしたものであり、常連客を認識できたとしても、それ以外の顧客を認識することは困難であり、購買意欲を持った顧客がせっかく来店したとしても、販売の機会を逃がしてしまうなどの問題があった。また、上述した遠隔監視システムにあっては、不審者の侵入を携帯電話にメール送信することによって不審者の侵入という異常事態を通知することができたとしても、不審者なのか正規な人物なのかを容易に判別することは困難であり、その判断を誤るおそれもあった。
【0004】
この発明の課題は、監視カメラによって撮影された撮影画像を解析することによって、例えば、購買意欲を持った顧客かどうか、不審者かどうかなどを適切に認識して通知できるようにすることである。
【課題を解決するための手段】
【0005】
請求項1記載の発明は、監視カメラによって撮影された撮影画像に基づいて人物を監視する人物監視システムであって、前記撮影画像を解析しながら当該撮影画像内に含まれている人物の特徴から監視対象者を特定する特定手段と、この特定手段によって特定された監視対象者が登場してから現時点までの滞在時間を計時する計時手段と、この計時手段によって得られた滞在時間が予め設定されている設定時間を経過したか否かを判別する判別手段と、この判別手段によって設定時間の経過が判別された場合にその旨を通知する通知手段とを具備したことを特徴とする。
更に、コンピュータに対して、上述した請求項1記載の発明に示した主要機能を実現させるためのプログラムを提供する(請求項9記載の発明)。
【0006】
なお、請求項1記載の発明は次ぎのようなものであってもよい。
前記特定手段は、撮影画像内に含まれている人物の特徴からその年齢層を推測すると共に、この推測年齢層に基づいて監視対象者を特定する(請求項2記載の発明)。
【0007】
前記特定手段は、撮影画像内に含まれている人物の特徴からその性別を推測すると共に、この性別に基づいて監視対象者を特定する(請求項3記載の発明)。
【0008】
前記特定手段は、撮影画像の全領域の中から予め設定された領域を監視領域として特定すると共に、この監視領域内に含まれている人物の特徴から監視対象者を特定する(請求項4記載の発明)。
【0009】
前記特定手段は、予め設定されている監視時間帯を検出すると共に、この監視時間帯を検出する毎に、監視対象者を特定する動作を行う(請求項5記載の発明)。
【0010】
予め決められている通知先宛に電子メールを送信して通知する方法、撮影画像のモニタ画面上でオペレータに対して通知する方法、予め決められている通話相手先に音声メッセージを送信して通知する方法の中かに任意の通知方法を選択して設定する通知方法設定手段を設け、前記通知手段は、前記任意に選択された通知方法によって通知する(請求項8記載の発明)。
【0011】
請求項6記載の発明は、監視カメラによって撮影された撮影画像に基づいて人物を監視する人物監視システムであって、人物の特徴から監視対象者を特定するために年齢層を含む特徴情報と監視エリアを特定するための領域情報とを対応付けて記憶管理する監視情報記憶手段と、予め設定されている監視時間帯を検出する検出手段と、前記監視時間帯において前記撮影画像内の監視領域に含まれている人物の年齢層を推測する推測手段と、この推測手段によって推測された年齢層が前記特徴情報で示される年齢層に該当する人物である場合に、当該人物を監視対象者として特定する特定手段と、この特定手段によって監視対象者が特定された場合にその旨を通知する通知手段とを具備したことを特徴とする。
更に、コンピュータに対して、上述した請求項6記載の発明に示した主要機能を実現させるためのプログラムを提供する(請求項10記載の発明)。
【0012】
前記監視対象者を特定するための特徴情報は、年齢層のほかに性別を含み、前記推測手段は、人物の年齢層と共に、性別を推測し、前記特定手段は、推測された年齢層及び性別が前記特徴情報で示される年齢層及び性別に該当する人物である場合に、当該人物を監視対象者として特定するようにしてもよい(請求項7記載の発明)。
予め決められている通知先宛に電子メールを送信して通知する方法、撮影画像のモニタ画面上でオペレータに対して通知する方法、予め決められている通話相手先に音声メッセージを送信して通知する方法の中から任意の通知方法を選択して設定する通知方法設定手段を設け、前記通知手段は、前記任意に選択された通知方法によって通知するようにしてもよい(請求項8記載の発明)。
【発明の効果】
【0013】
請求項1記載の発明によれば、監視カメラによって撮影された撮影画像を解析しながら当該撮影画像内に含まれている人物の特徴から監視対象者を特定すると共に、この監視対象者が登場してから現時点までの滞在時間を計時し、この滞在時間が予め設定されている設定時間を経過したか否かを判別し、この設定時間の経過が判別された場合にその旨を通知するようにしたから、購買意欲を持った顧客かどうか、不審者かどうかなどを適切に認識して通知することができる。例えば、「デパートなどの店舗において、ある種の顧客がある売り場に30秒以上滞在しているときには、この売り場の商品を購入する傾向が強い」という規則性がある場合に、購買意欲を持った顧客を容易に認識することができ、その売り場の担当者に対して接客を要請するようにすれば、販売の機会を逃すこともなく、販売促進上有効なものとなる。また、「ある種の人物がある場所に30秒以上滞在しているときには、不審者である可能性が強い」という規則性がある場合に、不審者を容易に認識することができ、警備担当者に警報すれば、セキュリティ管理上有効なものとなる。
【0014】
請求項2記載の発明によれば、上述した請求項1記載の発明と同様の効果を有するほか、撮影画像内に含まれている人物の特徴からその年齢層を推測すると共に、この推測年齢層に基づいて監視対象者を特定するようにしたから、20歳以下、20〜40歳、40〜60歳、60〜80歳のように年齢層別に人物を監視することができる。この場合、人物の顔部分、髪型、衣服、アクセサリなどをも総合的に考慮して年齢層を推測すればよい。
【0015】
請求項3記載の発明によれば、上述した請求項1記載の発明と同様の効果を有するほか、撮影画像内に含まれている人物の特徴からその性別を推測すると共に、この性別に基づいて監視対象者を特定するようにしたから、男女別に人物を監視することができる。この場合においても、人物画像を解析することによって人物の顔、髪型、衣服、アクセサリなどを総合的に考慮して年齢層を推測すればよい。また、年齢層と性別とを組み合わせれば、監視対象者をより細かく特定することが可能となる。
【0016】
請求項4記載の発明によれば、上述した請求項1記載の発明と同様の効果を有するほか、撮影画像の全領域の中から予め設定された領域を監視領域として特定すると共に、この監視領域内に含まれている人物の特徴から監視対象者を特定するようにしたから、例えば、店内全域を撮影した撮影画像の中からある売り場の領域を監視領域として設定しておけば、この売り場への顧客の出入りと共に、その滞在状況を監視することが可能となる。なお、必要に応じて監視領域を任意に変更可能としてもよい。
【0017】
請求項5記載の発明によれば、上述した請求項1記載の発明と同様の効果を有するほか、予め設定されている監視時間帯を検出すると共に、この監視時間帯を検出する毎に、監視対象者を特定する動作を行うようにしたから、監視時間帯をも加味して監視対象者を特定することができる。
【0018】
請求項8記載の発明によれば、上述した請求項1記載の発明と同様の効果を有するほか、予め決められている通知先宛に電子メールを送信して通知する方法、撮影画像のモニタ画面上でオペレータに対して通知する方法、予め決められている通話相手先に音声メッセージを送信して通知する方法の中から任意の通知方法を選択して通知するようにしたから、例えば、担当者の現状などを考慮するなど、実情に即した対応が可能となる。
【0019】
請求項6記載の発明によれば、人物の特徴から監視対象者を特定するために年齢層を含む特徴情報と監視エリアを特定するための領域情報とを対応付けて記憶管理している状態において、予め設定されている監視時間帯を検出し、この監視時間帯において撮影画像内の監視領域に含まれている人物の年齢層を推測すると共に、この年齢層が特徴情報で示される年齢層に該当する人物である場合に、当該人物を監視対象者として特定し、この監視対象者が監視領域内に居ることを通知するようにしたから、購買意欲を持った顧客かどうか、不審者かどうかなどを適切に認識して通知することができる。例えば、「デパートなどの店舗において、ある種の顧客が13時00分〜17時00分にある売り場あるいはポイントに行ったときには、この売り場の商品を購入する傾向が強い」という規則性がある場合に、購買意欲を持った顧客を容易に認識することができ、その売り場の担当者に対して接客を要請するようにすれば、販売の機会を逃すこともなく、販売促進上有効なものとなる。また、「ある種の人物が21時00分以降の遅い時間帯にある場所に行ったときには、不審者である可能性が強い」という規則性がある場合に、不審者を容易に認識することができ、警備担当者に警報すれば、セキュリティ管理上有効なものとなる。
【0020】
請求項7記載の発明によれば、上述した請求項6記載の発明と同様の効果を有するほか、監視領域に含まれている人物の年齢層と共に性別を推測し、この年齢層及び性別が特徴情報で示される年齢層及び性別に該当する人物である場合に、当該人物を監視対象者として特定するようにしたから、年齢層と性別との組み合わせによって監視対象者をより細かく特定することが可能となる。
なお、この請求項6記載の発明においても、上述した請求項8記載の発明と同様の効果を有する。
【発明を実施するための最良の形態】
【0021】
(実施例1)
以下、図1〜図8を参照して本発明の第1実施例を説明する。
図1は、人物監視システムの全体構成の概要を示したブロック図である。
この人物監視システムは、店舗内を撮影して顧客状況を監視する顧客監視システムを構成するもので、監視カメラ1は、静止画撮影も可能なビデオカメラであり、例えば、店舗全域を広角撮影したり、複数の売り場一括して広角撮影するために壁面、天井などに取り付けられているメインカメラのほかに、売り場の陳列棚などの近くに配置することによって顧客の顔部分を中心に拡大撮影が可能な補助カメラを有している。この監視カメラ1から出力されたアナログビデオ信号は、ビデオキャプチャボード2によってデジタル化されたビデオデータに変換されて店舗PC(パーソナルコンピュータ)3に取り込まれる。
【0022】
店舗PC3は、必要に応じてビデオデータ圧縮・伸張処理を施したり、ハードディスク(図示せず)に記録蓄積したり、インターネット4、移動体通信網を構成する基地局5介して担当者などの携帯端末装置6に送信するなどの処理を行う。なお、携帯端末装置6は、内線電話としても使用可能な携帯電話装置である。店舗PC3は、監視カメラ1によって撮影された撮影画像を1秒間隔毎に取り込み、この撮影画像を解析しながら当該撮影画像内に含まれている顧客の特徴からの性別及び年齢層を推測し、予め設定されている性別及び年齢層に合致する場合には、この顧客を監視対象者として特定するようにしている。
【0023】
店舗PC3は、人物の画像部分を解析することによってその顧客の顔、髪型、衣服、身長、アクセサリ、靴などを総合的に考慮して性別、年齢層を推測するが、特定困難な場合には、顔画像を詳細に解析して推測するようにしている。なお、年齢層は、20歳以下、20〜40歳、40〜60歳、60〜80歳、80歳以上の5分類を推測するようにしている。そして、店舗PC3は、上述のようにして特定した監視対象者が登場してから現時点までの滞在時間を計時し、この滞在時間が予め設定されている設定時間を経過した場合にはその旨を通知(報告)するようにしている。例えば、ある年代、性別の顧客はある売り場に30秒以上滞在しているときには、この売り場の商品を購入する傾向が強いという規則性がある場合に、その顧客を購買意欲を持った顧客であると認識し、その売り場の担当者所持の携帯端末装置6に対して電子メールを送信して接客業務を要請する旨の通知を行うようにしている。
【0024】
図2は、店舗PC3側に設けられている監視テーブルWTの内容を例示した図である。
この監視テーブルWTには、顧客を監視するための条件として「監視時間帯」、「監視領域」、「性別」、「年齢層」が設定されていると共に、通知するための条件として「滞在時間」が設定され、また、「通知方法」が設定されている。「監視時間帯」は、顧客監視を実行する時間帯を示し、それ以外の時間帯では顧客監視は行われない。「監視領域」は、監視対象のエリアを示し、例えば、図3に示すように撮影画像の全域のうち、売り場A、Bを含む領域が監視エリアとして指定されている場合には、売り場Cのエリアは監視対象外となる。また、「性別」、「年齢層」は、監視対象者を特定するための条件である。
【0025】
ここで、例えば、1レコード目の内容は、「監視時間帯」として“12時00分〜17時00分”を設定し、「監視領域」として“A売り場(領域)”を設定し、「性別」、「年齢層」として“男性”、“40歳〜60歳”の中年者層を設定し、「滞在時間」として“15秒”を設定し、「通知方法」として“メール送信”を設定した場合である。なお、2レコード目では、「性別」を問わない場合であり、「通知方法」として店舗PC3のモニタ画面上の一部を点滅表示などによって監視オペレータに対して報知(通知)する“ブリンキング”を設定した場合である。
【0026】
図4は、監視テーブルWTの監視条件、通知条件、通知方法を設定する場合の設定画面を示した図である。
この設定画面は、監視条件の設定用として「性別」、「年齢層」、「監視時間帯」、「監視領域」対応のチェックボックス欄と、通知条件の設定用として「滞在時間」のチェックボックス欄とを有する構成で、各ボックス欄には選択候補が一覧表示されており、その中の任意の項目を選択するためにこの項目位置にチェックを入れると、当該項目データが設定データとして監視テーブルWTに書き込まれる。この場合、図示の例では、監視条件として“男性”、“40〜60歳”、“09時00〜12時00分”及び“12時00分〜17時00分”、“A領域”を選択設定した場合であり、通知条件として“15秒”を選択設定した場合である。ここで、「監視時間帯」は、“09時00〜17時00分”となる。
【0027】
ここで、性別を問わない場合には、“男性”、“女性”の何れの項目にもチェックを入れればよく、また、「年齢層」、「監視時間帯」を問わない場合にもその全ての項目にチェックを入れればよい。また、「監視領域」を問わない場合には、“無し”の項目を選択してチェックすればよい。この例では、「滞在時間」の選択候補として、“15秒”、“30秒”、“1分”、“3分”、“10分”の中からその1つを選択するようにしているが、任意の時間を入力するようにしてもよい。また、監視条件、通知条件の設定画面の下側には、通知方法を設定する設定画面が設けられている。この場合、通知方法としては、「画像領域枠のブリンキング」、「メールメッセージ送信」、「電話メッセージ送信」の3種類が用意されており、その中から何れかの通知方法にチェックを選択するようにしている。
【0028】
図5は、店舗PC3の基本的構成要素を示したブロック図である。
CPU31は、記憶部32内のオペレーティングシステム、各種アプリケーションソフトに応じてこの店舗PC3の全体動作を制御する中央演算処理装置である。記憶部32は、プログラム領域とデータ領域とを有し、磁気的メモリ、光学的メモリ、半導体メモリ等のほか、その駆動系を有する構成となっている。この記憶部32内のプログラム領域には、後述する図6〜図8に示す動作手順に応じて本実施例を実現するためのアプリケーションプログラムが格納され、また、そのデータ領域には、監視テーブルWTなどが格納されている。なお、記憶部32は、ハードディスク等の固定メモリのほか、CD−ROM、DVD等の着脱自在な記憶媒体であってもよい。
【0029】
この記憶部32内のプログラム、データは、必要に応じてRAM(例えば、スタティックRAM)33にロードされたり、このRAM33内のデータが記憶部32にセーブされる。なお、RAM33は、プログラム実行領域と作業領域とを有している。CPU31には、その入出力周辺デバイスである通信部34、入力部35、表示部36がバスラインを介して接続されており、入出力プログラムによってCPU31は、これらの入出力デバイスの動作制御を行う。
【0030】
次ぎに、この第1実施例における店舗PC3の動作概念を図6〜図8に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。また、伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。すなわち、記録媒体のほかに、伝送媒体を介して外部供給されたプログラム/データを利用してこの実施例特有の動作を実行することもできる。
【0031】
図6は、店舗PC3側で監視テーブルWTの内容を編集する際の編集処理を示したフローチャートである。
先ず、CPU31は、監視テーブルWTに新たなレコードを新規登録する登録指示を受けたか(ステップA1)、登録済みレコードの内容を変更する変更指示を受けたか(ステップA2)、登録済みレコードを削除する削除指示を受けたかを調べる(ステップA3)。ここで、新規登録指示を受けた場合には(ステップA1でYES)、監視条件、通知条件、通知方法を設定する設定画面(図4参照)のフォームを読み出して表示出力させる(ステップA4)。
【0032】
この設定画面内ににおいて、「性別」、「年齢層」、「監視時間帯」、「監視領域」、「滞在時間」、「通知方法」の何れかにチェックが入れられると、その位置の項目データを入力データとして取り込み(ステップA5)、以下、全てにチェックが入れられるまで(ステップA6)、上述のステップA5に戻るが、全てにチェックが終了すると、各入力データを組み合わせたレコードを生成し(ステップA7)、監視テーブルWTに追加登録する(ステップA8)。
【0033】
また、変更指示を受けた場合には(ステップA2でYES)、監視テーブルWTの内容を表示出力させる(ステップA9)。ここで、変更対象のレコード及び変更項目が選択指定されると(ステップA10)、当該選択項目対応の設定画面が表示される(ステップA11)。例えば、「監視時間帯」が選択された場合には「監視時間帯」のチェックボックス欄が表示されるので、その中から任意の項目にチェックを入れると、そのチェック位置対応の項目データを入力データとして取り込み(ステップA12)、登録済みの項目内容をこの入力データに変更する(ステップA13)。また、削除指示を受けた場合には(ステップA3でYES)、監視テーブルWTの内容を表示出力させる(ステップA14)。ここで、削除対象のレコードが選択指定されると(ステップA15)、監視テーブルWTから当該指定レコードを削除する(ステップA16)。
【0034】
図7及び図8は、店舗PC3側での顧客監視処理を示したフローチャートであり、一定時間毎(例えば、1秒毎)に割り込みによって実行開始される。
先ず、CPU31は、監視テーブルWTをアクセスして(ステップB1)、その先頭から1レコードを読み出す(ステップB2)。そして、現在時刻を取得し(ステップB3)、読み出した監視レコード内の「監視時間帯」の開始時刻と比較して、その開始時刻に到達したかをチェックし(ステップB4)、「監視時間帯」の開始時刻に達していなければ、後述する図8のステップB32に移るが、「監視時間帯」の開始時刻に達した際には、監視カメラ1から現時点の撮影画像を取得する(ステップB5)。
【0035】
そして、CPU31は、上述のようにして読み出した監視レコード内の「監視領域」を参照し、各売り場に対応付けられている領域A〜Dのうち少なくともその何れかが設定されているか、“無し”が設定されているかを調べる(ステップB6)。ここで、領域A〜Dのうち少なくともその何れかが「監視領域」として設定されていれば、撮影画像内の指定領域を監視エリアとして特定するが(ステップB7)、“無し”が設定されていれば、撮影画像の全領域を監視エリアとして特定する(ステップB8)。
【0036】
この状態において、CPU31は、前回取得の撮影画像と今回取得の撮影画像とを比較しながら各撮影画像を解析し(ステップB9)、監視エリア内に新たな顧客が登場したかを調べる(ステップB10)。すなわち、撮影画像を解析することによって撮影画像内に含まれている顧客の個々を特定すると共に、この特定位置に対応して顧客の特徴を示す情報(髪型、衣服を中心とした特徴情報)を含む顧客識別情報を付加しておき、前回の撮影画像に付加されている顧客識別情報と今回の撮影画像に付加されている顧客識別情報とを比較し、顧客の移動をも考慮して同一顧客か否かをチェックしながら監視エリア内に新たな顧客が登場したかを調べるようにしている。
【0037】
ここで、監視エリア内の前回の顧客と今回の顧客との間で変化が無く、新たな顧客が居なければ(ステップB10でNO)、後述する図8のフローに移るが、今回、監視エリア内に新たな顧客が登場した場合には、この顧客の画像部分を抽出してその部分を詳細に解析し(ステップB11)、顧客の性別を推定すると共に(ステップB12)、年齢層を推定する処理を実行する(ステップB13)。この性別・年齢層推定処理は、顧客の顔、髪型、衣服、身長、アクセサリ、靴などを総合的に考慮して推測するが、性別、年齢層を特定することが困難な場合には、顔画像を更に詳細に解析して推測するようにしている。
【0038】
このようにして推定された性別、年齢層と上述した監視レコード内の「性別」、「年齢層」とを比較し(ステップB14)、それらが一致するか否かによって監視対象者が登場したか否かをチェックする(ステップB15)。ここで、「性別」、「年齢層」がそれぞれ一致すれば(ステップB15でYES)、この顧客を監視対象者として特定したのち(ステップB16)、この顧客(監視対象者)とその登場時刻とを対応付けてRAM33のワーク域に一時記憶しておく(ステップB17)。そして、新たに登場した顧客がほかにも居る場合には(ステップB18でYES)、上述のステップB11に戻って監視対象者を特定して登録する処理を繰り返す。
【0039】
また、前回取得の撮影画像と今回取得の撮影画像とを比較した結果、今回、監視エリア内から退場した顧客が居るか否かを調べ(図8のステップB19)、新たな退場者が居れば、その退場者を特定したのち(ステップB20)、この退場者対応の一時記憶内容を消去する(ステップB21)。つまり、上述したようにRAM33のワーク域に一時記憶されている監視対象者(退場者)とその登場時刻を消去する。そして、RAM33のワーク域に監視対象者が一時記憶されているか、つまり、一人でも監視対象者が監視エリア内に居るかを調べ(ステップB22)、監視対象者が居れば、その中から何れか一人を指定し(ステップB23)、この指定客(監視対象者)対応の登場時刻を読み出すと共に(ステップB24)、現在時刻を取得し、現在時刻から登場時刻を減算し、当該顧客が監視エリア内に居た滞在時間を算出する(ステップB25)。
【0040】
このようにして算出した滞在時間と上述した監視レコード内の「滞在時間」とを比較し、算出した滞在時間は設定されている滞在時間を経過したかをチェックし(ステップB26)、滞在時間が設定時間未満であれば、上述のステップB22に戻り、監視エリア内に未指定の監視対象者が居ることを条件に、次ぎの監視対象者を指定する(ステップB23)、以下、指定した監視対象者の滞在時間を算出しながら設定時間と比較する。この結果、設定時間の経過が検出されると(ステップB26でYES)、上述した監視レコードを参照して「通知方法」を決定する(ステップB27)。
【0041】
いま、「通知方法」が“メールメッセージ送信”であれば、購買意欲がある顧客が来店中であることを示すメール文の作成を指示すると共に、この監視エリア(売り場)の担当者所持の携帯端末装置6を特定し、そのメールアドレス宛に作成メールの送信を指示する(ステップB28)。また、「通知方法」が“画像領域枠のブリンキング”であれば、画像領域枠(該当する売り場を示す監視エリア枠)の全体を点滅表示させる(ステップB29)。この点滅表示に合わせて該当顧客の所在位置を明示するようにしてもよい。また、「通知方法」が“電話メッセージ送信”であれば、購買意欲がある顧客が来店中であることを示す音声メッセージの作成を指示すると共に、この監視エリア(売り場)の担当者所持の携帯端末装置6を特定し、その電話番号宛に音声メッセージの送信を指示する(ステップB30)。なお、この場合、専用のソフトを起動させることによって担当者所持の携帯端末装置6に対してメールの作成送信あるいは音声メッセージの作成送信が行われる。
【0042】
そして、ステップB22に戻り、全ての監視対象者を指定し終わるまで上述の動作を繰り返される。これによって全ての監視対象者を指定し終わった場合には(ステップB22でNO)、監視時間帯の終了時刻かをチェックし(ステップB32)、終了時刻になるまで図7のステップB5に戻るが、終了時刻に達した場合には、監視テーブルWTに次ぎのレコードが設定されているかを調べ(ステップB32)、有れば、図7のステップB2に戻り、以下、上述の動作が繰り返される。
【0043】
以上のように、この第1実施例において店舗PC3は、監視カメラ1によって店内を撮影した撮影画像を解析しながら当該撮影画像内に含まれている人物の特徴から監視対象者を特定すると共に、この監視対象者が登場してから現時点までの滞在時間を計時し、この滞在時間が監視テーブルWTに設定されている「滞在時間」を経過したか否かを判別し、この設定時間が経過した場合にその旨を通知するようにしたから、例えば、「ある種の顧客がある売り場に30秒以上滞在しているときには、この売り場の商品を購入する傾向が強い」という規則性がある場合に、購買意欲を持った顧客を容易に認識することができ、その売り場の担当者に対して接客を要請するようにすれば、販売の機会を逃すこともなく、販売促進上有効なものとなる。
【0044】
この場合、店舗PC3は、撮影画像内に含まれている人物の特徴からその性別、年齢層を推測すると共に、推測した性別、年齢層に基づいて監視対象者を特定するようにしたから、性別、年齢層別に顧客を監視することができると共に、監視対象者をより細かく特定することが可能となる。また、店舗PC3は、撮影画像の全領域の中から予め設定された領域を監視領域(監視エリア)として特定すると共に、この監視領域内に含まれている人物の特徴から監視対象者を特定するようにしたから、例えば、店内全域を撮影した撮影画像の中からある売り場の領域を監視領域として設定しておけば、この売り場への顧客の出入りと共に、その滞在状況を監視することが可能となる。
【0045】
店舗PC3は、監視テーブルWTに設定されている「監視時間帯」を検出すると共に、この監視時間帯を検出する毎に、監視対象者を特定する動作を行うようにしたから、監視時間帯をも加味して監視対象者を特定することができる。また、「画像領域枠のブリンキング」、「メールメッセージ送信」、「電話メッセージ送信」の3種類の通知方法の中から任意に選択した通知方法で通知するようにしたから、担当者の現状などを考慮するなど、実情に即した対応が可能となる。
(実施例2)
【0046】
以下、この発明の第2実施例について図9図を参照して説明する。
なお、上述した第1実施例においては、監視対象者が登場してから現時点までの滞在時間が監視テーブルWTに設定されている「滞在時間」を経過した場合にその旨を通知するようにしたが、この第2実施例においては、予め監視時間帯及び監視領域が設定されている状態において、監視時間帯内で撮影した撮影画像内の監視領域に含まれている人物の年齢層を推測して監視対象者を特定した場合に、この監視対象者が監視領域内に居ることを通知するようにしたたものである。
【0047】
ここで、両実施例において基本的あるいは名称的に同一のものは、同一符号を付して示し、その説明を省略すると共に、以下、第2実施例の特徴部分を中心に説明するものとする。なお、監視テーブルWTは、上述した第1実施例と同様に監視条件として「性別」、「年齢層」、「監視時間帯」、「監視領域」の各項目を有しているが、この第2実施例の監視テーブルWTには、通知条件としての「滞在時間」を有しない構成となっている。
【0048】
図9は、第2実施例において店舗PC3での顧客監視処理を示したフローチャートであり、基本的には、上述した図7及び図8のフローチャートと同様であり、一定時間毎に割り込みによって実行開始される。
先ず、上述した第1実施例と同様に、CPU31は、監視テーブルWTをアクセスしてその先頭から1レコードを読み出す(ステップC1)。そして、この監視レコード内の「監視時間帯」の開始時刻に到達したかをチェックし(ステップC2)、この開始時刻に到達した場合には、監視カメラ1から現時点の撮影画像を取得する(ステップC3)。
【0049】
そして、CPU31は、監視レコード内の「監視領域」を参照し、各売り場に対応付けられている領域A〜Dのうち、少なくともその何れかが設定されているか、“無し”が設定されているかを判別し(ステップC4)、領域A〜Dの何れかが「監視領域」として設定されていれば、撮影画像内の指定領域を監視エリアとして特定するが(ステップC5)、“無し”が設定されていれば、撮影画像の全領域を監視エリアとして特定する(ステップC6)。この状態において、CPU31は、前回取得の撮影画像と今回取得の撮影画像とを比較しながら各撮影画像を解析し(ステップC7)、監視エリア内に新たな顧客が登場したかを調べ(ステップC8)、新たな顧客が居なければ(ステップC8でNO)、後述するステップC14に移るが、今回、監視エリア内に新たな顧客が登場した場合には、この顧客の画像部分を抽出してその部分を詳細に解析することによって当該顧客の性別を推定すると共にその年齢層を推定する(ステップC9)。
【0050】
そして、推定した性別及び年齢層と監視レコード内の「性別」、「年齢層」とを比較し(ステップC10)、それらが一致するか否かによって監視エリア内に監視対象者が登場したか否かをチェックする(ステップC11)。ここで、性別、年齢層がそれぞれ一致すれば、この顧客を監視対象者として特定し、この顧客(監視対象者)をRAM33のワーク域に一時記憶しておく(ステップC12)。そして、新たに登場した顧客がほかにも居れば(ステップC13でYES)、上述のステップC9に戻って監視対象者を特定して登録する処理を繰り返す。
【0051】
また、前回取得の撮影画像と今回取得の撮影画像とを比較した結果、今回、監視エリア内から退場した顧客が居るか否かを調べ(ステップC14)、新たな退場者が居る場合には、その退場者の一時記憶を消去する(ステップC15)。このように退場者を除く監視対象者が一人でも監視エリア内に居るかを調べ(ステップC16)、監視対象者が居れば、その中から何れか一人を指定したのち(ステップC17)、上述した第1実施例と同様に監視レコードを参照して指定客(監視対象者)に対する「通知方法」を決定して通知する処理を行う(ステップC18)。
【0052】
そして、ステップC16に戻り、全ての監視対象者を指定し終わるまで上述の動作を繰り返す。これによって全ての監視対象者を指定し終わった場合には、監視時間帯の終了時刻かをチェックし(ステップC19)、終了時刻になるまでステップC3に戻るが、監視時間帯の終了時刻に達した場合には、監視テーブルWTに次ぎのレコードが設定されているかを調べ(ステップC20)、次ぎのレコードが有れば、ステップC1に戻り、以下、上述の動作を繰り返す。
【0053】
以上のように、この第2実施例において店舗PC3は、監視テーブルWTに「性別」、「年齢層」、「監視時間帯」、「監視領域」が設定されている状態において、この監視時間帯において撮影画像内の監視領域に含まれている人物の性別及び年齢層を推測すると共に、この性別、年齢層が監視レコードの設定内容に該当する場合には、この顧客を監視対象者として特定し、この監視対象者が監視領域内に居ることを通知するようにしたから、例えば、「ある種の顧客が13時00分〜17時00分にある売り場あるいはポイントに行ったときには、この売り場の商品を購入する傾向が強い」という規則性がある場合に、購買意欲を持った顧客を容易に認識することができ、その売り場の担当者に対して接客を要請するようにすれば、販売の機会を逃すこともなく、販売促進上有効なものとなる。
【0054】
なお、上述した第1及び第2実施例においては、年齢層として、20歳以下、20〜40歳、40〜60歳、60〜80歳、80歳以上の5分類を推測するようにしたが、若者層、中年層、高齢者層の3分類あるいは2分類を推測するなど、任意である。また、年齢層と性別とを組み合わせて監視対象者を特定するようにしたが、何れか一方によって監視対象者を特定するようにしてもよい。また、監視対象者の特定条件としては、年齢層、性別に限らず、その他の要素として、例えば、身長、肥満度、服装などを考慮して監視対象者を特定するようにしてもよい。
【0055】
上述した第1及び第2実施例の人物監視システムは、店舗内を撮影して顧客状況を監視する顧客監視システムに適用し、購買意欲を持った顧客を特定して、その売り場の担当者に接客を要請する場合を例示したが、店舗、会社、学校、病院などの構内を撮影して不審者を特定する不審者監視システムに適用するようにしてもよい。例えば、「ある種の人物がある場所に30秒以上滞在しているときには、不審者である可能性が強い」、「ある種の人物が21時00分以降の遅い時間帯にある場所に行ったときには、不審者である可能性が強い」という規則性がある場合に、不審者を容易に認識することができ、警備担当者に警報すれば、セキュリティ管理上有効なものとなる。
【0056】
また、上述した第1及び第2実施例においては、「画像領域枠のブリンキング」、「メールメッセージ送信」、「電話メッセージ送信」の3種類の通知方法の中から任意の通知方法を選択するようにしたが、この中から2種類の通知方法を選択するようにしてもよく、また、通知方法としては、これに限らず、電子掲示板、伝言板などに追加表示する方法であってもよい。また、通知方法を「メールメッセージ送信」、「電話メッセージ送信」などに限ることによってモニタ画面を常時監視する係員を不要とすることが可能となる。また、監視カメラ1は、ビデオカメラに限らず、自動撮影が可能なスチルカメラであってもよい。
【0057】
その他、店舗PC3は、スタンドアロンタイプに限らず、その各構成要素が2以上の筐体に物理的に分離され、通信回線、ケーブル等の有線伝送路あるいは電波、マイクロウエーブ、赤外線等の無線伝送路を介してデータを送受信する分散型のシステムを構成するものであってもよい。この場合、性別、年齢層を推測する処理と、通知処理などを別の場所で実行するようにしてもよく、しかも、全体処理をリアルタイムで逐次処理する必要がない場合には、撮影画像を記録メディアなどに蓄積しておき、その後の必要時、性別、年齢層を推測して通知するようにしてもよい。
【0058】
一方、コンピュータに対して、上述した各手段を実行させるためのプログラムコードをそれぞれ記録した記録媒体(例えば、CD−ROM、フレキシブルディスク、RAMカード等)を提供するようにしてもよい。すなわち、コンピュータが読み取り可能なプログラムコードを有する記録媒体であって、監視カメラによって撮影された撮影画像を解析しながら当該撮影画像内に含まれている人物の特徴から監視対象者を特定する機能と、特定された監視対象者が登場してから現時点までの滞在時間を計時する機能と、計時された滞在時間が予め設定されている設定時間を経過したか否かを判別する機能と、設定時間の経過が判別された場合に、その旨を通知する機能とを実現させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体を提供するようにしてもよい。
【0059】
また、コンピュータが読み取り可能なプログラムコードを有する記録媒体であって、人物の特徴から監視対象者を特定するために年齢層を含む特徴情報と監視エリアを特定するための領域情報とを対応付けて記憶管理する機能と、予め設定されている監視時間帯において監視カメラによって撮影された撮影画像内の監視領域に含まれている人物の年齢層を推測する機能と、推測された年齢層が前記特徴情報で示される年齢層に該当する人物である場合に、当該人物を監視対象者として特定する機能と、この特定された監視対象者が監視領域内に居ることを通知する機能とを実現させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体を提供するようにしてもよい。
【図面の簡単な説明】
【0060】
【図1】人物監視システムの全体構成の概要を示したブロック図。
【図2】店舗PC3側に設けられている監視テーブルWTの内容を例示した図。
【図3】撮影画像の全域のうち売り場A、Bを含む領域が監視エリアとして指定されている場合に、売り場Cのエリアは監視対象外となることを示した図。
【図4】監視テーブルWTの監視条件、通知条件、通知方法を設定する場合の設定画面を示した図。
【図5】店舗PC3の基本的構成要素を示したブロック図。
【図6】店舗PC3側で監視テーブルWTの内容を編集する際の編集処理を示したフローチャート。
【図7】店舗PC3側で一定時間毎に割り込みによって実行開始される顧客監視処理を示したフローチャート。
【図8】図7に続く、フローチャート。
【図9】第2実施例において店舗PC3で実行される顧客監視処理を示したフローチャート。
【符号の説明】
【0061】
1 監視カメラ
2 ビデオキャプチャボード
3 店舗PC
4 インターネット
5 移動体通信網の基地局
6 担当者所持の携帯端末装置
31 CPU
32 記憶部
34 通信部
35 入力部
36 表示部
WT 監視テーブル




 

 


     NEWS
会社検索順位 特許の出願数の順位が発表

URL変更
平成6年
平成7年
平成8年
平成9年
平成10年
平成11年
平成12年
平成13年


 
   お問い合わせ info@patentjp.com patentjp.com   Copyright 2007-2013