米国特許情報 | 欧州特許情報 | 国際公開(PCT)情報 | Google の米国特許検索
 
     特許分類
A 農業
B 衣類
C 家具
D 医学
E スポ−ツ;娯楽
F 加工処理操作
G 机上付属具
H 装飾
I 車両
J 包装;運搬
L 化学;冶金
M 繊維;紙;印刷
N 固定構造物
O 機械工学
P 武器
Q 照明
R 測定; 光学
S 写真;映画
T 計算機;電気通信
U 核技術
V 電気素子
W 発電
X 楽器;音響


  ホーム -> 医学 -> 株式会社ゲン・テック

発明の名称 視線ベクトル検出方法及び同装置
発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開2007−209384(P2007−209384A)
公開日 平成19年8月23日(2007.8.23)
出願番号 特願2006−29428(P2006−29428)
出願日 平成18年2月7日(2006.2.7)
代理人 【識別番号】100100435
【弁理士】
【氏名又は名称】久保田 健治
発明者 ドータン クナーアン / アディ シャヴィット / ダナ シャヴィット / 鈴木 一史 / 市橋 敬男 / 高橋 昭夫 / 木俣 亮人
要約 課題
仮定の条件を少なくし、より簡単で明確な視線方向を求め得る改良した方法を提供することを課題とする。

解決手段
特許請求の範囲
【請求項1】
カメラの左右両側に配置された2台のLED光源から同時に被険者の眼に向けてLED光線を放射し、該被険者の眼を該カメラで撮影するステップと、前記LED光源の一方の光源位置と該カメラのレンズ中心位置と該被険者の角膜球面上の一方の輝点の撮影像の空間位置とを含む平面及び前記LED光源の他方の光源位置と該カメラのレンズ中心位置と該被険者の角膜球面上の他方の輝点の撮影像の空間位置とを含む平面を求めるステップと、前記2平面の交線を求めるステップと、前記角膜の角膜球の中心が前記交線上にあり、且つ、所定の条件を満たす角膜球の中心の位置を求めるステップと、瞳孔の中心を求めるステップとを含むことを特徴とする視線ベクトル検出方法。
【請求項2】
前記所定の条件は、前記LED光源からの入射光と反射光の2等分線が前記角膜球面上の輝点を通る法線ベクトルと一致することを特徴とする請求項1に記載の視線ベクトル検出方法。
【請求項3】
前記瞳孔の中心を求めるステップは、前記角膜球の中心と同一中心の所定半径の球面と前記カメラレンズの中心から前記撮影画像の瞳孔中心を通る半直線の交点を求めるステップであることを特徴とする請求項1又は請求項2の何れか1に記載の視線ベクトル検出方法。
【請求項4】
撮影カメラの両側に配置された2台のLED光源と、該2台のLED光源の同時点灯時に角膜球上の輝点を撮影する制御コントローラと、前記撮影カメラの撮影画像データから前記角膜球の中心点を求める演算と該角膜球の中心点の座標を利用して瞳孔中心を求める演算を行う演算処理装置とを具備したことを特徴とする視線ベクトル検出装置。
【請求項5】
前記2台のLED光源と前記撮影カメラとの位置関係を限定して1個のユニットに構成したことを特徴とする請求項4に記載の視線ベクトル検出装置。

発明の詳細な説明
【技術分野】
【0001】
この発明は人の視線ベクトルを検出する方法及び装置に関するものである。更に、具体的には、例えばコンピュータの入力装置や車の運転の補助手段として人の視線方向を検出する技術に関するものである。
【背景技術】
【0002】
人は風景や事物を見たいときに顔や眼をその方向に向ける。即ち、脳からの指令により見たい方向に顔や眼を向け、見たい風景や事物を網膜に写し、網膜に映った像を処理して必要な情報を得ている。ここで、眼を向けるとは眼の瞳孔の法線ベクトルを見たい方向に一致させることであり、視線方向(又は視線ベクトル)は角膜球の中心点と瞳孔の中心点とを結んだ半直線(又はベクトル)であると考えられる。従って、視線方向を検出するには角膜球の中心点の位置(座標)と瞳孔の中心点の位置(座標を)を決定することによって視線方向は得られる。
【0003】
瞳孔は外部に露出しているために、カメラから瞳孔までの距離が測定できれば、瞳孔の中心を求めることは容易である。例えば、瞳孔を撮影し、撮影画像から瞳孔中心を得ることができる。しかし、カメラから瞳孔までの距離の直接的測定は困難である。また、角膜球の中心は外部に露出していないため、この位置を求めることも複雑であるとされてきた。従って、これまで簡単で解りやすい視線ベクトルの検出方法及び装置は開発されていなかった。
【0004】
角膜球の中心位置を求めるために、例えば、眼科病院などで使用されている角膜形状を測定する角膜形状測定装置を利用することも考えられる。しかし、これらの角膜形状測定装置は、例えば、特許文献1、特許文献2に記載されている技術からも理解できるように、角膜球の全体形状を測定するものではなく、角膜の前側の表面形状を測定しているものであり、これらの装置によって、角膜の中心位置は求めることは困難である。
【特許文献1】特開2003−38422、角膜形状測定装置
【特許文献2】特開2002−17674、角膜測定装置
【0005】
視線方向を求める方法としては、例えば、本出願人により開示されている方法がある(特許文献3)。図9は眼球の構造と視線方向の関係を示す。図9において、眼球50の外側に角膜55があり、角膜55は点線で示した角膜球56の球面の一部と見なしている。角膜球56は中心がSで、半径Rの仮想的シェルである。水晶体57の前側には入射光量を調節する虹彩58があり、虹彩58の穴から見える部分が瞳孔(瞳)59である。角膜球56の中心Sから瞳孔59の中心Tを結ぶ矢印の半直線60が視線方向(視線ベクトル)である。なお、図9はLED光源Bから角膜上の点Pで反射してカメラレンズの中心Oに至る光線と撮影画像61を示している。特許文献3における視線方向を求める方法は、形態学上の知見データに基づいて認められている以下の4つの仮定(1)〜(4)を利用している(非特許文献4)。即ち、被写体の顔における右目を点A、左眼を点B、鼻を点Cとした場合、
(1) 距離(A,C)=距離(B,C)
(2) 比{距離(A,B)/距離(A,C)}=1.0833
(3) 距離(A,B)=6.5cm
(4) 角膜球の直径=1.54cm(半径=7.7mm)と仮定する。
【特許文献3】特開2005−253778号、視線検出方法及び同装置
【非特許文献4】情報処理研究報告2001−HI−93、pp.307−312、2002、眼球モデルに基づく視線測定方法
【発明の開示】
【発明が解決しようとする課題】
【0006】
上記の全ての仮定が全ての人間に正確に当てはまるかは疑問であり、従って対象とする人間に対して検証する必要がある。また、視線方向を求める計算も複雑であった。
本発明は、上記事実に鑑みなされたものであり、仮定の条件を少なくし、より簡単で明確な視線方向を求め得る改良した方法を提供することを課題とする。
【課題を解決するための手段】
【0007】
本発明は上記の課題を解決するための手段として以下の構成を採用している。即ち、
請求項1に記載の発明は、カメラの左右両側に配置された2台のLED光源から同時に被険者の眼に向けてLED光線を放射し、該被険者の眼を該カメラで撮影するステップと、前記LED光源の一方の光源位置と該カメラのレンズ中心位置と該被険者の角膜球面上の一方の輝点の撮影像の空間位置とを含む平面及び前記LED光源の他方の光源位置と該カメラのレンズ中心位置と該被険者の角膜球面上の他方の輝点の撮影像の空間位置とを含む平面を求めるステップと、前記2平面の交線を求めるステップと、前記角膜の角膜球の中心が前記交線上にあり、且つ、所定の条件を満たす角膜球の中心の位置を求めるステップと、瞳孔の中心を求めるステップとを含むことを特徴としている。
【0008】
また、請求項2に記載の発明は、請求項1に記載の発明において、前記所定の条件は、前記LED光源からの入射光と反射光の2等分線と前記角膜球面上の輝点を通る法線ベクトルが一致することを特徴としている。
【0009】
請求項3に記載の発明は、請求項1に記載の発明において、前記瞳孔の中心を求めるステップは、前記角膜球の中心と同一中心の所定半径の球面と前記カメラレンズの中心から前記撮影画像の瞳孔中心を通る半直線の交点を求めるステップであることを特徴としている。
【0010】
請求項4に記載の発明は、撮影カメラの両側に配置された2台のLED光源と、該2台のLED光源の同時点灯時に角膜球上の輝点を撮影する制御コントローラと、前記撮影カメラの撮影画像データから前記角膜球の中心点を求める演算と該角膜球の中心点の座標を利用して瞳孔中心を求める演算を行う演算処理装置とを具備したことを特徴としている。
【0011】
請求項5に記載の発明は、請求項4に記載の発明において、前記2台のLED光源と前記撮影カメラとの位置関係を限定して1個のユニットに構成したことを特徴としている。
本発明は、更に、取り付けが容易になるという効果が得られる。
【発明の効果】
【0012】
請求項1記載の発明によれば、より簡易な方法で正確な視線ベクトルが求められるという効果が得られる。請求項4に記載の発明によれば、より簡易な装置で迅速で正確な視線ベクトルが求められるという効果が得られる。
【発明を実施するための最良の形態】
【0013】
以下本発明の実施形態を図に基づいて説明する。
図1は、本実施形態の視線方向(視線ベクトル)を検出する装置全体図を示す。図1において、視線検出装置10は、カメラ11と、LED光源12a、12bと、制御演算装置13と、入力装置13aと、磁気ディスク13bとから構成されている。16は視線検出の被験者の片方の目を示す。また、15は瞳孔を示し、17は角膜球を示す。カメラ11はディジタルカメラで、カメラ11のレンズ11aの焦点距離fは既知である。LED光源12a、12bは点光源であり、眼16方向に向けられている。LED光源12a、12bによる眼球の映像がカメラ11に撮影される。なお、座標系14におけるLED光源12a、12bの位置座標及びカメラ11のレンズ中心の位置座標は予め決定しておく。例えば、カメラ11のレンズ中心を原点とし、直角座標系(XYZ)14を定めておく。制御演算装置13は以下に述べる処理を行う。
【0014】
図2は本実施形態の方法の手順を示すフローチャートを示す。図2において、ステップS1では、LED光源12a、12bから光線を角膜球17に向けて同時に放射し、カメラ11で撮影する。この関係を図3に示す。LED光源12a、12bから放射された光線は角膜球17の表面上の輝点18a、18bで反射してカメラ11のレンズ11aの中心Oを通り、撮影面11bに達する。撮影面11bには輝点18a、18bの像19a、19bが撮影される。なお、慣例により、撮影画像面11bはレンズ11aの前方に記載している。図3で、距離Dはレンズ中心Oから角膜球17の中心点Sまでの距離を示す。ここでは、距離Dは未知であり、以下の手順で求める。XYZ座標系15の原点は、便利上レンズ中心Oにとり、Z軸は角膜球17の方に向けて定め、X軸、Y軸は適当に定める。従って、XYZ座標系におけるLED光源12a、12bの座標は予め定めておく。
【0015】
ステップS2では、まず、画像面11bに撮影された撮影画像から平面座標系における輝点の像19a、19bの位置(座標)を読み取り、焦点距離f(f=1としてもよい)を利用して3次元座標系(XYZ座標系)14における輝点19a、19bの座標を求める。次に、レンズ中心O、LED光源12a及び像19aの3点を通る平面20及びレンズ中心O、LED光源12a及び像19aの3点を通る平面21を求める(図4)。図4に示すように、平面20は輝点18aを含んでおり、輝点18aにおける法線ベクトル22aを含んでいる。同様に平面21は輝点18bを含んでおり、輝点18bにおける法線ベクトル22bを含んでいる。従って、平面20、21は何れも角膜球17の中心Sを含んでいる。
【0016】
ステップS3では、平面20と平面21の2平面の連立方程式を解いて交線25を演算により求める。角膜球17の中心Sは交線(直線)25上に存在する。ステップS4では平面20が紙面と一致するようにXYZ座標系をxyz座標系に変換する。即ち、図5に示すように、原点Oは元の位置におき、z軸が角膜球17の中心Sを通り、LED光源12aがxz平面に含まれるようにXYZ座標系を回転する。この結果、角膜球17の中心Sを通る断面が円17aとして紙面上に現われ、輝点18a及び像19aも紙面上に現われる。また、LED光源12aから放射された光線の軌跡並びに輝点18aを通る法線ベクトル22aも紙面上に現われる。
【0017】
ステップS5では、以下の条件を満たす距離D(原点Oと角膜球の中心Sとの距離)を求める。角膜球17の直径(又は半径)を既知(直径14.8mm、半径7.4mm)と仮定する。この仮定は形態学上の知見データとして認知されている。この仮定を利用して、角膜球17(断面17a)の輝点における入射角と反射角が等しく、かつ、反射光が原点O(又は像19a)を通過するように距離Dを決定する。平面21についても同様に、ステップS4、ステップS5の手順を実行して距離Daを求める。距離DとDaは本来一致するはずである。万一測定誤差等で一致しない場合はDとDaの平均値を実際の距離Dとして採用してもよい。図6は原点Oと角膜球の中心Sとの距離が正しい場合(D)と誤っている場合(D1、D2)における反射光線の軌跡を比較した図である。この図から繰り返し計算により距離Dが求められることが理解できる。
【0018】
ステップS6では瞳孔15の中心を求める。まず、撮影画像11bから瞳孔中心26の座標を元の座標系14で求める。次に、Z軸が角膜球17の中心Sを通るように座標軸の変換(座標軸の回転)を行う。この際、X軸(又はY軸)は任意に定めてよい。座標軸を変換した新しい直交座標系を座標系(X’Y’Z’)14bとする。座標系14の瞳孔中心26の座標を新しい座標系14bに変換した座標を求める。
【0019】
ステップS7では視線方向を求める。ここで、瞳孔15の球面27は角膜球17の中心Sを中心とする半径r(r=4.5mm)の球面の一部とみなす。この仮定は形態学上の知見データにより許容される仮定である。図7は瞳孔の中心点28を求める説明図である。カメラレンズ17aの中心点から、座標系14bの瞳孔中心26を通過する半直線を引き、この直線と球面27の交点28を求める。これは、球面27の方程式と直線の連立方程式を解くことにより得られ、この交点28は瞳孔15の中心点と一致する。従って、視線方向は中心点Sから点28を通過するベクトルとなる。
【0020】
図8(A)、(B)は撮影画像例を示した図である。図(A)はほぼ水平を見ている状態の撮影画像で、図(B)は上方を見ている状態の撮影画像である。図8に示す左右両方の眼から視線方向(視線ベクトル)を求めれば、被験者の注目視している方向が検出できる。以上に述べてきたことから理解できるように、本実施形態による方法は角膜球の大きさ(半径=7.4mm)と瞳孔の球面が半径4.5mmの球面の一部であるという仮定のみを利用しているだけである。従って、誤差の入り込む余地が少なく正確な視線ベクトルが求められる。また、利用している演算も座標の回転と連立代数方程式を解くことであり、容易かつ速やかに可能であるという特徴がある。
【0021】
以上本発明の実施形態を図面に基づいて詳述してきたが、本発明の技術的範囲はこれに限られるものではない。例えば、座標変換における座標軸を適宜に定めてよい。また、距離Dを求める繰り返し演算の方法は上記した方法を変更してもよい。
【図面の簡単な説明】
【0022】
【図1】本実施形態の装置全体を示す。
【図2】本実施形態の手順を示すフローチャートである。
【図3】ステップS1におけるLED光源と輝点の関係を示す。
【図4】ステップS3における2平面の交線を示す。
【図5】ステップS4における座標軸を変換して輝点が紙面上に来るようにした図を示す。
【図6】ステップS5で距離Dの変化と反射光の方向変化を示す。
【図7】ステップS6の瞳孔の中心を求める説明図である。
【図8】撮影画像の写真例を示す。
【図9】眼球の構造と視線ベクトルを示す。
【符号の説明】
【0023】
11 カメラ
11a カメラレンズ
11b 撮影画像面
12a、12b LED光源
13 制御演算装置
14 原座標系
15 瞳孔
16 眼
17 角膜球
18a、18b 角膜球上の輝点(反射点)
19a、19b 輝点の撮影像
20,21 平面
26 瞳孔の撮影像の中心
27 瞳孔の内接球(半径r)
28 瞳孔の中心
D レンズ中心から角膜球中心までの距離
O レンズ中心
R 角膜球半径
S 角膜球中心





 

 


     NEWS
会社検索順位 特許の出願数の順位が発表

URL変更
平成6年
平成7年
平成8年
平成9年
平成10年
平成11年
平成12年
平成13年


 
   お問い合わせ info@patentjp.com patentjp.com   Copyright 2007-2013