隠れマルコフモデルベースのジェスチャ認識のための方法

 

センサシステム用の状態追跡ベースのジェスチャ認識エンジンのための方法は、有限状態機械の複数の順次状態を定義するステップと、各状態に対してシーケンス進捗レベル(SPL)を判定するステップと、ランタイム上で状態確率分布を(単一の)SPLにマップするステップと、センサシステムの出力値としてマップされたSPL推定値を利用するステップとを有する。最後の状態の後には、複数の順次状態の最初の状態が続く。センサシステムは、3次元(3D)感知システムである。3Dセンサシステムは、近距離場容量センサシステムまたは中/遠距離場センサシステムである。

 

 

(関連出願への相互参照)
本出願は、2013年7月19日に出願された米国仮出願第61/856,531号の利益を主張する。上記文献は、その全体として本明細書において援用される。
(技術分野)
本開示は、ヒューマンインターフェースのための方法およびデバイスに関し、具体的には、センサシステム用のHMMベースのジェスチャ認識エンジンにおける状態追跡に関する。
(背景)
マルチレベル制御、例えば、消費者家電製品における音量制御または画面/光輝度制御に既知のシステムは、多くの場合、円形タッチパッドまたは容量線形スライダ(ほとんどの場合、ノート型パソコンのキーボードの上方に搭載される)を使用し、またはそれらは、指がタッチパッドの右境界上の専用スライダ領域中で動いているときに一般ノート型パソコンタッチパッドからのタッチ情報を使用している。
これらのセンサは、指先についての絶対位置情報、したがって、円形タッチパッド上の指先の角度またはスライダ上の位置、すなわち、率直に制御レベルに直接的または特異的にマップすることができる情報を提供する。
具体的には、タッチホイールにとって、指先およびホイールの幾何学的中心がホイール上の基準点と角度を構築することが重要であり、この角度を評価することができる。
固定幾何学的中心位置がない円のジェスチャの認識に関しては、円の動きでの角度を判定することは、もはや簡単ではない。これは、例えば、一般的な非円形タッチパッドについて、近距離場容量センサシステムを使用する2D/3D自由空間ジェスチャ、またはビデオもしくは赤外線カメラシステムのような中/遠距離場センサシステムの場合に当てはまる。
時計回りまたは反時計回りのいずれかであり得る、円の動きを考慮し、固定開始または停止位置を有することにそれを限定しない。毎回、円の動き中に、リアルタイム適用のために、現在まで取得されているデータのみ、すなわち、部分的ジェスチャパターンのみを評価することができる。描かれた円の中心を把握することなく、動きの始めに、検出ユニットは、円の方向を知ることができない。例えば、左右の動きは、時計回りの円の最上部に現れるが、反時計回りの円の底部にも現れる。
(要約)
実施形態によると、センサシステム用の状態追跡ベースのジェスチャ認識エンジンのための方法は、有限状態機械の複数の順次状態を定義するステップと、各状態に対してシーケンス進捗レベル(SPL)を判定するステップと、ランタイム上で状態確率分布を(単一の)SPLにマップするステップと、センサシステムの出力値としてマップされたSPL推定値を利用するステップとを含む。
さらなる実施形態によると、最後の状態の後には、複数の順次状態の最初の状態が続くことができる。さらなる実施形態によると、センサシステムは、3次元(3D)感知システムであり得る。さらなる実施形態によると、3Dセンサシステムは、近距離場容量センサシステムまたは中/遠距離場センサシステムであり得る。さらなる実施形態によると、中/遠距離場センサシステムは、ビデオまたは赤外線カメラシステムを使用してもよい。さらなる実施形態によると、近距離場容量センサシステムは、準静電場測定に基づく容量式非接触3Dセンサシステムであり得る。さらなる実施形態によると、センサシステムは、2次元(2D)感知システム、容量または抵抗タッチシステム、もしくはタッチスクリーンシステムであり得る。さらなる実施形態によると、センサシステムは、1次元(1D)感知システムであり得る。さらなる実施形態によると、複数の状態は、円形ジェスチャの状態であり得る。さらなる実施形態によると、有限状態機械は、一次マルコフモデルであり得る。さらなる実施形態によると、最も可能性の高い状態は、順方向(バウム・ウェルチ)アルゴリズムを使用して計算することができる。さらなる実施形態によると、最も可能性の高い状態および/または最も可能性の高い状態シーケンスは、ビタビアルゴリズムを使用して計算することができる。さらなる実施形態によると、本方法は、状態遷移確率行列を備える、N状態隠れ(Hidden)マルコフモデル(HMM)を使用する。さらなる実施形態によると、状態遷移確率行列は、各行に最大確率値を備えてもよい。さらなる実施形態によると、各行の全ての確率は、最大100%まで加算してもよい。さらなる実施形態によると、HMMはさらに、所定の移動方向の確率を示す観察行列を使用してもよい。さらなる実施形態によると、観察行列は、各行に最大確率値を備えてもよい。さらなる実施形態によると、各行の全ての確率は、最大100%まで加算してもよい。さらなる実施形態によると、各離散時間インスタンスについて、センサシステムによって提供されるデータは、N状態HMMに対する状態確率分布を計算する有限状態機械に転送することができる。さらなる実施形態によると、各離散時間インスタンスについて、最大確率を伴う状態を選択することができ、状態と関連付けられるSPLが出力される。さらなる実施形態によると、各時間インスタンスについて、SPLは、状態確率分布から計算することができ、出力される。さらなる実施形態によると、本方法は、時計回りの円形ジェスチャ、反時計回りの円形ジェスチャ、または動きのないジェスチャを区別してもよい。さらなる実施形態によると、最大尤度規則を、最も可能性の高い状態を計算するように適用することができる。さらなる実施形態によると、複数の順次出力値について、円滑化アルゴリズムを、順次出力値の後処理中に適用することができる。
別の実施形態によると、ジェスチャ認識のための方法は、上記で説明されるような方法を含み、さらに、パターンベースのジェスチャ認識モードを含んでもよく、本方法は、所定の条件が満たされるときに、パターンベースのジェスチャ認識モードと、状態追跡ベースのジェスチャ認識エンジンによって提供される状態追跡ベースのジェスチャ認識モードとの間で切り替える。
そのような方法のさらなる実施形態によると、状態追跡ベースのジェスチャ認識モードは、確率行列を備える、N状態隠れマルコフモデル(HMM)を使用してもよい。そのような方法のさらなる実施形態によると、各状態を、観察確率分布に割り当てることができる。そのような方法のさらなる実施形態によると、状態追跡ベースのジェスチャ認識モード中に、各離散時間インスタンスについて、センサシステムによって提供されるデータを前処理し、N状態HMMの各状態に対する状態確率分布を計算する有限状態機械に転送することができる。そのような方法のさらなる実施形態によると、各離散時間インスタンスについて、最大確率を伴う状態を選択することができ、状態と関連付けられるSPLが出力される。そのような方法のさらなる実施形態によると、各時間インスタンスについて、SPLは、状態確率分布から計算することができ、出力される。そのような方法のさらなる実施形態によると、状態追跡ベースのジェスチャ認識モードは、時計回りの円形ジェスチャ、反時計回りの円形ジェスチャ、または動きのないジェスチャを区別してもよい。そのような方法のさらなる実施形態によると、本方法は、動きのないジェスチャに対する所定の時間閾値が満たされる場合に、パターンベースのジェスチャ認識モードに戻るように切り替えてもよい。そのような方法のさらなる実施形態によると、最大尤度規則を、最も可能性の高い状態を計算するように適用することができる。そのような方法のさらなる実施形態によると、複数の順次出力値について、円滑化アルゴリズムを、順次出力値の後処理中に適用することができる。そのような方法のさらなる実施形態によると、出力値は、デバイスの機能を制御するために使用することができる。そのような方法のさらなる実施形態によると、機能は、音量レベルを増加または減少させること、調光器を制御すること、もしくはスクロール機能を制御することであり得る。
図1は、実施形態による2Dジェスチャ認識システムを示す。 図2は、実施形態による3Dジェスチャ認識システムを示す。 図3は、複数の受信電極を使用する交流電気近距離場評価に基づくジェスチャ検出システムの例示的実施形態を示す。 図4は、オブジェクトの距離に関する受信センサの典型的な出力信号を示す。 図5は、図1−3によるシステムによって検出することができる、複数のジェスチャを示す。 図6は、図3によるシステムのセンサ電極に関する反時計回りの円形ジェスチャを示す。 図7は、図6によるジェスチャの動きでも現れる際の方向ベクトルのセットを示す。 図8−10は、種々の状態図を示す。 図8−10は、種々の状態図を示す。 図8−10は、種々の状態図を示す。 図11および12は、種々の実施形態による方法によって生成される、複数の出力値を示す。 図11および12は、種々の実施形態による方法によって生成される、複数の出力値を示す。 図13は、レベルが円形ジェスチャの検出時に特異的に更新される、棒グラフレベル計を伴う例示的用途を示す。
(詳細な説明)
この先、提案された解決策の一部は、観察されるジェスチャ(またはパターン)を識別することである。提案された方法では、これは、確率測度を使用して、(ランダムな動きを表す無意味なジェスチャを含み得る)他の起こり得るジェスチャのセットと比較することによって行われる。いったん最も確率が高いジェスチャが識別されると、例えば、半円を描いた後に、ジェスチャの進捗が追跡される。(この進捗追跡はまた、まさにジェスチャの(検出された)開始時に開始することもできる。また、可能性の低いジェスチャの進捗も、異なる目的で同時に追跡されてもよい。)
種々の実施形態では、a)有限状態機械の各状態対してシーケンス進捗レベル(SPL)を先験的に定義または判定するように、b)ランタイム上で状態確率分布を(単一の)SPLにマップするように、およびc)情報源(使用事例)としてこのSPL推定値を利用するように、方法を提供することができる。
ジェスチャ進捗を追跡するための提案された方法を用いると、固定基準位置さえも必要とされない。我々の方法は、限定されないが、前述のセンサシステムの全てに適用可能であり、以下の実施例でさらに説明されるであろう。
図1は、例えば、典型的な2次元(2D)検出システム100を示す。2Dセンサ120は、例えば、センサ120によって提供される未加工情報を復号し、2Dインターフェース110と連結されたデータ処理システム130に提供される、それぞれのデータおよび/またはコマンドを生成するように構成される、2Dインターフェース110と連結される、容量または抵抗トラックパッドまたはタッチスクリーン検出器であり得る。
図2は、例示的な3次元検出システム200を示す。本システムは、3D評価回路220、例えば、データ処理システム130と連結することができる、出願者によって製造された集積回路デバイスMGC3130と連結される、複数の電極を伴う準静電場検出システム210を使用してもよい。図3は、プリント回路基板(PCB)305上に配列された複数の受信電極310−340を備える、そのようなシステムに使用可能である、例示的な電極配列を示す。PCBはまた、通常、PCBの下層で、例えば、準静電場を生成するためのPCB305の底部側に配列される、伝送電極も提供する。そのようなシステムは、例えば、受信電極310−340の上方の領域空間中で延在する伝送電極に供給される、100kHz交流信号、例えば、方形パルス列を使用することによって、電場を生成してもよい。検出空間内で行われる非タッチジェスチャは、伝送電極の周囲および/または上方に配列される受信電極310−340によって、または伝送電極の負荷を測定することによって検出することができる、電場の擾乱を引き起こす。そのような回路基板は、同時に、評価チップ350を含み、例えば、データ処理システム用のUSBインターフェース360を提供することができる。電場に進入するオブジェクトは、同電場を乱し、種々の電極310−340における信号は、とりわけ、オブジェクトまでの距離に応じて、異なって減衰させられる。したがって、電極310−340によって提供される未加工データの処理は、実際の3Dデータを提供する。図4に示されるように、それぞれの電極310−340までのオブエジェクとの距離が大きいほど、測定値が小さくなることが、そのような電場3D検出システムに固有であり得る。しかしながら、本願は、そのような挙動に制限されず、電場システムは、異なる信号応答を提供してもよい。隠れマルコフモデル(HMM)ベースのジェスチャ認識システムを使用して、ジェスチャを検出することができる。モデルは、それらの真/実際の状態を直接観察することができないため、「隠れ」と称される。各状態の「好ましい」移動方向は、観察確率を介して、それに結び付けられる。離散ジェスチャ事象、例えば、図5に示されるようなフリックおよび円の認識が、その全体で参照することにより本明細書に組み込まれる、「AUTOMATIC GESTURE RECOGNITION FOR A SENSOR SYSTEM」と題された同時係属米国特許出願公開第US2014/0050354号で開示されている。
センサシステムは、例えば、測定値が、導電性オブジェクトと電極との間の距離の端直測度である、センサ電極を伴う容量センサシステムであり得る。ジェスチャ認識に使用される特徴は、例えば、センサ測定値から計算される2次元(x,y)面内の指の動きを表す、2次元方向ベクトルの兆候であり得る。上記で説明されるように、3Dシステムは、光学、音響等の任意の検出システムであり得る。再度、データ処理システムは、例えば、図1および2に示されるように、2Dシステムまたは3Dインターフェースから処理された情報を受信してもよい。
提案された方法はまた、1次元(1D)センサシステム、例えば、第2の次元を必要としない、タッチまたはタッチレススライダ機能に適用することもできる。以下では、ほとんどの実施例は、時計回りまたは反時計回りの円ジェスチャ等の円形ジェスチャを指す。しかしながら、本願で記述されるように、提案された方法はまた、1D、2D、または3D感知システムに適用することもできる。
実施例:連続円ジェスチャ位相追跡(「エアホイール」)
行列Aが、HMMの状態遷移確率行列(行内が現在の状態、列内が次の状態)であり、行列Bが、観察確率行列(行内が状態、列内が観察)であり、πが、初期状態確率ベクトルである、表1で定義される4状態円形HMMを含む、隠れマルコフモデル(HMM)ベースのジェスチャ認識システムを提供されると仮定されたい。Bの列は、行列Bの最上部で示されるものと同一の順序で、図7の方向ベクトルに対応する。HMMは、反時計回りの円ジェスチャを表す。
図6は、4つの受信電極310−340とともに図3に示されるような電場3Dセンサを使用するシステムを用いた、HMM状態に関する全ての可能な特徴ベクトルの関連を示す。観察空間は、その前の手の動きの追跡を提供する4つの受信電極310−340によって提供される測定データから抽出される、4つの方向ベクトルのセットである。図7は、4つの方向ベクトルのセットを伴う観察空間を示す。図8は、HMMの状態図を示す。確率行列Bを用いると、第1の状態「s1」が、方向ベクトルを左上に出力する高い確率B[1,1]=0.95、およびベクトルを右上に生成する非常に小さい確率B[1,4]=0.02を有することが分かる。
図6および8に示されるように、反時計回りの円形ジェスチャの検出については、行列B(表1参照)は、それぞれの方向ベクトルと関連付けられる最大値を有するように設計されている。行列Aは、それぞれのジェスチャの状態および起こり得る遷移を反映するように設計されている。したがって、例えば、状態s1については、反時計回りのジェスチャの状態s3およびs4への遷移が存在しない。唯一のゼロではない遷移確率は、状態s1からそれ自体まで、またはs2までである。好ましくは、各行の行列AおよびB内の確率は、最大100%まで加算する。ジェスチャの円形により、行列B内の現在の状態、例えば、sは、前の状態sおよび次の状態sによって境界される。各状態は、優勢、すなわち、極めて確率が高い観察(この状態に関連付けられるBの行内の明確な最大値)、または高い確率を伴う類似観察のセットと関連付けられる。例えば、表1のBの行の全体を通して、すなわち、各状態については、その最も可能性の高い方向ベクトルとは反対の方向を伴う方向ベクトルを生成する確率が最も小さく、例えば、状態s2であるときに右上の動きを生成する確率が最も小さく、s2の最も可能性の高い観察は、左下である。表1は、どのようにして確率を割り当てることができるかという実施例を示すにすぎない。それぞれのジェスチャおよびその特性に応じて、他の値および最大確率が適用される。例えば、ジェスチャおよびその関連HMMは、円形ではなく、明確な開始および終了を有していない場合がある。ジェスチャは、異なり得、円形である必要はない。

円形ジェスチャを使用する実施例に関して、手が、位相φ=0を伴う正のx軸上で始まって反時計回りに動かされるとき、センサからのいくつかのサンプルの後に、図6の座標系の第1象限内の円の動きの優勢方向が、左上に向かい、対応する方向ベクトルが、HMMが状態s1にあるときに生成される可能性が最も高いため、状態s1は、所与のHMMで最も可能性の高いものであろう。左上方向ベクトルに対応する、行列Bの第1列内の最大値は、状態s1に対応する行1内にある。手が反時計回りの動きを続けると、最も可能性の高い状態は、続けてs2、s3、s4、s1等になるであろう。
したがって、反時計回りの円が手の動きによって実行されることを把握し、かつ対応するHMMで最大の可能性の状態を把握すると、空間内の描かれた円の絶対位置を把握する必要なく、「場所」について、すなわち、円内のどの位相で手が現在動いているかを推定することができる。
一般説明:
N個の状態を伴う有限状態機械(FSM)が与えられていると仮定されたい。また、特徴空間、すなわち、離散時間インスタンスで連続時間パターンをサンプリングするセンサによって提供される、測定データから選択または抽出することができる特徴のセットも与えられている。FSMの各状態は、ある確率を伴う特徴セットの中の特徴(または観察)を生成すると仮定され、すなわち、各状態が観察確率分布に割り当てられる。最も単純な場合では、各状態は、確率1を伴う特徴セットのうちの単一の特徴にマップする。これらの分布は、一般的に、いわゆる観察行列Bに記憶される。FSMは、特定のパターンまたは特定のパターンのセットを表している。
この観察確率分布に基づいて、シーケンスの進捗に従って増大する順序で、連続時間パターンでのシーケンス進捗レベル(SPL)を各状態に(先験的に)割り当てる。一般性を失うことなく、SPLの値範囲を[0,N]に設定する。実施例:図6は、初歩的な実施例について、それぞれ、状態s1、s2、s3、およびs4に割り当てられる、N=4つのSPL、すなわち、q1=Q(1)=0.5、q2=Q(2)=1.5、q3=Q(3)=2.5、およびq4=Q(4)=3.5を示す。そのようにする動機は、以下の通りである。[0,N]の範囲内のSPLが、q=0を伴う正のx軸上で始まり、q=1を伴う正のy軸、q=2を伴う負のx軸、q=3を伴う負のy軸を経由し、q=4を伴う正のx軸に戻って、単調に一周パターンにわたって分布していると仮定されたい。Q(1)〜Q(4)は、それらの対応する状態s1〜s4の優勢観察に合致する、パターンの位置に配置される。
ランタイム上で、FSMおよびセンサデータから抽出された特徴を考慮すると、状態確率分布が、FSMの状態について計算され、各新しいセンササンプルについて更新される。各離散時間インスタンスで、SPL推定値を得る最も単純な方法は、この分布で最大確率を伴う状態を選択し、この状態に割り当てられたSPLを出力することである。別のより精巧なアプローチが、以下のリスト1に示されている。
時計回りの円の検出のためのHMMは、時計回りの遷移を伴う(矢印が図8に示されるものと反対方向を指し示す)図8に示されるような類似状態モデルを使用する。例えば、フィルタ状態確率の追跡を用いて、最も可能性の高い状態が、主に左上方向ベクトルに関連付けられるとき(行列B内の左上方向ベクトルの優勢確率)、φ=45°と仮定することができる。次の状態への遷移は、角度のほぼ90°の変化に対応する。次いで、状態遷移の累積数を出力することができる。
図9は、時計回りおよび反時計回り両方のジェスチャ検出のための双方向円形HMMを提供する、別の実施形態を示す。このモデルは、1つは時計回りの円のため、もう1つは反時計回りの円のためである、2つの既存の単方向円HMMに潜在的に取って代わるために使用することができ、これは、実際の実施形態のためのフラッシュメモリの節約につながり得る。
図11で出力されるような階段形状を平滑化するための付加的なフィルタが必要であり得る。モデルは、例えば、指が動いていないときに、仮想スクロールホイール(VSW)モードで拡張タイムアウトを含むことによって、前方/後方スクロールを可能にする停止基準を含むように、さらに修正することができる。他の実施形態によると、状態の数は、より細かい粒度のために増加させることができ、4つの状態を使用する実施例に限定されない。
ランタイム上で状態確率分布を計算するための規則は、最も可能性の高い状態または最も可能性の高い状態シーケンスを計算する最大尤度(ML)または最大事後確率(MAP)規則であり得る。
各状態が、状態指数iおよびSPL Q(i)に割り当てられる。
a)自己設計型FSM:所定の連続パターン(または「シーケンス」)については、対応するSPLがこのFSMによって表される連続パターンで現れる順序と同一の順序または反対の順序に状態指数があるように、FSMの各状態が、この連続時間パターンで、ある離散時間インスタンス(SPL)に割り当てられる。各SPLは、好ましくは、セグメント中心で、N個の隣接シーケンスセグメントのうちの1つの内側に位置する。次いで、各状態については、観察確率分布は、典型的には、センサがこのセグメントで連続時間パターンをサンプリングしているときに得られる観察に類似するように選択される。
実施例:初歩的な実施例は、そのような自己設計型FSM、より正確には、N=4個の状態を伴う一次円形隠れマルコフモデルである。図6は、4つのSPL、すなわち、q1、q2、q3、およびq4の周囲のシーケンスセグメント(4つの円の4分の1、各象限に1つ)を示す。表1の状態遷移行列Aは、モデルの円形構造を反映する。上記のように、ゼロではない確率を伴う遷移は、ある状態からそれ自体、または次に高い指数を伴う状態へ、および第4の状態s4からs1に戻ってのみ起こる。各状態については、観察行列Bは、セグメント内の優勢な移動方向に対応する、優勢、すなわち、最も確率が高い観察を有する。
b)所定のFSM(例えば、訓練されたHMM):その状態のそれぞれに割り当てられた観察確率分布を伴うFSMを考慮すると、所定の連続パターン(または「シーケンス」)については、対応するSPLが連続時間パターンで現れる同一の順序に(または反対の順序に)指数があるように、連続時間パターン内の典型的なSPL Q(i)が、各状態siについて識別されるものである。
実施例:観察のセット、および各状態の観察にわたって確率分布を含有する行列Bを考慮して、各状態の平均または期待観察(例えば、算術平均)を計算する。割り当てられたSPL、例えば、このパターンの典型的な時間的持続にわたって一様に分布しているSPLを伴う基準パターンを考慮して、各状態については、その期待観察が適合するパターンでSPLを識別し、このSPLを状態に割り当てる。行列AおよびBの別の例示的なセット、ならびにSPL0.5、1.5、2.5、および3.5に対応する関連方向矢印を示す、表2の観察確率行列Bを考慮すると、モデルの循環的構造を考慮しながら、期待観察(分布の平均値または加重和)の計算は、以下のように第2の状態s2に有効であろう。行列B内の状態s2に対応する行2内の最大値を検索し、列4内の右上への方向ベクトルにB(2,4)=0.9を生じる。この確率は、この観察に対応するSPL q=3.5を加重している。したがって、列3内の確率B(2,3)は、SPL q=2.5を加重している。モデルの循環的構造、およびNを法とするSPLの結果として生じる計算により、各観察については、それが最も可能性の高い観察の前に、またはその後に生じると見なされるものであるかどうかが決定される必要がある。最大確率が列4内にあるため、列1内の周期的にその右側にある観察のSPLは、q=0.5+(N=4)=4.5であり、対応する確率は、B(2,1)=0.05である。列4内の最大値B(2,4)=0.9の周期的に右側にある列1内の確率B(2,1)=0.05が、最大値の左側の確率B(2,3)=0.04より大きいため、列2もまた、周期的に第4列の右側にあると見なされ、SPL q=5.5を生じる。したがって、SPLの加重和は、以下となる。

この結果がNより大きく、または0より小さくなれば、Nを法として計算する必要があろう。SPLを状態に割り当てるための異なるアプローチも可能であり、例えば、最大確率を伴う方向ベクトルの反対方向に対面する方向ベクトルを無視する。

表2に示される実施形態によると、状態遷移確率行列Aは、双方向円形HMMが図11および図12に示されるようなスクリーンショットを生成するために設定される。図10は、双方向円形HMMの関連状態図を示す。図11は、3つの連続区分に分割されたジェスチャのシステムの出力レベルの実施例を視覚化する。第1のセクションは、活動がないことを示し、その後にVSWモードを起動する時計回りの円ジェスチャが続く。段階は、それぞれ、関連増大スクロールパラメータ、もしくは2つまたはそれを上回る状態間の遷移を示す。ある時計回りの円の時間後に、ユーザは、即時に、図11に示されるような関連パラメータを減少させる、反時計回りのジェスチャを行い続ける。
停止基準、すなわち、連続時間パターンの終了を検出するための決定規則は、パターンが、あるより短い時間量にわたってほとんど変化していないときに、停止を検出しないように適合される必要があり得る。
上記のように、他の実施形態によると、レベルの数を増加させることによって、すなわち、状態の数を増加させることによって、進捗レベルの粒度を向上させることができる(すなわち、2つの連続レベルの間の段階をより小さくすることができる)。
さらなる実施形態によると、2つのレベルの間の遷移を平滑化するように、後処理を適用することができ、すなわち、最高確率を伴う状態を選択する規則を、より精巧な規則に置換することができる。qに、我々のアルゴリズムによって計算されるSPL推定値を示させる。いかなる一般性も失うことなく、qの値範囲を[0,N]内のqにさせ、Nは、考慮中のHMMでの状態の数である。Q=[Q(1)Q(2)…Q(N)]に、各状態のSPLを含有するベクトルを示させ、全てにQ(i)<=Q(i+1)が当てはまり、i=1,2,…,N−1であり、Q(i)はqと同一の値範囲を有する。平滑化のための第1のステップは、状態確率伝搬の内部平滑化を活用することである。最大確率を伴う状態を選択する代わりに、アルファ(i)によって状態siの(前向き)確率を示す、全ての状態の確率を使用して、平均SPLを計算する。状態遷移を平滑化するための第2の提案は、SPL推定値qを徐々に更新するために、[0,1]に記憶因数シータを導入することである。明確な開始および停止を伴うシーケンス/パターン(非周期的)と、ジェスチャ認識と関連する円のような周期的シーケンス(周期的)とを区別する。q(k)に、離散時間インスタンスkでのqを示させる。
a)非周期的:
b)周期的:現在、qの範囲は、[0,N]内のqである。HMMの周期性により、非周期的な場合のような加重和は、可能ではない。代わりに、例えば、高いSPLを伴う状態から低いSPLを伴う状態への状態遷移が起こるときに、オーバーフロー/アンダーフロー問題を回避するために、微分更新アプローチが行われる。SPL推定値qの更新は、N/2未満の量だけ許可されるのみである。

リスト1は、測定データが取得され、HMM前向き確率が計算された後に各離散時間段階で適用される、例示的な更新規則を表示する。図11および12は、SPL割り当てが図6と同様である、表2の状態遷移確率行列とともに双方向円形HMMを使用する、(反)時計回りの円の追跡を示す。時計回りの円の動きは、図中で信号のレベルを増加させ、反時計回りの円は、信号レベルを減少させる。したがって、図12は、平滑化後処理を伴う実装を視覚化する。第1に、グラフに示されるスクロールパラメータを増加させるように、いくつかの時計回りの円が実施され、次いで、一時停止、次いで、いくつかの反時計回りの円、一時停止、さらにいくつかの反時計回りの円が続く。表2の双方向円形HMMが、本実施例に使用されている。図12では、動きの一時停止中にある、信号レベルがほぼ一定である、描画された信号内のセグメントもある。図11と比較して、信号の階段特性は、平滑化により、有意に低減させられる。
平滑化はまた、他の実施形態によると、行列Aおよび/またはB内のHMMモデルパラメータを修正することによって達成することもできる。
特徴のうちのいくつかの概要
実施形態によると、最大確率を伴う状態は、必ずしも選択されてなくてもよいが、状態確率分布の平均値を得ることによって、「補間」状態指数および対応するSPLを計算することができる。
種々の実施形態によると、以下の特徴のうちの1つまたはそれを上回るものが実装されてもよい。
FSMは、有限記憶を有してもよい。FSMは、マルコフ性を満たしてもよく、すなわち、FSMは、一次マルコフモデルであり得る。順方向(バウム・ウェルチ)アルゴリズムを使用して、最も可能性の高い状態を計算することができる。ビタビアルゴリズムを使用して、最も可能性の高い状態および/または最も可能性の高い状態シーケンスを計算することができる。マルコフモデルの状態は、隠されており、すなわち、FSMは、隠れマルコフモデル(HMM)である。FSMは、HMMのセットから、連続時間パターン、またはその対応する観察の離散時間シーケンスが与えられる、最も可能性の高いものが判定され、観察シーケンスが、所与の開始時間インスタンスと所与の停止時間インスタンスとの間でセンサから得られる特徴のシーケンスである、従来の事象ベースのパターン認識システムで使用される、隠れマルコフモデルであり得る。
1.所定の条件が、SPL追跡に備えたHMMについて満たされるとき、次いで、それは、従来の事象ベースのパターン認識モードからSPL追跡モードに切り替えられてもよい。
2.この条件は、所定の確率を超えることである。
3.従来の事象ベースのパターン認識中の停止検出のための基準は、SPL追跡モード中に適用されるものとは異なり得る。
連続時間パターンは、ジェスチャであり得、ジェスチャは、所定の動きのパターンとして定義される。例えば、連続時間パターンは、円のジェスチャであり得る。しかしながら、上記のように、他の種類のジェスチャ、非円形型のジェスチャさえも、または非ジェスチャパターンさえも使用することができる。HMMは、線形HMMまたは円形HMMであり得る。HMMは、双方向HMMであり得る。次いで、SPL追跡は、パターンの反対方向、すなわち、前方および後方でも行うことができる。
検出方法の適用
円形ジェスチャは、回転ノブの制御に類似し、したがって、例えば、好ましくは、例えば、ハイファイセットの仮想音量制御ホイールとして使用することができる。時計回りの動きは、音量を増加させ、反時計回りの動きは、音量を減少させる。しかしながら、種々の実施形態によると、任意の他の回転ノブ機能を実装することができる。
図13は、時計回り/反時計回りの円のジェスチャのSPLに対応する、それぞれのレベルを示す、垂直棒グラフを使用する例示的な設計を示し、すなわち、SPLが、ある量だけ増加/減少したときに(例えば、円の各4分の1の後に)、グラフのレベルが1本の棒だけ増加/減少させられる。図13は、位相インジケータを伴う音量制御ホイールとして使用され得る用途、および明るくなったLEDの棒の高さが音量を示すLEDディスプレイを示す。明るくなったLEDがないことは、消音に対応し、全てのLEDが明るくなっていることは、最大音量に対応する。音量ホイールを回すことは、音量を増加/減少させ、ホイールが、定義された量だけ、例えば、90度(Δφ=1に対応する)だけ回されたとき、1つのLEDが明るくなるか、またはオフにされる。理論上は、音量ホイールを無限量だけ回すことができるが、LED棒グラフは、消音または最大音量で飽和する。上記のように、任意の他の種類の回転ノブ機能が適用されてもよい。
例えば、限定的ではないが、他の用途は、以下を含んでもよい。
−円形タッチパッドから知られている任意のメディアプレーヤ制御型機能性
−光スイッチにおける調光器を制御する
−パソコンのマウスのスクロールホイールの代替品
−センサシステム/測定入力デバイスの種類(実施例)
1.1Dスライダ機能、または他の1次元ジェスチャ
2.2Dタッチパネル/タッチディスプレイ、2Dビデオカメラ
3.3Dビデオカメラ、3D容量センサシステム
−認識のロバスト性を増加させるためのパターン認識システム内のSPL情報の内部利用
他のモード
1D、2D、または3D測位システム(例えば、カメラベース、または容量センサシステム)を提供されると、例えば、画像処理技法を使用して、部分的パターン(例えば、部分的に描かれた円)を評価することも可能である。しかしながら、これは、付加的なアルゴリズム機械(スケーリング、回転、新しい距離測度)を必要とし、したがって、提案された方法ほど既存のHMMベースのパターン認識システムに容易に組み込まれない。注意:SPL追跡とともにカメラベースのセンサシステムを使用することは、好ましい方法と見なされ得る。
部分的パターンはまた、部分的HMMを使用して検出することもできる。しかしながら、次いで、ジェスチャ認識アルゴリズムが、計算の複雑性の有意な増加を推測する、各部分的HMMについて実行される必要があろう。
拡張
−双方向円HMMはまた、時計回りおよび反時計回りの円のための2つのHMMに取って代わるために使用することもできる。時計回りまたは反時計回りの動きの間の決定は、ジェスチャ停止検出後の累積微分SPLが、その兆候についてチェックされる、後処理段階で行うことができる。
−HMMパターン認識アルゴリズムへの観察(方向ベクトル)の入力は、検出される動きがあるときの時間インスタンスに限定することができる。このようにして、例えば、時計回りの円を描き、一時停止し、反時計回りの円を描くとき、いかなる観察も動きの一時停止で入力されず、方向ベクトルは、実際の動きの情報ではなく、雑音のみに依存している。
参考文献




  1. センサシステム用の状態追跡ベースのジェスチャ認識エンジンのための方法であって、前記方法は、
    有限状態機械の複数の順次状態を定義するステップと、
    各状態に対してシーケンス進捗レベル(SPL)を判定するステップと、
    ランタイム上で状態確率分布を(単一の)SPLにマップするステップと
    前記センサシステムの出力値として前記マップされたSPL推定値を利用するステップと
    を含む、方法。

  2. 最後の状態の後には、前記複数の順次状態の最初の状態が続く、請求項1に記載の方法。

  3. 前記センサシステムは、3次元(3D)感知システムである、請求項1に記載の方法。

  4. 前記3Dセンサシステムは、近距離場容量センサシステムまたは中/遠距離場センサシステムである、請求項3に記載の方法。

  5. 前記中/遠距離場センサシステムは、ビデオまたは赤外線カメラシステムを使用する、請求項4に記載の方法。

  6. 前記近距離場容量センサシステムは、準静電場測定に基づく容量式非接触3Dセンサシステムである、請求項4に記載の方法。

  7. 前記センサシステムは、2次元(2D)感知システム、容量または抵抗タッチシステム、もしくはタッチスクリーンシステムである、請求項1に記載の方法。

  8. 前記センサシステムは、1次元(1D)感知システムである、請求項1に記載の方法。

  9. 前記複数の状態は、円形ジェスチャの状態である、請求項1に記載の方法。

  10. 前記有限状態機械は、一次マルコフモデルである、請求項1に記載の方法。

  11. 最も可能性の高い状態は、順方向(バウム・ウェルチ)アルゴリズムを使用して計算される、請求項10に記載の方法。

  12. 最も可能性の高い状態および/または最も可能性の高い状態シーケンスは、ビタビアルゴリズムを使用して計算される、請求項10に記載の方法。

  13. 前記方法は、状態遷移確率行列を備えるN状態隠れマルコフモデル(HMM)を使用する、請求項1に記載の方法。

  14. 前記状態遷移確率行列は、各行に最大確率値を備える、請求項13に記載の方法。

  15. 各行の全ての確率は、最大100%まで加算する、請求項14に記載の方法。

  16. 前記HMMはさらに、所定の移動方向の確率を示す観察行列を使用する、請求項13に記載の方法。

  17. 前記観察行列は、各行に最大確率値を備える、請求項16に記載の方法。

  18. 各行の全ての確率は、最大100%まで加算する、請求項17に記載の方法。

  19. 各離散時間インスタンスについて、前記センサシステムによって提供されるデータは、前記N状態HMMに対する状態確率分布を計算する前記有限状態機械に転送される、請求項13に記載の方法。

  20. 各離散時間インスタンスについて、前記最大確率を伴う状態が選択され、前記状態と関連付けられるSPLが出力される、請求項19に記載の方法。

  21. 各時間インスタンスについて、SPLは、前記状態確率分布から計算され、出力される、請求項19に記載の方法。

  22. 前記方法は、時計回りの円形ジェスチャ、反時計回りの円形ジェスチャ、または動きのないジェスチャを区別する、請求項20に記載の方法。

  23. 最大尤度規則は、最も可能性の高い状態を計算するように適用される、請求項20に記載の方法。

  24. 複数の順次出力値について、円滑化アルゴリズムは、順次出力値の後処理中に適用される、請求項16に記載の方法。

  25. 請求項1に記載の方法を含むジェスチャ認識のための方法であって、前記方法は、パターンベースのジェスチャ認識モードをさらに含み、前記方法は、所定の条件が満たされるときに、前記パターンベースのジェスチャ認識モードと、前記状態追跡ベースのジェスチャ認識エンジンによって提供される状態追跡ベースのジェスチャ認識モードとの間で切り替える、方法。

  26. 前記状態追跡ベースのジェスチャ認識モードは、確率行列を備えるN状態隠れマルコフモデル(HMM)を使用する、請求項25に記載の方法。

  27. 各状態は、観察確率分布に割り当てられる、請求項26に記載の方法。

  28. 前記状態追跡ベースのジェスチャ認識モード中に、各離散時間インスタンスについて、前記センサシステムによって提供されるデータは、前処理され、前記N状態HMMの各状態に対する状態確率分布を計算する前記有限状態機械に転送される、請求項26に記載の方法。

  29. 各離散時間インスタンスについて、前記最大確率を伴う状態が選択され、前記状態と関連付けられるSPLが出力される、請求項28に記載の方法。

  30. 各時間インスタンスについて、SPLは、前記状態確率分布から計算され、出力される、請求項28に記載の方法。

  31. 前記状態追跡ベースのジェスチャ認識モードは、時計回りの円形ジェスチャ、反時計回りの円形ジェスチャ、または動きのないジェスチャを区別する、請求項29に記載の方法。

  32. 前記方法は、動きのないジェスチャに対する所定の時間閾値が満たされる場合に、前記パターンベースのジェスチャ認識モードに戻るように切り替える、請求項31に記載の方法。

  33. 最大尤度規則は、最も可能性の高い状態を計算するように適用される、請求項29に記載の方法。

  34. 複数の順次出力値について、円滑化アルゴリズムは、順次出力値の後処理中に適用される、請求項29に記載の方法。

  35. 複数の順次出力値について、円滑化アルゴリズムは、順次出力値の後処理中に適用される、請求項30に記載の方法。

  36. 請求項1に記載の方法を実装するように構成されたデバイスを操作する方法であって、前記出力値は、前記デバイスの機能を制御するために使用される、方法。

  37. 前記機能は、音量レベルを増加または減少させること、調光器を制御すること、もしくはスクロール機能を制御することである、請求項36に記載の方法。

 

 

Patent trol of patentswamp
類似の特許
本発明のタッチ・スクリーンが使用可能な機器は、少なくとも1つの表示スクリーンと、表示スクリーンを縁取るフレームと、少なくとも1つのタッチ・センサと、を備えており、少なくとも1つのタッチ・センサは、少なくとも1つのタッチ・センサの付近に位置するフレームの少なくとも一部分に圧力が加えられた時に、圧力が少なくとも1つのタッチ・センサによって感知されるように、機器内に配置されている。本発明のタッチ・スクリーンが使用可能な機器においては、タッチ・スクリーンが使用可能な機器のフレームの少なくとも一部分の付近に配置されたタッチ・センサの有効化が電気的に感知され、有効化されたタッチ・センサの付近に位置するタッチ・スクリーンが使用可能な機器のスクリーンの少なくとも一部分のタッチ・スクリーン機能が無効化される。
本発明は、ユーザーが入力した指令を受け、プリセットした一連のプログラムを前記指令に従って実行する、ユーザー指令の実行方法実行装置、プログラム及び記憶媒体に関する。ユーザーは移動端末を使用する時、画面のロックを解除する必要はなく、直接にボタンを押すことで、プリセットした一連のプログラムを実行することができ、操作しやすくて精度が高く、操作の効率を上げた。
【選択図】図1
ジェスチャによって声調および発音区別符号を入力するための方法およびシステムが提供される。方法は、テキスト入力用のキーパッドを表示することを含み得る。キーおよびジェスチャの選択が受信可能である。ジェスチャ入力が、音韻論的属性、発音区別属性、および/または声調に意味論的に結合可能である。ジェスチャ入力は、第1の声調と関連付けられた、右側への実質的に水平な移動、第2の声調と関連付けられた、右上側への移動、第3の声調と関連付けられた、右下側、次いで右上側への移動、および第4の声調と関連付けられた、右下側への移動を含み得る。書記素は、選択されたキーおよび受信されたジェスチャに基づいて、表示可能である。発音区別情報および/または声調情報を用いて、書記素が予測可能であり、入力の労力削減と高速化に役立つ可能性がある。
タッチ感知面及びディスプレイを備えるデバイスは、マルチページインタフェースのページを表示し、かつタッチ感知面上の接触及び接触の移動を含む入力を検出するように構成される。デバイスは、入力を検出したことに応じて、接触が第1の所定の方向に所定量を超えて移動したときに満たされる基準を含む、次ページの表示基準を入力が満たした場合に、ページの表示をマルチページインタフェースの第2のページの表示と置き換え、かつ、接触が第1の方向に垂直な第2の所定の方向に所定量を超えて移動したときに満たされる基準を含む、検索インタフェースの表示基準を入力が満たした場合に、検索条件を入力するための検索入力フィールドを含む検索インタフェースを表示するように、更に構成される。
ディスプレイとタッチ感知面とを備える電子機器は、複数のコンテンツ単位を有するユーザインタフェースを表示する。コンテンツ単位はユーザインタフェース内の第1の軸に沿って配列され、それぞれのコンテンツ単位は、対応するメタデータに関連付けられる。機器は、タッチ感知面上の接触、及び接触の第1の移動を検出する。接触の第1の移動を検出したことに応じて、機器は、コンテンツ単位のうちの1つ以上の第1のセットを第1の移動に従ってユーザインタフェース内の第1の軸と垂直に移動させ、機器は、コンテンツ単位の第1のセット内の1つ以上のそれぞれのコンテンツ単位のために、接触の第1の移動を検出する直前には表示されていなかったそれぞれのコンテンツ単位についてのメタデータをそれぞれのコンテンツ単位に隣接して表示する。
本明細書に記載される主題の態様は段落スナップに関する。態様では、コンピューティングデバイスはテキストの選択箇所に関するユーザ入力を受信する。ユーザ入力が拡大入力であれば、コンピューティングデバイスは一組の1つまたは複数の段落スナップ条件が満たされるかどうかを判定する。一組の1つまたは複数の段落スナップ条件が満たされれば、選択箇所は段落にスナップされる。ユーザ入力が縮小入力であれば、選択箇所は縮められ、また選択作業が終了されるまでまたはユーザ入力が、段落スナップ挙動が再度有効にされるべきであることを示すまで、段落に対して段落スナップ挙動はオフにされる。
システム自身または他のデバイスまたは電子媒体をロック解除するシステムは、所定のハプティック効果を再生し、それに応えてユーザからジェスチャに基づくインタラクション入力を受け取ることにより、ロック解除モードに入る。システムは、インタラクション入力を、格納されている既定のインタラクション入力と比較し、インタラクション入力が、格納されている既定のインタラクション入力と実質的に一致する場合に、ロック解除モードに移行する。
【選択図】図1
一般に、手書きのインク入力をテキスト注釈に変換するための技術が提供される。ユーザは、コンピューティングデバイス上に表示されるコンテンツに対する手書きインク入力を提供し、コンテンツを編集及びマークアップすることができる。インク入力は、コンテンツを編集するよう、コンピューティングデバイスのユーザインタフェース上でタッチ又は電子スタイラスを用いて提供され得る。インク入力が処理されて、コメントの挿入、テキストの削除を識別し、マークアップ記号及び形状の挿入を識別することができる。インク入力は、インク入力のコンテキストと、文法及び校正分析とに基づいてテキスト注釈に変換され得る。テキスト注釈は、注釈ビューに表示され得る。インク入力は、所定の期間後、インク入力の変換をアクティブ化する変換ボタンの選択の検出があると、周期的に変換され得る。
システムおよび方法は、個人が辿るパターンに基づいて個人の識別情報を安全に認証する。実施形態は、個人が識別認証セッションの間に自分の識別情報の認証を試みているとき、辿るためのパターンを用いて入力を促すことに関するものである。個人がパターンを辿るとき実行する動作によって生成される動作ベースの挙動データが、動作取得センサによって取得される。動作ベースの挙動データは、個人に固有のものであり、個人になりすまそうとする認定されていない人物によって複製される可能性が低いものである。取得された動作ベースの挙動データは、個人が完成したパターンの以前のトレースから以前に取得された動作ベースの挙動データと比較される。動作ベースの挙動データが、以前に取得された動作ベース挙動データの閾値の範囲内にあるとき、個人の識別情報が認証される。
可撓性発光フィルム // JP2016526209
タッチ制御可能な発光フィルムが提供される。それは、可撓性の、形成可能な、折り畳み可能な、引き伸ばし可能な、および/または屈曲可能な発光および/または光伝送能動層を備える。それはまた、発光能動層および/または遮光層の各側上に位置する少なくとも2つの導電性または半導電性電極を備える。少なくとも1つの電極は、HARM(高アスペクト比分子構造)、単分子層結晶表面(MCS)構造、透明な導電性酸化物、導電性または半導電性ポリマーおよび/または金属メッシュを含む。
【選択図】図4
To top