適応イベント認識

 

適応イベント認識のためのシステムおよび方法を提供する。一例では、ヘッド・マウント・ディスプレイ・デバイスにおいて選択されたセンサが、より高い潜在レイテンシに対応する第1ポーリング・レートで動作される。初期ユーザ関連情報が受け取られる。初期ユーザ関連情報がプレ・イベントに整合する場合に、選択されたセンサが、第1ポーリング・レートよりも早く、且つより低い潜在レイテンシに対応する第2ポーリング・レートで動作される。後続のユーザ関連情報が受け取られる。後続のユーザ関連情報が、選択されたターゲット・イベントに整合する場合に、選択されたターゲット・イベントに関連づけられるフィードバックが、ヘッド・マウント・ディスプレイ・デバイスを通じてユーザに供給される。
【選択図】図1

 

 

ユーザ・インタフェース・システムにおいて、ユーザによって体験される、ユーザ入力と該入力へのシステムの応答との間のレイテンシを最小化することは、より自然で楽しいユーザ体験を生み出す。拡張現実システムでは、例えば、このようなレイテンシの減少は、より高品質でより現実的な拡張現実体験を提供する。拡張現実システムの中には、1つ以上のセンサがユーザ入力を受け取り、システム応答をトリガするものもある。このようなユーザ入力を監視するために、システムは、入力に対してセンサを定期的にポーリングさせることができる。
ポーリング周波数に対応するレイテンシのサンプリングは、ユーザが知覚するレイテンシの重大なソースとなり得る。
加えて、ポータブルで且つ他の電池駆動デバイスに関し、電力および対応する電池寿命を節約することがまた、重要なポイントとなり得る。常に高いセンサ・サンプリング・レートを利用することがサンプリング・レイテンシを減少させることになる一方で、このことはまた、より多くの電力を望ましくなく消費し電池寿命を縮める。他方、低いサンプリング・レートを利用することは、電力の使用を減らして電池寿命を増やすことができるものの、このような低いサンプリング・レートはまた、レイテンシを増加させる。
選択されたターゲット・イベントを認識するためのシステムおよび方法に関する様々な実施形態が本明細書に開示される。例えば、開示される1つの実施形態は、複数のセンサを備えた表示デバイスにおいて、選択されたセンサを、より高い潜在レイテンシに対応する第1ポーリング・レートで動作させる方法を提供する。選択されたセンサから初期ユーザ関連情報が受け取られる。本方法は、初期ユーザ関連情報が複数のプレ・イベントの内1つに整合するかどうかを判定するステップを含み、各プレ・イベントは、プレ・イベントにおける1つ以上の異なるパターンに対応し、各パターンは見込まれる異なるターゲット・イベントに導く。
初期ユーザ関連情報が複数のプレ・イベントの内1つに整合する場合に、本方法は、選択されたセンサを、第1ポーリング・レートよりも早く、且つより高い潜在レイテンシ未満のより低い潜在レイテンシに対応する第2ポーリング・レートで動作させるステップを含む。後続のユーザ関連情報を、選択されたセンサから受け取る。後続のユーザ関連情報が見込まれる異なるターゲット・イベントの中から選択されるターゲット・イベントに整合する場合に、当該選択されたターゲット・イベントに関連付けられるフィードバックが、表示デバイスを通じてユーザに供給される。
本摘要は、発明の詳細な説明で更に後述する簡略化された形態で、概念の選択を導くために設けられる。本摘要は特許請求する主題における鍵となる特徴点または必須の特徴点を特定するのを意図するのではなく、また、特許請求する主題の範囲を限定するために用いることを意図するのでもない。更にまた、特許請求する主題は、本開示の如何なる部分で注記される任意のまたは全ての不利な点を解決する実施態様に限定するのではない。
図1は、本開示の実施形態による適応イベント認識システムの概略図である。 図2は、本開示の実施形態による例示のヘッド・マウント・ディスプレイ・デバイスを示す。 図3は、手の動きの形態でプレ・イベントが選択されたターゲット・イベントに導くことの概略図である。 図4は、本開示の実施形態により、検知される図3のプレ・イベント、および制御されているセンサ・ポーリング・レートの模式図である。 図5は、見込まれる異なるターゲット・イベントに導くプレ・イベントの複数のパターンの模式図である。 図6Aは、本開示の実施形態により、選択されたターゲット・イベントを認識するための方法についてのフローチャートである。 図6Bは、本開示の実施形態により、選択されたターゲット・イベントを認識するための方法についてのフローチャートである。 図7は、コンピューティング・デバイスの実施形態における簡略化した模式図である。
図1は、適応イベント認識システム10の一実施形態の模式図を示す。適応イベント認識システム10は、コンピューティング・デバイス22の大容量ストレージ18に格納される適応イベント認識プログラム14を含む。適応イベント認識プログラム14は、メモリ26にロードすることができ、以下により詳細に説明する1つ以上の方法およびプロセスを実行するために、コンピューティング・デバイス22のプロセッサ30によって実行することができる。コンピューティング・デバイス22は更に、該コンピューティング・デバイスのコンポーネントに電力を供給するために、電池のような電源32を含むことができる。
適応イベント認識システム10は、複合現実環境44を構築するために、ヘッド・マウント・ディスプレイ(HMD)デバイス42のような表示デバイスを通じて表示する仮想環境38を生成できる複合現実表示プログラム34を含む。複合現実環境は、物理環境48内で表示される仮想環境38を含む。以下により詳細に説明するように、ユーザ関連情報52は、HMD装置42を通じて物理環境48から受け取ることができる。
コンピューティング・デバイス22は、デスクトップ・コンピュータや、スマートフォン、ラップトップ、ノートブックまたはタブレット・コンピュータのようなモバイル・コンピュータや、家庭娯楽用コンピュータや、双方向テレビジョンや、ゲーム・システムや、他の好適な種別のコンピュータの形態を採ることができる。コンピューティング・デバイス22のコンポーネントおよび計算態様に関する付加的な詳細は、図7を参照して、以下により詳細に説明される。
コンピューティング・デバイス22は、有線接続を用いてHMDデバイス42と動作可能に接続することができ、または、WiFi、Bluetooth、または他の如何なる無線通信プロトコルをも通じて無線接続を採用することができる。例えば、コンピューティング・デバイス22は、ネットワーク16に通信可能に結合することができる。ネットワーク16は、ローカル・エリア・ネットワーク(LAN)、ワイド・エリア・ネットワーク(WAN)、有線ネットワーク、無線ネットワーク、パーソナル・エリア・ネットワーク、またはこれらの組み合わせの形態としてもよく、またインターネットを含んでもよい。
コンピューティング・デバイス22はまた、ネットワーク16を通じて1つ以上の他のコンピューティング・デバイスと通信することもできる。加えて、図1に示される例は、コンピューティング・デバイス22を、HMDデバイス42とは別個のコンポーネントとして示す。他の例では、コンピューティング・デバイス22は、HMDデバイス42に統合してもよいことが認められよう。
これより図2も参照して、透過型ディスプレイ54を有する一組のウェアラブル・グラスの形態のHMDデバイスを示す。他の例では、HMDデバイス200は、透過型、半透過型または非透過型のディスプレイがビューアの片目または両目の前で支持される他の好適な形態としてもよいことが認められよう。図1に示されるHMDデバイス42は、以下により詳細に説明するHMDデバイス2000の形態、または他の如何なる好適なHMDデバイスの形態としてもよいことが認められよう。加えて、様々な形態のファクタを有する、数多くの他の種別および構成の表示デバイスもまた、本開示の範囲内に用いることができる。当該表示デバイスは、スマートフォン、タブレット・コンピュータ、および他の好適な表示デバイスを含むことができる。
図1および図2を参照する。HMD42は表示システム56および透過型ディスプレイ54を含み、ホログラフィック・オブジェクトのような画像がユーザ46の両目に届けられることになるのを可能にする。透過型ディスプレイ54は、該透過型ディスプレイを通じて物理環境をビューしているユーザ46に対し、物理環境48の外観を視覚的に増大させるように構成することができる。例えば、複合現実環境を構築するために、透過型ディスプレイ54を通じて提示されるグラフィック・コンテンツ(例えば、色および明るさをそれぞれ有する1つ以上の各画素)によって、物理環境48の外観を増大させることができる。
透過型ディスプレイ54はまた、ユーザが、物理環境48において、現実世界の物理オブジェクトを1つ以上の部分的に透過画素を通じてビューするのを可能にするように構成することもできる。1つ以上の部分的に透過画素は、仮想オブジェクト表現を表示している。図2に示されるように、一例では、透過型ディスプレイ54は、レンズ204(例えば、シースルーの有機発光ダイオード(OLED; Organic Light-Emitting Diode)ディスプレイ)内に位置する画像生成エレメントを含むことができる。他の例として、透過型ディスプレイ54は、レンズ204の端部に光変調器を含むことができる。当該例では、レンズ204は、光変調器からユーザの両目に光を届けるための光ガイドとして供することができる。当該光ガイドは、ユーザがビューしている物理環境48内に位置する3Dホログラフィー画像をユーザが知覚する一方でまた、物理環境の物理オブジェクトをユーザがビューするのを可能にする。このようにして、複合現実環境44を構築する。
HMDデバイス42はまた、様々なセンサおよび関連のシステムを含むことができる。例えば、HMDデバイス42は、少なくとも1つの内向き正面センサ208を利用するアイ・トラッキング・システム60を含むことができる。内向き正面センサ208は画像センサを含むことができ、ユーザの目からアイ・トラッキング・データの形態で画像データを取得するように構成される。ユーザが当該情報を取得および使用することに同意した場合は、アイ・トラッキング・システム60は、当該情報を使用して、ユーザの目の位置および/または動きを追跡することができる。
一例では、アイ・トラッキング・システム60は、ユーザの各目における凝視の方向を検出するように構成される凝視検出サブシステムを含む。凝視検出サブシステムは、如何なる好適な手法でもユーザの両目の各々における凝視方向を決定するように構成することができる。例えば、凝視検出サブシステムは、1つ以上の光ソース(例えば赤外線の光ソース)を備えることができ、光の輝きにより、ユーザの各目の角膜から反射させるように構成される。1つ以上の画像センサは、ユーザの両目の画像をキャプチャするように構成することができる。幾らかの例では、アイ・トラッキング・システム60を、ユーザ関連情報52を提供するためのユーザ入力デバイスとして採用することもある。その結果、ユーザの両目の動きを通じて、ユーザはHMDデバイスと相互作用することができる。
HMDデバイス42はまた、物理環境48から、ユーザ関連情報のような物理環境データを受け取るセンサ・システムを含むこともできる。例えば、HMDシステムは、光センサのような、少なくとも1つの外向き正面センサ212を利用する光センサ・システム62を含むことができ、物理環境48からの画像データをキャプチャすることができる。外向き正面センサ212は、ジャスチャ・ベースの入力、またはユーザ46即ち人により遂行される他の動きのような、その視野内の動き、または視野内の物理オブジェクトを検出することができる。外向きの正面センサ212はまた、物理環境48および該環境内の物理オブジェクトからの2次元画像情報および深度情報をキャプチャすることができる。例えば、外向きの正面センサ212は、深度カメラ、可視光カメラ、赤外線カメラ、および/または位置トラッキング・カメラを含むことができる。
HMDデバイス42は、1つ以上の深度カメラを通じて深度感知を含むことができる。一例では、各深度カメラは、立体的視覚システムの左右の両カメラを含むことができる。これら深度カメラの1つ以上からの時間分解画像は、相互に登録することができ、および/または可視スペクトル・カメラのような他の光センサからの画像に登録することができる。また、深度分解映像を供するように結合することができる。
他の例では、構造化した深度カメラは、構造化した赤外線照明を投射するように構成されることができ、また、照明が投射されるシーンから反射される照明を画像化することができる。シーンの深度マップを、様々な領域の画像化した風景における隣接特徴間の間隔に基づいて構成することができる。更に他の実施例では、深度カメラは、パルス化された赤外線照明をシーンに投射して、シーンから反射される照明を検出するように構成されるtime-of-flight深度カメラの形態を採ることができる。他の如何なる好適な深度カメラもが本開示の範囲内で使用できることが認められよう。
外向き正面カメラ・センサ212は、ユーザ46が置かれた物理環境48の画像をキャプチャすることができる。一例では、複合現実表示プログラム34は、ユーザ46を取り囲んでいる物理環境48をモデル化する仮想環境38を生成するために、当該入力を使用する3Dモデリング・システムを含むことができる。
HMDデバイス42は、位置データをキャプチャするために、1つ以上の動きセンサ220を利用する位置センサ・システム66を含むこともできる。これにより、HMDデバイスの動き検出、位置トラッキング、および/または方向感知を可能にする。例えば、位置センサ・システム66は、ユーザの頭部の向き、速度、および/または加速度を決定するために利用することができる。位置センサ・システム66は、ユーザ頭部における頭部姿勢方向を決定するために利用することもできる。一例では、位置センサ・システム66は、6軸または6自由度の位置センサ・システムとして構成される慣性測定ユニットを含むことができる。当該例の位置センサ・システムは、例えば、3つの加速度計および3つのジャイロスコープを含むことができ、3本の直交軸線に沿う3次元空間内のHMDデバイス42の位置(例えば、x,y,z)の変化や、3本の直交軸線の周りのHMDデバイスの方き(例えば、ロール、ピッチ、ヨー)の変化を指標する、即ち測定することができる。
位置センサ・システム66はまた、他の好適な位置決め技術(例えばGPS、または他のグローバル・ナビゲーション・システム)をサポートすることもできる。更に、特定の例の位置センサ・システムについて説明してきたが、他の好適な位置センサ・システムを用いてもよいことも認められよう。幾らかの例では、動きセンサ220はまた、ユーザ関連情報52を提供するためのユーザ入力デバイスとして採用することもあり、その結果、ユーザは、首や頭部のジェスチャ、または体のジェスチャさえをも通じて、HMDデバイスと相互作用することができる。
HMDデバイス42はまた、1つ以上の生体センサを利用する生体センサ・システム232も含むことができ、ユーザの生体データをキャプチャすることができる。例えば、生体センサ・システム70は、ユーザの生体データを測定または決定するのに利用することができる。ユーザの生体データは、例えば、心拍数、瞳孔反応、ヘモグロビン飽和、皮膚導電率、呼吸、汗、および脳波活動を含む。
HMDデバイス42はまた、1つ以上のマイクロフォン224を含むマイクロフォン・システム72も含むことができ、音響データをキャプチャする。他の例では、音響は、HMDデバイス42上の1つ以上のスピーカ228を通じて、ユーザに提示することができる。第1HMDデバイス42はまた、電力をHMDデバイスの様々なコンポーネントに供給する電池74または他の好適なポータブル電源を含むこともできる。
HMDデバイス42はまた、論理サブシステムおよびストレージ・サブシステムを有するプロセッサ236を含むことができ、以下に、図7を参照してより詳述するように、HMDデバイスの様々なセンサおよびシステムと通信する。一例では、ストレージ・サブシステムは、論理サブシステムによって実行可能な命令を含むことができ、センサから信号入力を受け取って、(未処理または処理済みの形態で)コンピューティング・デバイス22に当該入力を転送すると共に、透過型ディスプレイ54を通じてユーザに画像を提示することができる。
HMDデバイス42および関連のセンサ、並びに上述の図1および図2に示された他のコンポーネントは例示のものとして設けたことが認められよう。これら例示は、如何なる手法で限定することを意図するものではなく、如何なる他の好適なセンサ、コンポーネント、および/またはセンサとコンポーネントの組み合わせを利用することができる。つまり、HMDデバイス42は、本開示の範囲を逸脱することなく、付加的および/または代替のセンサ、カメラ、マイクロフォン、入力デバイス、出力デバイス等を含むことができることが理解されるべきである。更に、HMDデバイス42、およびその様々なセンサやサブ・コンポーネントの物理構成は、本開示の範囲を逸脱することなく、様々な異なる形態を採ることができる。
加えて、以下により詳細に説明するように、様々なセンサ・システムおよび関連のコンポーネントが、ユーザ46によって提供されるユーザ関連情報をモニタするために、様々なポーリング・レート、即ちポーリング周波数で動作されることができることが認められよう。以下により詳細に説明するように、1つ以上のセンサのポーリング・レートは、ユーザ関連情報52がプレ・イベントに整合するかの判定に応じて、制御することができる。
図3から図5を参照して、これより、適応イベント認識システム10の例示のユース・ケースおよび実施形態の説明を行う。以降の例では、手の動きおよび対応するジェスチャの形態のユーザ関連情報52は、光センサ・システム62によって受け取られる。他の例では、適応イベント認識システム10によって他の多くの形態でユーザ関連情報52を受け取り、またこれを利用することができ、以下により詳細に説明するようにセンサ動作を制御できることが認められよう。当該他の形態のユーザ関連情報52は、これに限定されないが、ユーザの他の動きデータ、アイ・トラッキング・データ、位置データ、生体データおよび音響データを含む。
図3は、手の動きの形態のプレ・イベントが、ターゲット・ジェスチャを含んだ、選択されたターゲット・イベントに導くことの概略図である。図3に示される例では、HMDデバイス42の光センサ・システム62における1つ以上の光センサが、手のジェスチャを実行するユーザの手304の画像データをキャプチャすることができる。当該例では、人指し指308および親指312はピンチ・ジェスチャを行い、ユーザは、人指し指および親指が開いた、通常はU字型のポーズ316を形成することで開始する。当該ポーズ316から、ユーザは、人指し指308と親指312が接触してピンチ・ポーズ330を行うまで、人指し指と親指の間の隙間を近づける。
一例では、以下により詳細に説明するように、ピンチ・ポーズ330に導くまで人差し指308および親指312を共に導くことによりユーザがピンチ・ジェスチャを完了したことを検知すると、適合イベント識別システム10は、HMDデバイス42を通じてユーザ46にフィードバック78を供給することができる。フィードバック78は、例えば、HMDデバイス42を通じて起動しているプログラムに関するコマンドの実行を含むことができる。例えば、図3に示されるピンチ・ジェスチャは、物理環境48の写真をキャプチャするように、写真撮影アプリケーションによって使用されてもよい。当該例では、フィードバック78はまた、写真がキャプチャされたことのユーザへの指標を含んでもよく、HMDデバイス42を通じて、例えば、シャッター・リリース音、フラッシュ・アイコン等を供給する。
他の例では、フィードバック78は、HMDデバイス42を通じてユーザに表示されるエレメントを選択、コピー、またはペーストするような、ユーザ入力のコンテキストで使用される如何なる他のコマンドをも含むことができる。他の例では、コマンドはHMDデバイス42や他の電子デバイスの動作可能な態様を制御できる。先の例は単に例示に過ぎず、フィードバック78は如何なるコマンド、アクション、通知、または、ターゲット・ジェスチャのような選択されたターゲット・イベントに関連付けられる他のイベントを含むことができ、そしてユーザに供給される。
上記のように、現実的で信用可能なユーザ体験を提供するために、ターゲット・ジェスチャのようなユーザ入力と関連のフィードバックとの間の如何なるレイテンシも最小化されるのが望ましい。しかしながら、レイテンシの最小化は、高いポーリング・レートでセンサを継続的に動作させることを含むことがある。高いポーリング・レートはより多くの電力を使用し、より多くの計算負荷を負わせ、これらに対応して電池寿命を縮める。有利なことに、以下により詳細に説明するように、適応イベント認識システム10はレイテンシを減らすことができ、その間、電力使用や計算負荷も最小化する。これにより、電池寿命の強化を可能とする。
図4および図5も参照する。一例では、適応イベント認識プログラム14は、光センサ・システム62から画像データを含むユーザ関連情報を受け取るように構成することができる。画像データは、ユーザの手340が図3に示されるポーズを含む様々なポーズをしていることを示す。図3および図4に示されるように、ある時点に対応する開始状態402から、適応イベント認識プログラム14は、最も高い(highest)潜在レイテンシに対応するデフォルト(default)のポーリング・レートで、光センサ・システム62から選択されたセンサを動作させるように構成することができる。デフォルトのポーリング・レートは、例えば、0.5Hz,1.0Hz,5.0Hz、または他の如何なる好適な周波数ともすることができる。当該デフォルトのポーリング・レートはまた、選択されたセンサの最も低い(lowest)電力消費状態に対応することもできる。
デフォルトのポーリング・レートで動作している選択されたセンサは、ユーザの手304の画像データのようなユーザ関連情報52を受け取ることができ、当該情報を適応イベント認識プログラム14に提供することができる。適応イベント認識プログラム14は次いで、当該情報が複数のプレ・イベント(PE)の内1つに整合するかを判定することができる。これより図5に示される例を参照する。開始状態402から、適応イベント認識プログラム14は、ユーザ関連情報52がPE506,PE510,PE514,PE518に整合するかを判定することができる。図5に示されように、各プレ・イベントPE506,PE510,PE514,PE518は、プレ・イベントにおける1つ以上の異なるパターンに対応し、各パターンは見込まれる異なるターゲット・イベントに導く。例えば、PE510は、522,526,530で示される異なる3つのパターンに対応し、異なるTE534,TE538,TE542にそれぞれ導く。
検出される後続のプレ・イベントの各々について、見込まれるターゲット・イベントは減ることが認められよう。加えて、ユーザが見込まれる特定のターゲット・イベントを実行中である可能性が増加する。したがって、以下により詳細に説明するように、各プレ・イベントが検出され、且つ所与のパターンにおける現在の位置がターゲット・イベントに近づくように進むにつれて、選択されたセンサのポーリング・レートが増加して、レイテンシを減らす。更に、後続のプレ・イベントが検出されるまで、選択されたセンサのポーリング・レートは、比較的より低いレートで維持することができる。これにより、電力を節約し電池寿命を強化することができる。
一例では、図3の参照をすると、適応イベント認識プログラム14は、全般的にU字型のポーズ316をするユーザの手304の画像データを受け取ることができる。適応イベント認識プログラム14は、全般的にU字型のポーズ316が図5のPE510に整合するかを判定する。PE510は、パターン522,526,530のメンバである。
したがって、適応イベント認識プログラム14は、検出(Detect)1の状態に進むことができる。ここでは、選択されたセンサのポーリング・レートが増加し、開始状態402でのデフォルトのポーリング・レートよりも早い(Faster)F1ポーリング・レートで動作することができる。例えば、デフォルトのポーリング・レートが1.0Hzである場合に、より早いF1ポーリング・レートは10Hzとすることができる。検出1の状態406での増加した、より早いF1ポーリング・レートはまた、開始状態402での電力使用と比較して、より高い(Higher)P1として示されるように、選択されたセンサによる電力使用増加に対応する。検出1の状態406でのより早いF1ポーリング・レートはまた、減少(Reduced)L1として示されるように、減った潜在レイテンシに対応する。減少L1は、開始状態402の最も高い潜在レイテンシ未満である。
本開示の目的では、所与のポーリング・レートで動作しているセンサの潜在レイテンシは、プレ・イベントまたはターゲット・イベントのようなイベントの発生とセンサによるイベントの発生の検出との間の最大潜在時間期間として定義される。例えば、センサのポーリング・レートが1Hzである場合に、当該ポーリング・レートに関連付けられる潜在レイテンシが大凡0.99秒とすることができる。換言すれば、大凡0.99秒は、プレ・イベントまたはターゲット・イベントのようなイベントの発生とセンサによるイベントの発生の検出との間の最大潜在経過時間ということになる。したがって、センサのポーリング・レートの増加に対応して、当該センサの潜在レイテンシが減る。幾らかの例では、イベントの発生とセンサによるイベント発生の検出との間の実際のレイテンシが、動作している当該センサの潜在レイテンシ未満となる場合もあることがまた認められよう。
検出1状態406から、適応イベント認識プログラム14は、修正されたU字型のポーズ320をしているユーザの手304の画像データを受け取ることができる。ここでは、人さし指308および親指312が直前のポーズ316において相互により近づいている。適応イベント認識プログラム14は、修正されたU字型のポーズ320が図5のPE550に整合することを判定することができる。PE550は、パターン522,526のメンバである。つまり、見込まれるターゲット・イベントは、TE534およびTE538に減っている。
したがって、適応イベント認識プログラム14は、検出2の状態410に進むことができる。ここでは、選択されたセンサのポーリング・レートが増え、検出1の状態406でのより早いF1ポーリング・レートよりも更に早い、より早い(Faster)F2ポーリング・レートで動作することができる。例えば、より早いF1ポーリング・レートが10Hzである場合に、当該より早いF2ポーリング・レートは60Hzとすることができる。検出2の状態410で増加したより早いF2ポーリング・レートはまた、検出1の状態406でのより高いP1電力使用と比較して、より高い(Higher)P2として示されるように、選択されたセンサによる電力使用増加に対応する。検出2の状態410でのより早いF2ポーリング・レートはまた、減少(Reduced)L2として示されるように、減った潜在レイテンシに対応する。減少L2は、検出1の状態406の減少L1の潜在レイテンシ未満である。
検出2の状態410から、適応イベント認識プログラム14は、略ピンチ・ポーズ324をしているユーザの手304の画像データを受け取ることができる。ここでは、人さし指308および親指312が、修正されたU字型のポーズ320と比較して、大凡2mmといったように、より短い距離だけ離れている。適応イベント認識プログラム14は、略ピンチ・ポーズ324が図5のPE554に整合するのを判定することができる。PE550は、パターン522のメンバである。つまり、見込まれるターゲット・イベントは、今や単一のターゲット・イベントTE534に減っている。
したがって、適応イベント認識プログラム14は、検出3の状態414に進むことができる。ここでは、選択されたセンサのポーリング・レートが増加し、検出2の状態410でのより早いF2ポーリング・レートよりも更に早い、より早い(Faster)F3ポーリング・レートで動作することができる。例えば、より早いF2ポーリング・レートが60Hzである場合に、当該より早いポーリング・レートF3は120Hzとすることができる。検出3の状態414での増加した、より早いF3ポーリング・レートはまた、検出2の状態410でのより高いP2電力使用と比較して、より高い(Higher)P3として示されるように、選択されたセンサによる電力使用増加に対応する。検出3の状態410でのより早いF3ポーリング・レートはまた、減少(Reduced)L3として示されるように、更に、減った潜在レイテンシに対応する。減少L2は、検出2の状態410での減少L2の潜在レイテンシ未満である。
検出3の状態414から、適応イベント認識プログラム14は、ピンチ・ポーズ330をしているユーザの手304の画像データを受け取ることができる。ここでは、人さし指308および親指312が、ターゲット・イベント534の発生状態418によって示されるように、接触している。適応イベント認識プログラム14は、ピンチ・ポーズ330が図5での選択されたターゲット・イベントTE534に整合するのを判定することができる。適応イベント認識プログラム14は、次いで、HMDデバイス42を通じて選択されたターゲット・イベントTE534に関連付けられたフィードバックをユーザに供給することができる。
図4および図5を参照する。幾らかの例では、適応イベント認識プログラム14は、プレ・イベントに対応するユーザ関連情報52が所定の時間フレーム内で受け取られない場合に、選択されたセンサのポーリング・レートを減らすように構成できることもある。例えば、検出1の状態が開始されるときに、適応イベント認識プログラム14はタイマを始動することができる。見込みがある次のプレ・イベントPE550およびPE552の1つに対応するユーザ関連情報52が所定の時間フレーム内で受け取られない場合に、適応イベント認識プログラム14は、タイム・アウト条件を生じさせ、より遅いデフォルトのポーリング・レート、且つ最も低い電力使用に対応する開始状態402に復帰させることができる。
同様のタイム・アウト条件が検出2および/または検出3の状態に対して使用することができる。有利なことに、この手法では、見込まれる次のプレ・イベントを受ける確率が所定の時間フレームに対応する所定の閾値未満となるときに、電力消費を減らすことができる。一例では、タイム・アウト条件についての所定の時間フレームは、検出1の状態に対しては3秒、検出2の状態に対しては2秒、そして検出3の状態に対しては1.0秒とすることができる。如何なる好適な所定の時間フレームおよび所定の確率閾値もが使用できることが認められよう。
有利なことに、プレ・イベントが検出されるまで、センサをより低いレートのポーリング・レートに維持することにより、適応イベント認識システム10は、センサによる電力使用を、センサ信号の帯域幅消費と同様に最小化することができる。例えば、PE554が検出されるまで、最も高い、より早い(Faster)F3のポーリング・レートでセンサを動作させるのを待機することによって、最も高い、より高い(Higher)P3電力使用の状態は、選択されたターゲット・イベントが発生する確率が所定の閾値を超えるまで、回避されることができる。
加えて、適応イベント認識システム10は、付加的なプレ・イベントが検出されるにつれ、選択されるセンサのポーリング・レートを順次に増加させる。この手法では、図3に示されるように、プレ・イベントの発生および検出の間の対応する潜在レイテンシが順次減る。更にまた、PE554の検出に応じて、最も早い、より早い(Faster)F3のポーリング・レートでセンサが動作することによって、適応イベント認識システム10はまた、選択されたターゲット・イベントTE534の発生および検出されるイベントの間の潜在レイテンシを最小化する。
他の例では、選択されたターゲット・イベント534を検出するのよりも前に、適応イベント認識プログラム14は、1つ以上のターゲット・イベントに関連付けられるフィードバックの少なくとも一部を事前フェッチすることができる。例えば、図5のPE550に対応する検出2の状態410では、見込まれる2つのパターン522,526、および見込まれる2つのターゲット・イベントTE534,538をそれぞれ維持している。この例では、検出2の状態410では、適応イベント認識プログラム14は、TE534およびTE538の両方に関連付けられるフィードバック78の一部を事前フェッチすることができる。一例では、TE534およびTE538に関連付けられるフィードバック78の50%を事前フェッチすることができる。フィードバックの如何なる好適な部分も事前フェッチすることができることが認められよう。幾らかの例では、フィードバックの100%を事前フェッチすることもある。
例えば、TE534がカメラ・アプリケーションのシャッター・リリース・コマンドに対応する場合に、適応イベント認識プログラム14は、当該コマンドに関連付けられるデータの50%、およびHMDデバイス42を通じてユーザに供給されることになる画像データの50%を事前フェッチして、画像がキャプチャされたのを示すことができる。同様に、TE538がカメラ・アプリケーションのズーム・コマンドに対応する場合に、適応イベント認識プログラム14は、ズーム・コマンドに関連付けられるデータの50%、およびHMDデバイスを通じてユーザに供給されることになる画像データの50%を事前フェッチして、カメラがズームしているのを示すことができる。
他の例では、適応イベント認識プログラム14は、1つ以上のターゲット・イベントに関連付けられるフィードバック78の少なくとも一部を、タイムライン302に沿って1つ以上のターゲット・イベントに時間的に先行する他の時点において、事前フェッチすることができる。例えば、適応イベント認識プログラム14は、図5のPE554に対応する検出3の状態414において、または図5のPE510に対応する検出1の状態406において、フィードバックの少なくとも一部を事前フェッチすることができる。
他の例では、ユーザ関連情報52が、選択されたターゲット・イベントではない、予測プレ・イベントに整合する場合に、適応イベント認識プログラム14は、選択されたターゲット・イベントが発生することになる推定実行時間を決定するように構成することができる。例えば、検出2の状態410から、適応イベント認識プログラム14は、PE554に整合するユーザ関連情報52を受け取ることができる。PE554は、ターゲット・イベントTE534が後続して発生するという所定の可能性に対応する、予測プレ・イベントとすることができる。
図3を参照する。ユーザ関連情報52が、予測プレ・イベント554に整合した後に、適応イベント認識プログラム14は、ターゲット・イベント534が発生することになるターゲット・イベント534の推定実行時間(Target Event 534 Estimated Execution Time)を決定することができる。一例では、ターゲット・イベント534の推定実行時間は、図3の340に示されるように、PE554の検出とターゲット・イベント534の発生の間の所定の推定時間ギャップでアクセスことにより決定することができる。図3に示されるように、推定時間ギャップ340をプレ・イベント554が検出された実際の時間に加えることによって、ターゲット・イベント534の推定実行時間を決定することができる。
ターゲット・イベント534の推定実行時間を用いて、適応イベント認識プログラム14は、当該ターゲット・イベント534の推定実行時間に、または当該ターゲット・イベント534の推定実行時間よりも前に、選択されたターゲット・イベントに関連付けられるフィードバック78をユーザに供給することができる。一例では、フィードバック78は、ターゲット・イベントTE534が発生する実際の時間に緊密に対応するターゲット・イベント534の推定実行時間に供給されることができる。有利なことに、このような手法で、ユーザは、効果的にゼロまたは恐らく無視してよい、知覚されるレイテンシを体験することになる。
別の例では、フィードバック78は、所定の時間間隔で、ターゲット・イベント534の推定実行時間よりも前に供給されることができる。有利なことに、この例では、ユーザは知覚されるマイナス(negative)のレイテンシを体験することができる。ここでは、フィードバック78はターゲット・イベントTE534が完了しないうちに、ユーザによって知覚される。幾らかの例では、このことは、HMDデバイス42および適応イベント認識システム10のリアル・タイムの相互作用という強化された体験をユーザに提供できることもある。幾らかの例では、ターゲット・イベント534の推定実行時間よりも前にフィードバックを供給することはまた、処理、並びに/または、HMDデバイス42を通じてユーザにフィードバックを供給するのに関連付けられる他のシステムの遅延およびレイテンシをオフセットするのに使用できることもある。この手法では、ユーザによって知覚されるフィードバック78に関連付けられるレイテンシを最小化することができる。
上述した例では、如何なる好適なセンサのポーリング・レートや増加したポーリング・レートでの時間進行をも使用することができる。同様に、如何なる好適なポーズ、ジェスチャ、または他の手の動きもが、プレ・イベントおよびターゲット・イベントとして指定されることもできる。
上述のように、様々な他のセンサ・システムが様々な他の形態のユーザ関連情報52を検出でき、HMDデバイス42は当該情報を適応イベント認識プログラム14に提供できることも認められよう。当該情報は、他のプレ・イベント、パターン、および当該情報に関する、関連のターゲット・イベントと相関させることができる。
また、図5のプレ・イベントおよびパターンが、実験による学習、ユーザ学習、または如何なる他の好適な方法を通じて、経験的に決定できることも認められよう。プレ・イベントの発生およびターゲット・イベントの実行の間の推定時間ギャップが、同様に、実験による学習、ユーザ学習、または如何なる他の好適な方法を通じて決定することができる。選択されたターゲット・イベントが予測される場合に、最後から2番目のプレ・イベントに後続して発生する、選択されたターゲット・イベントの確率の閾値を用いて、予測誤差の出現を減少させることができる。幾らかの例では、プレ・イベント、ターゲット・イベント、パターン、および推定時間ギャップをコンピューティング・デバイス22の大規模ストレージ18またはネットワーク16を通じてアクセスされる遠隔ソースに格納できることもある。
図6Aおよび図6Bは、本開示の実施形態による、選択されたターゲット・イベントを認識するための方法600についてのフローチャートを示す。方法600の以下の説明は、上述し、図1および図2に示される適応イベント認識システム10のソフトウェアおよびハードウェア・コンポーネントに関して提供される。他の好適なハードウェアおよびソフトウェア・コンポーネントを使用する他のコンテキストにおいて、方法600を実行することもできることが認められよう。
図6Aを参照すると、604において、本方法600は、複数のセンサを備える表示デバイスにおいて、当該複数のセンサの内選択されたセンサを、より高い潜在レイテンシに対応する第1ポーリング・レートで動作させるステップを含む。608では、複数の入力センサは、画像センサ、位置センサ、マイクロフォン、アイ・トラッキング・センサ、および生体センサから選択することができる。612において、表示デバイスは、ヘッドマウント型の表示デバイスである。
616において、本方法600は、初期ユーザ関連情報を、選択されたセンサから受け取るステップを含む。620において、初期ユーザ関連情報が所定の時間フレーム内で受け取られない場合に、本方法600は、選択されたセンサを、第1ポーリング・レートよりも遅いタイム・アウト・ポーリング・レートで制御するステップを含むことができる。624において、本方法600は、初期ユーザ関連情報が複数のプレ・イベントの内1つに整合するかを判定するステップを含むことができる。各プレ・イベントが1つ以上の異なるパターンのプレ・イベントに対応し、各パターンが、見込まれる異なるターゲット・イベントに導く。628において、各パターンは、異なる一連のプレ・イベントを含むことができる。
632において、初期ユーザ関連情報が複数のプレ・イベントの内1つに整合する場合に、本方法600は、選択されたセンサを、第1ポーリング・レートよりも早く、且つより高い潜在レイテンシ未満であるより低い潜在レイテンシに対応する第2ポーリング・レートで動作させるステップを含むことができる。636において、初期ユーザ関連情報を受け取った後に、本方法600は、選択されたターゲット・イベントに関連付けられるフィードバックの少なくとも一部を事前フェッチするステップを含むことができる。
これより図6Bを参照する。初期ユーザ関連情報を受け取った後で、後続のユーザ関連情報を受け取る前に、640において、本方法600は、中間ユーザ関連情報を、選択されたセンサから受け取るステップを含むことができる。644において、本方法600は、中間ユーザ関連情報が、複数のプレ・イベントのサブセットからのプレ・イベントに整合するかを判定するステップを含むことができる。648において、中間ユーザ関連情報が複数のプレ・イベントのサブセットからのプレ・イベントに整合する場合に、本方法600は、選択されたセンサを、第1ポーリング・レートよりも早く、且つ第2ポーリング・レートよりも遅い、第3ポーリング・レートで動作させるステップを含むことができる。
652において、本方法は、後続のユーザ関連情報を、選択されたセンサから受け取るステップを含むことができる。656において、後続のユーザ関連情報が、見込まれる異なるターゲット・イベントの中から選択されるターゲット・イベントに整合する場合に、本方法600は、選択されたターゲット・イベントに関連付けられるフィードバックを、表示デバイスを通じてユーザに供給するステップを含むことができる。660において、選択されたターゲット・イベントは、手のジェスチャを含むことができる。664において、後続のユーザ関連情報が、選択されたターゲット・イベントではない予測プレ・イベントに整合する場合に、本方法600は、選択されたターゲット・イベントが発生することになる推定実行時間を決定するステップを含むことができる。668において、本方法は、推定実行時間に、または推定実行時間よりも前に、選択されたターゲット・イベントに関連付けられるフィードバックをユーザに供給するステップを含むことができる。
一例として方法600が提供され、これは限定を意味するものではないことが認められよう。従って、本方法600が図6Aおよび図6Bに示されるものに付加的および/または代替のステップを含むことができることが理解されるべきである。更に、方法600は如何なる好適な順序で実行されてもよいことが理解されるべきである。更にまた、1つ以上のステップが本開示の範囲を逸脱することなく方法600から省略されてもよいことが理解されるべきである。
図7は、以上で説明した方法およびプロセスの1つ以上を実行することができるコンピューティング・システム700の非限定的な実施形態を模式的に示す。コンピューティング・デバイス22は、コンピュータ・システム700の形態を採ることができる。コンピューティング・システム700は、簡略化した形態で示される。本開示の範囲から逸脱することなく、事実上あらゆるコンピューター・アーキテクチャを使用できることが理解されるべきである。異なる実施形態では、コンピューティング・システム700は、メインフレーム・コンピュータ、サーバ・コンピュータ、デスクトップ・コンピュータ、ラップトップ・コンピュータ、タブレット・コンピュータ、家庭娯楽用コンピュータ、ネットワーク・コンピューティング・デバイス、モバイル・コンピューティング・デバイス、ゲーミング・デバイス等の形態を採ることができる。上述したように、幾らかの例では、コンピューティング・システム700はHMDデバイスに統合できることもある。
図7に示されるように、コンピューティング・システム700は、論理サブシステム704およびストレージ・サブシステム708を含む。コンピューティング・システム700は、任意に、表示サブシステム712、通信サブシステム716、センサ・サブシステム720、入力サブシステム722、および/または図7には示されていない他のコンポーネントも含むことができる。コンピューティング・システムはまた、コンピュータ可読媒体を、コンピュータ可読ストレージ媒体およびコンピュータ可読通信媒体を含むコンピュータ可読媒体と共に含むことができる。コンピューティング・システム700はまた、任意に、例えば、キーボード、マウス、ゲーム・コントローラ、および/またはタッチ・スクリーンのような他の入力デバイスを含むこともできる。更に、実施形態の中には、本明細書で説明した方法およびプロセスが、コンピュータ・アプリケーション、コンピュータ・サービス、コンピュータAPI、コンピュータ・ライブラリ、および/または、1つ以上のコンピュータを含むコンピューティング・システムにおける他のコンピュータ・プログラム製品として実装することができる。
論理サブシステム704は、1つ以上の命令を実行するように構成される1つ以上の物理デバイスを含む。例えば、論理サブシステムは、1つ以上のアプリケーション、サービス、プログラム、ルーチン、ライブラリ、オブジェクト、コンポーネント、データ構造、または他の論理構造の一部である1つ以上の命令を実行するように構成することができる。当該命令は、タスクを実行する、データ型を実装する、1つ以上のデバイスの状態を移行させる、またはそれ以外で所望の結果に到達するように実装することができる。
論理サブシステム704は、ソフトウェア命令を実行するように構成される1つ以上のプロセッサを含むことができる。加えてまたは代わりに、論理サブシステムは、ハードウェアまたはファームウェア命令を実行するように構成される1つ以上のハードウェアまたはファームウェア論理マシンを含むこともできる。論理サブシステムのプロセッサは、単一コアまたはマルチコアであってもよく、そこで実行されるプログラムは、並列処理、または分散処理に合わせて構成することができる。論理サブシステムは、任意に、2つ以上のデバイス間で分散された個々のコンポーネントを含むこともでき、これらのデバイスは、遠隔に配置すること、および/または調整処理(coordinated processing)に合わせて構成することができる。論理サブシステムの1つ以上の態様は、遠隔にアクセス可能でクラウド・コンピューティング構成で構成されたネットワーク化されたコンピューティング・デバイスによって仮想化および実行することもできる。
ストレージ・サブシステム708は、データ、および/または本明細書において説明した方法およびプロセスを実現するために論理サブシステムによって実行可能な命令を保持するように構成される1つ以上の物理的、永続的デバイスを含むことができる。当該方法およびプロセスが実装されると、例えば、異なるデータを保持するために、ストレージ・サブシステム708の状態を移行させることができる。
ストレージ・サブシステム708は、リムーバブル媒体および/または内蔵デバイスを含むことができる。ストレージ・サブシステム708は、とりわけ、光メモリ・デバイス(例えば、CD、DVD、HD−DVD、ブルーレイ・ディスク等)、半導体メモリ・デバイス(例えば、RAM、EPROM、EEPROM等)、および/または磁気メモリ・デバイス(例えば、ハード・ディスク・ドライブ、フロッピー(登録商標)・ディスク・ドライブ、テープ・ドライブ、MRAM等)を含むことができる。ストレージ・サブシステム708は、揮発性、不揮発性、ダイナミック、スタティック、読み取り/書き込み、読み取り専用、ランダム・アクセス、順次アクセス、位置アドレス可能、ファイル・アドレス可能、および/またはコンテンツ・アクセス可能デバイスを含むことができる。
実施形態の中には、論理サブシステム704およびストレージ・サブシステム708の態様を1つ以上の共通デバイスに統合し、これを通じて、本明細書において説明した機能性を、少なくとも部分的に定める(enact)ことができる場合もある。このようなハードウェア論理コンポーネントは、例えば、フィールド・プログラマブル・ゲート・アレイ(FPGA)、特定プログラムおよびアプリケーション集積回路(PASIC/ASIC)、特定プログラムおよびアプリケーション標準製品(PSSP/ASSP)、チップ上システム(SOC)システム、ならびに複雑なプログラマブル論理デバイス(CPLD)を含むことができる。
図7はまた、リムーバブル・コンピュータ可読ストレージ媒体724の形態のストレージ・サブシステム708を示し、データ、および/または本明細書で説明した方法およびプロセスを実装するように実行可能な命令を格納するように使用することができる。リムーバブル・コンピュータ可読ストレージ媒体724は、とりわけ、CD、DVD、HD−DVD、ブルーレイ・ディスク、EEPROM等)、および/またはフロッピー・ディスク・ドライブの形態を採ることができる。
ストレージ・サブシステム708は、1つ以上の物理的、永続的デバイスを含むことが認められる。しかしながら、実施形態の中には、本明細書において説明した命令の態様を、純粋な信号(例えば、電磁信号、光信号等)によって一時的な様式で伝搬させることができる場合もある。この純粋な信号は、有限期間にわたり物理的デバイスによって保持されるのではない。更にまた、データおよび/または本開示に関連する他の形態の情報は、コンピュータ可読通信媒体を通じて純粋な信号によって伝搬させることもできる。
表示サブシステム712が含まれる場合、ストレージ・サブシステム708によって保持されているデータの視覚表現を提示するために用いることができる。上述した方法およびプロセスがストレージ・サブシステムに保持されているデータを変化させ、したがってストレージ・サブシステムの状態を移行させるに連れて、表示サブシステム806の状態も同様に、基礎データの変化を視覚的に表すために移行することができる。表示サブシステム712は、事実上あらゆるタイプの技術を利用する1つ以上の表示デバイスを含むことができる。このようなディスプレイ・デバイスは、共有筐体の中に論理サブシステム704および/またはストレージ・サブシステム708と組み合わせることもでき、あるいはこのような表示デバイスは周辺機器の表示デバイスであってもよい。表示サブシステム712は、例えば、表示システム56およびHMDデバイス42の透過型ディスプレイ54を含むことができる。
通信サブシステム716が含まれる場合、コンピューティング・システム700を1つ以上のネットワークおよび/または1つ以上の計算デバイスと通信可能に結合するように構成することができる。通信サブシステム715は、1つ以上の異なる通信プロトコルと互換性のある有線通信デバイスおよび/またはワイヤレス通信デバイスを含むことができる。非限定的な例として、通信サブシステム716は、ワイヤレス電話ネットワーク、ワイヤレス・ローカル・エリア・ネットワーク、有線ローカル・エリア・ネットワーク、ワイヤレス・ワイド・エリア・ネットワーク、および有線ワイド・エリア・ネットワークを通じた通信に合わせて構成することができる。実施形態の中には、通信サブシステムが、コンピューティング・サブシステム700に、インターネットのようなネットワークを通じて他のデバイスとの間でメッセージを送信および/または受信することを可能にするとよい場合もある。
センサ・サブシステム720は、異なる物理現象(例えば、可視光、赤外線、音響、加速、方位、位置等)、並びに/または、上述した生理的処理、機能、測定および/もしくは状態を感知するように構成される1つ以上のセンサを含むことができる。例えば、センサ・サブシステム720は、1つ以上のアイ・トラッキング・センサ、画像センサ、マイクロフォン、加速度計のような動きセンサ、コンパス、タッチ・パッド、タッチ・スクリーン、心拍数モニタ、パルス・オキシメータ、電子皮膚反応センサ、脳波検査(EEG)モニタ、および/または他の如何なる好適なセンサをも備えることができる。
実施形態の中には、センサ・サブシステム720は深度カメラを含むことができる場合もある。深度カメラは、例えば、立体的視覚システムの左右のカメラを含むことができる。両カメラの1つ以上からの時間分解画像は、相互に登録され、また結合されて、深度分解映像を供することができる。他の実施形態では、深度カメラは、上述したように、構造化した光深度カメラまたはtime-of-flightカメラとすることができる。実施形態の中には、センサ・サブシステム720は、デジタル・カメラのような可視光カメラを含むことができる場合もある。事実上、如何なる種別のデジタル・カメラ技術も、本開示の範囲を逸脱することなく使用することができる。非限定的な例として、可視光カメラは、電荷結合素子画像センサを含んでもよい。
センサ・サブシステム720は、例えば、センサ・データを論理サブシステム704に提供するように構成することができる。上述したように、このようなデータは、アイ・トラッキング情報、画像情報、音響情報、環境ライティング情報、深度情報、位置情報、動き情報、ユーザ位置情報、生体パラメータ情報、並びに/または上述した方法およびプロセスを実行するために用いることができる他の如何なる好適なセンサ・データをも含むことができる。
入力サブシステム722が含まれる場合、ゲーム・コントローラ、ジェスチャ入力検出デバイス、音声認識装置、慣性測定ユニット、キーボード、マウスまたはタッチ・スクリーンのような、1つ以上のセンサ、即ちユーザ入力デバイスを備え、またはこれらとインタフェースすることができる。実施形態の中には、入力サブシステム722が、選択された自然ユーザ入力(NUI)コンポーネント(componentry)を備え、またはこれとインタフェースすることができる場合もある。このようなコンポーネントは、統合または周辺機器のものであってもよく、入力動作の変換(transduction)および/または処理は、オン・ボードまたはオフ・ボードで扱うことができる。NUIコンポーネントの例には、音声(speech and/or voice)認識用マイクロフォン、機械映像および/またはジェスチャ認識用の赤外線カメラ、カラー・カメラ、ステレオ・カメラ、および/または深度カメラ、動き検出および/または意思認識のためのヘッド・トラッキング装置、アイ・トラッキング装置、加速度計および/またはジャイロスコープ、更には脳活動評価のための電界検知コンポーネントを含むことができる。
「プログラム」という用語は、1つ以上の特定の機能を実行するように実現された適応イベント認識・システム10の一態様を説明するために用いることができる。場合によっては、プログラムは、ストレージ・サブシステム708によって保持される命令を実行する論理サブシステム704によってインスタンス化することもできる。異なるプログラムを同一のアプリケーション、サービス、コード・ブロック、オブジェクト、ライブラリ、ルーチン、API、関数等からインスタンス化できることが理解されるべきである。同様に、同一のプログラムを異なるアプリケーション、サービス、コード・ブロック、オブジェクト、ルーチン、API、関数等によってインスタンス化することもできる。「プログラム」という用語は、実行可能ファイル、データ・ファイル、ライブラリ、ドライバ、スクリプト、データベース・レコード等のそれぞれまたは群を含むことができる。
本明細書において説明した構成および/または手法は、性質上例示であること、そして多数の変形が可能であることから、これら具体的な実施形態または例は、限定的な意味で捉えてはならないことが理解されるべきである。本明細書において説明した具体的なルーチンまたは方法は、如何なる数の処理方策の内1つ以上を表すことができる。したがって、図示した種々の動作(act)は、図示したシーケンスで実行すること、他のシーケンスで実行すること、並列に実行することもでき、あるいは省略することもできる。同様に、以上で説明したプロセスの順序も変更することができる。
本開示の主題は、種々のプロセス、システム、および構成、ならびにその他の特徴、機能、動作、および/または本明細書において開示したプロパティ、更にはそのいずれかの均等物および全ての均等物の、全ての新規で非自明なコンビネーションおよびサブコンビネーションを含む。



  1. 適応イベント認識システムであって、
    コンピューティング・デバイスに動作可能に接続される表示デバイスであって、表示システムおよび複数の入力センサを含む、表示デバイスと、
    前記コンピューティング・デバイスのプロセッサによって実行される適応イベント認識プログラムと
    を含み、前記適応イベント認識プログラムが、
    前記複数の入力センサの内選択されたセンサを、より高い潜在レイテンシに対応する第1ポーリング・レートで動作させ、
    初期ユーザ関連情報を前記選択されたセンサから受け取り、
    前記初期ユーザ関連情報が複数のプレ・イベントの内1つに整合するかを判定し、各前記プレ・イベントが1つ以上の異なるパターンのプレ・イベントに対応し、各前記パターンが見込まれる異なるターゲット・イベントに導き、
    前記初期ユーザ関連情報が前記複数のプレ・イベントの内1つに整合する場合に、前記選択されたセンサを、前記第1ポーリング・レートよりも早く、且つ前記より高い潜在レイテンシ未満のより低い潜在レイテンシに対応する第2ポーリング・レートで動作させ、
    後続のユーザ関連情報を前記選択されたセンサから受け取り、
    前記後続のユーザ関連情報が、前記見込まれる異なるターゲット・イベントの中から選択されるターゲット・イベントに整合する場合に、該選択されたターゲット・イベントに関連付けられるフィードバックを、前記表示デバイスを通じてユーザに供給する
    ように構成される、適応イベント認識システム。

  2. 請求項1記載の適応イベント認識システムにおいて、前記適応イベント認識プログラムが更に、前記後続のユーザ関連情報が前記選択されたターゲット・イベントではない予測プレ・イベントに整合する場合に、
    前記選択されたターゲット・イベントが発生することになる推定実行時間を決定し、
    前記推定実行時間に、または前記推定実行時間よりも前に、前記選択されたターゲット・イベントに関連付けられる前記フィードバックを前記ユーザに供給する
    ように構成される、適応イベント認識システム。

  3. 請求項1記載の適応イベント認識システムにおいて、前記適応イベント認識プログラムが更に、前記初期ユーザ関連情報を受け取った後に、前記選択されたターゲット・イベントに関連付けられる前記フィードバックの少なくとも一部を事前フェッチするように構成される、適応イベント認識システム。

  4. 前記表示デバイスがヘッドマウント・ディスプレイ・デバイスである、請求項1記載の適応イベント認識システム。

  5. 前記選択されたターゲット・イベントが手のジェスチャを含む、請求項1記載の適応イベント認識システム。

  6. 選択されたターゲット・イベントを認識するための方法であって、
    複数の入力センサを備える表示デバイスにおいて、前記複数の入力センサの内選択されたセンサを、より高い潜在レイテンシに対応する第1ポーリング・レートで動作させるステップと、
    初期ユーザ関連情報を前記選択されたセンサから受け取るステップと、
    前記初期ユーザ関連情報が複数のプレ・イベントの内1つに整合するかを判定するステップであって、各前記プレ・イベントが1つ以上の異なるパターンのプレ・イベントに対応し、各前記パターンが見込まれる異なるターゲット・イベントに導く、ステップと、
    前記初期ユーザ関連情報が前記複数のプレ・イベントの内1つに整合する場合に、前記選択されたセンサを、前記第1ポーリング・レートよりも早く、且つ前記より高い潜在レイテンシ未満のより低い潜在レイテンシに対応する第2ポーリング・レートで動作させるステップと、
    後続のユーザ関連情報を前記選択されたセンサから受け取るステップと、
    前記後続のユーザ関連情報が、前記見込まれる異なるターゲット・イベント中から選択されるターゲット・イベントに整合する場合に、前記選択されたターゲット・イベントに関連付けられるフィードバックを、前記表示デバイスを通じてユーザに供給するステップと
    を含む、方法。

  7. 請求項6記載の方法であって、更に、
    前記初期ユーザ関連情報を受け取った後で、前記後続のユーザ関連情報を受け取るのよりも前に、中間ユーザ関連情報を前記選択されたセンサから受け取るステップと、
    前記中間ユーザ関連情報が、前記複数のプレ・イベントのサブセットからのプレ・イベントに整合するかを判定するステップと、
    前記中間ユーザ関連情報が、前記複数のプレ・イベントのサブセットからのプレ・イベントに整合する場合に、前記選択されたセンサを、前記第1ポーリング・レートよりも早く、且つ前記第2ポーリング・レートよりも低い、第3ポーリング・レートで動作させるステップと
    を含む、方法。

  8. 請求項6記載の方法であって、更に、前記初期ユーザ関連情報が所定の時間フレーム内で受け取られない場合に、前記選択されたセンサを、前記第1ポーリング・レートよりも遅いタイム・アウト・ポーリング・レートで動作させるように制御するステップを含む、方法。

  9. 前記パターンの各々が、異なる一連のプレ・イベントを含む、請求項6記載の方法。

  10. 前記複数の入力センサが、画像センサ、位置センサ、マイクロフォン、アイ・トラッキング・センサ、および生体センサからなる群から選択される、請求項6記載の方法。

 

 

Patent trol of patentswamp
類似の特許
分離デバイス(103)からデータを受け取るデバイスリーダ(101)は、ディスプレイ(205)と、分離デバイスからデータを受け取る第1のアンテナ(105)とを備える。第1のアンテナ(105)は、ディスプレイ(205)に対するデバイスリーダアンテナ位置を有する。ディスプレイプロセッサ(207)は、ディスプレイ(205)上に、分離デバイス(103)の少なくとも一部の画像を表示する。画像は、分離デバイス(103)におけるアンテナ(107)の画像内の位置に対応する関連する第1の画像アンテナ位置を有する。画像は、第1の画像アンテナ位置がデバイスリーダアンテナ位置と位置合わせされるように表示される。画像は、分離デバイス(103)のカスタマイズされていない画像から、特にサイズや解像度、ピクセルサイズといった、ディスプレイ(205)のディスプレイ特性に基づいて、例えば回転、スケーリング及びポジショニングにより決定され得る。アプローチは、例えばNFC通信のような近距離通信を使用するときに、ユーザがデバイスをデバイスリーダと位置合わせすることを容易にすることができる。
本発明は、透明層により少なくとも部分的に覆われた物品を、表面特性を割り出すことにより識別する方法に関する。透明層により覆われた物品の表面の特性パラメータを特に簡単かつ高い信頼性で割り出すことができるような方法を提供するために、光学システムが、物品の表面及び透明層の表面から反射される光の少なくとも二つの偏光面を捉え、この捉えられた偏光面を考慮して物品を識別するための表面特性を割り出す。
本発明は、計算の分野に関し、光学的オブジェクトトラッキングシステムにおいて、追跡されるオブジェクトの基準マーカーと、カメラによって撮像された画像平面への基準マーカーの投影との1対1のマッピングを探し出す方法をカバーする。対応問題を解決する方法は、オブジェクトの3Dの点と、そのオブジェクトの画像平面への2Dの投影との対応を探し出すことによって実現され、これが使用されることにより、オブジェクトの3Dの位置と方向を探し出すことができる。それは、追跡されるオブジェクトの現在のポーズがなくても機能するように設計されていて、対応問題と同様に、最初の対応問題についても効率的である。さらに、対応問題を解決するために使用されるLED群を選択する方法も提供される。その方法は、動いている状況下で追跡されるオブジェクトの可能性のあるポーズを表すポーズデータを使用して、使用事例の要件を満たすようにLED群が選択される。
本発明は、患者に関する光及び音インパクトをモニタするシステムに関する。それは、時間にわたり人での環境光をキャプチャする光キャプチャユニット2及び時間にわたり人での周囲音をキャプチャする音キャプチャユニット3を有する。閾値ユニット6,9が、キャプチャされた環境光の輝度が輝度レベルを超える場合及び/又はキャプチャされた周囲音の音レベルが音閾値を超える場合、トリガ信号を生成し、及び出す。ストレスレベルプロセッサ15が、人のストレスレベルを決定する。格納ユニット10が、受信したトリガ信号に基づき、上記トリガ信号を受信する時間瞬間の周りでキャプチャされる環境光及び周囲音の断片、及び上記トリガ信号を受信する時間瞬間の周りでの上記人のストレスレベル情報の断片を格納する。レビューユニット11が、環境光、周囲音及びストレスレベル情報の格納された断片をレビューし、レビューされた断片に格納される上記環境光及び周囲音の根本原因を識別し、識別された根本原因によりもたらされる斯かる光及び/又は音を回避する方法を示すガイダンス情報を得ることを可能にするよう提供される。
画像再構成装置及びそれに関連する方法。ボアにおける所与の視野fovを備えるCTスキャナimaに対する視野外物質の量が設定される。 測定に基づいて、ハイブリッド画像再構成器reconxが、異なる再構成アルゴリズムの間で切り替わるように構成される。
ピクチャ処理のための方法が説明される。第1のトラッキングエリアが得られる。第2のトラッキングエリアも得られる。その方法は、第1のトラッキングエリア及び第2のトラッキングエリアをトラッキングすることを開始することを含む。ピクチャ処理は、第2のトラッキングエリアと重なり合っている第1のトラッキングエリアの部分がスレショルドを通過した時点で行われる。
自動化されたプロセスは、局所的測位システムを使用して、1以上の移動可能な対象物体に対する場所(すなわち、位置及び方向)データを取得する。対象物体がコンピュータ制御の下で移動する能力を有する場合に、この自動化されたプロセスは、測定された場所データを使用して、そのような対象物体の位置及び方向を制御することができる。システムは、局所的測位システムの測定及び画像取得能力を活用し、制御可能な標識灯、画像処理、及び座標変換計算を統合して、輸送体の場所を制御するための追跡情報を提供する。結果としてのシステムは、基準座標系内で物体の位置及び方向追跡を可能にする。
【選択図】なし
一般に、手書きのインク入力をテキスト注釈に変換するための技術が提供される。ユーザは、コンピューティングデバイス上に表示されるコンテンツに対する手書きインク入力を提供し、コンテンツを編集及びマークアップすることができる。インク入力は、コンテンツを編集するよう、コンピューティングデバイスのユーザインタフェース上でタッチ又は電子スタイラスを用いて提供され得る。インク入力が処理されて、コメントの挿入、テキストの削除を識別し、マークアップ記号及び形状の挿入を識別することができる。インク入力は、インク入力のコンテキストと、文法及び校正分析とに基づいてテキスト注釈に変換され得る。テキスト注釈は、注釈ビューに表示され得る。インク入力は、所定の期間後、インク入力の変換をアクティブ化する変換ボタンの選択の検出があると、周期的に変換され得る。
本開示の少なくともいくつかの態様は、メモ認識のためのシステム及び方法を特徴とする。メモ認識システムは、センサーと、メモ認識モジュールと、メモ抽出モジュールとを含む。センサーは、1つ又は複数のメモを有するシーンの視覚的表示を取り込むように構成される。メモ認識モジュールは、センサーに連結される。メモ認識モジュールは、取り込まれた視覚的表示を受信し、かつ取り込まれた視覚的表示からメモの大まかな境界を決定するように構成される。メモ抽出モジュールは、メモの決定された大まかな境界に基づいて、取り込まれた視覚的表示からメモの内容を抽出するように構成される。
変形可能な表現検出のための方法が開示される。前処理された画像内の各ピクセルに関して、第1の方向勾配構成要素の符号と第2の方向勾配構成要素の符号は、組み合わされた符号を生成するために組み合わされる。各組み合わされた符号はコード化された値にコード化される。入力画像内の表現は、コード化された値に基づいて検出される。
To top