近距離自然ユーザインタフェースシステム及びその作動の方法

 

表示画面と表示デバイスカメラとを有する表示デバイスと、移動デバイスカメラの光軸が表示デバイスカメラの光軸に対してある角度に位置決めされた移動デバイスカメラを有する移動デバイスとを含み、移動デバイスが、移動デバイスを表示デバイスと対にするための第1のデバイス対形成モジュールを含み、移動デバイスカメラ及び表示デバイスカメラが、ユーザの手を検出し、かつユーザの手の姿勢及び移動を決定するためのものであり、表示デバイスが、ユーザの手の姿勢及び移動を表示画面上のユーザインタフェースの要素を制御するための動作に変換するための動き変換モジュールを含む自然ユーザインタフェースシステム及びその作動の方法。
【選択図】 図1

 

 

本発明は、一般的に、自然ユーザインタフェースシステムに関し、より具体的には、近距離自然ユーザインタフェースシステムのためのシステムに関する。
大体において、コンピュータ、タブレット、及び携帯電話のような電子デバイスとの人間の対話は、物理的なントロールの操作、ボタンの押下、又は画面へのタッチを必要とする。例えば、ユーザは、キーボード及びマウスのような入力デバイスを通じてコンピュータと対話する。キーボード及びマウスは、テキストの入力及び文書内のスクロールのような機能に対しては有効であるが、ユーザが電子デバイスと対話を行うことができると考えられる多くの他の方法に対しては有効ではない。マウスを保持するユーザの手は、平らな2次元(2D)表面に沿ってのみ動くよう制約され、3次元仮想空間内をマウスでナビゲートすることは、ぎこちなく、非直観的である。同様に、タッチスクリーンの平らなインタフェースでは、ユーザが深さの概念を伝達することができない。
3次元(3D又は深度)カメラ又は1つのデバイス上で2台のカメラを用いれば、電子デバイスの動作ベースの3D制御を達成することができる。しかし、ユーザの体又は手を用いて3D制御を可能にする現在の方法は、大ぶりな動作、冗長な較正手順、又は高価又は入手不能な特殊な機器に頼っている。
すなわち、近距離自然ユーザインタフェースを提供して作動させるためのより簡単な解決法の必要性が依然として残っている。既存の解決法の複雑度及びコストに鑑みて、これらの問題への答えを見出すことが益々極めて重要になっている。増加し続ける商業上の競争圧力を高まる消費者の期待及び市場における意義ある製品差別化の機会の減少と併せて考慮すれば、これらの問題に対する答えを見出すことは極めて重要である。これに加えて、コストの低減、効率及び性能の改善、及び競争圧力への対処の必要性は、これらの問題に対する答えを見出す極めて重大な必要性により大きい緊急性を加えている。
これらの問題に対する解決法は長く追求されてきたが、従来の開発は、いずれの解決法も教示又は提案しておらず、すなわち、これらの問題への解決法は、当業者に長い間得られていない。
本発明は、表示画面と表示デバイスカメラとを有する表示デバイスを与える段階と、移動デバイスカメラの光軸が表示デバイスカメラの光軸に対してある角度に位置決めされた移動デバイスカメラを有する移動デバイスを与える段階と、移動デバイスを表示デバイスと対にする段階と、ユーザの手を検出する段階と、ユーザの手の姿勢及び移動を決定する段階と、ユーザの手の姿勢及び移動を表示画面上のユーザインタフェースの要素を制御するための動作に変換する段階とを含む自然ユーザインタフェースシステムの作動の方法を提供する。
本発明は、表示画面と表示デバイスカメラとを有する表示デバイスと、移動デバイスカメラの光軸が表示デバイスカメラの光軸に対してある角度に位置決めされた移動デバイスカメラを有する移動デバイスとを含み、移動デバイスが、移動デバイスを表示デバイスと対にするための第1のデバイス対形成モジュールを含み、移動デバイスカメラ及び表示デバイスカメラが、ユーザの手を検出し、かつユーザの手の姿勢及び移動を決定するためのものであり、表示デバイスが、ユーザの手の姿勢及び移動を表示画面上のユーザインタフェースの要素を制御するための動作に変換するための動き変換モジュールを含む自然ユーザインタフェースシステムを提供する。
本発明のある一定の実施形態は、上述したものに加えて又はその代わりの他の段階又は要素を有する。これらの段階又は要素は、添付図面を参照して以下の詳細説明を読めば当業者には明らかになるであろう。
本発明の実施形態における自然ユーザインタフェースシステムを示す図である。 図1の移動デバイスカメラからのユーザの手の例示的な視界である。 本発明の第2の実施形態における自然ユーザインタフェースシステムを示す図である。 本発明の更に別の実施形態における自然ユーザインタフェースシステムの作動の方法を示す流れ図である。
以下の実施形態は、当業者が本発明を実施して使用することを可能にするために十分詳細に説明される。本発明の開示に基づいて他の実施形態が明らかになるであろうこと、並びに本発明の範囲から逸脱することなくシステム、処理、又は機械的な変更を加えることができることは理解されるものとする。
以下の説明では、本発明の十分な理解をもたらすために多くの具体的な詳細を与えている。しかし、本発明は、これらの具体的な詳細を含まずとも実施可能である点は明らかであろう。本発明を曖昧にするのを避けるために、一部の公知の回路、システム構成、及び処理段階については詳細には開示していない。
システムの実施形態を示している図面は、半図解的であり、縮尺通りではなく、特に、寸法の一部は、表現を明瞭にするためであり、図面の図では誇張されている。同様に、説明を容易にするための図面の図は、ほぼ同様の向きを示しているが、図内のこの描写は、大部分が任意的である。一般的に、本発明は、いずれの向きでも作動させることができる。
図面の全ての図で同じ要素に関連付けるために同じ数字を用いる。説明上の便宜の問題として、実施形態には、第1実施形態、第2実施形態などと番号を付与することがあるが、いずれかの他の意味を有するか又は本発明に関して制限を加えるものではない。
説明目的のために、本明細書で使用する時の用語「水平」は、ユーザの位置の床の平面又は表面に対して平行な平面として定義する。用語「垂直」は、定義したばかりの水平に対して垂直の方向を指す。「上方」、「下方」、「底部」、「上部」、「側部」(「側壁」におけるような)、「より高い」、「下側」、「上側」、「の上に」、及び「の下に」は、図に示すような水平面に対して定義される。用語「上に」は、要素間に直接の接触があることを意味する。用語「直接に上」は、仲介する要素がなく、一方の要素と他方の要素の間に直接の接触があることを意味する。
用語「能動側」とは、能動回路が組み立てられたか又はダイ、モジュール、パッケージ、又は電子構造内の能動回路に接続するための要素を有するダイ、モジュール、パッケージ、又は電子構成の側部を指す。
本明細書で使用する時の用語「処理」は、材料又はフォトレジストの堆積、パターン化、露光、現像、エッチング、クリーニング、及び/又は説明する構造を形成する際に必要であれば材料又はフォトレジストの除去を含む。
ここで図1を参照すると、本発明の実施形態における自然ユーザインタフェースシステム100を示している。自然ユーザインタフェースシステム100は、移動デバイス102と表示デバイス104とを含む。表示デバイス104の表示画面106の方を指しているように示されているのは、ユーザの手108である。ユーザの顔も示されており、点線として示された目線ベクトル110が、ユーザが画面上のどこを見ているかを示している。
移動デバイス102は、表示デバイス104の正面に表が下向きで示されているが、移動デバイス102は、表を上向きにすることも可能であることは理解される。移動デバイス102の表面は、この例では見えていないが、移動デバイス102の主表示画面として定義される。移動デバイス102は、移動デバイス102の表が下向きの時に上向きになる移動デバイスカメラ112を有する。移動デバイスカメラ112の光軸は、移動デバイスカメラ112が面するか又は「見る」方向として定義される。言い換えれば、移動デバイスカメラ112の視野の中心は、移動デバイスカメラ112の光軸とすることができる。移動デバイスカメラ112は、映像補捉機構である。移動デバイスカメラ112は、2次元(2D)又は3次元(3D)画像を補捉する機能があるものとすることができる。移動デバイス102は、スマートフォン、フィーチャーフォン、Wi−Fi対応カメラ、タブレット、又はカメラ、処理機能、及び無線機能を有するいずれかのデバイスのような様々な電子デバイスのいずれかとすることができる。
移動デバイス102はまた、移動デバイスカメラ112の前方に何があるかを判別するのに周辺光が不十分である時に、移動デバイスカメラ112の前方にある物体を照らすためのフラッシュライト114を有する。例えば、暗闇条件であると決定されると(例えば、利用可能な画像を取得するのに十分な光がない)、フラッシュライト114を起動して、これが、移動デバイスカメラ112で写真を撮影する時の照明のための一定の光源として又はフラッシュとして作動させることができる。フラッシュライト114から放射される光は、単に一例としてフラッシュライト114の上の三角形によって表している。フラッシュライト114は、白熱灯、発光ダイオード(LED)、蛍光灯、ハロゲン、又は他のタイプの光のようないずれかの照明技術を用いて作動させることができる。
表示デバイス104は、WiFi、Bluetooth(登録商標)、セルラーデータプロトコル、又は他の無線プロトコルのような無線接続プロトコルを通じて移動デバイス102と対にされ、移動デバイス102に面するように示されている。例えば、移動デバイス102の第1のデバイス対形成モジュールは、表示デバイス104の第2デバイス対形成モジュールに接続することができる。第1のデバイス対形成モジュール及び第2デバイス対形成モジュールは、移動デバイス102と表示デバイス104との間で必要に応じて関連するデータを送受信することができる。表示デバイス104は、自然ユーザインタフェースシステム100のための主表示画面として表示画面106を有することができる。
表示デバイス104は、好ましくは表示デバイス104の表示画面106と同じ方向を向いている表示デバイスカメラ116を有する。表示デバイスカメラ116の光軸は、表示デバイスカメラ116が面するか又は「見る」方向として定義される。言い換えれば、表示デバイスカメラ116の視野の中心は、表示デバイスカメラ116の光軸とすることができる。表示デバイスカメラ116は、2次元(2D)又は3次元(3D)画像を補捉する機能があるものとすることができる。表示デバイス104は、ラップトップコンピュータ、オールインワン・デスクトップコンピュータ、デスクトップコンピュータに接続したモニタ、タブレット、TV、スマートフォン、又は移動デバイス102と同じデバイスを含む無線接続の機能がある他のデバイスのようなデバイスとすることができる。本例では、表示デバイス104は、スタンド上に取り付けられたタブレットコンピュータとして示しているが、これは単に一例に過ぎないことは理解される。
移動デバイス102及び表示デバイス104は、第1のデバイス対形成モジュールに結合された形状検出モジュール、形状検出モジュール又は第1のデバイス対形成モジュールに結合された動き追跡モジュール、及び動き追跡モジュールに結合された動き変換モジュールのような様々な機能を実行可能な多くのモジュールを含むことができる。移動デバイス102のみ、表示デバイス104のみ、又は移動デバイス102及び表示デバイス104の組合せは、モジュールの一部又は全てを同時に又は並行して実行することができる。
移動デバイスカメラ112及び表示デバイスカメラ116は、重複する視野を有し、それぞれの光軸が互いに一定の角度にあるように位置決めされる。例えば、移動デバイスカメラ112及び表示デバイスカメラ116の光軸は、互いにほぼ直交とすることができ、これは、立体3次元カメラで使用されるカメラシステムのようにカメラが平行方向を向いている場合とは対照的である。言い換えれば、重複する視野にある物体に対して異なる角度から重複する視野にあるあらゆるものの画像を補捉するために、移動デバイスカメラ112及び表示デバイスカメラ116は、重複する視野を有するように異なる方向を向いた光軸を有する。
本例では、ユーザの手108は、移動デバイスカメラ112及び表示デバイスカメラ116の重複する視野内にある。移動デバイスカメラ112及び表示デバイスカメラ116は、ユーザの手108の非常に異なる視界を見るので、ユーザの手108に関する関連する3次元の形状、姿勢、位置、及び動き情報を取得することができる。
例えば、移動デバイスカメラ112は、第1のデバイス対形成モジュールに結合された移動デバイス102の形状検出モジュールと連動してユーザの手108の底部を撮像し、形状又は姿勢(指している、握っている、平らである、その他)を容易に検出することができる。移動デバイスカメラ112は、形状検出モジュールに結合された第1デバイス動き追跡モジュールと連動して、前後の動き(表示デバイス104の表示画面106に対して)及び左右の動きを検出することができる。
表示デバイスカメラ116は、第2デバイス対形成モジュールに結合された第2デバイス動き追跡モジュールと連動してユーザの手108の正面を撮像し、上下及び左右の方向の動きを容易に検出することができる。表示デバイスカメラ116はまた、正面からのユーザの手108の形状又は姿勢を検出し、移動デバイスカメラ112からのユーザの手108の形状又は姿勢の検出と組み合わせてこれを精緻化することができる。移動デバイスカメラ112及び表示デバイスカメラ116からの左右の動きを相関付けるような三角測量及び相関技術を通じて、移動デバイス102上、表示デバイス104上、又は並行に移動デバイス102及び表示デバイス104の両方上で実行中の自然ユーザインタフェースシステム100は、深度マッピング又は立体技術を使用せずに3次元の形状、姿勢、位置、及び動き情報を計算することができる。例えば、第1デバイス動き追跡モジュール及び第2デバイス動き追跡モジュールからのデータは、動き相関モジュールによって組み合わせることができ、このモジュールは、移動デバイス102、表示デバイス104上で実行可能であり、移動デバイス102と表示デバイス104との間で分割可能であり、又は移動デバイス102及び表示デバイス104の両方で並行に実行して正確さを期して結果を検査することができる。
説明目的のために、移動デバイスカメラ112及び表示デバイスカメラ116は、処理を容易にするために2次元画像を補捉すると説明しているが、移動デバイスカメラ112、表示デバイスカメラ116、又はその両方が3次元画像を補捉する場合に、追加の測定精度を計算することができることは理解される。3次元画像の補捉及び処理は、よりコンピュータ集約的であり、介入するあらゆる移動デバイスのバッテリ寿命を節約しながら検出及び処理を高速化するには、2次元画像の補捉及び処理の方が好ましくなる。
同じく例えば、いずれかの時点の移動デバイス102及び表示デバイス104の向きを決定するために、移動デバイス102及び表示デバイス104にジャイロスコープ、コンパス、及び/又は加速度計を備えることができる。それによって移動デバイスカメラ112が表示デバイスカメラ116の視野と重複し、かつ何らかの角度にある視野を有する限り、移動デバイス102は、表示デバイス104に対して任意の角度に配置することができる。
例えば、移動デバイス102及び表示デバイス104の両方がコンパス(電子又はアナログ)及びジャイロスコープを備えている場合に、コンパスの度数及びジャイロスコープに基づいて視界の向きを同期することができ、その結果、ユーザによる較正が不要である。移動デバイス102又は表示デバイス104の視野同期モジュールは、コンパス及び/又はジャイロスコープと共に作動し、移動デバイス102の視野角を表示デバイス104と同期することができる。例えば、移動デバイス102が、表示デバイス104の表示画面106の平面に対していずれの角度に位置決めされようとも、表示画面106の向きに対する移動デバイス102の向きと適合するように又は同期するように、補捉された画像を適切に回転させることにより、視野同期モジュールは、移動デバイスカメラ112によって補捉された画像をいかに処理するかを調整することができる。
同じく例えば、表示デバイス104がジャイロスコープを備えている場合に、ユーザの手108の動きを決定する時に、表示デバイス104の角度を決定して補正することができる。別の例として、移動デバイス102内のジャイロスコープは、移動デバイス102の表がいつ下向きの位置にあるかを決定することができ、第1のデバイス対形成モジュールは、表示デバイス104への無線接続を自動的に開始して、ユーザからのいずれの更に別の対話もなく自然ユーザインタフェースシステム100を初期化することができる。
移動デバイス102及び表示デバイス104の両方にジャイロスコープ、コンパス、及び/又は加速度計を備えると、より良好なユーザ体験を可能にすることが見出されている。移動デバイス102及び表示デバイス104の向きはあらゆる与えられた時間で既知であるので、移動デバイス102は、表示デバイス104に対して任意の向きに配置することができ、冗長な較正手順の必要性、又は移動デバイス102をいかに配置しなければならないかの制約が取り除かれる。これに加えて、移動デバイス102の向きに基づく自動の対形成も、ユーザが移動デバイス102上の特定のプログラムを開く又は作動させる必要を取り除くことができ、ユーザ体験を更に簡略化する。ユーザがなすべきことは、自然ユーザインタフェースシステム100を使用することができるように、表が下向きになるよう電話を置くことだけである。
例を続ければ、それぞれの光軸が互いにある角度に位置決めされて重複する移動デバイスカメラ112及び表示デバイスカメラ116によって決定されるようなユーザの手108の姿勢及び移動は、表示画面106上のカーソルの移動に変換することができる。移動デバイス102、表示デバイス104、又はその両方の第1デバイス動き追跡モジュール及び/又は第2デバイス動き追跡モジュールに結合された動き変換モジュールは、第1デバイス動き追跡モジュール及び第2デバイス動き追跡モジュールからのデータを表示デバイス104の表示画面106上のカーソルの移動及びアクションに変換することができる。ユーザの手108の相対的な動きは、カーソルの移動に変換することができる。具体例として、ユーザの手が1つの指で画面の方を指差すような特定の形状にならない限り、カーソルは、動かないか又は現れないように設定することができる。
ユーザの手108上の特定のポイントを移動デバイスカメラ112及び表示デバイスカメラ116の両方で別々に追跡して3D空間で動きを決定することができる。表示画面106上のカーソルの移動に変換するための動き追跡も、例えば、ベクトルマッピングモジュールを通じて、ベクトルマッピングを移動デバイス102と表示デバイス104の間の距離の決定と組み合わせることによって行うことができる。
動き変換モジュールはまた、ユーザの手108の姿勢及び移動を組み合わせて動作を認識し、これらの動作を表示画面106上の変更によって反映されるアクションに変換することができる。例えば、ユーザの手108の形状及び姿勢は、移動デバイスカメラ112及び表示デバイスカメラ116の両方からのデータを組み合わせることにより、より正確に決定することができる。
ユーザの手108の姿勢をユーザの手108の動きと組み合わせることは、動き変換モジュールが動作を認識することを可能にする。動作は、表示デバイス104、及び表示デバイス104の表示画面106上に表示されるユーザインタフェースの要素を制御するために用いることができる。例えば、検出された動作を用いて、表示画面106上のカーソルを移動することができる。同じく例えば、検出された動作を用いて、アプリケーションの開閉、表示デバイス104上で実行中のアプリケーション内での視界の切り換え、表示デバイス104上で実行中のいずれかのアプリケーションの機能又はカーソルの制御、又はユーザインタフェースの要素の他の方法での制御のようなアクションを実行することができる。別の例として、検出された動作を用いて、表示画面106上のオンスクリーンキーボード上にタイプすることができる。
例を更に続ければ、移動デバイスカメラ112は、天井を背景としたユーザの手108の視界を有する。これは、すなわち、典型的にきれいな天井の背景のおかげで、ユーザの手108の形状のセグメント化、閾値処理などの方法での決定が簡単な処理であることを意味する。表示画面106に対する前後の軸上のユーザの手108の動きは、例えば、動き変換モジュールを用いてボタンの押下に変換することができる。別の例として、微光状況では、移動デバイス102のフラッシュライト114を用いてユーザの手108を照らすことができる。フラッシュライト114は、例えば、第1デバイス動き追跡モジュールに結合された光検出モジュールによって起動することができる。使用される照明は、可視領域でも、又は例えば暗闇で明るい光でユーザを不快にする危険性もなく用いるために赤外線(IR)領域でもよい。
それぞれの光軸が互いにある角度に位置決めされて重複する移動デバイスカメラ112及び表示デバイスカメラ116からの別々の画像集合を処理することは、ユーザの手108が主制御入力である自然ユーザインタフェースのより高速かつより容易な3次元制御をもたらすことが見出されている。例えば、ユーザの手108が表示画面106の方を指していると決定するのは、正面からユーザの手108を見るだけの表示デバイスカメラ116と比較すると、移動デバイスカメラ112の下から上への視界からの方がコンピュータ的にかなり容易である。動きを決定する構成要素を別々だが重複する視界の間で分割すると、移動デバイス102と表示デバイス104との間で関連データのみを送信するだけでよく、コンピュータ上の及び帯域幅の負荷を更に少なくする。
表示デバイスカメラ116は、ユーザの手108及びユーザの顔の両方の視界を有する。表示デバイス104の目線検出モジュールは、ユーザの顔及び目からの目線ベクトル110を決定することができ、表示画面106上のカーソルの移動に対するより大きい制御が可能になる。移動精緻化モジュールは、表示デバイスカメラ116から見えるユーザの手108の移動と目線ベクトル110を組み合わせて、ミリメートルレベルに至るまでの正確な位置決定を可能にすることができ、これは、カーソルの移動がユーザの顔からの目線ベクトル110に基づいて精緻化されるからである。
移動デバイス102及び表示デバイス104をそれぞれの光軸が互いにある角度に位置決めされた移動デバイスカメラ112及び表示デバイスカメラ116と無線で対にすると、特殊なハードウエアがなくとも自然な手の動きを通じて容易に設定及び制御が可能な近距離ユーザインタフェースの生成が可能になることが見出されている。移動デバイスカメラ112及び表示デバイスカメラ116は、3D又は測距カメラハードウエアの複雑さのない簡単な2Dカメラとすることができる。表示デバイス104は、TVからラップトップコンピュータまで、更にタブレットまでのいずれかとすることができ、一般的なユーザはこれらのうちの少なくとも1つを有するはずであり、移動デバイス102は、ほとんど誰でも有することになる電話とすることができ、従って、いずれのユーザによっても追加のハードウエアを取得する必要がない。更に、デバイスは、向きを同期し、かつ関連するデータを移動デバイス102と表示デバイス104との間で伝達することができるので、ユーザによる較正は必要なく、自然ユーザインタフェースシステム100の設定及び使用を容易にする。
従って、本発明の自然ユーザインタフェースシステム100及びその作動の方法は、特殊なハードウエアがなくとも、ユーザが指差す自然な動作を用いて近距離ユーザインタフェースを簡単かつ容易に制御することを可能にするための重要かつ従来は未知で利用不能であった解決法、機能、及び機能面を提供することが見出されている。
ここで図2を参照すると、図1の移動デバイスカメラ112からのユーザの手108の例示的な視界を示している。ユーザの手108は、一例として、指差しをしている位置に示されている。移動デバイスカメラ112は上方を向いているので、ユーザの手108の背景は天井である。天井は、大体は特徴がなく、又は容易に検出可能な一定の反復模様を有し、その結果、画像処理のためのユーザの手108の分離は、部屋の一般的な散乱物の間でユーザの手108を見つけ出すのと比較すれば比較的容易であることは当業者によって理解される。
ユーザの手108の明確で遮るものない視界を有するように、天井のようなきれいな背景に対して移動デバイスカメラ112を配置すると、ユーザの手108の動きを解釈するための処理を高速化して計算を簡略化することが見出されている。ユーザの手108の形状(指している、握っている、平らである、その他)は、移動デバイスカメラ112の位置から容易に決定され、図1の表示デバイス104が3次元カメラ又はユーザの手108の形状を決定するための他の特殊な機器を有することを不要にし、正面から見た時に、ユーザの手108の形状をより高い精度まで決定するには、単純なエッジ又はライン検出が可能にするよりも多くの情報が必要になることになる。図1の移動デバイス102と表示デバイス104との間で処理を分割すると、各々がユーザの手108の有用であるが異なる角度を見ており、より少ないデータセットに対してかつ並行に計算が行われるので、処理時間全体が短縮される。
ここで図3を参照すると、本発明の第2の実施形態における自然ユーザインタフェースシステム300を示している。自然ユーザインタフェースシステム300は、移動デバイス302と表示デバイス304とを含む。表示デバイス304の表示画面306の正面に示されているのは、ユーザの手308である。
移動デバイス302は、表示デバイス304の正面に表が下向きで示されているが、移動デバイス302は、表を上向きにすることも可能であることは理解される。移動デバイス302の表面は、この例では見えていないが、移動デバイス302の主表示画面として定義される。移動デバイス302は、移動デバイス302の表が下向きの時に上向きになる移動デバイスカメラ312を有する。移動デバイスカメラ312の光軸は、移動デバイスカメラ312が面するか又は「見る」方向として定義される。言い換えれば、移動デバイスカメラ312の視野の中心は、移動デバイスカメラ312の光軸とすることができる。移動デバイスカメラ312は、映像補捉機構である。移動デバイスカメラ312は、2次元(2D)又は3次元(3D)画像を補捉する機能があるものとすることができる。移動デバイス302は、スマートフォン、フィーチャーフォン、Wi−Fi対応カメラ、タブレット、又はカメラ、処理機能及び無線機能を有するいずれかのデバイスのような様々な電子デバイスのいずれかとすることができる。
移動デバイス302はまた、移動デバイスカメラ312の前方にある物体を照らすためのフラッシュライト314も有する。例えば、フラッシュライト314は、移動デバイスカメラ312で写真を撮影する時の照明のための一定の光源として又はフラッシュとして作動させることができる。フラッシュライト314は、白熱灯、発光ダイオード(LED)、蛍光灯、ハロゲン、又は他のタイプの光のようないずれかの照明技術を用いて作動させることができる。
表示デバイス304は、WiFi、Bluetooth(登録商標)、又はセルラーデータプロトコルのような無線接続プロトコルを通じて移動デバイス302と対にされ、移動デバイス302に面するように示されている。表示デバイス304は、自然ユーザインタフェースシステム300のための主表示画面として表示画面306を有することができる。
表示デバイス304は、好ましくは表示デバイス304の表示画面306と同じ方向を向いている表示デバイスカメラ316を有する。表示デバイスカメラ316の光軸は、表示デバイスカメラ316が面するか又は「見る」方向として定義される。言い換えれば、表示デバイスカメラ316の視野の中心は、表示デバイスカメラ316の光軸とすることができる。表示デバイス304は、ラップトップコンピュータ、オールインワン・デスクトップコンピュータ、デスクトップコンピュータに接続したモニタ、タブレット、TV、スマートフォン、又は無線接続の機能がある他のデバイスのようなデバイスとすることができる。本例では、表示デバイス304は、ラップトップコンピュータとして示しているが、これは単に一例に過ぎないことは理解される。
移動デバイス302及び表示デバイス304は、第1のデバイス対形成モジュールに結合された形状検出モジュール、形状検出モジュールに結合された動き追跡モジュール、及び動き追跡モジュールに結合された動き変換モジュールのような様々な機能を実行することができる多くのモジュールを含むことができる。移動デバイス302のみ、表示デバイス304のみ、又は移動デバイス302及び表示デバイス304の組合せは、モジュールの一部又は全てを同時に又は並行して実行することができる。
移動デバイスカメラ312及び表示デバイスカメラ316は、重複する視野318を有し、それぞれの光軸が互いに一定の角度にあるように位置決めされる。例えば、移動デバイスカメラ312及び表示デバイスカメラ316の光軸は、互いにほぼ直交とすることができ、これは、立体3次元カメラで使用されるカメラシステムのようにカメラが平行方向を向いている場合とは対照的である。言い換えれば、重複する視野318にある物体に対して異なる角度から重複する視野318にあるあらゆるもの画像を補捉するために、移動デバイスカメラ312及び表示デバイスカメラ316は、これらの光軸が重複する視野318を形成するように互いに対してある角度で指向する。
本例では、重複する視野318は、移動デバイスカメラ312及び表示デバイスカメラ316の各々から広がる2つの実線によって表されており、それぞれの視野の外側広がりの例を描いている。図示の重複する視野318の外側広がりは、単に一例に過ぎないこと、及び重複する視野318の外側広がりは、移動デバイスカメラ312及び表示デバイスカメラ316の機能に依存することは理解される。ユーザの手308は、移動デバイスカメラ312及び表示デバイスカメラ316の重複する視野318内にあると示している。移動デバイスカメラ312及び表示デバイスカメラ316は、ユーザの手308の全く異なる視界を見るので、ユーザの手308に関する関連する3次元位置及び動き情報を取得することができる。
例えば、移動デバイスカメラ312は、ユーザの手308の底部を撮像し、前後(表示デバイス304の表示画面306に対して)及び左右の動きを容易に検出することができる。移動デバイスカメラ312はまた、ユーザの手308の形状又は姿勢(指している、握っている、平らである、その他)も検出することができる。表示デバイスカメラ316は、ユーザの手308の正面を撮像し、上下及び左右の方向の動きを容易に検出することができる。
表示デバイスカメラ316はまた、正面からのユーザの手308の形状又は姿勢を検出し、移動デバイスカメラ312からのユーザの手308の形状又は姿勢の検出と組み合わせてこれを精緻化することができる。移動デバイスカメラ312及び表示デバイスカメラ316からの左右の動きを相関付けるような三角測量及び相関技術を通じて、移動デバイス302上、表示デバイス304上、又は並行に移動デバイス302及び表示デバイス304の両方上で実行中の自然ユーザインタフェースシステム300は、深度マッピング又は立体技術を使用せずに3次元の位置及び動き情報を計算することができる。
同じく例えば、いずれかの時点で移動デバイス302及び表示デバイス304の向きを決定するために、移動デバイス302及び表示デバイス304にジャイロスコープ、コンパス、及び/又は加速度計を備えることができる。それによって移動デバイスカメラ312が表示デバイスカメラ316の視野と重複しており、かつ何らかの角度にある視野を有する限り、移動デバイス302は、表示デバイス304に対して任意の角度に配置することができる。
例えば、移動デバイス302及び表示デバイス304の両方がコンパス(電子又はアナログ)及びジャイロスコープを備えている場合に、コンパスの度数及びジャイロスコープに基づいて視界の向きを同期することができ、その結果、ユーザによる較正が不要である。
同じく例えば、表示デバイス304がジャイロスコープ又は他のセンサを備えている場合に、ユーザの手308の動きを決定する時に、表示デバイスカメラ316の角度を決定して補正することができる。別の例として、移動デバイス302内のジャイロスコープは、移動デバイス302の面がいつ下向きの位置にあるかを決定することができ、表示デバイス304への無線接続を自動的に開始して、ユーザからのいずれの更に別の対話もなく自然ユーザインタフェースシステム300を初期化することができる。
移動デバイス302及び表示デバイス304の両方がジャイロスコープ、コンパス、及び/又は加速度計を備えていると、より良好なユーザ体験を可能にすることが見出されている。移動デバイス302及び表示デバイス304の向きはあらゆる時点で既知であるので、移動デバイス302は、表示デバイス304に対して任意の向きに配置することができ、冗長な較正手順の必要性、又は移動デバイス302をいかに配置しなければならないかの制約が取り除かれる。これに加えて、移動デバイス302の向きに基づく自動の対形成も、ユーザが移動デバイス302上の特定のプログラムを開く又は作動させる必要を取り除くことができ、ユーザ体験を更に簡略化する。ユーザがなすべきことは、自然ユーザインタフェースシステム300を使用することができるように、表が下向きになるように電話を置くことだけである。
例を続ければ、それぞれの光軸が互いにある角度に位置決めされて重複する移動デバイスカメラ312及び表示デバイスカメラ316によって決定されるようなユーザの手308の姿勢及び移動は、表示画面306上のカーソルの移動に変換することができる。ユーザの手308の相対的な動きは、カーソルの移動に変換することができる。具体例として、ユーザの手が、1つの指で画面の方を指差すような特定の形状にならない限り、カーソルは、動かないか又は現れないように設定することができる。ユーザの手の上の特定のポイントを移動デバイスカメラ312及び表示デバイスカメラ316の両方で別々に追跡して、3D空間で動きを決定することができる。表示画面306上のカーソルの移動に変換するための動き追跡はまた、例えば、移動デバイス302と表示デバイス304の間の距離の決定とベクトルマッピングを組み合わせることを通じて行うことができる。
例を更に続ければ、移動デバイスカメラ312は、天井を背景としたユーザの手308の視界を有する。これは、すなわち、典型的にきれいな天井の背景のおかげで、ユーザの手308の形状のセグメント化、閾値処理などの方法での決定が簡単な処理であることを意味する。表示画面306に対する前後の軸上のユーザの手308の動きは、例えば、ボタンの押下に変換することができる。別の例として、微光状況では、移動デバイス302のフラッシュライト314を用いて、ユーザの手308を照らすことができる。使用される照明は、可視領域でも、又は例えば暗闇で明るい光でユーザを不快にする危険性もなく用いるために赤外線(IR)領域でもよい。
それぞれの光軸が互いにある角度に位置決めされて重複する移動デバイスカメラ312及び表示デバイスカメラ316からの別々の画像集合を処理することは、ユーザの手308が主制御入力である自然ユーザインタフェースのより高速かつより容易な3次元制御をもたらすことが見出されている。例えば、ユーザの手308が表示画面306の方を指していると決定することは、正面からユーザの手308を見るだけの表示デバイスカメラ316と比較すると、移動デバイスカメラ312の下から上への視界からの方がコンピュータ的にかなり容易である。動きを決定する構成要素を別々だが重複する視界の間で分割すると、移動デバイス302と表示デバイス304との間で関連データのみを送信するだけでよく、コンピュータ上の及び帯域幅の負荷を更に少なくする。
移動デバイス302及び表示デバイス304をそれぞれの光軸が互いにある角度に位置決めされた移動デバイスカメラ312及び表示デバイスカメラ316と無線で対にすると、特殊なハードウエアがなくとも自然な手の動きを通じて容易に設定及び制御が可能な近距離ユーザインタフェースの生成が可能になる。移動デバイスカメラ312及び表示デバイスカメラ316は、3D又は測距カメラハードウエアの複雑さのない簡単な2Dカメラとすることができる。表示デバイス304は、TVからラップトップコンピュータまで、更にタブレットまでのいずれかとすることができ、一般的なユーザはこれらのうちの少なくとも1つを有するはずであり、移動デバイス302は、ほとんど誰でも有することになる電話とすることができ、従って、いずれのユーザによっても追加のハードウエアを取得する必要がない。更に、デバイスは、向きを同期し、かつ関連する情報を移動デバイス302と表示デバイス304との間で伝達することができるので、ユーザによる較正は必要なく、自然ユーザインタフェースシステム300の設定及び使用を容易にする。
ここで図4を参照すると、本発明の更に別の実施形態における自然ユーザインタフェースシステム100の作動の方法400の流れ図を示している。方法400は、ブロック402で表示画面と表示デバイスカメラとを有する表示デバイスを与える段階と、ブロック404で移動デバイスカメラの光軸が表示デバイスカメラの光軸に対してある角度に位置決めされた移動デバイスカメラを有する移動デバイスを与える段階と、ブロック406で移動デバイスを表示デバイスと対にする段階と、ブロック408でユーザの手を検出する段階と、ブロック410でユーザの手の姿勢及び移動を決定する段階と、ブロック412でユーザの手の姿勢及び移動を表示画面上のユーザインタフェースの要素を制御するための動作に変換する段階とを含む。
得られる方法、処理、装置、デバイス、製品、及び/又はシステムは、分かりやすく、コスト効率が良く、単純であり、高度に万能かつ有効であり、公知の技術を適応することによって驚くほどにかつ非自明的に実施することができ、従って、自然ユーザインタフェースシステムを効率的かつ経済的に製造するのに直ちに適しており、従来の製造方法又は処理及び技術と十分な互換性がある。
本発明の別の重要な態様は、それがコストの低減、システムの簡略化、及び性能の改善という歴史的傾向を有益にサポートし、かつそのサービスを提供することである。
本発明のこれら及び他の有益な態様は、結果として従来技術を少なくとも次のレベルに進めるものである。
特定の最良のモードに関連して本発明を説明したが、当業者には以上の説明に照らして多くの代替、修正、及び変形が明らかであろうことは理解されるものとする。従って、含まれる特許請求の範囲に収まるこのような全ての代替、修正、及び変形が包含されるように意図している。本明細書に説明して添付図面に示す上述の全ての内容は、例証的かつ非限定的な意味で解釈されるものとする。
100 自然ユーザインタフェースシステム
102 移動デバイス
104 表示デバイス
108 ユーザの手
110 目線ベクトル



  1. 自然ユーザインタフェースシステムの作動の方法であって、
    表示画面と表示デバイスカメラとを有する表示デバイスを与える段階と、
    移動デバイスカメラの光軸が前記表示デバイスカメラの光軸に対してある角度に位置決めされた該移動デバイスカメラを有する移動デバイスを与える段階と、
    前記移動デバイスを前記表示デバイスと対にする段階と、
    ユーザの手を検出する段階と、
    前記ユーザの手の姿勢及び移動を決定する段階と、
    前記ユーザの手の前記姿勢及び移動を前記表示画面上のユーザインタフェースの要素を制御するための動作に変換する段階と、
    を含むことを特徴とする方法。

  2. 前記表示デバイスの向きに対する前記移動デバイスの向きに基づいて前記移動デバイスカメラの視野角を回転させる段階を更に含むことを特徴とする請求項1に記載の方法。

  3. ユーザの顔を検出する段階と、
    前記ユーザの顔からの目線ベクトルを決定する段階と、
    前記目線ベクトルを用いて前記表示画面上のカーソルの移動を精緻化する段階と、
    を更に含むことを特徴とする請求項1に記載の方法。

  4. 前記ユーザの手を検出する段階は、
    前記移動デバイスカメラを用いて前記ユーザの手を検出する段階と、
    前記表示デバイスカメラを用いて前記ユーザの手を検出する段階と、
    を含む、
    ことを特徴とする請求項1に記載の方法。

  5. 前記ユーザの手の前記姿勢及び移動を決定する段階は、
    前記移動デバイスカメラを用いて前記ユーザの手の前後の動き及び左右の動きを決定する段階と、
    前記表示デバイスカメラを用いて前記ユーザの手の上下及び左右の動きを決定する段階と、
    前記移動デバイスカメラ及び前記表示デバイスカメラを用いて前記ユーザの手の姿勢を決定する段階と、
    前記移動デバイスカメラ及び前記表示デバイスカメラによって決定された時の前記ユーザの手の動きを相関付けることにより、3次元で該ユーザの手の前記姿勢及び移動を決定する段階と、
    を含む、
    ことを特徴とする請求項1に記載の方法。

  6. 自然ユーザインタフェースシステムの作動の方法であって、
    表示画面と表示デバイスカメラとを有する表示デバイスを与える段階と、
    移動デバイスカメラの光軸が前記表示デバイスカメラの光軸に対してある角度に位置決めされた該移動デバイスカメラを有する移動デバイスを与える段階と、
    前記移動デバイスを前記表示デバイスと対にする段階と、
    前記表示デバイスに対する前記移動デバイスの向きに基づいて前記移動デバイスカメラの視野角を同期する段階と、
    前記移動デバイスカメラと前記表示デバイスカメラとを用いてユーザの手を検出する段階と、
    前記ユーザの手の姿勢及び移動を決定する段階と、
    前記ユーザの手の前記姿勢及び移動を前記表示画面上のユーザインタフェースの要素を制御するための動作に変換する段階と、
    ユーザの顔を検出する段階と、
    前記ユーザの顔からの目線ベクトルを決定する段階と、
    前記目線ベクトルを用いて前記表示画面上のカーソルの移動を精緻化する段階と、
    を含むことを特徴とする方法。

  7. 前記移動デバイスカメラを用いて前記ユーザの手を検出する段階は、
    暗闇条件を決定する段階と、
    前記暗闇条件に基づいて前記ユーザの手を照らすための前記移動デバイスのフラッシュライトを起動する段階と、
    を含む、
    ことを特徴とする請求項6に記載の方法。

  8. 前記移動デバイスを前記表示デバイスと対にする段階は、
    前記移動デバイスの面の下向きを決定する段階と、
    前記移動デバイスと前記表示デバイスの間の無線接続を自動的に開始する段階と、
    を含む、
    ことを特徴とする請求項6に記載の方法。

  9. 前記移動デバイスを与える段階は、重複する視野を有するように前記移動デバイスカメラ及び前記表示デバイスカメラを位置決めする段階を含むことを特徴とする請求項6に記載の方法。

  10. 前記移動デバイスカメラを用いて前記ユーザの手を検出する段階は、天井を背景にして該ユーザの手を検出する段階を含むことを特徴とする請求項6に記載の方法。

  11. 自然ユーザインタフェースシステムであって、
    表示画面と表示デバイスカメラとを有する表示デバイスと、
    移動デバイスカメラの光軸が前記表示デバイスカメラの光軸に対してある角度に位置決めされた該移動デバイスカメラを有する移動デバイスと、
    を含み、
    前記移動デバイスは、該移動デバイスを前記表示デバイスと対にするための第1のデバイス対形成モジュールを含み、
    前記移動デバイスカメラ及び前記表示デバイスカメラは、
    ユーザの手を検出し、かつ
    前記ユーザの手の姿勢及び移動を決定する、
    ためのものであり、
    前記表示デバイスは、前記ユーザの手の前記姿勢及び移動を前記表示画面上のユーザインタフェースの要素を制御するための動作に変換するための動き変換モジュールを含む、
    ことを特徴とするシステム。

  12. 前記移動デバイスは、前記表示デバイスの向きに対する該移動デバイスの向きに基づいて前記移動デバイスカメラの視野角を回転させるための視野同期モジュールを含むことを特徴とする請求項11に記載のシステム。

  13. 前記表示デバイスカメラは、ユーザの顔を検出するためのものであり、
    前記表示デバイスは、
    前記ユーザの顔からの目線ベクトルを決定するために前記動き変換モジュールに結合された目線検出モジュールと、
    前記表示画面上に表示するための前記目線ベクトルを用いたカーソルの移動を精緻化するために前記目線検出モジュールに結合された移動精緻化モジュールと、
    を含む、
    ことを特徴とする請求項11に記載のシステム。

  14. 前記移動デバイスカメラを用いて前記ユーザの手を検出するために前記第1のデバイス対形成モジュールに結合された形状検出モジュールを更に含むことを特徴とする請求項11に記載のシステム。

  15. 前記移動デバイスカメラは、前記ユーザの手の前後の動き、該ユーザの手の左右の動き、及び該ユーザの手の姿勢を決定するためのものであり、
    前記表示デバイスカメラは、前記ユーザの手の上下及び左右の動きを決定し、かつ該ユーザの手の前記姿勢を決定するためのものであり、
    前記表示デバイスは、前記移動デバイスカメラ及び前記表示デバイスカメラによって決定された時の前記ユーザの手の動きを相関付けることによって該ユーザの手の前記姿勢及び移動を3次元で決定するためのものである、
    ことを特徴とする請求項11に記載のシステム。

  16. 前記移動デバイスカメラを用いて前記ユーザの手を検出するために前記第1のデバイス対形成モジュールに結合された形状検出モジュール、
    を更に含み、
    前記表示デバイスカメラは、前記ユーザの顔を検出し、該ユーザの手の上下及び左右の動きを決定し、かつ該ユーザの手の姿勢を決定するためのものであり、
    前記移動デバイスカメラは、前記ユーザの手の前後の動き及び左右の動きを決定し、かつ該ユーザの手の前記姿勢を決定するためのものであり、
    前記表示デバイスは、前記移動デバイスカメラ及び前記表示デバイスカメラによって決定された時の前記左右の動きを相関付けることによって前記ユーザの手の前記姿勢及び移動を3次元で決定するためのものであり、該表示デバイスは、
    前記ユーザの顔からの目線ベクトルを決定するために前記動き変換モジュールに結合された目線検出モジュールと、
    前記表示画面上に表示するための前記目線ベクトルを用いたカーソルの移動を精緻化するために前記目線検出モジュールに結合された移動精緻化モジュールと、
    を含む、
    ことを特徴とする請求項11に記載のシステム。

  17. 前記移動デバイスカメラは、暗闇条件を決定するためのものであり、
    前記移動デバイスは、前記暗闇条件に基づいて前記ユーザの手を照らすためのフラッシュライトを含む、
    ことを特徴とする請求項16に記載のシステム。

  18. 前記移動デバイスは、前記移動デバイスの面の下向きを決定するためのジャイロスコープを含み、
    前記第1のデバイス対形成モジュールは、前記移動デバイスと前記表示デバイスの間の無線接続を自動的に開始するためのものである、
    ことを特徴とする請求項16に記載のシステム。

  19. 前記表示デバイスカメラの前記光軸に対してある角度に位置決めされた前記移動デバイスカメラの前記光軸は、重複する視野を有する該移動デバイスカメラ及び該表示デバイスカメラを含むことを特徴とする請求項16に記載のシステム。

  20. 前記形状検出モジュールは、天井を背景にして前記ユーザの手を検出するためのものであることを特徴とする請求項16に記載のシステム。

 

 

Patent trol of patentswamp
類似の特許
適応イベント認識 // JP2016528604
適応イベント認識のためのシステムおよび方法を提供する。一例では、ヘッド・マウント・ディスプレイ・デバイスにおいて選択されたセンサが、より高い潜在レイテンシに対応する第1ポーリング・レートで動作される。初期ユーザ関連情報が受け取られる。初期ユーザ関連情報がプレ・イベントに整合する場合に、選択されたセンサが、第1ポーリング・レートよりも早く、且つより低い潜在レイテンシに対応する第2ポーリング・レートで動作される。後続のユーザ関連情報が受け取られる。後続のユーザ関連情報が、選択されたターゲット・イベントに整合する場合に、選択されたターゲット・イベントに関連づけられるフィードバックが、ヘッド・マウント・ディスプレイ・デバイスを通じてユーザに供給される。
【選択図】図1
【課題】
【解決手段】本発明は、ポリオルガノシロキサン化合物、製造方法およびこれを含むコーポリカーボネート樹脂に関するものであって、本発明によれば、多様な用途に適用可能であり、特にコーポリカーボネート樹脂の衝撃補強剤、改質剤または共単量体として使用可能なポリオルガノシロキサン化合物よびおよびこれを含んで透明度を維持しながら低温衝撃強度を含む機械的物性が改善されたコーポリカーボネート樹脂を提供する効果がある。
【選択図】図1
カメラ及びセンサを備えたデバイスによって文字入力を認識する方法が提供される。カメラは、入力オブジェクトの移動軌跡を捕捉し、センサは、入力オブジェクトからセンサまでの距離を検出する。方法は、入力オブジェクトからセンサまでの距離を検出するステップと、入力オブジェクトが空間領域内で動く場合に入力オブジェクトの移動軌跡を記録するステップと、記録された移動軌跡に基づき文字を認識するステップとを有する。空間領域は、センサに対する最短距離値及び最長距離値を有する。入力オブジェクトの移動軌跡は、入力オブジェクトが空間領域の外を動く場合に記録されない。
本発明は、フェニル含有官能性ポリシロキサン、およびそれから作製される、改善された光学的透明度およびより良い耐低温衝撃性を有するポリカーボネート−ポリシロキサンコポリマー組成物である。
【選択図】図1(b)
装置の文脈的ローカル画像認識モジュールは、1次コンテンツデータセットをサーバから取得し、その後、上記装置を用いて取り込まれた画像に基づいて、文脈的コンテンツデータセットを生成及び更新する。上記装置は、上記1次コンテンツデータセット及び上記文脈的コンテンツデータセットを格納する。上記1次コンテンツデータセットは、第1セットの画像及び対応する仮想オブジェクトモデルを含む。上記文脈的コンテンツデータセットは、第2セットの画像及び上記サーバから取得された対応する仮想オブジェクトモデルを含む。
【選択図】図2
本発明の実施形態は、コンピュータビジョンアプリケーションのための適応型データパスを提供する。本明細書で提供される技術を利用して、データパスは、必要なデータを提供するために、コンピュータビジョンアプリケーションのニーズに適応し得る。データパスは、1つまたは複数のセンサからの画像データに1つまたは複数のフィルタを適用することによって適応され得る。いくつかの実施形態は、コンピュータビジョンアプリケーションからのコマンドを解釈し得る特化型命令ベースのインラインプロセッサを備えるコンピュータビジョン処理ユニットを利用し得る。
口述された言葉の代替意味が適用され得るように、ジェスチャを使用して音声口述モード間で切り替えるためのシステムおよび方法が提供される。提供されるシステムおよび方法は、検出されたジェスチャおよび音声口述からの検出された言葉にタイムスタンプし、ジェスチャが検出されたときのタイムスタンプを、言葉が検出されたときのタイムスタンプと比較する。ジェスチャのタイムスタンプが、言葉のタイムスタンプとほぼ一致すると判断されたとき、言葉は、コマンド、句読点またはアクションなどの代替意味を有するように処理され得る。
対話式入力をシームレスに拡張するための、本開示の1つまたは複数の実施形態に従ったシステムおよび方法が提供される。実施形態では、方法は、第1のセンサで、制御オブジェクトによる入力の少なくとも一部を検出するステップを備える。方法はまた、制御オブジェクトが遷移領域に位置付けられていることを決定するステップを備える。方法はさらに、制御オブジェクトが遷移領域に位置付けられているとの決定に少なくとも部分的に基づいて、第2のセンサで、入力の後続部分を検出するか否かを決定するステップを備える。
本発明によれば、経済的に製造され、相反した特性である低温衝撃強度と透明性、流動性が同時に改善されたコポリカーボネート樹脂およびこれを含む成形品を提供する効果がある。
着用者に虚像を提示するためのディスプレイエンジンが組み込まれたコンピューター駆動ウェアラブルディスプレイ装置は、前記ウェアラブルディスプレイ装置の着用者に実像を提示するためのディスプレイ画面が組み込まれたコンピューター駆動ポータブルディスプレイ装置と相互接続される。ポータブルディスプレイ装置に在る、外部マネージャ・アプリケーションを含むアプリケーション管理及び通信システムが、ポータブルディスプレイ装置のユーザーインタフェースを介して、ウェアラブルディスプレイ装置に在るアプリケーションの管理及び起動を行なう。
To top