複数の3dディスプレイに対してオブジェクトをレンダリングする方法及び装置

 

本発明は、複数の3Dディスプレイのためにオブジェクトをレンダリングするための方法及び装置を提供する。本方法は、グローバル座標系における、前記オブジェクトの位置とユーザの目から前記3Dディスプレイまでで画定された領域との関係に従って前記オブジェクトをレンダリングするために、前記複数の3Dディスプレイのうちの1つを決定するステップと、前記決定された3Dディスプレイ上に前記オブジェクトをレンダリングするステップと、を含む。

 

 

本発明は一般に、画像処理技術に関する。特に、本発明は、複数の3D(三次元)ディスプレイに対してオブジェクトをレンダリングする方法及び装置に関する。
レンダリングは、3Dコンピュータグラフィックスの主なトピックの1つであり、コンピュータプログラムを用いてモデルから画像を生成する処理を言及する。
コンピュータグラフィックスにおいて、マルチスクリーンの対話性(例えば、第2のスクリーン、トリプルプレイ(triple play)等)は、ユーザがコマンドを発行しメディアコンテンツを消費する他の手法を与える、TV、携帯電話又はタブレット/パッドなどの複数のディスプレイ及び入力デバイスを含む新しい人間とコンピュータとの対話技術である。マルチスクリーンアプリケーションにおいて、複数の対話は、一方のスクリーンから他方へ仮想オブジェクトを移動させることを含む。そのようなマルチスクリーンアプリケーションは、2D及び3Dディスプレイの両方のコンテキストにおいて適用され得る。
2Dの場合において、一方のスクリーンから他方へ仮想オブジェクトを移動させるためには、仮想オブジェクトをレンダリングして一方のスクリーンでそれが消えるようにすると共に同時に他方で出現させることが必要となるのみである。それ故、コンテンツの時間同期は2Dマルチスクリーンアプリケーションにおいてキーとなる問題の1つであり、その結果、コンテンツ及び異なるデバイスでのユーザ入力は、タイムラインに沿って整列され得る。しかしながら、2D環境においてオブジェクトが一方のスクリーンから他方に本当に「動いている」とユーザが感じる没入型のユーザ経験を作成することは不可能である。
3Dマルチスクリーンの場合において、現在、仮想オブジェクトをレンダリングすることが可能であり、その結果、仮想オブジェクトが空間的に同期している形で、すなわち移動中の特定のユーザに従って画定された3D空間において仮想オブジェクトの大きさ、姿勢(posture)及び位置が維持し続ける形で互いに近接している限り、異なるスクリーンの間で移動され得る。3Dマルチスクリーンアプリケーションにおいて、時間同期だけで十分なわけではなく、空間同期もまたユーザに一定の3D経験を与えるために重要である。3Dマルチスクリーンアプリケーションにおける空間同期問題は、まだ十分に研究されていない。
従来技術の上記課題の観点において、本発明は、3Dマルチスクリーンアプリケーションにおける空間同期の問題を解決するのに役立ち、その結果ユーザが異なる3Dディスプレイ間で継ぎ目なく仮想オブジェクトを移動させることが可能となる、複数の3Dディスプレイに対するオブジェクトをレンダリングする方法及び装置を提案する。
本発明のある態様によると、複数の3Dディスプレイに対してオブジェクトをレンダリングする方法が提供される。上記方法は、上記グローバル座標系において、上記オブジェクトの位置とユーザの目から上記3Dディスプレイまでに画定された領域との関係に従って、上記オブジェクトをレンダリングするために、上記複数の3Dディスプレイのうちの1つを決定するステップと、上記決定された3Dディスプレイ上に上記オブジェクトをレンダリングするステップと、を含む。
本発明のある態様によると、複数の3Dディスプレイに対してオブジェクトをレンダリングする装置が提供される。上記装置は、上記グローバル座標系において、上記オブジェクトの位置とユーザの目から上記3Dディスプレイまでに画定された領域との関係に従って、上記オブジェクトをレンダリングするために、上記複数の3Dディスプレイデバイスのうちの1つを決定する手段と、上記決定された3Dディスプレイ上に上記オブジェクトをレンダリングする手段と、を含む。
本発明のより多くの態様及び利点が以下の発明の詳細な説明において見出されることになることが理解されよう。
添付の図面は、本発明の実施形態の更なる理解と共に実施形態の原理を説明する役割をする説明を提供するために含まれる。本発明は、実施形態に限定されない。
本発明の実施形態に係る複数の3Dディスプレイデバイスに対してオブジェクトをレンダリングする方法を示すフローチャートである。 ユーザが第1の3Dディスプレイデバイスから第2の3Dディスプレイデバイスへ仮想オブジェクトを移動させる典型的なアプリケーションシナリオを示す例示的な図表である。 本発明の実施形態に係る較正処理を示すフローチャートである。 本発明の実施形態に係る対話処理を示すフローチャートである。 視野錐台(viewing frustum)を用いて仮想オブジェクトをレンダリングするための3Dスクリーンの決定を示す例示的な図表である。 本発明の実施形態に係るユーザの目の位置に従って仮想オブジェクトをレンダリングするための処理を示す例示的な図表である。
本発明の実施形態は、ここで図面と併せて詳細に説明されるであろう。以下の詳細な説明において、周知の機能及び構成のいくつかの詳細な説明は、簡潔さのため省略する場合がある。
図1は、本発明の実施形態に係る複数の3Dディスプレイデバイスに対してオブジェクトをレンダリングするための方法を示すフローチャートである。
図1に示されるように、ステップS101で、複数の3Dディスプレイデバイス及びユーザの目についてのグローバル座標系を定める。コンピュータグラフィックスにおいて、座標系は、ディスプレイ空間における点の位置又は他の幾何学的要素を一意に決定するために1つ又は複数の数又は座標を使用する系である。そして、地理的座標系は、ディスプレイ空間における各点が1組の数又は座標によって特定されることを可能にする座標系である。3Dレンダリングが3D座標系を使用することとなり、3Dモデルの点は、当該点から、3つの固定された、原点で交差する軸と呼ばれる垂直及び目盛り付きの線(graduated lines)までの垂直投射の位置を示す3つの実数又は座標によって言及されることを当業者は理解するであろう。
ステップS102で、複数の3Dディスプレイデバイスの姿勢及び位置を検出し、グローバル座標系におけるユーザの目の位置を追跡する。複数の3Dディスプレイデバイスの1つ又は複数及びユーザは移動可能とすることができることが理解されよう。そのような場合において、ユーザの目の追跡された位置と3Dディスプレイデバイスの検出された姿勢及び位置とは、それらの対応する移動に従ってグローバル座標系において更新されるべきである。
ステップS103で、各3Dディスプレイデバイスについてのローカル座標系を定める。ディスプレイデバイスのローカル座標系は、1つ若しくは複数の数又は座標を使用してディスプレイデバイスのディスプレイ空間における点の位置又は他の幾何学的要素を一意に決定する。
ステップS104で、3Dディスプレイデバイスのローカル座標系からグローバル座標系への個々の変換行列を計算する。
ステップS105で、複数の3Dディスプレイデバイスのうちで、オブジェクトがユーザの目から3Dディスプレイデバイスの境界までの視野錐台内であるかどうかに従ってオブジェクトがレンダリングされるべきである、3Dディスプレイデバイスを決定する。3Dコンピュータグラフィックスにおいて、視野錐台は、スクリーン上に現れることができるモデル化された世界における空間の領域である。この領域の正確な形状は、どの種類のカメラレンズがシミュレーションされているかに依存して変わるが、典型的には矩形ピラミッドの錐台である。ステップS105は、グローバル座標系におけるオブジェクトの位置及び姿勢の決定を含むことができることが理解されよう。加えて、3Dディスプレイデバイスを用いたユーザの対話中に、オブジェクトの位置及び姿勢は、ユーザ入力に応じて、例えば入力デバイスによって変更することができる。後述するように、ユーザは、入力デバイスを使用して3Dディスプレイデバイスのうちの1つに表示されたオブジェクトを操作することができる。この場合において、上述したステップS102−S104は、入力デバイスに実装されるべきであることも当業者は理解するであろう。
ステップS106で、グローバル座標系から決定された3Dディスプレイデバイスのローカル座標系にオブジェクトを変換し、決定された3Dディスプレイデバイス上にオブジェクトをレンダリングする。
次に、複数の3Dディスプレイデバイス間で仮想オブジェクトの継ぎ目ない移行を可能にする視線−追跡技術を使用した3Dマルチスクリーン対話のための方法及び装置を提供する本発明の実施形態が詳細に説明されることになる。
特に、本方法は、いわゆるダブル−スクリーンアプリケーション、すなわちユーザが3Dディスプレイデバイスから他の3Dディスプレイデバイスに仮想オブジェクトを移動させる実施形態を参照して詳細に説明されることになる。
図2は、ユーザが第1の3Dディスプレイデバイスから第2の3Dディスプレイデバイスへ仮想オブジェクトを移動させる典型的なアプリケーションシナリオを示す例示的な図表である。
図2において、例示のみの目的のために、第1の3Dディスプレイデバイスが3Dスクリーン201を有する3Dタブレット/パッドとして示され、第2の3Dディスプレイデバイスが3Dスクリーン202を有する3DTVとして示されている。他のタイプの3Dディスプレイデバイスもこの発明に適用され得ることも理解されよう。3Dスクリーン201はこの例においてタッチスクリーンであり、ユーザは入力デバイス203(タッチペン又はユーザの指)を用いてスクリーンをタッチすることによりシングル又はマルチ−タッチジェスチャを通してスクリーン201上に表示されたオブジェクトを操作することができる。操作に関して、位置及び姿勢を含む、オブジェクトのディスプレイパラメータの1つ又は複数を変更することを意味するが、位置及び姿勢に限定されない。言及された操作の一例として、ユーザは仮想オブジェクトの位置及び姿勢を変更して3Dスクリーン201上のオブジェクト始点から3Dスクリーン202のオブジェクト終点に継ぎ目なく仮想オブジェクトを移動させることができる。次に、本発明の実施形態に係る3Dスクリーン201及び202間でのオブジェクト移行のための方法が図2におけるアプリケーションシナリオを参照して説明されることになる。例示の簡潔さのために、2つの3Dディスプレイデバイスのみを用いる場合のみが説明される。本発明は、複数の3Dディスプレイデバイス間のオブジェクト移行のコンテキストにおいて適用されることもできることを当業者は理解されよう。
図1を参照して説明されるような本発明の実施形態によると、オブジェクトの移動中の3Dマルチスクリーンアプリケーションに関する空間同期を達成する目的のために、2つの主な処理、すなわち、ユーザの目の位置を追跡すると共に、包含される3Dスクリーンの相対位置及び姿勢を較正するための較正処理と、2つの3Dスクリーン間でオブジェクトを移動させるための対話処理とが実行される。
較正処理は、ローカルレンダリングに関する全ての3Dスクリーンのローカル座標及び座標変換に関する変換行列を設定するために用いられる。いくつかの3Dスクリーンが携帯型である場合、それらの位置及び姿勢が無線ポジショニング、カメラポジショニング、ジャイロスコープ等のいくつかのオンラインポジショニング技術を用いてリアルタイムで更新される必要がある。
図3は、本発明の実施形態に係る較正処理を示すフローチャートである。
図3に示されるように、ユーザが任意のコメントを入力する前に、較正処理が実行される。
ステップS301で、3Dスクリーン201、202及び入力デバイス203の間のデータリンクを維持する。WiFi、Bluetooth及びZigBeeなどの従来の無線通信技術は、3Dスクリーン201、202及び入力デバイス203の間のデータ交換のために使用され得る。本方法の実装は、制御サーバ、ワークステーション及びデータサーバなどの他のデバイスを必要とする場合があることが理解されよう。その場合において、上述のデータリンクも、必要とされるこれらのデバイスを用いて維持されるべきである。
ステップS302で、3Dスクリーン201、202及び入力デバイス203についてのグローバル座標系を選択する。グローバル座標系は、以下のステップにおける座標変換のために用いられることになる。任意の統一座標系をこの目的に関して選択することができる。一例において、グローバル座標系は、3Dスクリーン201、202を収容する部屋の床に対して選択することができる。他の例において、グローバル座標系は、固定された位置及び姿勢を用いて3Dスクリーンに対して選択することができる。この実施形態において、グローバル座標系は、3DTVである3Dスクリーン202に対して選択することができる。
ステップS303で、各3Dスクリーン及び入力デバイスについてのローカル座標系を定める。この実施形態において、3Dスクリーン201は、入力デバイス203としての指又はタッチペンを用いたオブジェクト操作のためのタッチスクリーンが設けられている。この場合において、3Dスクリーン201及び入力デバイス203は同じローカル座標系を共有することができる。3Dスクリーン201が他の入力デバイス(例えば、ユーザの姿又は入力デバイスのジェスチャ認識のためのビデオカメラ)と連携する他の対話メカニズムを適用する場合、3Dスクリーン201及び入力デバイスは異なるローカル座標系を用いて定められることになることが理解されよう。
ステップS304で、ユーザの目を追跡してグローバル座標系におけるユーザの目の位置を決定する。視線追跡(eye tracking)は、注視の点(「我々が見ている場所」)又は頭に対する目の動きのいずれかを測定する処理である。仮想システム、心理学、認知言語学、及び製品設計などの多様なアプリケーションにおいて使用される。過去において、以下の目の動きに関するいくつかの方法が、角膜上に移される光、ヘルメット上に搭載されたデバイス又は外眼筋の活動を測定する電極に基づいて発展した。これらの方法は、ユーザのデバイスの位置を必要とし、それ故彼の自主性は制限される。近年、多くの生体認証技術が、非侵襲性の方法と呼ばれて広く用いられているデジタル画像処理アルゴリズムに基づいて、顔、虹彩等の識別を可能にするように発展してきた。例えば、運送業における眠気を検出するための非侵襲性の方法は、注意力がないことによるアクシデントの回避を可能にする。非侵襲性の眠気の検出器の可能なアプリケーションは、大きな乗り物の操作者、航空機のパイロット、鉱業におけるハイテク機械の操作者等のためのアラームである。視線−追跡は、スクリーン上のビルトインカメラを用いた方法又はDuchowski, Andrew T、視線追跡方法論:理論及び実践、Vol. 373. Springer, 2007などの他の方法及びデバイスに基づくコンピュータビジョンを用いてなされることができる。1つ又は複数の3Dスクリーン上に提供される少なくとも1つの視線−追跡器が視線追跡の目的で使用され得ることが理解されよう。図2に示されるように、この実施形態において、第1のスクリーン201及び第2のスクリーン202上にそれぞれ提供された2つの視線追跡器204及び205がユーザの目追跡のために用いられる。より多くの視線追跡器が異なるアプリケーション要件に従って使用され得ることが理解されよう。
ステップS305で、グローバル座標系における3Dスクリーン201、202及び入力デバイス203の位置を位置付ける。WiFi位置決め又は赤外線位置決め技術は、位置を位置付けるために用いられ得る。例えば、Evennou F, Marx F. Advanced integration of WiFi and inertial navigation systems for indoor mobile positioning[J], Eurasip journal on applied signal processing, 2006, 2006: 164-164において開示された屋内移動位置決めに関する方法が用いられ得る。位置付けられた位置は、グローバル座標系の3つの軸における位置の値を用いて表現されることができる。
ステップS305に並行してステップS306で、グローバル座標系における3Dスクリーン201、202及び入力デバイス203の姿勢を測定する。この目的のために、3Dスクリーン201においてビルドインジャイロスコープ、g−センサ又は他のデバイス(不図示)が用いられ得る。測定された姿勢は、グローバル座標の3つの軸に沿った回転角を用いて表現されることができる。
ステップS307で、ローカル及びグローバル座標系の間の座標変換行列を計算する。従来の幾何学技術は、入力デバイス又は3Dスクリーンの位置及び姿勢に基づいてこの目的のために用いることができ、その結果、座標1における任意の点p(x,y,z)に関して、座標2における点p’(x’,y’,z’)=p(x,y,z)*Mに変換されることができる一方で、点p及びp’は実世界における同一の物理的な位置を共有する。
ステップS308で、対話入力を待つ。対話入力は、ユーザ、3Dスクリーン及び入力デバイスの位置並びに3Dスクリーン及び入力デバイスの姿勢の変更を含むことが理解されよう。それ故、以下のステップにおいて、上記変更が検出されることとなり、従って、関連性のある位置、姿勢、ローカル座標及び変換行列が適切に更新されることとなる。
図3に示されるように、ステップS309で、ユーザの目を追跡し、グローバル座標系におけるユーザの目の位置を決定する。
ステップS310で、グローバル座標系における3Dスクリーン201、202及び入力デバイス203の位置を位置付ける。
ステップS310に並行してステップS311で、グローバル座標系における3Dスクリーン201、202及び入力デバイス203の姿勢を測定する。
ステップS312で、ステップS309、S310、S311の結果とこれらのステップS304、S305、S306のそれぞれとの間の比較に従って、ユーザ、3Dスクリーン及び入力デバイスの位置及び姿勢の任意の変更があるかどうかを決定する。ステップS312の結果が「はい」の場合、制御がステップS307に戻って、更新された結果に基づいてローカル及びグローバル座標の間の座標変換行列を計算する。そうでなければ、制御がステップS308に戻って、対話入力を待つ。
図4は、本発明の実施形態に係る対話処理を示すフローチャートである。対話処理を用いて、仮想オブジェクトは3Dスクリーン201から他の3Dスクリーン202に継ぎ目なく変換されることができる。
ステップS401で、グローバル座標系における仮想オブジェクトに関する初期位置を設定する。仮想オブジェクトのこの初期位置は、アプリケーションによって通常決定される。この実施形態において、初期位置は、図2に示されるパッドの第1のスクリーン201上のオブジェクト始点である。
ステップS402で、S307において計算された、各ローカル座標系とグローバル座標系との間の変換行列を用いて仮想オブジェクトの初期位置を全てのローカル座標に対して変換する。
ステップS403で、どの3Dスクリーン上に仮想オブジェクトがレンダリングされるべきかを識別する。仮想オブジェクトの位置がユーザの目の位置からそのローカル座標系での各3Dスクリーンの境界までで画定される視野錐台内であるかどうかをチェックすることによって、決定がなされる。図5は、視野錐台を用いて仮想オブジェクトをレンダリングするための3Dスクリーンの決定を示す例示的な図表である。図5に示されるように、3Dスクリーン201、202の視野錐台は、破線によって示される。3Dスクリーン201の視野錐台501は、ユーザの目の位置及び3Dスクリーン201の境界から画定されるピラミッドのようなボックスであり、この場合において矩形形状である。同様に、3Dスクリーン202の視野錐台502もまた、ユーザの目の位置から3Dスクリーン202の境界までで画定されるピラミッドのようなボックスであり、この場合において矩形形状である。この場合において、図5に示されるように、3Dスクリーン201上の始点であるオブジェクトの初期位置は、3Dスクリーン201の視野錐台内である。
ステップS404で、3Dスクリーン201及びユーザの視点位置のローカル座標に従って、識別された3Dスクリーン201で仮想オブジェクトをレンダリングする。3Dスクリーン上に仮想オブジェクトをレンダリングするとき、通常、この3Dスクリーンのローカル座標が用いられることになることに留意すべきである。しかしながら、グローバル座標系はまた、異なるアプリケーションコンテキストに従ってレンダリングするために用いられ得る。立体的な3Dディスプレイに対して、仮想オブジェクトは、固定された位置にあるように見えさせるようにユーザの視点位置に従ってレンダリングされ得ることを当業者は理解されよう。これは、ユーザの視点位置、スクリーン位置及び姿勢を考慮して左ビュー及び右ビューのオフセット及び視差を動的に計算することによってなされる。図6は、本発明の実施形態に係るユーザの目の位置に従って仮想オブジェクトをレンダリングするための処理を示す例示的な図表である。図6に例示されるように、ユーザが位置1及び2で3Dスクリーンを見るとき、3Dスクリーンがオブジェクトを適応的にレンダリングする場合、仮想オブジェクトは、常に同じ位置とすることができる。
ステップS405で、入力デバイス203を用いてユーザ入力をキャプチャし、そのローカル座標系からグローバル座標系に動きを変換する。この実施形態において、入力デバイス203はタッチスクリーンと連携するタッチペン又はユーザの指である。しかし、マウス又はカメラなど、他のデバイスもアプリケーションコンテキストの観点から入力デバイスとして用いることができることが理解されよう。
ステップS406で、ユーザ入力の動きに従って仮想オブジェクトの位置を更新し、現在の3Dスクリーン、この場合において3Dスクリーン201上に仮想オブジェクトをレンダリングする。
ステップS407で、仮想オブジェクトが、視野錐台501と3Dスクリーン201の境界への視野錐台501の投影とによって画定された、3Dスクリーン1の範囲内であるかどうかを決定する。図5は、この範囲を破線を用いて示す。図5に示されるように、上述した範囲は視野錐台501の範囲を含むだけでなく、3Dスクリーン1の境界への視野錐台501の投影によって画定された3Dスクリーン201を超える範囲も含む。
ステップS407の結果が「はい」である場合、制御はステップS405に戻る。そうでなければ、制御はステップS408を通り、グローバル座標系から、近接する3Dスクリーンのローカル座標系に仮想オブジェクトの位置を変換する。この実施形態において、2つの3Dスクリーンのみが議論される。それ故、仮想オブジェクトの位置は、グローバル座標系から3Dスクリーン202のローカル座標系に変換される。システムに2つより多くの3Dスクリーンがある場合、仮想オブジェクトの位置は、グローバル座標系から、近接する3Dスクリーンの全てのローカル座標系に変換されることになることが理解されよう。
ステップS409で、視野錐台が覆う、又は全ての近接する3Dスクリーンのうちで仮想オブジェクトの現在の位置に対して最も近接する、隣の3Dスクリーンを識別する。この実施形態において、仮想オブジェクトの現在の位置が第2の3Dスクリーン202の視野錐台内である場合、第2の3Dスクリーン202は隣の3Dスクリーンとして識別される。
ステップS410で、仮想オブジェクトが第2の3Dスクリーン202の範囲に入るかどうかを決定する。ここで、3Dスクリーン202の範囲の定義は、上述した3Dスクリーン201のそれと同様である。詳細な説明はそれ故省略する。
ステップS410の結果が「はい」である場合、制御はステップS411を通り、現在のレンダリングスクリーンとして第2の3Dスクリーンを設定する。その後、制御はステップS402に戻り、ユーザの視点から継ぎ目ない移行を維持するように仮想オブジェクトがユーザの位置に従って3Dスクリーン2上にレンダリングされる。そうでなければ、制御はステップS412を通り、ユーザ入力に従って仮想オブジェクトの位置を更新し続ける。
本発明は、ハードウェア、ソフトウェア、ファームウェア、専用プロセッサ、又はそれらの組み合わせ、例えば、システムにおける複数の3Dディスプレイデバイス又はそれらの個々の駆動デバイスのうちの任意の1つ若しくは複数内、及び/又は別個のサーバ若しくはワークステーションでの様々な形式において実装することができることが理解される。さらに、ソフトウェアは、好ましくはプログラム記憶デバイス上に明白に具現化されたアプリケーションプログラムとして実装される。アプリケーションプログラムは、任意の適切なアーキテクチャを備えた機械に更新され、実行されることができる。好ましくは、機械は、1つ又は複数の中央処理部(CPU)、ランダムアクセスメモリ(RAM)及び入力/出力(I/O)インターフェースなどのハードウェアを有するコンピュータプラットフォーム上に実装される。コンピュータプラットフォームはまた、オペレーティングシステム及びマイクロ命令コードを含む。本明細書で説明された様々な処理及び機能は、オペレーティングシステムを介して実行されるマイクロ命令コードの一部又はアプリケーションプログラム(又はそれらの組み合わせ)の何れかとすることができる。加えて、様々な他の周辺デバイスは、追加のデータ記憶デバイス及び印刷デバイスなどのコンピュータプラットフォームに接続することができる。
添付の図面に描かれた構成システムコンポーネント及び方法ステップのいくつかは好ましくはソフトウェアで実装されるため、システムコンポーネント(又は処理ステップ)間の実際の接続は本発明がプログラムされる手法に依存して異なる可能性があることがさらに理解される。本明細書における教示が与えられ、当業者はこれら及び同様の本発明の実装又は構成を検討することが可能となるであろう。
添付の図面に描かれた構成システムコンポーネント及び方法ステップのいくつかは好ましくはソフトウェアで実装されるため、システムコンポーネント(又は処理ステップ)間の実際の接続は本発明がプログラムされる手法に依存して異なる可能性があることがさらに理解される。本明細書における教示が与えられ、当業者はこれら及び同様の本発明の実装又は構成を検討することが可能となるであろう。
<付記1>
複数の3Dディスプレイに対してオブジェクトをレンダリングするための方法であって、
グローバル座標系における、前記オブジェクトの位置とユーザの目から前記3Dディスプレイまでで画定された領域との関係に従って前記オブジェクトをレンダリングするために、前記複数の3Dディスプレイのうちの1つを決定するステップと、
前記決定された3Dディスプレイ上に前記オブジェクトをレンダリングするステップと、
を含む、前記方法。
<付記2>
前記決定するステップは、
複数の3Dディスプレイデバイス及び前記ユーザの目についてのグローバル座標系を定めるステップ(S101)と、
前記複数の3Dディスプレイデバイスの姿勢及び位置を検出するステップであって、前記グローバル座標系における前記ユーザの目の位置を追跡する、前記検出するステップ(S102)と、
前記複数の3Dディスプレイデバイスのうちで、前記オブジェクトが前記ユーザの目から前記3Dディスプレイデバイスの境界までの視野錐台内であるかに従ってオブジェクトがレンダリングされるべきである3Dディスプレイデバイスを決定するステップ(S105)と、
を含む、付記1に記載の方法。
<付記3>
前記レンダリングするステップは、
各3Dディスプレイデバイスについてのローカル座標系を定めるステップ(S103)と、
前記3Dディスプレイデバイスの前記ローカル座標系から前記グローバル座標系への個々の変換行列を計算するステップ(S104)と、
前記オブジェクトを前記グローバル座標系から前記決定された3Dディスプレイデバイスの前記ローカル座標系に変換して、前記決定された3Dディスプレイデバイス上に前記オブジェクトをレンダリングする、変換するステップ(S106)と、
を含む、付記2に記載の方法。
<付記4>
前記決定された3Dディスプレイデバイスの位置及び姿勢と前記ユーザの目の位置とに応じて、前記グローバル座標系における位置で前記決定された3Dディスプレイデバイス上に前記オブジェクトをレンダリングするステップをさらに含む、付記2に記載の方法。
<付記5>
前記ユーザから入力を受信して、前記グローバル座標系における前記オブジェクトの位置を変更する、受信するステップと、
前記決定された3Dディスプレイデバイスの位置及び姿勢と前記ユーザの目の位置とに応じて、前記グローバル座標系における前記変更された位置で前記決定された3Dディスプレイデバイス上に前記オブジェクトをレンダリングするステップと、
を含む、付記4に記載の方法。
<付記6>
前記入力は、前記ユーザの入力デバイスから受信され、前記オブジェクトを操作する、付記5に記載の方法。
<付記7>
前記決定された3Dディスプレイデバイスの前記視野錐台と、前記視野錐台から前記決定された3Dディスプレイデバイスの境界までの投影範囲とによって画定された前記決定された3Dディスプレイデバイスの範囲外である前記変更された位置を検出すると、前記オブジェクトを前記グローバル座標系における前記変更された位置で前記複数の3Dディスプレイデバイスのうちの他の1つ上にレンダリングするように切り替えるステップをさらに含む、付記5に記載の方法。
<付記8>
前記切り替えるステップは、
前記オブジェクトの前記変更された位置を前記グローバル座標系から前記複数の3Dディスプレイデバイスのうちの他の3Dディスプレイデバイスのローカル座標系に変換するステップと、
視野錐台が覆う、又は全ての前記他の3Dスクリーンのうちで前記オブジェクトの前記変更された位置に対して最も近接する、3Dスクリーンを識別するステップと、
前記識別された3Dディスプレイデバイスの前記視野錐台と、前記視野錐台から前記識別された3Dディスプレイデバイスの境界までの投影範囲とによって画定された前記識別された3Dディスプレイデバイスの範囲内である前記変更された位置を検出すると、前記グローバル座標系における前記変更された位置で前記識別された3Dディスプレイデバイス上に前記オブジェクトをレンダリングするステップと、
を含む、付記7に記載の方法。
<付記9>
前記複数の3Dディスプレイデバイスのうちの1つは、固定された姿勢及び位置を有し、前記3Dディスプレイデバイスの前記ローカル座標系は、前記グローバル座標系として定められる、付記3に記載の方法。
<付記10>
複数の3Dディスプレイに対してオブジェクトをレンダリングするための装置であって、
グローバル座標系における、前記オブジェクトの位置とユーザの目から前記3Dディスプレイまでで画定された領域との関係に従って前記オブジェクトをレンダリングするために、前記複数の3Dディスプレイのうちの1つを決定する手段と、
前記決定された3Dディスプレイ上に前記オブジェクトをレンダリングする手段と、
を備えた、前記装置。
<付記11>
前記決定する手段は、
複数の3Dディスプレイデバイス及び前記ユーザの目についてのグローバル座標系を定める手段と、
前記複数の3Dディスプレイデバイスの姿勢及び位置を検出する手段であって、前記グローバル座標系における前記ユーザの目の位置を追跡する、前記検出する手段と、
前記複数の3Dディスプレイデバイスのうちで、前記オブジェクトが前記ユーザの目から前記3Dディスプレイデバイスの境界までの視野錐台内であるかに従ってオブジェクトがレンダリングされるべきである3Dディスプレイデバイスを決定する手段と、
を含む、付記10に記載の装置。
<付記12>
前記レンダリングする手段は、
各3Dディスプレイデバイスについてのローカル座標系を定める手段と、
前記3Dディスプレイデバイスの前記ローカル座標系から前記グローバル座標系への個々の変換行列を計算する手段と、
前記オブジェクトを前記グローバル座標系から前記決定された3Dディスプレイデバイスの前記ローカル座標系に変換して、前記決定された3Dディスプレイデバイス上に前記オブジェクトをレンダリングする、変換する手段と、
を含む、付記11に記載の装置。
<付記13>
前記決定された3Dディスプレイデバイスの位置及び姿勢と前記ユーザの目の位置とに応じて前記決定された3Dディスプレイデバイス上に前記グローバル座標系における位置で前記オブジェクトをレンダリングする手段をさらに含む、付記11に記載の装置。
<付記14>
前記ユーザから入力を受信して、前記グローバル座標系における前記オブジェクトの位置を変更する、受信する手段と、
前記決定された3Dディスプレイデバイスの位置及び姿勢と前記ユーザの目の位置とに応じて、前記グローバル座標系における前記変更された位置で前記決定された3Dディスプレイデバイス上に前記オブジェクトをレンダリングする手段と、
を含む、付記13に記載の装置。
<付記15>
前記決定された3Dディスプレイデバイスの前記視野錐台と、前記視野錐台から前記決定された3Dディスプレイデバイスの境界までの投影範囲とによって画定された前記決定された3Dディスプレイデバイスの範囲外である前記変更された位置を検出すると、前記グローバル座標系における前記変更された位置で前記複数の3Dディスプレイデバイスのうちの他の1つ上に前記オブジェクトをレンダリングするように切り替える手段をさらに含む、付記13に記載の装置。



  1. 複数の3Dディスプレイに対してオブジェクトをレンダリングするための方法であって、
    グローバル座標系における、前記オブジェクトの位置とユーザの目から前記3Dディスプレイまでで画定された領域との関係に従って前記オブジェクトをレンダリングするために、前記複数の3Dディスプレイのうちの1つを決定するステップと、
    前記決定された3Dディスプレイ上に前記オブジェクトをレンダリングするステップと、
    を含む、前記方法。

  2. 前記決定するステップは、
    複数の3Dディスプレイデバイス及び前記ユーザの目についてのグローバル座標系を定めるステップ(S101)と、
    前記複数の3Dディスプレイデバイスの姿勢及び位置を検出するステップであって、前記グローバル座標系における前記ユーザの目の位置を追跡する、前記検出するステップ(S102)と、
    前記複数の3Dディスプレイデバイスのうちで、前記オブジェクトが前記ユーザの目から前記3Dディスプレイデバイスの境界までの視野錐台内であるかに従ってオブジェクトがレンダリングされるべきである3Dディスプレイデバイスを決定するステップ(S105)と、
    を含む、請求項1に記載の方法。

  3. 前記レンダリングするステップは、
    各3Dディスプレイデバイスについてのローカル座標系を定めるステップ(S103)と、
    前記3Dディスプレイデバイスの前記ローカル座標系から前記グローバル座標系への個々の変換行列を計算するステップ(S104)と、
    前記オブジェクトを前記グローバル座標系から前記決定された3Dディスプレイデバイスの前記ローカル座標系に変換して、前記決定された3Dディスプレイデバイス上に前記オブジェクトをレンダリングする、変換するステップ(S106)と、
    を含む、請求項2に記載の方法。

  4. 前記決定された3Dディスプレイデバイスの位置及び姿勢と前記ユーザの目の位置とに応じて、前記グローバル座標系における位置で前記決定された3Dディスプレイデバイス上に前記オブジェクトをレンダリングするステップをさらに含む、請求項2に記載の方法。

  5. 前記ユーザから入力を受信して、前記グローバル座標系における前記オブジェクトの位置を変更する、受信するステップと、
    前記決定された3Dディスプレイデバイスの位置及び姿勢と前記ユーザの目の位置とに応じて、前記グローバル座標系における前記変更された位置で前記決定された3Dディスプレイデバイス上に前記オブジェクトをレンダリングするステップと、
    を含む、請求項4に記載の方法。

  6. 前記入力は、前記ユーザの入力デバイスから受信され、前記オブジェクトを操作する、請求項5に記載の方法。

  7. 前記決定された3Dディスプレイデバイスの前記視野錐台と、前記視野錐台から前記決定された3Dディスプレイデバイスの境界までの投影範囲とによって画定された前記決定された3Dディスプレイデバイスの範囲外である前記変更された位置を検出すると、前記オブジェクトを前記グローバル座標系における前記変更された位置で前記複数の3Dディスプレイデバイスのうちの他の1つ上にレンダリングするように切り替えるステップをさらに含む、請求項5に記載の方法。

  8. 前記切り替えるステップは、
    前記オブジェクトの前記変更された位置を前記グローバル座標系から前記複数の3Dディスプレイデバイスのうちの他の3Dディスプレイデバイスのローカル座標系に変換するステップと、
    視野錐台が覆う、又は全ての前記他の3Dスクリーンのうちで前記オブジェクトの前記変更された位置に対して最も近接する、3Dスクリーンを識別するステップと、
    前記識別された3Dディスプレイデバイスの前記視野錐台と、前記視野錐台から前記識別された3Dディスプレイデバイスの境界までの投影範囲とによって画定された前記識別された3Dディスプレイデバイスの範囲内である前記変更された位置を検出すると、前記グローバル座標系における前記変更された位置で前記識別された3Dディスプレイデバイス上に前記オブジェクトをレンダリングするステップと、
    を含む、請求項7に記載の方法。

  9. 前記複数の3Dディスプレイデバイスのうちの1つは、固定された姿勢及び位置を有し、前記3Dディスプレイデバイスの前記ローカル座標系は、前記グローバル座標系として定められる、請求項3に記載の方法。

  10. 複数の3Dディスプレイに対してオブジェクトをレンダリングするための装置であって、
    グローバル座標系における、前記オブジェクトの位置とユーザの目から前記3Dディスプレイまでで画定された領域との関係に従って前記オブジェクトをレンダリングするために、前記複数の3Dディスプレイのうちの1つを決定する手段と、
    前記決定された3Dディスプレイ上に前記オブジェクトをレンダリングする手段と、
    を備えた、前記装置。

  11. 前記決定する手段は、
    複数の3Dディスプレイデバイス及び前記ユーザの目についてのグローバル座標系を定める手段と、
    前記複数の3Dディスプレイデバイスの姿勢及び位置を検出する手段であって、前記グローバル座標系における前記ユーザの目の位置を追跡する、前記検出する手段と、
    前記複数の3Dディスプレイデバイスのうちで、前記オブジェクトが前記ユーザの目から前記3Dディスプレイデバイスの境界までの視野錐台内であるかに従ってオブジェクトがレンダリングされるべきである3Dディスプレイデバイスを決定する手段と、
    を含む、請求項10に記載の装置。

  12. 前記レンダリングする手段は、
    各3Dディスプレイデバイスについてのローカル座標系を定める手段と、
    前記3Dディスプレイデバイスの前記ローカル座標系から前記グローバル座標系への個々の変換行列を計算する手段と、
    前記オブジェクトを前記グローバル座標系から前記決定された3Dディスプレイデバイスの前記ローカル座標系に変換して、前記決定された3Dディスプレイデバイス上に前記オブジェクトをレンダリングする、変換する手段と、
    を含む、請求項11に記載の装置。

  13. 前記決定された3Dディスプレイデバイスの位置及び姿勢と前記ユーザの目の位置とに応じて前記決定された3Dディスプレイデバイス上に前記グローバル座標系における位置で前記オブジェクトをレンダリングする手段をさらに含む、請求項11に記載の装置。

  14. 前記ユーザから入力を受信して、前記グローバル座標系における前記オブジェクトの位置を変更する、受信する手段と、
    前記決定された3Dディスプレイデバイスの位置及び姿勢と前記ユーザの目の位置とに応じて、前記グローバル座標系における前記変更された位置で前記決定された3Dディスプレイデバイス上に前記オブジェクトをレンダリングする手段と、
    を含む、請求項13に記載の装置。

  15. 前記決定された3Dディスプレイデバイスの前記視野錐台と、前記視野錐台から前記決定された3Dディスプレイデバイスの境界までの投影範囲とによって画定された前記決定された3Dディスプレイデバイスの範囲外である前記変更された位置を検出すると、前記グローバル座標系における前記変更された位置で前記複数の3Dディスプレイデバイスのうちの他の1つ上に前記オブジェクトをレンダリングするように切り替える手段をさらに含む、請求項13に記載の装置。

 

 

Patent trol of patentswamp
類似の特許
中央装置と、入力デバイスとを含み、中央装置は、第1のモバイルデバイスに接続する第1のインターフェースと、第2のモバイルデバイスに接続する第2のインターフェースとを有し、中央装置は、車両において第1のモバイルデバイスをドライバに、第2のモバイルデバイスを搭乗者に割り当てるように構成され、中央装置は、第1のモバイルデバイスに導かれた呼び出しに関する情報を出力するように構成され、中央装置は、情報の出力中に入力を入力デバイスによって検出するように構成され、中央装置は、入力の検出に基づいて、呼び出しを第2のモバイルデバイスにリダイレクトするように構成される、車両用システム。
【選択図】図2
本開示の例示的な技法は、モノビューを生成するように設計されたアプリケーションから、立体視ビューを生成することを対象とする。たとえば、本技法は、視線角度に基づいて頂点シェーダに関する命令を修正することができる。修正された頂点シェーダが実行されるとき、修正された頂点シェーダは、0020視線角度に基づいて、立体視ビューのための頂点の座標を生成することができる。
ヘッドアップディスプレイと、ヘッドアップディスプレイに接続される中央ユニットと、を有し、ヘッドアップディスプレイは、車両の前部フロントガラスまたは別のコンバインダに画像を投影するように構成され、中央ユニットは、接続されたヘッドアップディスプレイに画像データを表示するよう送信するように構成され、中央ユニットは、ユーザの視点を確認するように構成され、このユーザの視点はユーザの目の位置であり、中央ユニットは、画像データ内にシンボルを出力するように構成され、中央ユニットは、周囲の記録された画像及び/または車両の現在位置に基づいて車両の周囲内の仮想ポイントを確認するように構成され、中央ユニットは、ユーザの視野内で、シンボルの少なくとも1のポイントを仮想ポイントに整列させるように構成され、このアライメントはユーザの視点に基づく、車両用システム。
【選択図】 図4
ヘッドアップディスプレイを有し、ヘッドアップディスプレイに連結される回路を有し、車両の周囲の第1の画像データを記録するための記録手段を有し、それによって記録手段は回路に連結され、回路は記録された第1の画像データに基づいて、周囲のオブジェクトを認識するように構成され、ヘッドアップディスプレイは画像をウインドシールド上、または、運転者の視界の車両の合成器上に投影するように構成され、回路は画像を出力するための第2の画像データを生成して、それらをヘッドアップディスプレイに送るように構成され、回路は第2の画像データに仮想バリアを生成するように構成され、回路は認識されたオブジェクトの決定された位置に基づいて画像内に仮想バリアを配置するように構成され、それによって運転者の認識されたオブジェクトへの視界方向の配置される仮想バリアは、少なくとも部分的に認識されたオブジェクトに重なる、車両のためのシステム。
【選択図】図5
自動車用の入力装置 // JP2016503741
ダッシュボード(120)及びハンドル(110)を有する自動車用の入力装置において、センサ(302)と、センサ(302)に接続された回路(200)とを備え、−センサ(302)がハンドル(110)に向かって感度を有するダッシュボード(120)内に配置されており、−センサ(302)が非接触ハンドジェスチャ(912、913)に基づいてセンサ信号(S302)を出力するように設計されており、−回路(200)がセンサ信号(S302)を評価するように構成されており、−回路(200)及び/又はセンサ(302)が操舵動作(910、911)とハンドジェスチャ(912、913)とを区別するように構成されており、−回路(200)がハンドジェスチャ(912、913)の検出に基づいて検出信号(S3)を出力するように構成されている。
【選択図】図4
オンラインミーティングまたは会議の参加者間の直に会ってのコミュニケーションをシミュレートし、さらなる参加者が加わるときの仮想環境のスケール変更を容易にするための制御された三次元(3D)通信エンドポイントシステムおよび方法。これは、参加者に、他の参加者が同じ部屋にいて、見る者と共に同じテーブルを囲んで座っているという錯覚を与える。制御された通信エンドポイントは、参加者の周りの360度から参加者の映像を取り込む複数のカメラポッドを含む。制御された通信エンドポイントはまた、参加者の周りの少なくとも180度に置かれた表示装置を含む表示装置構成を含み、他の参加者の幾何プロキシを含んだ仮想環境を表示する。参加者を丸い仮想テーブルに配置し、さらなる参加者が加わるとき、仮想テーブルの直径を大きくすることで、スケール変更を容易に実現する。
【課題】ビジュアルデータを処理する装置および方法、および関連するコンピュータプログラム製品を提供する。
【解決手段】装置は、端末に対して視覚データを表示するように使用される視覚データ処理装置であって、端末のユーザ上の基準点に対する、端末の3次元位置を取得するように構成されたモジュール11と、端末の3次元位置において、利用可能な視覚データのセットに応じて、基準点の視点から表示されることになる、視覚データのサブセットを決定するように構成されたモジュール12と、表示されることになる視覚データのサブセットを変更し、変更された視覚データを供給するように構成されたモジュール13と、変更された視覚データを、端末の表示モジュール上に表示するように構成されたモジュール14と、を備えた。
【選択図】図1
【課題】眼球を追跡することで眼球の運動に合わせて表示インターフェースに現われた三次元ホログラフィック仮想オブジェクトを制御して回転させることができ、便利で実行しやすい。
【解決手段】本発明は、ユーザの眼に対する追跡を起動するステップと、ユーザの眼球運動を追跡するステップと、ユーザの眼球運動に合わせて表示インターフェースに現われた三次元ホログラフィック仮想オブジェクトを制御して回転させるステップと、ユーザの眼に対する追跡を終了するステップと、を含む眼追跡に基づく三次元ホログラフィック仮想オブジェクトの表示制御方法及び装置を開示する。
【選択図】図1
【課題】実世界シーンへのARシステムのキャリブレーションを簡略化するためのシステム/方法を提供する。
【解決手段】光学式シースルー(OST)頭部装着型ディスプレイ(HMD)は、その全てのパラメーターのうちの調節可能なパラメーターの固定サブセットを有するキャリブレーション行列を用いる。このキャリブレーション行列の初期値はモデル頭部に基づく。調整可能なパラメーターごとに、事前に規定された段階的調整値セットが提供される。キャリブレーション中、このキャリブレーション行列はその事前に規定された段階的パラメー
ター変更の回数だけ繰り返され、段階的変更ごとに仮想オブジェクトが投影される。その結果として投影される仮想オブジェクトは基準実オブジェクトに位置合わせされ、最良に位置合わせされた投影仮想オブジェクトが特定され、キャリブレーション行列の設定値は最終的なキャリブレーション行列と見なされる。
【選択図】図26A
To top