ヘッドマウントディスプレイによって与えられる表示の光学表現をユーザの光学的処方に基づいてカスタマイズするシステム及び方法

 

【解決手段】ヘッドマウントディスプレイの画面を動作させるシステム及び方法は、プログラムを実行するステップを含む。プログラムの実行によってHMDの画面上に画像のレンダリングがもたらされる。画面は第1の光学設定を用いて画像をレンダリングする。第1の画像が画面に表示される。第1の画像は第1のサイズを有し、ある距離において表示される。第1の画像についての明瞭度レベルを識別するための入力が受信される。第2の画像が画面に表示される。第2の画像は第2のサイズ及び当該距離を有する。第2の画像についての明瞭度レベルを識別するための入力が受信される。第1及び第2の画像について受信された明瞭度レベルに基づいて、画面に対する第1の光学設定が第2の光学設定に変更される。
【選択図】図3A

 

 

本発明は、ヘッドマウントディスプレイにおける表示の表現をカスタマイズするための方法及びシステムに関する。
ビデオゲーム産業は、長年にわたって多くの変化を遂げてきた。演算性能が発展するにつれて、ビデオゲームの開発者も同様に、それらの増強した演算性能を利用するゲームソフトウェアを作成してきた。この目的のため、ビデオゲーム開発者は、複雑な演算及び数学的処理を取り入れたゲームを符号化し、非常にリアルなゲーム体験を創出してきた。
多数のゲーム用プラットフォームが開発され、ゲームコンソールの形態で販売されてきた。標準的なゲームコンソールは、モニタ(通常はテレビ)に接続され、ハンドヘルドコントローラを介してユーザインタラクションを可能とするように設計されている。ゲームコンソールは、中央処理装置(CPU)を含む特化された処理ハードウェア、集中的なグラフィック演算を処理するためのグラフィックシンセサイザ、幾何変換を実行するためのベクトル装置、並びに他のグルーハードウェア、ソフトウェア及びファームウェアとともに設計される。ゲームコンソールは更に、ゲームコンソールを介したローカルなプレイ用にゲームコンパクトディスクを受けるための光学ディスクトレイとともに設計される。ゲームコンソールはまた、オンラインゲーム用に設計され、ユーザはインターネット上で他のユーザとインタラクティブに対戦または協働することができる。ゲームの複雑さがプレイヤを魅了し続けるので、ゲーム及びハードウェアの製造者は、更なる相互作用性及びコンピュータプログラムを可能とするように革新し続けてきた。
コンピュータゲーム産業において成長しているトレンドは、ユーザとゲームシステムの間のインタラクションを増すゲーム及びゲームコントローラを開発することである。ゲームコントローラは、ゲームシステムがプレイヤの変化する動作を追跡し、これらの動作をゲームシステム上で実行されるゲームの入力として使用できるようにすることによって、より充実したインタラクティブ体験を可能とする構成を含む。
この状況において、本発明の実施形態が生じている。
本発明の実施形態は、ここに記載するように、ヘッドマウントディスプレイの画面上の表示、オブジェクトなどの光学表現をユーザの光学的処方に基づいてカスタマイズするためのシステム及び方法を提供する。
概略として、本発明の種々の実施形態は、ヘッドマウントディスプレイ(HMD)の画面を動作させるためのシステム及び方法を開示する。プログラムが実行され、プログラムの実行によってHMDの画面上の画像のレンダリングがもたらされる。レンダリングされた画像は可変サイズのものであり、画面上の仮想距離においてレンダリングされる。ユーザ入力が、レンダリング画像に対して受信される。ユーザ入力は、ユーザが装着するHMDによって知覚されるレンダリング画像の明瞭度レベルを規定する。ユーザ入力に基づいて、HMDにおいてユーザに対して画像をレンダリングするために光学設定が調整される。調整された光学設定は、ゲームまたは映像に関する画像データなどのインタラクティブ画像をHMDにおけるユーザに対してレンダリングするのに用いられる。ある実施形態では、ユーザがHMDを装着するときはいつでも、記憶された光学設定を用いてユーザに対する画像がレンダリングされるように、ユーザの光学設定がHMDに対するユーザのプロファイルに記憶される。ある実施形態では、ユーザの光学設定はユーザの光学的処方を考慮して、ユーザの光学的要件に従ってHMDの画面の光学設定を更に調整する。したがって、種々の実施形態は、ユーザが眼鏡または矯正レンズを装着することなくHMDを使用できるように、画像がHMDの画面に表示される解像度レベルを調整する態様を提供する。
一実施形態において、ヘッドマウントディスプレイの画面を動作させるための方法が開示される。その方法はプログラムを実行することを含む。プログラムの実行によってHMDの画面上の画像のレンダリングがもたらされる。画面は、第1の光学設定を用いて画像をレンダリングする。これにより、第1の光学設定に従って第1の画像が画面に表示される。第1の画像は第1のサイズを有し、ある距離において表示される。第1の画像に対する明瞭度レベルを特定する入力が受信される。第1の光学設定に従って第2の画像が画面に表示される。第2の画像は第2のサイズ及び当該距離を有する。第2の画像に対する明瞭度レベルを特定する入力が受信される。第1及び第2の画像について受信された明瞭度レベルに基づいて、画面に対する第1の光学設定が第2の光学設定に変更される。
他の実施形態において、ヘッドマウントディスプレイの画面を動作させる方法が開示される。その方法はプログラムを実行することを含む。プログラムの実行によってHMDの画面上の画像のレンダリングがもたらされる。画面は、光学設定を用いて画像をレンダリングする。複数の画像が仮想距離において画面に表示される。複数の画像の各々は個別のサイズを有する。明瞭度レベルのフィードバックが、画面に表示される複数の画像の各々についてユーザから受信される。画面の光学設定は、調整された光学設定がユーザの視覚の光学的特性を補償するように、明瞭度レベルのフィードバックに基づいて自動的に調整される。
更に他の実施形態において、ヘッドマウントディスプレイの画面を動作させる方法が開示される。その方法はプログラムを実行することを含む。プログラムの実行によってHMDの画面上の画像のレンダリングがもたらされる。画面は、光学設定を用いて画像をレンダリングする。複数の画像が仮想距離において画面に表示され、複数の画像の各々は個別のサイズを有する。明瞭度レベルのフィードバックが、HMDの画面に表示される複数の画像の各々についてユーザから受信される。ユーザについて光学処方設定の選択が受信される。HMDの画面の光学設定は、選択された明瞭度レベルのフィードバック及び選択された光学処方設定に従って自動的に調整される。HMDの画面の調整された光学設定は、ユーザの視覚の光学的特性の欠陥を補償する。画面の調整された光学設定は、HMDがユーザに装着される場合、ユーザに対するインタラクティブ画像をレンダリングするために使用される。
本発明の他の態様が、添付図面との関係において、本発明の実施形態の原理を例示として説明する以降の詳細な説明から明らかとなる。
本発明の種々の実施形態は、添付図面との関係において以降の説明を参照することによって、最も良く理解できる。
図1は、本発明のいくつかの実施形態によるゲーム環境のシステムアーキテクチャ構成を示す。
図2A−2Dは、本発明の実施形態による、ゲームプログラムとのインタラクションにおいて使用されるヘッドマウントディスプレイの構成要素を示す。
図3A−3Fは、本発明のいくつかの実施形態における、ヘッドマウントディスプレイにレンダリングされる画像についての明瞭度レベルを受信する実施例を示す。
図4は、本発明の実施形態による、ヘッドマウントディスプレイの画面を動作させるための方法の動作を示す。
図5は、本発明の代替実施形態による、ヘッドマウントディスプレイの画面を動作させるための方法の動作を示す。
図6は、本発明の一実施形態におけるゲームモジュールの全体システムアーキテクチャを示す。
図7は、本発明の実施形態によるゲームシステムのブロック図を示す。
ヘッドマウントディスプレイ(HMD)の画面を動作させるためのシステム及び方法を説明する。HMDの画面に画像をレンダリングするプログラムが実行される。画像は、画像がレンダリングされているサイズ及び距離を規定する光学設定を用いてレンダリングされる。レンダリング画像に対する明瞭度レベルのフィードバックが検索及び受信される。明瞭度レベルのフィードバックに基づいて、画面の光学設定が自動的に調整される。調整された光学設定は、ユーザによって求められる明瞭度レベルを与える。ある実施形態では、光学設定調整が、ユーザの視覚における何らかの光学的特性の欠陥を補償する。実施形態は、ユーザが何らかのインタラクティブゲームまたはプログラムのためにHMDを用いる場合に、レンダリングされる画像がユーザに明瞭に見えるように、画面上にレンダリングされる画像の解像度を調整する態様を提供する。
ある実施形態では、ユーザが次回HMDを使用する場合にユーザからの何らの手動調整を要することなく画面がユーザの好みの設定に自動的に調整されるように、ユーザの光学設定がユーザプロファイルに記憶される。ある実施形態では、画面についてのユーザの好みの設定はユーザプロファイルに記憶され、ユーザがHMDを使用する毎に取得される。ユーザを識別し、ユーザのユーザプロファイルから画面についての好みの設定を取得するために、バイオメトリック識別が使用されてもよい。2以上のユーザがHMDを使用する場合、それぞれのユーザの好みの設定を与えるように各ユーザのユーザプロファイルを使用できる。実施形態はまた、ユーザが、矯正/処方眼鏡またはコンタクトレンズを装着する必要なく、インタラクティブゲームまたはインタラクティブプログラムを楽しむための態様を与える。
なお、本開示で説明する種々の実施形態は、それらの具体的詳細の一部または全部がなくても実施され得る。他の場合では、本開示に記載される種々の実施形態を無用に不明瞭としないようにするために、周知の処理動作を詳細には記載していない。
一実施形態では、システムは、コンピュータ、ハンドヘルドコントローラ(HHC)及びヘッドマウントディスプレイ(HMD)を含む。種々の実施形態において、コンピュータは、汎用コンピュータ、特定用途のコンピュータ、ゲームコンソール、携帯電話、タブレット装置、またはディスプレイ上にレンダリングされるインタラクティブプログラムの1以上の部分を実行するような他の装置である。インタラクティブプログラムは、複数のユーザによってプレイされるマルチユーザ用ゲームプログラムであってもよいし、コンピュータとともに1ユーザによってプレイされるシングルユーザ用ゲームプログラムであってもよい。これらの実施形態では、インタラクティブプログラムの任意の残余部分が、例えば1以上の仮想機械(VM)などのゲームクラウドシステム上で実行される。ある実施形態では、インタラクティブプログラムの全部がゲームクラウドシステム上で実行される。
HMDは、ユーザの頭部に、またはヘルメットの一部として装着され、ユーザの一方または各々の目の前方の小型の表示光学系を有する表示装置である。ある実施形態では、HMDは、コンピュータからの音声及び映像出力を受信及びレンダリングすることができる。ユーザは、ハンドヘルドコントローラ(HHC)及び/またはHMDを操作して、インタラクティブプログラムに供給される1以上の入力を生成する。種々の実施形態において、HHC及び/またはHMDはコンピュータと無線で通信し、これにより有線接続の場合よりもHHC及び/またはHMDの移動に高い自由度が備わる。HHCは、ボタン付きコントローラ、慣性センサ付きコントローラ、追跡可能なLED光源付きコントローラ、タッチスクリーン付きコントローラ、ジョイスティック、方向パッド、トリガ、タッチパッド、タッチスクリーン、または手のジェスチャ、音声入力などを検出する他のタイプの入力機構といったような、入力をインタラクティブプログラムに供給するための種々の構成のいずれかを含む。
またさらに、HHCは、ユーザがインタラクティブプログラムとのインターフェイスとなり、コントローラを動かすことによってインタラクティブプログラムに入力を供給することを可能とするモーションコントローラであってもよい。同様の話として、HMDは、ユーザがインタラクティブプログラムとのインターフェイスとなり、HMDを動かすことによってインタラクティブプログラムに入力を供給することを可能とするユーザ入力回路を含んでいてもよい。モーションコントローラ及び/またはHMDの位置・姿勢及び動きを検出するのに種々の技術が採用され得る。例えば、モーションコントローラ及び/またはHMDのユーザ入力回路は、加速度計、ジャイロスコープ及び磁力計といった種々のタイプの慣性センサ回路を含み得る。ある実施形態では、モーションコントローラは、全地球測位システム(GPS)、コンパスなどを含む。ある実施形態では、加速度計は6軸の低遅延加速度計である。ある実施形態では、モーションコントローラ及び/またはユーザ入力回路は、例えば発光ダイオード(LED)、着色点、光反射体など、1以上の固定基準オブジェクト(あるいは「マーカ要素」という)を含む。固定基準オブジェクトの画像は、システムの1以上のデジタルカメラによって取り込まれる。ある実施形態では、圧縮映像データがMPEG(Motion Picture Expert Group)標準フォーマットに基づくイントラ画像などの適切なフォーマットで伝送されるように、デジタルカメラは、単一のCCD(Charge Coupled Device)、LEDインジケータ並びにハードウェアベースのリアルタイムデータ圧縮及び符号化装置を更に含むビデオカメラを含む。そして、モーションコントローラ及び/またはHMDの位置・姿勢及び動きは、1以上のデジタルカメラによって取り込まれた画像の解析を介して特定される。
図1は、システム100の例示構成の実施形態である。一実施形態では、システムは、インターネット110を介して通信するゲームクラウド102などのプログラムクラウド、HMD104及びHHC106を含む。一実施形態では、HMD104は、インターネット110と通信するルータ152を含む。実施形態によっては、ゲームクラウド102を本明細書中でゲームクラウドシステムという。HMD104は、ユーザ108がヘルメットを着用するのと同様にして、ユーザ108によってその目の前に配置される。HHC106はユーザ108によってその手に保持される。
種々の実施形態において、HHC106の代わりにユーザ108の手が用いられて、例えば手のジェスチャ、指のジェスチャなどのジェスチャをHMD104に与える。ある実施形態では、HHCは、ユーザに装着されると、インタラクティブなジェスチャ/アクションに応じて触覚のフィードバックを与えるセンサ付きのインタラクティブグローブであってもよい。インタラクティブグローブは、種々の動きを検出可能とするようにLED、光反射体などのようなマーカ要素を含む。HHCは、インタラクティブグローブに限定されることなく、触覚のフィードバックを与えるための内蔵センサ及び種々の動きを検出可能とするマーカ要素付きの服、帽子、靴などといった他の装着可能物であってもよい。HMD104のデジタルカメラ101がジェスチャの画像を取り込み、HMD104内のプロセッサがジェスチャを解析してHMD104内で表示されるゲームが影響されるかどうかを判定する。一実施形態では、カメラ101は、前方を向くHMD104のフェイスプレートに位置する外部デジタルカメラである。ある実施形態では、異なる角度の実世界の画像を取り込むように、2以上の外部デジタルカメラがHMD104のフェイスプレートに設けられる。ある実施形態では、カメラはステレオカメラ、IRカメラ、単レンズカメラなどである。ここで使用するプロセッサは、マイクロプロセッサ、プログラマブルロジックデバイス、特定用途向け集積回路、またはそれらの組合せでもよい。
システム100は、インターネット110などのネットワークを含み、それは、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)またはそれらの組合せであってもよい。ネットワーク110の実施例は、インターネット、イントラネットまたはその組合せを含む。ある実施形態では、ネットワーク110は、ゲームクラウド102とHMD104またはHHC106との間のネットワーク110を介してメディアデータを通信するのに伝送制御プロトコル(TCP)/インターネットプロトコル(IP)を用いる。種々の実施形態において、ネットワークは、ゲームクラウド102とHMD104またはHHC106との間のネットワーク110を介してメディアデータを通信するのにイーサネット(登録商標)及びTCP/IPプロトコルの組合せを用いる。
ゲームまたはプログラムクラウド102は、有損失の補償または無損失の補償などを用いてメディアデータを符号化/復号するための符号器/復号器、及びプログラム117の実行に応じて生成されるメディアデータのストリームを記憶するためのストリームバッファを含む。ある実施形態では、プログラム117はゲームプログラムである。他の実施形態では、プログラム117はインタラクティブアプリケーションプログラムである。メディアデータは、仮想環境データ、仮想ゲームオブジェクトデータ、その組合せなどを含む。仮想環境データはゲームまたはインタラクティブプログラムの仮想環境を生成するのに使用され、仮想ゲームオブジェクトデータは、例えば仮想ゲームキャラクタ、仮想ゲームのゲーム画面内でのレンダリングのための仮想ゲームオブジェクト、仮想点、仮想の賞、ゲームインターフェイスなど、1以上の仮想オブジェクトまたは仮想ゲームオブジェクトを生成するのに使用される。
HMD104は、HMD104のプロセッサによって実行されるオペレーティングシステム(OS)にアクセスするのに使用される。同様に、HHC106は、HHC106のプロセッサによって実行されるOSにアクセスするのに使用される。ある実施形態では、OSによってHMD104がルータ152を介してネットワーク110に直接アクセスできるようになる。ルータ152はネットワーク110を用いて、ゲームクラウドと相互作用してゲームまたはプログラムデータを交換する。これらの実施形態では、ネットワーク110とHMD104の間の通信は無線通信プロトコルに従う。同様の話として、HHC106は、ネットワークアクセスアプリケーションを用いてネットワークを選択することによってネットワーク110へのアクセスを取得し、HHC106とネットワークの間の通信は無線通信プロトコルに従う。ネットワーク110がアクセスされると、OSは、HMD104が、プログラム/ゲームアクセスアプリケーションを選択することなど、ネットワークの選択と同様の態様でゲームプログラム117にアクセスし、ゲームプログラム/プログラム117へのアクセスを要求することを可能とする。ある実施形態では、HMD104の表示画面は、HMD104が速く動かされた場合のぼけを低減する高性能画面である。ユーザ108は、例えば頭を傾けること、ウィンクすること、目を左右に動かすこと、凝視すること、熟視することなど、1以上の頭部及び/または目の動作を行い、頭部または目の各動作に応じてユーザ入力回路が入力を生成し、これは入力をゲームプログラムに供給するのに使用される。これらの実施形態では、ゲームプログラム117はゲームクラウド102を実行し、ゲームプログラム117とHMD104の間の通信はルータ152及びネットワーク110を介する。
図1に示すように、システム100は、ルータ152及びインターネット110を介してゲームクラウド102と通信接続しているコンピュータ172を含み、プログラム及びプログラム関連データの部分を取得する。コンピュータはまた、HMD104及びHHC106に通信可能に接続されて入力データを取得する。
HMD及びHHCがネットワーク110にアクセスすることに加えて、ある実施形態では、コンピュータ172のプロセッサが、コンピュータ172のメモリ装置内に記憶された無線アクセスアプリケーションを実行してネットワーク110にアクセスする。コンピュータ172によるネットワークへのアクセスは、ネットワークアクセスアプリケーションを用いたネットワークへのHMDのアクセスと同様である。ある実施形態では、無線アクセスアプリケーションは、HMD104またはHHC106を介してユーザから受信された入力データに応じて実行される。入力データは、頭部の動き及び/または手の動きを含み得る。コンピュータ172のプロセッサがHMDまたはHHCによって生成された入力データを受信すると、無線アクセスアプリケーションは、ネットワーク110にアクセスするためのネットワークがそこから選択される無線ネットワークのリストを生成する。
コンピュータ172は、ゲームクラウド102にプログラム117の部分を要求するネットワーク・インターフェイス・コントローラ(NIC)(不図示)を含み、これに応じて、コーデックによって符号化されたゲームプログラム117の部分117−bがネットワーク110を介してコンピュータ172のNICにストリーム送信される。ゲームプログラムを選択し、ダウンロードし、及びそれと相互作用することに関して実施形態を説明するが、実施形態は、任意のインタラクティブアプリケーションプログラムを選択し、ダウンロードし、及びそれと相互作用するのにも使用され得ることが理解されるべきである。結果として、ゲームプログラムのいずれへの言及も、ゲームプログラムを含む任意のインタラクティブアプリケーションプログラムを意味しているものとして理解されるべきである。ある実施形態では、ゲームクラウドは、そこからゲームプログラム117が取得されてコンピュータ172にダウンロードされるゲームデータベース131を含む。ある実施形態では、ゲームプログラム117の部分117−aが、ゲームデータベース131からゲームサーバ102にダウンロードされ、ゲームプログラム117の残余部分117−bがコンピュータ172にダウンロードされる。ある実施形態では、コンピュータ172にダウンロードされた部分117−bはゲーム全体である。コンピュータ172のプロセッサ176は、コンピュータ172の通信回路(不図示)、ネットワークインターフェイスコントローラ(不図示)などから、HMD104の表示画面上での表示のためにHMD104に送信されるメディアデータ、追加メディアデータ及び次メディアデータ(総称して「メディアデータ」という)を生成するようにゲームプログラム117の部分117−bを実行する。
追加メディアデータ及び次メディアデータは、HMD104から受信された、頭部の動き/他のユーザ入力、手の動きなどを含む入力データに応じて提供される。ある実施形態では、入力データは、頭部の動き及び/または手の動きに加えて、HMD104の外部面に配置された外部カメラ101によって取り込まれてHMD104の通信回路によって送信される実世界環境データも含む。追加メディアデータは、HMDにおける仮想ゲームシーンをレンダリングするための仮想環境関連データを与え、次メディアデータは、仮想ゲームシーン内に表示される仮想ゲームオブジェクト及び/または仮想環境への変化を与える。HMD104の通信回路は、コンピュータ172からメディアストリームとしてメディアデータを受信し、HMD104の表示画面上での変換及び表示のためにメディアデータをHMD104のマイクロコントローラに送信する。例えば現実のゲームオブジェクト、仮想ゲームオブジェクトなどのゲームオブジェクト、及び/または仮想環境が変化すると、ゲームプログラム117の実行によって表示されるゲームのゲーム状態も変化する。
ある実施形態では、ゲーム状態をコンピュータ172でのゲーム状態に同期させるように、ゲーム状態は、コンピュータ172のNICによってルータ152及びネットワーク110を介してゲームクラウド102に送信され、ゲームクラウド102の1以上のサーバがゲーム状態を通知される。これらの実施形態では、ゲーム実行のほとんどがコンピュータ172上で行われる。
ある実施形態では、ゲームプログラム117がコンピュータ172にダウンロードされている間に、ゲームプログラム117の部分117−aがゲームクラウド102で実行される。したがって、ゲームプログラム117の部分117−bがゲームクラウド102からコンピュータ172にダウンロードされるまで、ゲームクラウド102におけるゲームプログラム117の部分117−aの実行に関連するメディアデータが、HMDでのレンダリングのためにコーデックからネットワーク110及びルータ152を介してHMD104に送信される。一実施形態では、ゲームプログラム117の部分117−bが、コンピュータ172のローカルストレージ113にダウンロード及び記憶され、プロセッサ176によって実行される。部分117−bがダウンロードされてコンピュータ172のプロセッサ176がゲーム部分117−bを実行開始すると、メディアデータは、ゲームプログラム117の部分117−bについてコンピュータ172からHMD104に送信される。ある実施形態では、ゲームプログラムについての全てのメディアデータが、レンダリングのためにコンピュータ172からHMD104に直接送信される。コンピュータ172は、メディアデータをゲームクラウド102に周期的に送信して、ゲームクラウド102でのゲームプログラムのゲーム状態をコンピュータ172でのゲーム状態に同期させるようにしてもよい。
多数の実施形態において、頭部の動き及び/または手の動きに基づく入力データの部分は、コンピュータ172に接続された観察カメラ171によって取り込まれる。ある実施形態では、観察カメラ171とコンピュータ172の間の接続は有線接続である。他の実施形態では、観察カメラ171とコンピュータ172の間の接続は無線接続である。ある実施形態では、観察カメラ171は、ステレオカメラ、IRカメラ若しくはモノカメラのいずれかまたは組合せである。ある実施形態では、観察カメラ171は、ビデオカメラまたは静止画−動画カメラの一方である。観察カメラ171によって取り込まれた画像は、HMD及びHHCの位置・姿勢及び動きを特定するのに使用され得る。例えば、観察カメラ171の画像は、HMD(Xa,Ya,Za)についての位置Aの座標、及びHHC(Xb,Yb,Zb)についての位置Bの座標を識別するのに使用される。座標平面の座標に加えて、観察カメラの画像は、縦揺れ、偏揺れ及び回転を特定してHMD及びHHCに対する6軸データを生成するのに使用されてもよい。ある実施形態では、観察カメラ171によって取り込まれた頭部及び/または手の動きがHMD104のマイクロコントローラに送信され、HMD104及び/またはHHC106からの6軸データが演算/解釈されて入力データが生成される。HMD104からの入力データはコンピュータ172に送信されてゲームプログラムの結果に影響を及ぼす。ある実施形態では、観察カメラ171によって取り込まれた頭部及び/または手の動きがプロセッサ176に直接送信され、それが解釈されて6軸データが生成される。したがって、観察カメラ171は、ユーザ(頭部及び/または手)の動きを観察し、この情報が、ゲームプログラムへのフィードバックを与える際に使用されてゲーム状態変化に影響を及ぼす。この実施形態では、ゲームプログラム117に関する他の何らかの入力データがHMD104によってプロセッサに送信され、プロセッサ176は当該他の入力データを6軸データで解釈して、ゲームのゲーム状態が変更される必要があるかを判定する。この解釈に基づいて、ゲームのゲーム状態が変えられる。ある実施形態では、HMD104からの入力データは、外部カメラ101によって取り込まれ、HMD104の通信回路からコンピュータ172の通信回路に送信される実世界環境データを含む。実世界環境データは、HMD104の画面の所定部分においてレンダリングされる仮想ゲームシーンに影響を及ぼすように使用され得る。
ある実施形態では、HMD104は、有線接続を用いてコンピュータ172に通信可能に接続される。そのような実施形態では、HMDは、有線接続の切断を検出して、HMD104の画面上にレンダリングされる仮想ゲームシーンを一時停止させるように構成される。コンピュータ172にゲームプログラムの実行を一時停止させ、ゲームのセッションに対するゲーム状態及びゲームシーンを記憶させるように、接続切断中の信号がコンピュータ172に中継される。そのような場合において、バッテリからの電力は、コンピュータ172と通信して接続の状況を提供するための電力を供給するのに使用され得る。通信接続が確立されたHMD104からの信号をコンピュータ172が取得するとすぐに、ゲームプログラムの実行が再開する。ある実施形態では、HMDとコンピュータ172の間の接続が再開すると、コンピュータ172は、ゲームシーン及び/またはゲーム関連データを中断時点からストリーム送信することを開始する。他の実施形態では、ユーザがゲームに没頭する時間を得ることができるように、コンピュータ172は、ゲームシーン及び/またはゲーム関連データを、接続中断に起因する一時停止よりも前の時点(例えば、その原因よりも数百フレーム前)からストリーム送信することを開始する。この実施形態では、コンピュータ172が、ユーザがゲームの部分を再実行することを可能として、ユーザはゆっくりとゲームに没頭できるようになる。HHCとHMDの間の通信及びHHCとコンピュータ172の間の通信は無線通信プロトコルに従う。
ある実施形態では、HMD104は、ユーザの目の動きの変化を検出する1以上の内部カメラ103を含む。内部カメラ103は、ゲームへのアクセスを与える前にユーザを識別/認証するのにも使用され得る。
ゲーム環境に関して詳細な説明が行われるが、コンピュータシステムとの双方向通信中にもインターフェイスがあることが分かる。コンピュータシステムは、ユーザ108が、アイコン、入力、選択、テキスト及び他のコマンドを制御するジェスチャを空間において表現及び実行することを可能とするグラフィックユーザインターフェイス付きの汎用コンピュータでも可能である。
図2A−2Dに、ゲームクラウド102との間でプログラム関連メディアデータを通信するのに使用される種々の表示及び態様を図示するヘッドマウントディスプレイ(HMD)104のブロック図を示す。HMD104は、HMDにおいて受信されたメディアデータを復号することによって、コンピュータ172で部分的にまたは全部を実行している、及び/またはゲームクラウドで部分的にまたは全部を実行しているゲームプログラム117に対して生成されたコンピュータ生成画像(すなわち、仮想画像)を表示するように構成される。HMDはまた、実行中のゲームプログラムを更新するためにコンピュータ及び/またはゲームクラウドに送信する前に、HMDから生成されたメディアデータを符号化するように構成される。HMDはまた、ユーザの視点から取り込まれる実世界環境の画像を表示するように構成される。
図2Aは、頭部の動き及び/または手の動きに基づいて入力データを生成するために、並びにゲームシーン及び実世界環境のシーンをレンダリングするために使用されるHMD104の実施形態の図である。図示するように、HMD104は、ユーザ108によって装着される。HMD104は、HMDの視覚的追跡を補助する1以上のマーカ要素を含む。同様に、HHC106(不図示)は、HMDに設けられたマーカ要素と同様の1以上のマーカ要素を含む。各マーカ要素は、発光ダイオード214、赤外線光源210、着色物、反射材、画像解析を介して容易に認識される特別な構成物または特徴物を有する物体などである。例えば、球状物体212が、容易な追跡のためにHMDに付加されてもよい。さらに、球状物体212はまた、LED光源、赤外線光源または他のタイプの照明を用いて点灯されてもよい。さらに、HMD104はまた、反射領域、特定色の領域(例えば、青い長方形など)またはマーキング(例えば、HMDの表面の3本の平行線)といったような特別な視覚的マーカ(不図示)を含んでいてもよい。
さらに、ある実施形態では、HMDはまた、光源または視覚的マーカを検出することによってHMDの位置を更に視覚的に追跡するように、HMDの側部及び/または後部(すなわち、後頭部に接触するHMDの部分)に追加のマーカ要素を含む。
HMDの視覚的追跡が、様々なタイプのカメラを用いて可能となる。ある実施形態では、カメラは(図1の)観察カメラ171である。一実施形態では、HMDはステレオカメラ402を用いて追跡され、これは各レンズに対して個別の画像センサを有する2以上のレンズを含むカメラである。個別の画像センサによって、ステレオカメラが深さの錯視を与える物体の3次元画像を取り込むことが可能となる。ステレオカメラ光学系は、光学無限大(例えば、約9メートル)に設定されて立体視的な画像を与えるように設計される。様々なレンズによって取り込まれるHMDのマーカ要素の画像は、(例えば、プレイの領域内の深さの計算のために)3次元空間におけるHMDの位置を特定するように、三角測量解析を用いて比較される。
他の実施形態では、赤外線(IR)カメラ404が赤外光(例えば、赤外線光源210)を解析するのに使用される。赤外光は人間の目には見えないが、赤外線カメラによって容易に検出できる。HMDは、HMDの外観を損ねない赤外線光源を含むことができる。ある環境(例えば、弱い光または明るい光)においては、HMDの形状またはHMDの構成物を検出するのに、他のタイプの光よりも赤外光を追跡する方が容易である。赤外線(IR)カメラは、HMDのような追跡物体の、強化された撮影及び熱的な撮影を与える。IRカメラは、ユーザの凝視方向を検出する内部カメラとしても使用され得る。
更に他の実施形態では、通常のカメラ405が、視覚的追跡のために構成されるHMDにおける光源または他のマーカ要素を追跡するのに使用される。カメラ405は1つのレンズしか有していないためにモノカメラともいわれる。通常のカメラを用いてプレイの領域内でHMDの深さを特定するために、HMD上のいくつかの構成物のサイズが解析される。構成物が小さいほど、構成物はHMDのカメラから離れている。さらに、視覚的追跡は、慣性動作追跡、デッドレコニング、HMDと演算装置の間の超音波通信などといった他のタイプの追跡と組み合わせられてもよい。
デジタルカメラ402は、HMD104の画像を取り込む。ユーザ108の頭部が傾き、または動くと、マーカ要素の姿勢及び位置が座標系において変化する。デジタルカメラは、マーカ要素の画像を取り込み、その画像をコンピュータ172に送信する。マーカ要素の画像は入力データの一例である。3次元空間(X,Y,Z)におけるHMD104の位置・姿勢は、画像におけるマーカ要素の位置・姿勢に基づいてコンピュータ172のプロセッサ176によって特定される。また、HMD104の、例えば偏揺れ、縦揺れ及び回転といった慣性動作が、画像において取り込まれるマーカ要素の動きに基づいてコンピュータ172のプロセッサ176によって特定される。コンピュータ172が利用可能でない場合には、デジタルカメラからのマーカ要素の画像がHMD104のプロセッサに送信され、HMDのプロセッサがマーカ要素の座標を用いてHMDの位置・姿勢を特定する。
ある実施形態では、デジタルカメラ402は、HHC106の画像を取り込む。ユーザ108の手が傾き、または動くと、HHCのマーカ要素の姿勢及び位置が座標系において変化する。デジタルカメラはHHCのマーカ要素の画像を取り込み、その画像をコンピュータ172またはHMD104のプロセッサに送信する。HHCのマーカ要素の画像は入力データの一例である。3次元空間(X,Y,Z)におけるHHC106の位置・姿勢は、画像におけるHHCのマーカ要素の位置・姿勢に基づいてコンピュータ172のプロセッサ176またはHMD104のプロセッサによって特定される。さらに、例えばHMD104の偏揺れ、縦揺れ及び回転といった慣性動作が、HHCのマーカ要素の動きに基づいてコンピュータ172のプロセッサ176またはHMD104のプロセッサによって特定される。
ある実施形態では、3次元空間における手の位置・姿勢並びに手及びHMD104の慣性動作を特定するのに、デジタルカメラは、HHC106の画像を取り込むのではなく、手の画像を取り込む。ある実施形態では、インタラクティブグローブまたは他の装着可能物が、HHC106の代わりに使用される。グローブまたは他の装着可能物は、グローブ/他の装着可能物の様々な部分の動きを追跡するマーカ要素を含み、それはグローブ/他の装着可能物の記録された動きに関係するので、ユーザの手またはユーザの体の他の部分の動きを解釈するのに使用される。
マーク付けされた物体を追跡するための方法に関する更なる情報については、2011年8月15日に出願され、2012年3月22日に公開されたU.S.Patent Application Publication No.2012/0072119及び2008年10月27日に出願され、2010年4月29日に公開されたU.S.Patent Application Publication No.2010/0105475が参照され、双方が参照としてここに取り込まれる。
図示するように、HMDの相対位置及びユーザの頭部の動きによって与えられるHMDの動きを特定するのに、1以上の対のステレオカメラ402、1以上の赤外線カメラ404及び/若しくは1以上のモノカメラ405またはこれらの組合せが用いられる。
HMDは、内部に搭載された1以上の内部カメラも装備し、ユーザに関する画像を取り込み、その画像を通信モジュールに供給してユーザ特有及び環境特有のデータをHMDに供給するようにしてもよい。内部カメラは、HMDを装着しているユーザを識別するのに使用され、これはユーザのユーザプロファイルを取得するのに使用される。これにより、HMDは、ユーザの網膜または虹彩を走査する網膜走査技術及び/または虹彩走査技術を内部カメラに採用させるプログラムを実行することができる。走査からのデータは、ユーザの少なくとも1つのバイオメトリック識別を生成するのに使用される。ユーザのバイオメトリック識別は、ユーザのプロファイルを生成するのに使用される。内部カメラはまた、ユーザの凝視方向を検出し、HMDの画像にレンダリングされる画像データを検出に基づいて調整する凝視検出器アルゴリズムを含む。ある実施形態では、内部カメラはIRカメラである。凝視検出技術は、ユーザを認証するのにも使用され得る。例えば、ユーザは、画面にレンダリングされるオブジェクトを追うように、または画面にレンダリングされるランダムに生成される文字、オブジェクト若しくは模様(例えば、円、三角形、長方形など)を追跡するように要求される。ある実施形態では、画面上の文字、オブジェクトまたは模様を追跡するようにユーザに口頭または文字コマンドが与えられ、凝視検出技術を用いてユーザが認証される。ユーザの認証は、ユーザアカウント、ゲーム、ゲームの所定の部分またはレベルなどへのアクセスを可能とするのに使用され得る。ユーザ識別/認証は、ユーザアカウント、ゲーム、アプリケーション、またはHMDの表示画面におけるレンダリングのために選択される他の何らかのコンテンツへのアクセスを与える際に、親による制限、適正年齢制限などのような追加の制限を実施するのに使用され得る。図2Bは、ユーザのバイオメトリック識別及びユーザの目の動きを検出するための内部カメラ109(図1の103)を有するHMD104を装着したユーザを示す。
内部カメラ109及び外部カメラは協働して、ユーザの凝視を特定し、凝視をユーザの凝視の視線方向におけるオブジェクトに関係付ける。HMDのゲーム処理モジュールは、ユーザの凝視の方向を演算し、それを演算された方向の視界内のオブジェクトに相関付けるソフトウェアを含む。
HMDは、一方の目または各々の目の前方に1つまたは一対の表示画面を含む。表示画面は、いくつか例を挙げると、冷陰極管(CRT)、液晶ディスプレイ(LCD)、エルコス(LCoS:Liquid Crystal on Silicon)または有機発光ダイオード(OLED)を含む小型画面である。前述した表示画面の代替として、またはそれに加えて、HMDは、HMDの側部、上部及び/または後部にある表示画面を含んでいてもよい。ある実施形態では、HMD「ディスプレイ」はまた、走査プロジェクタまたは他の形態の光学投影/拡大装置によって生成される。
図2Cは、本発明の種々の実施形態で使用される簡略化されたHMDのブロック図表現を示す。HMDは、HMDがユーザの頭部を覆って確実に嵌るようにする1以上のアンカーストラップ401、及び前方フェイスプレート405を含む。前方フェイスプレート405は、内部に配置された画面を有する画面部分、及びそこに配置された1以上の内部カメラユニット(109)を含む。内部カメラユニット(すなわち、内部搭載カメラ)に加えて、ユーザの視点から見える実世界環境を取り込むように1以上の外部カメラユニット101(すなわち、外部搭載カメラ)もHMDに配置され得る。外部カメラユニット101は、HMD及びHHCの動きを検出するのに使用される(図1の)観察カメラ171に加えられる。HMDのフェイスプレートは、1以上の発光ダイオード210、1以上の赤外線光源214、1以上の球状物体212、着色体、反射材、画像解析を介して容易に認識される特別な構成物/特徴物を有する物体などを含む複数のマーカ要素を含む。ゲームプレイ中、HMDのマーカ要素の画像が1以上の観察カメラによって取り込まれ、取り込まれた画像からの座標データがHMDの位置、動き及び姿勢を特定するのに使用される。観察カメラは、HMDに直接に、またはコンピュータ172を介して接続され、取り込んだ画像に関するデータをHMD及び/またはコンピュータ172と交換するように構成される。HMDに送信されると、HMD内のプロセッサはデータを処理してHMDの6軸データを識別し、処理データをHMDからの入力データとして、コンピュータ172に送信し、並びに/または(存在する場合には)コンピュータ172及びルータを介して、またはルータ及びネットワークを介して、若しくは直接にゲームクラウド102に送信する。入力データは、ゲームプログラムのゲーム状態に影響または作用する。
内部カメラ109は、ユーザの目の動き及び凝視を検出及び追跡する。内部カメラ109は、ある期間について(例えば、まっすぐ見ていたユーザがある期間だけ下を見た場合)ユーザの凝視方向を特定し、ある期間にわたって(例えば、ユーザがオブジェクトを追い、模様を追跡する場合など)凝視パターンを検出し、及び/または凝視方向の変化(例えば、目の端から端への動き、特に高輝度のゲームにおける目の回転−これはユーザがめまいを起こしている兆候の場合もある−など)を検出するのに使用される。HMDの画面でのレンダリングのための適切なゲーム関連データを特定するために、HMDの内部カメラは、HMDの外部カメラ及び観察カメラと通信する。この通信によって、所定のトリガイベントに応じて、HMDの画面上のゲーム関連データと平行して、またはそれに代えてユーザ/環境関連データをレンダリングすることが可能となる。
図2Dは、HMD104の通信アーキテクチャのブロック図である。HMD104は、映像音声分離器254、映像復号器255、メモリ装置256、ワイヤレスアクセスカード(WAC)258、ストリームバッファ259、1以上のスピーカ260、バッテリ261、ユーザ入力回路262、表示画面266、マイクロコントローラ268、音声バッファ272、観察デジタルカメラ274、外部デジタルカメラ275、音声コーデック276、内部デジタルカメラ278、映像バッファ280、映像音声同期部282、マイクロフォン284、LED285及びIR光源287を含む。LED285及びIR光源287は、HMDの位置・姿勢を追跡するのに使用されるマーカ要素である。
多数の実施形態において、スピーカ260はオーディオ回路である。種々の実施形態において、音声コーデック276、音声バッファ272及び/またはスピーカ260はオーディオ回路である。種々の実施形態において、マイクロコントローラ268は表示回路である。表示画面266の例として、LED画面、液晶表示(LCD)画面、エルコス(liquid crystal on silicon)画面、有機LED(OELD)画面、プラズマ画面などがある。外部デジタルカメラの例として、Sony Computer Entertaiment,Inc.社製のPlaystation Eye(登録商標)などのフィスト・アイ・カメラがある。
マイクロコントローラ268は、レンダリングプログラム286及びオペレーティングシステム288を記憶する。レンダリングプログラム286及びオペレーティングシステム288は、マイクロコントローラ286のメモリ装置に記憶され、マイクロコントローラ268のマイクロプロセッサによって実行される。マイクロコントローラ268の例として、例えばLCDドライバなどのドライバを含む低価格マイクロコントローラがある。ドライバは、表示画面266の例えばLCDなどの要素を駆動し、例えば、要素に供給する信号を生成し、要素を検出する信号を生成するなどして表示画面266にゲームを表示する。マイクロコントローラの他の例は、GPU及びメモリ装置を含む。
ある実施形態では、マイクロコントローラのメモリ装置は、フラッシュメモリまたはランダムアクセスメモリ(RAM)以外である。例えば、マイクロコントローラのメモリ装置はバッファである。種々の実施形態において、マイクロコントローラのメモリ装置はフラッシュメモリまたはRAMである。ユーザ入力回路262の例として、ジャイロスコープ、磁力計及び加速度計がある。ある実施形態では、ユーザ入力回路262は、全地球測位システム(GPS)、コンパスまたは何らかの位置追跡装置も含む。WAC258の例としてNICがある。ある実施形態では、WAC258は通信回路といわれる。
符号化されたメディアデータのストリームは、ネットワーク110またはルータ152(図1B−1C)からストリームバッファ259に受信される。なお、ルータ152がコンピュータ172に結合される場合(図1C)、コンピュータ172から受信されたデータは、ストリームバッファ259に格納されるのではなく、HMD250のバッファ(不図示)またはメモリ装置256に格納される。
WAC258は、符号化されたメディアデータのストリームにストリームバッファ259でアクセスし、ストリームをパケット化解除する。WAC258は、符号化されたメディアデータを復号する復号器も含む。
符号化されたメディアデータのストリームがルータ152(図1C)を介してコンピュータ172(図1C)によって受信される実施形態では、コンピュータ172のNIC174(図1C)が、符号化されたメディアデータのストリームをパケット化解除及び復号して復号データを生成し、これがHMD250のバッファ(不図示)に格納される。
復号データは映像音声分離器254によってWAC258またはバッファ(不図示)でアクセスされる。映像音声分離器254は、復号データ内の音声データを映像データから分離する。
映像音声分離器254は、音声データを音声バッファ272に、映像データを映像バッファ280に送信する。映像復号器255は、映像データを、例えばデジタル形式からアナログ形式に変換するなど、復号してアナログ映像信号を生成する。映像音声同期部282は、映像バッファ280に格納された映像データを、音声バッファ272に格納された音声データに同期させる。例えば、映像音声同期部282は、映像データ及び音声データの再生の時間を用いて映像データを音声データに同期させる。
音声コーデック276は、同期された音声データをデジタルフォーマットからアナログフォーマットに変換して音声信号を生成し、音声信号はスピーカ260によって再生されて音が生成される。マイクロコントローラ268は、レンダリングプログラム286を実行して、映像復号器255によって生成されたアナログ映像信号に基づいて表示画面266にゲームを表示する。ある実施形態では、表示画面266で表示されるゲームは、音声信号の再生と同期して表示される。
さらに、ユーザがマイクロフォン284に発声すると、音声コーデック276は音の信号を、例えば音声信号などの電気信号に変換する。音声コーデック276は、音声信号をアナログフォーマットからデジタルフォーマットに変換して音声データを生成し、これは音声バッファ272に格納される。音声バッファ272に格納された音声データは、ユーザ108の音に基づいて生成された入力データの一例である。音声データは、WAC258によって音声バッファ272でアクセスされ、ネットワーク110(図1A−1C)を介してゲームクラウド102(図1A−1C)のコーデック112(図1A−1C)に送信される。例えば、WAC258は、音声バッファ272でアクセスされた音声データをパケット化及び符号化し、ネットワーク110を介してコーデック112に送信する。
ある実施形態では、音声データは、WAC258によって音声バッファ272でアクセスされ、ルータ152(図1D)及びネットワーク110(図1D)を介してゲームクラウド102のコーデックに送信される。例えば、WAC258は、音声バッファ272でアクセスされた音声データをパケット化及び符号化し、ルータ152及びネットワーク110を介してコーデックに送信する。
内部デジタルカメラ278(図1の103、図2Bの109)は、ユーザ108の頭部の動き及び/または目の動きの1以上の画像を取り込んで画像データを生成する。これは、頭部及び/または目の動きに基づいて生成される入力データの一例である。同様に、観察デジタルカメラ274(図1Dのカメラ171)は、HMD250及び/またはユーザ108のHHC/グローブ/手に位置するマーカの1以上の画像を取り込んで画像データを生成する。これは、手の動き/ジェスチャに基づいて生成される入力データの一例である。ある実施形態では、画像は、HMDに搭載された外部デジタルカメラ275(図1dのカメラ101)によっても取り込まれる。デジタルカメラ274、275及び278によって取り込まれた画像データが映像バッファ280に格納される。
ある実施形態では、デジタルカメラ274、275及び278によって取り込まれた画像データはHMD250のバッファに格納され、バッファは映像バッファ280以外である。種々の実施形態において、デジタルカメラ274、275及び278によって取り込まれた画像データは映像復号器255によって復号され、表示画面266での画像の表示のためにマイクロコントローラ268に送信される。
デジタルカメラ274、275及び278によって取り込まれた画像データは、WAC(ワイヤレスアクセスカード)258によって映像バッファ280でアクセスされ、ネットワーク110を介してゲームクラウド102のコーデックに送信される。例えば、WAC258は、映像バッファ280でアクセスされた画像データをパケット化及び符号化してネットワーク110を介してコーデックに送信する。
ある実施形態では、映像データは、WAC258によって映像バッファ280でアクセスされ、ルータ152及びネットワーク110を介してゲームクラウド102のコーデック112に送信される。例えば、WAC258は、映像バッファ280でアクセスされた映像データをパケット化及び符号化してルータ152及び/またはネットワーク110を介してコーデック112に送信する。
コントローラ/コンソール通信回路289は、バッファ(不図示)での格納のためにメディアデータをコンピュータ172から受信する。さらに、コントローラ/コンソール通信回路289はHHC106から入力信号を受信し、入力信号をアナログ形式からデジタル形式に変換して入力データを生成し、これはWAC258によってアクセスされてネットワーク110を介してゲームクラウド102のコーデックに送信される。例えば、WAC258は、コントローラ/コンソール通信回路289でアクセスされた入力データをパケット化及び符号化してネットワーク110を介してコーデックに送信する。
ある実施形態では、入力データはWAC258によってコントローラ/コンソール通信回路289でアクセスされて、ルータ152及びネットワーク110を介してゲームクラウド102のコーデックに送信される。例えば、WAC258は、映像バッファ280でアクセスされた映像データをパケット化及び符号化してルータ152及びネットワーク110を介してコーデックに送信する。
なお、コントローラ/コンソール通信回路289の代わりに、2つの個別の通信回路が使用されてもよく、一方がコンピュータ172とデータを、例えば受信する、送信するなど、通信するためのものであり、他方がHHC106とデータを通信するためのものである。
多数の実施形態において、復号器はWAC258の外部に位置する。種々の実施形態において、ストリームバッファ259はWAC258内に位置する。
ある実施形態では、HMD104は観察デジタルカメラ274を含まない。いくつかの実施形態では、HMD104は、任意数のマイクロコントローラ、任意数のバッファ及び/または任意数のメモリ装置を含む。
種々の実施形態において、HMD104は、構成要素、例えば映像音声分離器254、メモリ装置256、ワイヤレスアクセスカード258、ストリームバッファ259、1以上のスピーカ260、ユーザ入力回路262、表示画面266、マイクロコントローラ268、音声バッファ272、外部デジタルカメラ274、音声コーデック276、内部デジタルカメラ278、映像バッファ280、映像音声同期部282及びマイクロフォン284に電力を供給する1以上のバッテリ261を含む。1以上のバッテリ261は、交流コンセントに差し込まれる充電器(不図示)で充電される。
多数の実施形態において、入力データ及び/またはメディアデータをインタラクティブメディアという。
ある実施形態では、HMD104は、ペアリングを介したローカルユーザ間のピアトゥピアのマルチチャネル通信を促進する通信回路を含む。例えば、HMD104は、マイクロフォン284から受信された音の信号を変調し、変調された信号を他のHMD(不図示)の送受信機にチャネルを介して送信する送受信機を含む。当該他のHMDの送受信機は、この信号を復調して当該他のHMDの話者に供給してユーザ間の通信を促進する。
種々の実施形態において、他のそれぞれのHMDと通信するのにそれぞれのチャネルがHMD104の送受信機によって使用される。例えば、変調信号が第1の他のHMDに送信されるチャネルは、変調信号が第2の他のHMDに送信されるチャネルとは異なる。
ある実施形態では、WAC258、ユーザ入力回路262、マイクロコントローラ268及び映像復号器255は、1以上の個々の回路チップに集積される。例えば、WAC258、映像復号器255及びマイクロコントローラ268が1つの回路チップに集積され、ユーザ入力回路262が他の回路チップに集積される。他の例として、WAC258、ユーザ入力回路262、マイクロコントローラ268及び映像復号器255の各々が個別の回路チップに集積される。
ユーザを識別し、ユーザの光学的選好を特定し、ユーザの光学的選好に基づいて画面の解像度を調整するのにHMDの種々のモジュールが用いられる。実施形態によっては、HMD内のモジュールを総称して「ゲーム処理モジュール」という。HMDのゲーム処理モジュール(またはアプリケーション処理モジュール)によって、ユーザの光学的特徴を識別する入力をユーザが提供することが可能となり、画面の光学設定(すなわち、画面解像度)を調整してユーザが充実したインタラクティブ体験を得ることが可能となる。実施形態は、HMDの画面を用いてインタラクティブ仮想視覚テストを行うことなど、ユーザの光学的選好を特定する態様を提供する。HMDの画面はオブジェクトの3次元表現をレンダリングするように構成されているので、3次元(3D)空間を用いてそのようなテストを行うための光学系のモデリングをデジタル的に作成するのが容易となる。したがって、3D光学系のデジタルモデリングを用いて、ユーザの視覚の光学的特徴を正しく評価するように、1以上の仮想距離において可変サイズの画像がユーザに表示される。この情報は、ユーザの視覚の要件を満たす画面の焦点及び他の光学設定を調整するのに使用される。
図3A−3Fは、ユーザが有意義な態様でインタラクティブゲーム/プログラムを視聴及び相互作用することができるようにHMDが選好/要件を用いてHMDの光学設定をユーザに対してカスタマイズするように、ユーザの光学的選好または要件を評価するプログラムが実行される一実施形態を示す。ある実施形態では、インタラクティブプログラムが実行される。プログラムは、ユーザに装着されたHMDの画面上に画像の表現をもたらし、表示された画像の明瞭度レベルを特定するのにユーザからの入力を必要とする。ユーザからの入力は、ユーザの光学的要件を特定するのに使用され、ユーザに対するHMDの画面の解像度がそれに従って調整される。ある実施形態では、プログラムは、HMDに通信可能に接続されたコンピュータで実行され、HMDはコンピュータから画像を供給される。他のある実施形態では、プログラムはHMD自体で実行され、ユーザインタラクション及びフィードバックのための画像を提供する。他の実施形態では、プログラムはゲームクラウドで実行され、画像がHMDにストリーム送信され、ユーザのフィードバックがクラウドにおいて処理される。ある実施形態では、プログラムは、部分的にコンピュータで実行され、部分的にHMDで実行され、及び/または部分的にゲームクラウドで実行される。
図3Aに示すように、プログラムはHMDの画面上でユーザに対して画像を表示し、ユーザにフィードバックを要求する。画像は個別のサイズのものであり、画面の仮想距離において表示される。一実施形態では、画像は、テキスト、幾何形状、アニメ化されたグラフィック、または他の任意のレンダリング可能なオブジェクトのいずれかである。一実施形態では、画像302は、画面上にレンダリングされる仮想空間内の仮想距離D2において表示される。一実施形態では、画像302は、ユーザの目から仮想距離D2の仮想空間内の領域304内にレンダリングされる。そして、ユーザは画像を識別することを要求される。一実施形態では、画像を識別させる要求が、音声形式または視覚的形式でレンダリングされる。図3Aに示す一実施形態では、画像形式で表示される要求は、浮かび上がるテキストの形態である。ある実施形態では、浮かび上がるテキストは、画像302がレンダリングされる仮想距離D2とは異なる仮想距離において仮想空間に表示される。例えば、浮かび上がるテキストは、ユーザから仮想距離D1においてレンダリングされる。要求が表示される仮想距離D1は、画像が表示される仮想距離D2よりも短い。要求に応じて、ユーザはフィードバックを提供する。フィードバックは、音声フィードバックの形態であってもよいし、HHCまたはコンピュータのキーボード、マウスのような他の入力装置を用いたフィードバックの形態であってもよい。ユーザからのフィードバックに応じて、ユーザの視覚を更にテストするように1以上の追加の画像が表示されてもよい。
図3Bは、ユーザの光学的選好/要件を特定するために画像をユーザに示すのに使用されるテストチャートを示す。一実施形態では、テストチャートは複数行の異なるサイズの画像を含み、プログラムは各行からの画像を表示して、直前の行からの画像に対するユーザのフィードバックに基づいてユーザの光学的要件を更にテストする。
図3C−3Eは、テストチャート(図3B)の最初の行から表示される画像に対するユーザのフィードバックに応じて、3D仮想空間においてユーザに表示されるそれぞれの画像を示す。したがって、プログラムは、徐々にサイズが減少していく画像を有するテストチャートの第2の行及び後続の行の画像を取得及びレンダリングする。画像は全て仮想距離D2における領域304内に表示され、浮かび上がるテキストは仮想距離D1においてレンダリングされ続ける。ある実施形態では、画面上にレンダリングされる画像は、3D空間内で浮かび上がる画像の形式で表示される。種々の画像のレンダリングに応じて、ユーザ入力は、それぞれの画像に対する明瞭度レベルのフィードバックを与える。プログラムは、ユーザからの明瞭度レベルのフィードバックを用いて、ユーザの所望の光学設定を演算し、ヘッドマウントディスプレイの光学設定をユーザの所望の設定に従う第2の設定に調整する。
代替的に、プログラムは、画像がレンダリングされている距離D2を調整する必要があることを第1の画像へのユーザのフィードバックに応じて判定するようにしてもよい。図3Fは、そのような一実施形態を示す。図3Aにおける領域304にレンダリングされた画像302に対するユーザのフィードバックに応じて、プログラムは、画像がレンダリングされる仮想距離D2を仮想距離D2よりも短い仮想距離D3に調整するようにしてもよい。ある実施形態では、仮想距離D2の調整によって、仮想距離D2よりも遠い仮想距離D4(不図示)に画像がレンダリングされるようにしてもよい。一実施形態では、距離調整は、増大するサイズの画像を表示して画像が近づくかのように見せることによって実現される。代替的に、仮想距離調整は、減少するサイズの画像を表示して画像が遠ざかるかのように見せることによって実現されるようにしてもよい。例えば、第1の画像に対するフィードバックに応じて、レンダリングされる第2の画像が第1の画像よりも大きなサイズとなる。3D空間内でのこのタイプの調整によって、プログラムが光学設定に対する可変レベルの調整を与えることが可能となり、ユーザの光学的要件を判定する非常に有効な態様となる。この実施形態では、浮かび上がるテキストは、距離D1においてレンダリングされ続ける。ユーザがHMDを用いてゲーム/アプリケーションプログラムをプレイし/それと相互作用する場合に、インタラクティブアプリケーションプログラム/ゲームの画像をレンダリングするためにHMDにおいてどのレベルの解像度/焦点調整が行われる必要があるのかを特定するように、プログラムによってユーザのフィードバックが使用される。
一実施形態では、HMDは、画像をレンダリングするために規定された複数の光学設定調整を有し、プログラムは、ユーザがそのようなインタラクティブゲームをプレイするためのHMDを用いる場合に、インタラクティブゲームからユーザにインタラクティブ画像を提供するためにどの光学設定調整を用いるのかを判定する。一実施形態では、ユーザの設定は、ユーザが次回HMDを使用する場合にHMDの画面にレンダリングされる画像の焦点を自動調整するのにこれらの設定が使用されるように、HMDにおけるそれぞれのユーザプロファイルに保存される。ある実施形態では、プログラムは、テストチャートからの1画像を一度にレンダリングする。他の実施形態では、プログラムは、テストチャートからの複数の画像をレンダリングして、画像の各々についてユーザのフィードバックを要求する。ある実施形態では、同時にレンダリングされる複数の画像が異なるサイズのものであり、異なる画像の各々におけるユーザのフィードバックが、ユーザに対する光学設定を調整するのに使用される。
ある実施形態では、HMDは異なるユーザによって使用されてインタラクティブゲームをプレイする。結果として、HMDは、HMDにおいて保持されたそれぞれのユーザのユーザプロファイにアクセスすることによって各ユーザの光学設定を特定することができる。一実施形態では、ユーザプロファイルは、ユーザプロファイルに保持されたユーザの識別に基づいて識別される。一実施形態では、ユーザの識別は、バイオメトリック識別を用いて立証される。ある実施形態では、バイオメトリック識別は、網膜走査技術または虹彩走査技術の一方を用いて立証される。上述したバイオメトリック識別は、一例による識別にすぎず、他のタイプのバイオメトリックまたは識別の形態がユーザを識別するのに使用されてもよい。HMDは、ユーザプロファイルにおけるユーザの光学設定に基づいて、HMDの画面の光学設定を自動的に調整する。
一実施形態では、画像をレンダリングするインタラクティブプログラムを用いてユーザに対して好ましい光学設定を特定することに加えて、HMDの画面にレンダリングされたユーザインターフェイスの光学処方設定のリストがユーザに示される。リストからの光学処方設定のユーザ選択は、HMDの画面の光学設定を調整または微調整するように、画像をレンダリングするプログラムに対するフィードバックとの関係で、またはそれに代えて使用される。ある実施形態では、プログラムはまた、色盲のユーザのために色特性を調整するのに使用される。そのような実施形態では、好ましい光学設定を判定するためにレンダリングされる画像が色符号化され、ユーザ入力で色符号化された画像がユーザに対する色特性を調整するのに使用される。プログラムは、ユーザの視覚の光学的特性の欠陥を補償する、HMDの画面についての焦点/解像度を調整する能力をユーザに与える。
図4は、本発明の一実施形態においてヘッドマウントディスプレイの画面を動作させるための方法の動作を示す。方法は、プログラムが実行されると、動作410で開始する。プログラムは、HMDの画面に画像をレンダリングするように構成される。画像をレンダリングするHMDの画面は、レンダリングされる画像が第1の光学設定に従うように第1の光学設定に設定される。動作420に示すように、第1のサイズを有する第1の画像が、第1の光学設定に基づいて特定された仮想距離において画面に表示される。この距離は仮想距離であり、画像は3次元空間に表示される。ある実施形態では、画像は、画面上で仮想距離において識別される固定領域において表示される。動作430に示すように、第1の画像に対する明瞭度レベルを識別するユーザ入力が受信される。明瞭度レベルは、ユーザが画像を識別することに基づいて識別される。明瞭度レベルを識別するユーザ入力は、音声フィードバック、HHC若しくはHMDに通信可能に接続された他の入力装置及び/または画像を提供するプログラムを実行するコンピュータを用いて与えられるフィードバックの形態である。
動作440に示すように、第2のサイズを有する第2の画像が、同じ距離において画面に表示される。第2の画像は、第1の画像がレンダリングされたのと同じ領域に表示される。動作450に示すように、第2の画像に対する明瞭度レベルを識別するユーザ入力が、第2の画像のレンダリングに応じて受信される。動作460に示すように、第1及び第2の画像に対するユーザ入力を受信すると、HMDの画面に対する光学設定が第1の光学設定から第2の光学設定に変更される。変更された光学設定は、ゲームのストリーミング若しくはインタラクティブ画像、またはユーザがHMDを用いて相互作用/プレイする何らかのインタラクティブプログラムを表示するのに使用される。
図5は、本発明の一実施形態においてヘッドマウントディスプレイの画面を動作させるための方法の動作を示す。方法は、プログラムが実行されると、動作510で開始する。プログラムは、HMDに通信可能に接続されたコンピュータまたはゲームクラウドで実行されてもよいし、HMD自体で実行されてもよい。プログラムによって、HMDの画面上に画像のレンダリングがもたらされる。画像は、テキスト、アニメ化されたグラフィクス、レンダリング可能なオブジェクトの画像などのいずれであってもよい。動作520に示すように、いずれか1種類または複数種類の複数の画像が、仮想距離において画面に表示される。複数の画像の各々は個別のサイズを有する。動作530に示すように、ユーザからの明瞭度レベルのフィードバックが、複数の画像の各々について受信される。明瞭度レベルのフィードバックは、ユーザの画像認識に基づき、音声形式、HHCまたは他の何らかの入力装置を用いた入力などといった任意の形式で表示される。
動作540に示すように、光学処方設定の選択がユーザから受信される。光学処方設定は、HMDの画面上のユーザインターフェイスにおいて提供される光学処方設定のリストから選択されてもよいし、何らかの入力装置を用いてユーザによって提供されてもよい。明瞭度レベルについてのフィードバック及びユーザからの光学処方設定を受信すると、動作550に示すように、画面の光学設定が、明瞭度レベルのフィードバック及び選択された光学処方設定に従って自動的に調整される。HMDの画面の調整された光学設定は、ユーザの視覚の光学的欠陥を補償し、または光学的特性に一致する。HMDの画面の光学設定は、ユーザがHMDを用いてゲームまたはインタラクティブアプリケーションをプレイするときに、インタラクティブゲームのシーン及び他のインタラクティブアプリケーションのメディアデータをレンダリングするために使用される。
図6に、本発明の実施形態を実施するのに使用されるハードウェア及びユーザインターフェイスを示す。図6は、Sony(登録商標)PlayStation3(登録商標)エンターテイメント装置の全体システムアーキテクチャを模式的に示す。システムユニット1300が、システムユニット1300に接続可能な種々の周辺装置とともに提供される。システムユニット1300は、セルプロセッサ1302、Rambus(登録商標)ダイナミックランダムアクセスメモリ(XDRAM)ユニット1304、専用の映像ランダムアクセスメモリ(VRAM)ユニット1308付きのReality Synthesizerグラフィクスユニット1306、及びI/Oブリッジ1310を含む。システムユニット1300はまた、I/Oブリッジ1310を介してアクセス可能な、ディスク1312aからの読取りのためのBluRay(登録商標)Disk BD−ROM(登録商標)光学ディスクリーダ1312、及び取外し可能なスロットインハードディスクドライブ(HDD)1314を備える。選択的に、システムユニット1300はまた、コンパクトフラッシュ(登録商標)メモリカード、Memory Stick(登録商標)メモリカードなどを読み取るためのメモリカードリーダ1301を含み、これも同様にI/Oブリッジ1310を介してアクセス可能である。
I/Oブリッジ1310はまた、6個のユニバーサル・シリアル・バス(USB)2.0ポート1316、ギガビットイーサネットポート1318、IEEE802.11b/gワイヤレスネットワーク(Wi−Fi)ポート1320、及び7個までのBluetooth接続に対応可能なBluetooth(登録商標)ワイヤレスリンクポート1322に接続する。
動作において、I/Oブリッジ1310は、1以上のゲームコントローラ110及び1324からのデータを含む全ての無線、USB及びイーサネットデータを扱う。例えば、ユーザがゲームをプレイしている場合、I/Oブリッジ1310はゲームコントローラ110及び1324からのデータをBluetoothリンクを介して受信してそれをセルプロセッサ1302に向け、それに従ってセルプロセッサ1302はゲームの現在の状態を更新する。
無線、USB及びイーサネットポートはまた、ゲームコントローラ110及び1324に加えて、リモートコントローラ1326、キーボード1328、マウス1330、Sony PSP(登録商標)エンターテイメント装置などの可搬エンターテイメント装置1332、PlayStation(登録商標)Eye Camera1334などのビデオカメラ、形状物体1336及びマイクロフォン1338のような他の周辺装置に対する接続を与える。したがって、そのような周辺装置は、原則としてシステムユニット1300に無線で接続される。例えば、可搬エンターテイメント装置1332は、Wi−Fiアドホック接続を介して通信し得る一方で、形状物体1336はBluetoothリンクを介して通信し得る。
これらのインターフェイスが設けられることは、PlayStation3装置が、デジタルビデオレコーダ(DVR)、セットトップボックス、デジタルカメラ、可搬メディアプレイヤ、ボイス・オーバー・インターネット・プロトコル(IP)電話、携帯電話、プリンタ及びスキャナのような他の周辺装置とも潜在的に互換性があることを意味する。さらに、旧来的なメモリカードリーダ1340がUSBポート1316を介してシステムユニットに接続されてもよく、PlayStation(登録商標)装置またはPlayStation2(登録商標)装置によって使用される種類のメモリカードの読み取りが可能となる。
ゲームコントローラ110及び1324は、Bluetoothリンクを介してシステムユニット1300と無線で通信し、またはUSBポートに接続され、それによりゲームコントローラ110及び1324のバッテリを充電する電力を供給するように動作可能である。ゲームコントローラ110及び1324はまた、メモリ、プロセッサ、メモリカードリーダ、フラッシュメモリなどの永続的メモリ、照明球体部、発光ダイオード(LED)または赤外線光源などの発光体、超音波通信のためのマイクロフォン及びスピーカ、音響チャンバ、デジタルカメラ、内部クロック、ゲームコンソールを向く認識可能形状体、並びにBluetooth(登録商標)、WiFi(商標)などのようなプロトコルを用いる無線通信部を含む。認識可能形状体は、実質的に、球、立方体、平行六面体、直方体、円錐、角錐、サッカーボール、フットボール若しくはラグビーボール、不完全球、球の一部分、切頭角錐、切頭円錐、野球のバット、切頭立方体、多面体、星形など、またはこれらの形状の2以上の組合せの形状であってもよい。
ゲームコントローラ1324は両手で使用されるように設計されたコントローラであり、ゲームコントローラ110はボールが取り付けられた片手コントローラ110である。1以上のアナログジョイスティック及び従来的な制御ボタンに加えて、ゲームコントローラは3次元位置判定が可能である。結果的に、ゲームコントローラのユーザによるジェスチャ及び動作は、従来的なボタン若しくはジョイスティックのコマンドに加えて、またはそれに代えて、ゲームへの入力として変換されることができる。選択的に、Sony PSP(登録商標)可搬装置などの無線で有効化される他の周辺装置がコントローラとして使用され得る。Sony PSP(登録商標)可搬装置の場合、追加のゲームまたは制御情報(例えば、制御インストラクションまたは命の数)が装置の画面上に提供されてもよい。ダンスマット(不図示)、光線銃(不図示)、操縦ハンドル及びペダル(不図示)、または速押しクイズゲーム(不図示)のための単一若しくはいくつかの大きなボタンなどの特注のコントローラといったような他の代替的または補完的制御装置も使用され得る。
リモートコントローラ1326も、Bluetoothリンクを介してシステムユニット1300と無線通信するように動作可能である。リモートコントローラ1326は、Blu−Ray(商標)Disk BD−ROMリーダ1312の動作及びディスクコンテンツの誘導に適した制御手段を備える。
Blu−Ray(商標)Disk BD−ROMリーダ1312は、従来的な予め記録されて再記録可能なCD及びいわゆるSuper Audio CDに加えて、PlayStation装置及びPlayStation2装置と互換可能なCD−ROMを読み取るように動作可能である。リーダ1312はまた、従来的な予め記録されて再記録可能なDVDに加えて、Playstation2装置及びPlayStation3装置と互換可能なDVD−ROMを読み取るように動作可能である。リーダ1312は、さらに、従来の予め記録されて再記録可能なBlu−Rayディスクと同様に、PlayStation3装置と互換可能なBD−ROMを読み取るように動作可能である。
システムユニット1300は、PlayStation3装置によってReality Synthesizerグラフィクスユニット(RSX)1306を介して生成または復号される音声及び映像を、ディスプレイ1346及び1以上のスピーカ1348若しくはスタンドアロンスピーカ1350を有するモニタまたはテレビセットのような表示及び音出力装置1342にオーディオ及びビデオコネクタを介して供給するように動作可能である。一実施形態では、発声及び凝視入力が、ユーザのPOGに従って特定のオーディオスピーカに向けて音を再生するのに利用される。オーディオコネクタ1358は、従来的なアナログ及びデジタル出力を含み、ビデオコネクタ1360はコンポーネントビデオ、S−ビデオ、コンポジットビデオ及び1以上のHigh Definition Multimedia Interface(HDMI(登録商標))出力を含む。結果的に、映像出力は、PAL若しくはNTSCまたは720p、1080i若しくは1080pの高精細度などのフォーマットとなる。
音声処理(生成、復号など)は、セルプロセッサ1302によって実行される。PlayStation3装置のオペレーティングシステムはDolby(登録商標)5.1サラウンドサウンド、Dolby(登録商標)Theatre Surround(DTS)、及びBlu−Ray(登録商標)ディスクからの7.1サラウンドサウンドの復号に対応する。
本実施形態では、ビデオカメラ1334は、単一のCharge Coupled Device(CCD)、LEDインジケータ、及びシステムユニット1300によって復号するためのMPEG(Motion Picture Expert Group)標準に基づくイントラ画像などの適切なフォーマットで圧縮映像データが送信されるようにするハードウェアに基づくリアルタイムデータ圧縮及び符号化装置を備える。カメラLEDインジケータは、システムユニット1300からの適切な制御データに応じて発光し、例えば、悪い照明条件を示すように構成される。ビデオカメラ1334の実施形態は、システムユニット1300にUSB、BluetoothまたはWi−Fi通信ポートを介して様々な方法で接続する。ビデオカメラの実施形態は、1以上の関連するマイクロフォンを含み、音声データを送信することもできる。ビデオカメラの実施形態において、CCDは、高精細映像の取込みに適した解像度を有する。使用において、ビデオカメラによって取り込まれた画像は、例えば、ゲーム内に取り込まれ、またはゲーム制御入力として解釈される。他の実施形態では、カメラは、赤外光を検出するのに適した赤外線カメラである。
一般に、システムユニット1300の通信ポートの1つを介してビデオカメラまたはリモートコントローラのような周辺装置でデータ通信を成立させるために、装置ドライバなどの適切なソフトウェアが提供されるべきである。装置ドライバ技術は周知であり、ここでは詳しく説明しない。当業者であれば、装置ドライバまたは同様のソフトウェアインターフェイスが本実施形態に必要となることが分かるはずである。
図7は、本発明の種々の実施形態によるゲームシステム1100のブロック図である。ゲームシステム1100は、映像ストリームを1以上のクライアント1110にネットワーク1115を介して供給するように構成される。ゲームシステム1100は、通常は映像サーバシステム1120及び選択的ゲームサーバ1125を含む。ビデオサーバシステム1120は、最小品質のサービスで1以上のクライアント1110に映像ストリームを供給するように構成される。例えば、ビデオサーバシステム1120は、ビデオゲーム内で視界の状態または視点を変えるゲームコマンドを受信し、最小時間差でこの状態の変化を反映する更新された映像ストリームをクライアント1110に供給することができる。ビデオサーバシステム1120は、未だ定義されていないフォーマットを含む広範な代替の映像フォーマットで映像ストリームを供給するように構成される。また、映像ストリームは、広範なフレームレートでのユーザへの表示のために構成された映像フレームを含む。標準的なフレームレートは、毎秒30フレーム、毎秒60フレーム、及び毎秒1120フレームであるが、これよりも高い、または低いフレームレートが本発明の代替実施形態に含まれる。
ここでは、クライアント1110は、ヘッドマウントディスプレイ、端末、パーソナルコンピュータ、ゲームコンソール、タブレットコンピュータ、電話機、セットトップボックス、キオスク、無線装置、デジタルパッド、スタンドアロン装置、ハンドヘルドゲームプレイ装置などを含み、個々に1110A、1110Bなどという。通常は、クライアント1110は、符号化されたビデオストリームを受信し、映像ストリームを復号し、得られる映像を、例えばゲームのプレイヤなど、ユーザに示すように構成される。符号化された映像ストリームを受信する処理及び/または映像ストリームを復号する処理は、通常は、個々の映像フレームをクライアントの受信バッファに格納することを含む。映像ストリームは、クライアント1110に一体化されたディスプレイにおいて、またはモニタ若しくはテレビのような個別の装置においてユーザに表示される。クライアント1110は、選択的に、2以上のゲームプレイヤに対応するように構成される。例えば、ゲームコンソールは、2、3、4またはそれ以上の同時プレイヤに対応するように構成される。これらのプレイヤの各々は、個別の映像ストリームを受信し、または単一の映像ストリームが、各プレイヤについて具体的に生成された、例えば各プレイヤの視点に基づいて生成されたフレームの領域を含む。クライアント1110は、選択的に、地理的に分散している。ゲームシステム1100に含まれるクライアント数は、1若しくは2から数千、数万またはそれ以上まで幅広く変化し得る。ここで使用する用語「ゲームプレイヤ」はゲームをプレイする人のことをいうのに用いられ、用語「ゲームプレイ装置」はゲームをプレイするのに使用される装置のことをいうのに用いられる。ある実施形態では、ゲームプレイ装置は、ユーザにゲーム体験を提供するように協働する複数の演算装置のことをいう。例えば、ゲームコンソール及びHMDは、HMDを介して視聴されるゲームを提供するようにビデオサーバシステム1120と協働する。一実施形態では、ゲームコンソールは、ビデオサーバシステム1120から映像ストリームを受信し、レンダリングのためにHMDに映像ストリームを転送または更新する。
クライアント1110は、ネットワーク1115を介して映像ストリームを受信するように構成される。ネットワーク1115は、電話網、インターネット、無線ネットワーク、電力線ネットワーク、ローカルエリアネットワーク、ワイドエリアネットワーク、プライベートネットワークなどを含む任意のタイプの通信ネットワークである。標準的な実施形態では、映像ストリームは、TCP/IPまたはUDP/IPのような標準プロトコルを介して通信される。代替的に、映像ストリームは、独自の標準を介して通信される。
クライアント1110の標準的な実施例は、プロセッサ、不揮発性メモリ、ディスプレイ、復号ロジック、ネットワーク通信機能及び入力装置を備えるパーソナルコンピュータである。復号ロジックは、ハードウェア、ファームウェア、及び/またはコンピュータ可読媒体に記憶されたソフトウェアを含む。映像ストリームを復号(及び符号化)するためのシステムは当該技術分野において周知であり、使用される特定の符号化手法に応じて異なる。
クライアント1110は、要件ではないが、受信映像を修正するために構成されたシステムを更に含んでいてもよい。例えば、クライアントは、更なるレンダリングを実行し、1つの映像画像を他の映像画像に重ね、映像画像をトリミングするなどするように構成される。例えば、クライアント1110は、I−フレーム、P−フレーム及びB−フレームのような種々のタイプの映像フレームを受信し、これらのフレームをユーザに対する表示のための画像に処理するように構成される。ある実施形態では、クライアント1110のメンバーは、更にレンダリング、シェーディング、3-Dへの変換または同様の動作を映像ストリームに対して実行するように構成される。クライアント1110のメンバーは、選択的に、2以上の音声または映像ストリームを受信するように構成される。クライアント1110の入力装置は、例えば、片手用ゲームコントローラ、両手用ゲームコントローラ、ジェスチャ認識システム、凝視認識システム、音声認識システム、キーボード、ジョイスティック、ポインティング装置、応力フィードバック装置、動作及び/または位置検知装置、マウス、タッチパネル、ニューラルインターフェイス、カメラ、未だ開発されていない入力装置などを含む。
クライアント1110によって受信された映像ストリーム(及び選択的に音声ストリーム)は、ビデオサーバシステム1120によって生成及び供給される。本明細書のいずれかの箇所で更に説明するように、この映像ストリームは映像フレームを含む(そして、音声ストリームは音声フレームを含む)。映像フレームは、ユーザに対して表示される画像に有意に寄与するように構成される(例えば、それらは適切なデータ構造体での画素情報を含む)。ここで使用する用語「映像フレーム」は、ユーザに対して示される画像に寄与するように、例えば影響するように構成された情報を支配的に含むフレームをいうのに用いられる。ここに記載する「映像フレーム」に関する技術のほとんどは「音声フレーム」にも適用可能である。
クライアント1110は、通常は、ユーザからの入力を受信するように構成される。これらの入力は、ビデオゲームの状態を変化させ、あるいはゲームをプレイするのに影響を与えるように構成されたゲームコマンドを含む。ゲームコマンドは、入力装置を用いて受信され、及び/またはクライアント1110で実行しているインストラクションを演算することによって自動的に生成されることができる。受信されたゲームコマンドは、クライアント1110からネットワーク1115を介してビデオサーバシステム1120及び/またはゲームサーバ1125に通信される。例えば、ある実施形態では、ゲームコマンドは、ビデオサーバシステム1120を介してゲームサーバ1125に通信される。ある実施形態では、ゲームコマンドの個別の複製がクライアント1110からゲームサーバ1125及びビデオサーバシステム1120に通信される。ゲームコマンドの通信は、選択的にコマンドの識別に依存する。ゲームコマンドは、選択的に、クライアント1110Aから、音声または映像ストリームをクライアント1110Aに供給するのに使用されるものとは異なるルータまたは通信チャネルを介して通信される。
ゲームサーバ1125は、選択的に、ビデオサーバシステム1120とは異なるエンティティによって操作される。例えば、ゲームサーバ1125は、マルチプレイヤゲームの発行元によって操作される。この実施例では、ビデオサーバシステム1120は、選択的に、ゲームサーバ1125によってクライアントとして見られ、選択的に、ゲームサーバ1125の視点からは従来技術のゲームエンジンを実行する従来技術のクライアントとして見えるように構成される。ビデオサーバシステム1120とゲームサーバ1125との間の通信は、選択的にネットワーク1115を介して行われる。このように、ゲームサーバ1125は、1つがゲームサーバシステム1120である複数のクライアントにゲーム状態情報を送信する従来技術のマルチプレイヤゲームサーバとなり得る。ビデオサーバシステム1120は、ゲームサーバ1125の複数のインスタンスと同時に通信するように構成される。例えば、ビデオサーバシステム1120は、複数の異なるビデオゲームを異なるユーザに供給するように構成される。これらの異なるビデオゲームの各々は、異なるゲームサーバ1125によって対応され、及び/または異なるエンティティによって発行され得る。ある実施形態では、ビデオサーバシステム1120のいくつかの地理的に分散されたインスタンスは、ゲーム映像を複数の異なるユーザに供給するように構成される。ビデオサーバシステム1120のこれらのインスタンスの各々は、ゲームサーバ1125の同じインスタンスと通信状態にある。ビデオサーバシステム1120と1以上のゲームサーバ1125との間の通信は、選択的に専用通信チャネルを介して行われる。例えば、ビデオサーバシステム1120は、ゲームサーバ1125と、これらの2つのシステムの間の通信に特化した高帯域チャネルを介して接続される。
ビデオサーバシステム1120は、少なくともビデオソース1130、I/O装置1145、プロセッサ1150及び非一時的ストレージ1155を備える。ビデオサーバシステム1120は、1つの演算装置を含み、または複数の演算装置間で分散される。これらの演算装置は、選択的に、ローカルエリアネットワークなどの通信システムを介して接続される。
ビデオソース1130は、映像ストリーム、例えばストリーム送信される映像または動画を形成する一連の映像フレームを供給するように構成される。ある実施形態では、ビデオソース1130は、ビデオゲームエンジン及びレンダリングロジックを含む。ビデオゲームエンジンは、ゲームコマンドをプレイヤから受信し、受信されたコマンドに基づいてビデオゲームの状態の複製を保持するように構成される。このゲーム状態は、通常のように視点だけでなく、ゲーム環境におけるオブジェクトの位置も含む。ゲーム状態は、オブジェクトのプロパティ、画像、色及び/またはテクスチャも含み得る。ゲーム状態は、通常は、移動する、曲がる、攻撃する、合焦する、対話する、使うなどといったゲームコマンドと同様にゲームルールに基づいて保持される。ゲームエンジンの一部は、選択的にゲームサーバ1125内に配置される。ゲームサーバ1125は、地理的に分散したクライアントを用いて複数のプレイヤから受信されるゲームコマンドに基づいてゲームの状態の複製を保持する。これらの場合において、ゲーム状態は、ゲームサーバ1125からゲームソース1130に供給され、ここでゲーム状態の複製が記憶され、レンダリングが実行される。ゲームサーバ1125は、ゲームコマンドをクライアント1110からネットワーク1115を介して直接受信し、及び/またはゲームコマンドをビデオサーバシステム1120を介して受信する。
ビデオソース1130は、通常は、レンダリングロジック、例えばハードウェア、ファームウェア、及び/またはストレージ1155のようなコンピュータ可読媒体に記憶されたソフトウェアを含む。このレンダリングロジックは、ゲーム状態に基づいて映像ストリームの映像フレームを作成するように構成される。レンダリングロジックの全部または一部は、選択的にグラフィック処理装置(GPU)内に配置される。レンダリングロジックは、通常は、オブジェクト間の3次元空間関係を特定するために、及び/またはゲーム状態及び視点に基づいて適切なテクスチャなどを適用するために構成された処理段を含む。レンダリングロジックは、通常はクライアント1110に通信する前に符号化される素材映像を生成する。例えば、素材映像は、Adobe Flash(登録商標)標準、.wav、H.264、H.263、On2、VP6、VC−1、WMA、Huffyuv、Lagarith、MPG−x、Xvid.FFmpeg、x264、VP6−8、realvideo、mp3などに従って符号化される。符号化処理は、遠隔装置における復号器への配信のために選択的にパッケージ化された映像ストリームを生成する。映像ストリームは、フレームサイズ及びフレームレートで特徴付けられる。標準的なフレームサイズは、800×600、1280×720(例えば720p)、1024×768であるが、他の任意のフレームサイズが使用されてもよい。フレームレートは、1秒あたりの映像フレーム数である。映像ストリームは、異なるタイプの映像フレームを含み得る。例えば、H.264標準は、「P」フレーム及び「I」フレームを含む。I−フレームは表示装置上の全てのマクロブロック/画素をリフレッシュする情報を含み、P−フレームはその部分集合をリフレッシュする情報を含む。P−フレームは、通常はI−フレームよりも小さいデータサイズを有する。ここで使用する用語「フレームサイズ」とは、フレーム内の画素数を意味する。用語「フレームデータサイズ」は、フレームを格納するのに必要なバイト数をいうのに用いられる。
代替の実施形態では、ビデオソース1130は、カメラなどの映像記録装置を含む。このカメラは、コンピュータゲームの映像ストリームに含まれ得る遅延された、またはライブ映像を生成するのに使用され得る。結果として得られる映像ストリームは、選択的に、レンダリングされた画像及び静止またはビデオカメラを用いて記録された画像の双方を含む。ビデオソース1130はまた、映像ストリームに含まれることになる、以前に記録された映像を記憶するように構成された記憶装置を含んでいてもよい。ビデオソース1130はまた、オブジェクト、例えば人の動きまたは位置・姿勢を検出するように構成された動きまたは位置・姿勢検知装置、並びに検出された動き及び/または位置・姿勢に基づいてゲーム状態を判定し、若しくは映像を生成するように構成されたロジックを含んでいてもよい。
ビデオソース1130は、選択的に、他の映像上に配置されるように構成されたオーバーレイを供給するように構成される。例えば、これらのオーバーレイは、コマンドインターフェイス、インストラクションにおけるログ、ゲームプレイヤへのメッセージ、他のゲームプレイヤの画像、他のゲームプレイヤの配信動画(例えば、ウェブカメラ映像)を含む。タッチスクリーンインターフェイスまたは凝視検出インターフェイスを含むクライアント1110Aの実施形態では、オーバーレイは、仮想キーボード、ジョイスティック、タッチパッドなどを含む。オーバーレイの一実施例では、プレイヤの声が音声ストリームに重ねられる。ビデオソース1130は、選択的に1以上の音源を更に含む。
ビデオサーバシステム1120が2以上のプレイヤからの入力に基づいてゲーム状態を保持するように構成される実施形態において、各プレイヤは、視界の位置及び方向を含む異なる視点を有することになる。ビデオソース1130は、選択的に、各プレイヤについて、彼らの視点に基づいて個別の映像ストリームを供給するように構成される。また、ビデオソース1130は、異なるフレームサイズ、フレームデータサイズ、及び/または符号化をクライアント1110の各々に提供するように構成されることができる。ビデオソース1130は、選択的に、3D映像を供給するように構成される。
I/O装置1145は、映像、コマンド、情報の要求、ゲーム状態、凝視情報、装置の動き、装置の位置、ユーザの動き、クライアントの識別、プレイヤの識別、ゲームコマンド、セキュリティ情報、音声などをビデオサーバシステム1120が送信及び/または受信するように構成される。I/O装置1145は、通常は、ネットワークカードまたはモデムといった通信ハードウェアを含む。I/O装置1145は、ゲームサーバ1125、ネットワーク1115及び/またはクライアント1110と通信するように構成される。
プロセッサ1150は、ここに説明するビデオサーバシステム1120の種々の構成要素内に含まれるロジック、例えばソフトウェアを実行するように構成される。例えば、プロセッサ1150は、ビデオソース1130、ゲームサーバ1125及び/またはクライアントクォリファイア1160の機能を実行するためにソフトウェアインストラクションでプログラムされる。ビデオサーバシステム1120は、選択的に、プロセッサ1150の2以上のインスタンスを含む。プロセッサ1150はまた、ビデオサーバシステム1120によって受信されたコマンドを実行するために、またはここに記載するゲームシステム1100の種々の要素の動作を調整するためにソフトウェアインストラクションでプログラムされることができる。プロセッサ1150は、1以上のハードウェア装置を含み得る。プロセッサ1150は電子プロセッサである。
ストレージ1155は、非一時的なアナログ及び/またはデジタル記憶装置を含む。例えば、ストレージ1155は、映像フレームを記憶するように構成されたアナログ記憶装置を含む。ストレージ1155は、コンピュータ可読デジタルストレージ、例えばハードドライブ、光学ドライブまたは半導体ストレージを含む。ストレージ1115は、映像フレーム、人為的フレーム、映像フレーム及び人為的フレームの双方を含む映像ストリーム、音声フレーム、音声ストリームなどを(例えば、適切なデータ構造またはファイルシステムによって)記憶するように構成される。ストレージ1155は、選択的に、複数の装置間に分散される。ある実施形態では、ストレージ1155は、本明細書のいずれかの箇所で説明するビデオソース1130のソフトウェア構成要素を記憶するように構成される。これらの構成要素は、必要な場合に提供する準備のできているフォーマットで記憶される。
ビデオサーバシステム1120は、選択的にクライアントクォリファイア1160を更に備える。クライアントクォリファイア1160は、クライアント1110Aまたは1110Bのようなクライアントの能力を遠隔で判定するために構成される。これらの能力は、クライアント1110Aとビデオサーバシステム1120との間の1以上の通信チャネルの能力と同様に、クライアント1110A自体の能力の双方を含む。例えば、クライアントクォリファイア1160は、ネットワーク1115を介して通信チャネルをテストするように構成される。
クライアントクォリファイア1160は、クライアント1110Aの能力を手動または自動で判定(例えば、発見)することができる。手動判定は、クライアント1110Aのユーザと通信し、ユーザに能力を表示するように要求することを含む。例えば、ある実施形態では、クライアントクォリファイア1160は、画像、テキストなどをクライアント1110Aのブラウザ内に表示するように構成される。一実施形態では、クライアント1110Aは、ブラウザを含むHMDである。他の実施形態では、クライアント1110Aは、HMDに表示され得るブラウザを有するゲームコンソールである。表示されたオブジェクトは、ユーザがクライアント1110Aのオペレーティングシステム、プロセッサ、映像復号器のタイプ、ネットワーク接続のタイプ、表示解像度などといった情報を入力することを要求する。ユーザによって入力された情報は、クライアントクォリファイア1160に返信される。
自動判定は、例えば、クライアント1110Aにおけるエージェントの実行によって、及び/またはクライアント1110Aにテスト映像を送信することによって行われる。エージェントは、ウェブページに埋め込まれ、またはアドオンとしてインストールされたjava(登録商標)スクリプトなどの演算インストラクションを備える。エージェントは、選択的にクライアントクォリファイア1160によって提供される。種々の実施形態において、エージェントは、クライアント1110Aの処理性能、クライアント1110Aの復号及び表示能力、クライアント1110Aとビデオサーバシステム1120との間の通信チャネルのラグタイム信頼性及び帯域幅、クライアント1110Aのディスプレイタイプ、クライアント1110Aに存在するファイアウォール、クライアント1110Aのハードウェア、クライアント1110Aで稼働しているソフトウェア、クライアント1110A内のレジストリ入力などを突きとめることができる。
クライアントクォリファイア1160は、ハードウェア、ファームウェア、及び/またはコンピュータ可読媒体に記憶されたソフトウェアを含む。クライアントクォリファイア1160は、選択的に、ビデオサーバシステム1120の1以上の他の要素から独立した演算装置に配置される。例えば、ある実施形態では、クライアントクォリファイア1160は、クライアント1110とビデオサーバシステム1120の2以上のインスタンスとの間の通信チャネルの特性を判定するように構成される。これらの実施形態では、クライアントクォリファイアによって発見された情報を、ビデオサーバシステム1120のうちのどのインスタンスがクライアント1110の1つへのストリーム映像の配信に最も適しているかを判定するのに使用することができる。
本発明の実施形態は、ハンドヘルド装置、マイクロプロセッサシステム、マイクロプロセッサに基づくまたはプログラム可能な民生機器、ミニコンピュータ、メインフレームコンピュータなどを含む種々のコンピュータシステム構成で実施される。本発明のいくつかの実施形態は、有線または無線ネットワークを介してリンクされる遠隔処理装置によってタスクが実行される分散コンピューティング環境で実施されることもできる。
上記実施形態を考慮して、本発明の多数の実施形態はコンピュータシステムに記憶されたデータを関与させるコンピュータ実施動作を採用できることが理解されるべきである。これらの動作は、物理量の物理的操作を必要とするものである。本発明の種々の実施形態の一部を形成するここに説明する動作のいずれもが有用な機械動作である。本発明のいくつかの実施形態はまた、これらの動作を実行するための装置または機器に関する。機器は要求される目的のために特別に構築されることができ、または機器はコンピュータに記憶されたコンピュータプログラムによって選択的に作動または構成される汎用コンピュータであってもよい。特に、種々の汎用機械を、ここに記載される技術に従って記述されたコンピュータプログラムとともに使用することができ、または要求される動作を実行する特化された機器を構築することがより便利なこともある。
本発明の種々の実施形態は、コンピュータ可読媒体におけるコンピュータ可読コードとして具現されることもできる。コンピュータ可読媒体は、データを記憶することができる任意のデータ記憶装置であり、その後コンピュータシステムによって読み取られることができる。コンピュータ可読媒体の例は、ハードドライブ、ネットワーク接続ストレージ(NAS)、読取り専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、コンパクトディスクROM(CD−ROM)、書込み可能CD(CD−R)、再書込み可能CD(RW)、磁気テープ並びに他の光学的及び非光学的データ記憶装置を含む。コンピュータ可読媒体は、コンピュータ可読コードが分散的態様で記憶及び実行されるようにネットワーク結合コンピュータシステム上で分散されたコンピュータ可読有体媒体を含む。
方法処理が特定の順序で記載されたが、オーバーレイ動作の処理が所望の態様で実行される限り、他の準備動作が動作間に実行されてもよいし、動作が若干異なる時間に行われるように調整されてもよいし、処理に対応した種々の間隔で処理動作の発生を可能とするシステムにおいて分散されてもよいことが理解されるべきである。
理解の明確性の目的のために上述の本発明が詳細に記載されたが、所定の変更及び変形が添付の特許請求の範囲内で実施され得ることが明らかであろう。したがって、本実施形態は限定ではなく例示説明として捉えられるべきであり、本発明の種々の実施形態はここに与えられる詳細に限定されず、添付の特許請求の範囲及びその均等の範囲内で変形され得る。



  1. ヘッドマウントディスプレイ(HMD)の画面を動作させる方法であって、
    プログラムを実行して、前記HMDの前記画面に画像をレンダリングし、前記画面が第1の光学設定を用いて前記画像をレンダリングするステップと、
    第1のサイズ及び距離を有する第1の画像を前記画面に表示するステップと、
    前記第1の画像についての明瞭度レベルを識別する入力を受信するステップと、
    第2のサイズ及び前記距離を有する第2の画像を前記画面に表示するステップと、
    前記第2の画像についての明瞭度レベルを識別する入力を受信するステップと、
    前記第1及び第2の画像について受信された前記明瞭度レベルに基づいて前記第1の光学設定を第2の光学設定に変更するステップと
    を備える方法。

  2. 前記第1のサイズが前記第2のサイズよりも大きい、請求項1に記載の方法。

  3. 前記第2のサイズが前記第1のサイズよりも大きい、請求項1に記載の方法。

  4. 前記第2の光学設定を前記HMDにおけるユーザのユーザプロファイルに保持するステップを更に含み、前記ユーザプロファイルからの情報が、後の使用中に前記HMDの前記画面を調整する際に用いられる、請求項1に記載の方法。

  5. 前記ユーザプロファイルが、前記ユーザを識別するためのバイオメトリック識別を少なくとも含み、該バイオメトリック識別が、前記HMDの内部カメラを用いて網膜走査または虹彩走査の一方を用いて生成される、請求項4に記載の方法。

  6. 前記ユーザから得られた前記明瞭度レベルのフィードバックの変化に応じて、前記HMDの前記画面についての前記第2の光学設定を調整するステップと、
    前記調整を反映するように、前記ユーザプロファイルに記憶された前記第2の光学設定を更新するステップと
    を更に含む、請求項4に記載の方法。

  7. ヘッドマウントディスプレイ(HMD)の画面を動作させる方法であって、
    プログラムを実行して、前記HMDの前記画面に画像をレンダリングし、前記画面が光学設定を用いて前記画像をレンダリングするステップと、
    各々が個別のサイズを有する複数の画像を仮想距離において前記画面に表示するステップと、
    前記複数の画像の各々についてユーザから明瞭度レベルのフィードバックを受信するステップと、
    調整された前記光学設定が前記ユーザの視覚の光学的特性を補償するように、前記画面の前記光学設定を自動的に調整するステップと
    を備える方法。

  8. 前記複数の画像を表示するステップが、前記複数の画像を表示するために用いられる前記仮想距離を調整するステップを更に含み、明瞭度レベルのフィードバックを得るように前記仮想距離が調整される、請求項7に記載の方法。

  9. 調整するステップが、
    ユーザインターフェイスに示された処方設定のリストから選択される、前記ユーザに対する光学処方設定を取得するステップと、
    前記ユーザに対する前記光学処方設定に従って前記HMDの前記画面の前記調整された光学設定を調節するステップと
    を更に含む、請求項7に記載の方法。

  10. 前記HMDにおける前記ユーザのユーザプロファイルを前記調整された光学設定によって更新するステップを更に含む、請求項7に記載の方法。

  11. 前記ユーザプロファイルが少なくともバイオメトリック識別を含む、請求項10に記載の方法。

  12. 前記ユーザプロファイルにおける前記バイオメトリック識別が、前記HMDの内部カメラを用いて網膜走査技術または虹彩走査技術の一方を用いて生成及び認証される、請求項10に記載の方法。

  13. ヘッドマウントディスプレイ(HMD)の画面を動作させる方法であって、
    プログラムを実行して、前記HMDの前記画面に画像をレンダリングし、前記画面が光学設定を用いて前記画像をレンダリングするステップと、
    各々が個別のサイズを有する複数の画像を仮想距離において前記画面に表示するステップと、
    前記複数の画像の各々についてユーザから明瞭度レベルのフィードバックを受信するステップと、
    前記ユーザに対する光学処方設定の選択を受信するステップと、
    調整された前記光学設定が前記ユーザの視覚の光学的特性を補償するように、前記明瞭度レベルのフィードバック及び前記選択された光学処方設定に従って、前記HMDの前記画面の前記光学設定を自動的に調整するステップと
    を備える方法。

  14. 前記光学処方設定の選択が、前記HMDの前記画面に表示されたユーザインターフェイス上にレンダリングされた光学処方設定のリストから選択される、請求項13に記載の方法。

  15. 前記HMDについての前記画面の前記調整された光学設定を前記HMDにおける前記ユーザのユーザプロファイルに記憶するステップを更に含む、請求項13に記載の方法。

  16. 前記ユーザプロファイルが、前記ユーザを識別するためのバイオメトリック識別を含み、前記ユーザの前記バイオメトリック識別が、前記HMDの内部カメラを用いて網膜走査または虹彩走査の一方を関与させることによって得られる、請求項15に記載の方法。

  17. ヘッドマウントディスプレイ(HMD)の画面を動作させる方法であって、
    ユーザのバイオメトリック識別を用いて前記HMDを装着するユーザを検出するステップと、
    前記ユーザについて、前記ユーザの前記バイオメトリック識別を用いて識別されたユーザプロファイルを取得するステップと、
    前記ユーザプロファイル内の前記ユーザについて規定された光学設定に従って前記HMDの前記画面の光学設定を自動的に調整するステップと
    を備える方法。

  18. ヘッドマウントディスプレイ(HMD)の画面を動作させるシステムであって、
    プログラムを実行して、前記HMDの前記画面に画像をレンダリングし、前記画面が光学設定を用いて前記画像をレンダリングする手段と、
    各々が個別のサイズを有する複数の画像を仮想距離において前記画面に表示する手段と、
    前記複数の画像の各々についてユーザから明瞭度レベルのフィードバックを受信する手段と、
    調整された前記光学設定が前記ユーザの視覚の光学的特性を補償するように、前記画面の前記光学設定を自動的に調整する手段と
    を備えたシステム。

  19. ヘッドマウントディスプレイ(HMD)の画面を動作させるシステムであって、
    プログラムを実行して、前記HMDの前記画面に画像をレンダリングし、前記画面が光学設定を用いて前記画像をレンダリングする手段と、
    各々が個別のサイズを有する複数の画像を仮想距離において前記画面に表示する手段と、
    前記複数の画像の各々についてユーザから明瞭度レベルのフィードバックを受信する手段と、
    前記ユーザに対する光学処方設定の選択を受信する手段と、
    調整された前記光学設定が前記ユーザの視覚の光学的特性を補償するように、前記明瞭度レベルのフィードバック及び前記選択された光学処方設定に従って、前記HMDの前記画面の前記光学設定を自動的に調整する手段と
    を備えたシステム。

  20. ヘッドマウントディスプレイ(HMD)の画面を動作させるシステムであって、
    ユーザのバイオメトリック識別を用いて前記HMDを装着するユーザを検出する手段と、
    前記ユーザについて、前記ユーザの前記バイオメトリック識別を用いて識別されたユーザプロファイルを取得する手段と、
    前記ユーザプロファイル内の前記ユーザについて規定された光学設定に従って前記HMDの前記画面の光学設定を自動的に調整する手段と
    を備えたシステム。

 

 

Patent trol of patentswamp
類似の特許
本開示による1つの例において、プロジェクティブコンピューティングシステムによって行われる方法が提供される。本方法は、プロジェクティブコンピューティングシステムのカメラによって、物体及び背景要素を含む画像を捕捉することを含む。本方法は、プロジェクティブコンピューティングシステムのプロジェクタアセンブリによって、物体の画像を、物体の画像の少なくとも一部分に隣接する人工的な影と共に、物体の上に投影することを更に含む。
【選択図】図1
分離デバイス(103)からデータを受け取るデバイスリーダ(101)は、ディスプレイ(205)と、分離デバイスからデータを受け取る第1のアンテナ(105)とを備える。第1のアンテナ(105)は、ディスプレイ(205)に対するデバイスリーダアンテナ位置を有する。ディスプレイプロセッサ(207)は、ディスプレイ(205)上に、分離デバイス(103)の少なくとも一部の画像を表示する。画像は、分離デバイス(103)におけるアンテナ(107)の画像内の位置に対応する関連する第1の画像アンテナ位置を有する。画像は、第1の画像アンテナ位置がデバイスリーダアンテナ位置と位置合わせされるように表示される。画像は、分離デバイス(103)のカスタマイズされていない画像から、特にサイズや解像度、ピクセルサイズといった、ディスプレイ(205)のディスプレイ特性に基づいて、例えば回転、スケーリング及びポジショニングにより決定され得る。アプローチは、例えばNFC通信のような近距離通信を使用するときに、ユーザがデバイスをデバイスリーダと位置合わせすることを容易にすることができる。
本発明は、複数の3Dディスプレイのためにオブジェクトをレンダリングするための方法及び装置を提供する。本方法は、グローバル座標系における、前記オブジェクトの位置とユーザの目から前記3Dディスプレイまでで画定された領域との関係に従って前記オブジェクトをレンダリングするために、前記複数の3Dディスプレイのうちの1つを決定するステップと、前記決定された3Dディスプレイ上に前記オブジェクトをレンダリングするステップと、を含む。
本発明の実施例にタッチ画素駆動回路、方法、アレイ基板及び液晶表示装置を開示する。該タッチ画素駆動回路は、画素電極(3)と、透過共用電極(1)と、反射共用電極(2)と、ゲートライン(G1)と、リセット信号ライン(G2)と、リセットコントロールライン(G3)と、読取コントロールライン(G4)と、両用データライン(G5)と、その第1の端が前記画素電極(3)に接続され、その第2の端が前記両用データライン(G5)に接続され、そのコントロール端が前記ゲートライン(G1)に接続された第1のスイッチングトランジスタ(M1)と、その第1の端が前記反射共用電極(2)に接続され、その第2の端が前記リセット信号ライン(G2)に接続され、そのコントロール端が前記リセットコントロールライン(G3)に接続された第2のスイッチングトランジスタ(M2)と、その第1の端が前記リセット信号ライン(G2)に接続され、そのコントロール端が前記反射共用電極(2)に接続された増幅トランジスタ(T)と、その第1の端が前記増幅トランジスタ(T)の第2の端に接続され、その第2の端が前記両用データライン(G5)に接続され、そのコントロール端が前記読取コントロールライン(G4)に接続された第3のスイッチングトランジスタ(M3)と、を備える。
ディスプレイコントローラおよび駆動方法は、(a)更新バッファと、更新バッファから更新を要求しない画素を除去するための手段と、ある特別な状態を有する画素が、更新バッファから除去されないことを確実にするための手段とを有する、ディスプレイコントローラと、(b)双安定性ディスプレイを駆動するステップであって、白色−白色遷移を受け、可視遷移を受ける別の画素に隣接して位置する画素内において、画素に平衡パルス対および1つのトップオフパルスが印加されるステップと、(c)非長方形アイテムを既存の画像コンテンツにわたってオーバーレイし、次いで、アイテムを除去することによって双安定性ディスプレイを駆動するステップであって、アイテムの領域内の画素のみが遷移を実施する、ステップと、(d)光学変化を受けない背景画素が、光学状態ドリフトを補正するためにリフレッシュされる、双安定性ディスプレイを駆動するステップとを含む。
非屈曲表示領域と反対側の非屈曲表示領域との間に屈曲表示領域を備えるフレキシブル表示装置が閉じた構成で構成されていることを決定すること;通知を表示させることを決定すること;少なくとも部分的に前記閉じた構成に基づいて通知表示領域を決定すること;並びに前記通知表示領域に前記通知の表現を表示させること、
を含む方法が開示される。
【選択図】図12D
画素駆動電流抽出装置及び画素駆動電流抽出方法を提供する。画素駆動電流抽出装置は、各色の画素駆動回路にそれぞれ対応する駆動電流抽出回路を備える。各駆動電流抽出回路は、画素駆動回路に接続され、画素駆動回路の駆動電流を増幅して電圧信号に変換する駆動電流増幅変換ユニットと、駆動電流増幅変換ユニットに接続され、電圧信号により画素駆動電流を計算する駆動電流計算ユニットと、を備える。各色の画素駆動回路に対応する駆動電流抽出回路において、駆動電流増幅変換ユニットの増幅倍数は、該色の画素駆動電流の大きさと反比例する。歪みがない前提で、各色画素の駆動電流を均一に抽出して合理的に増幅し、後続の信号処理に良好のデータサポートを提供した。
ディスプレイの曲率を参照する映像処理方法に係り、該ディスプレイの物理的曲率情報を獲得し、該物理的曲率情報を基に、入力映像の中心領域を決定し、決定された映像の中心領域を基にして、ピクセル別位置によるゲインを生成し、ピクセル別位置によるゲインを利用して、入力映像のピクセル値を補正する映像処理方法である。
携帯用コンピューティングデバイスで実施される知的マルチメディアベースの熱出力管理のための、方法およびシステムの様々な実施形態が開示される。pcd内の電力消費を増大または減少させるために、実施形態は、1つまたは複数の視覚的マルチメディアパラメータを調整し、その設定は、全体的なマルチメディア作業負荷と関連した電力消費に寄与する。設定の調整のための視覚的マルチメディアパラメータの選択は、設定の調整に起因するものと考えられる、ユーザエクスペリエンスの変化対電力消費の変化の関数である。設定がいくつかの実施形態によって調整され得るべき、例示的な視覚的マルチメディアパラメータは、限定はしないが、色深度、表示輝度、gpuの処理分解能、画像動力学のアルゴリズム選択、解像度スケーリング比およびフレーム毎秒処理レートを含む。
スーパー解像度イメージ処理のためのデジタルカメラシステムを提供する。デジタルカメラシステムは、イメージの少なくとも一部分を受け取って、受け取ったイメージの解像度を増加させ、解像度向上イメージを出力するように構成されている解像度向上モジュールと、解像度向上イメージを受け取って、解像度向上イメージの少なくとも1つのエッジを抽出して、解像度向上イメージの抽出した少なくとも1つのエッジを出力するように構成されているエッジ抽出モジュールとを含み、少なくとも1つのエッジは、ピクセル値において急な変化が生じる1組の隣接するピクセルである。デジタルカメラシステムは、解像度向上イメージと抽出した少なくとも1つのエッジとを受け取って、抽出した少なくとも1つのエッジまたは抽出した少なくとも1つのエッジの派生物を、解像度向上イメージと組み合わせるように構成されているエッジ強調モジュールも含む。
【選択図】図1
To top