コンテンツ配信のセグメンテーション

著者らは特許

G06T - イメージデータ処理または発生一般
G06T7/00 - イメージ分析
G06T15/20 - 透視演算

の所有者の特許 JP2016517580:

ダクリ エルエルシーDaqri, LLC

 

コンテンツ配信をセグメンテーションするシステム及び方法を記載する。仮想オブジェクトモデルは複数のセグメントに分割される。複数のセグメントの順序は配信キューに設定される。仮想オブジェクトモデルの各セグメントは、仮想オブジェクトモデルと関連する物理オブジェクトを認識するように構成される装置に、配信キューの順序で配信される。
【選択図】図4

 

 

優先出願
本願は、参照としてその全体が本明細書に組み込まれる2013年3月15日に出願された米国特許出願第13/840、097号に対し、優先権の利益を主張する。
本明細書に開示される主題は一般に、データの処理に関する。具体的には、本開示はコンテンツ配信のセグメンテーションのためのシステム及び方法に対処する。
装置を用いて取り込まれたイメージに基づいて、データを生成することが可能な装置がある。たとえば、拡張現実(AR)は、物理的な現実環境の直接的又は間接的な生の視覚であり、それらの要素が音、映像、図形又はGPSデータのような、コンピュータで生成され感覚入力によって拡張される。高度なAR技術(たとえば、コンピュータビジョン及びオブジェクト認識の追加)を用いることによって、ユーザの周囲の現実社会に関する情報は相互作用的になる。環境及びオブジェクトに関する人工的な情報を現実社会の上に重ねることができる。人工的な情報は大量のデータを含むことがあるため、それによって装置のユーザが人工的な情報を見るために遅れが生じることもある。
幾つかの実施形態は、実施例により示され、添付図の図面に限定されるものではない。
幾つかの実施例による、キャンペーンオプティマイザを動作するための適切なネットワークの一例を示すブロック図である。 幾つかの実施例による、サーバのモジュール(たとえば、コンポーネント)を示すブロック図である。 幾つかの実施例による、配信セグメンテーションモジュールのモジュール(たとえば、コンポーネント)を示すブロック図である。 幾つかの実施例による、配信セグメンテーションモジュールの動作の一例を示すブロック図である。 幾つかの実施例による、分析計算の動作の一例を示すブロック図である。 幾つかの実施例による、装置のモジュール(たとえば、コンポーネント)を示すブロック図である。 幾つかの実施例による、分析追跡モジュールのモジュール(たとえば、コンポーネント)を示すブロック図である。 幾つかの実施例による、仮想オブジェクトの配信セグメンテーションモジュールの動作の一例を示すブロック図である。 幾つかの実施例による、幾つかの仮想オブジェクトの配信セグメンテーションモジュールの動作の一例を示すブロック図である。 幾つかの実施例による、コンテンツ配信のセグメンテーションのための流れ工程の一例を示す概略図である。 幾つかの実施例による、コンテンツ配信のセグメンテーションのための方法の一例を示すフローチャートである。 幾つかの実施例による、コンテンツ配信のセグメンテーションの別の方法の一例を示すフローチャートである。 幾つかの実施例による、マシン可読媒体からの命令を読みだし、本明細書で論じる1以上の任意の方法を実施可能なマシンのコンポーネントを示すブロック図である。
方法及びシステムの例はコンテンツ配信のセグメンテーションを対象とする。実施例は可能な変形を単に代表するものである。別段明示しない限り、要素及び機能は必須ではなく、組み合わせてもさらに細分化してもよい。動作は、その順序を変更してもよいし、組み合わせてもさらに細分化してもよい。以下の説明を目的とした記載では、実施例の理解を提供するために多くの具体的な詳細を示す。ただし、本主題はこれらの具体的な詳細を用いずに実行しえることは当業者には明らかであろう。
コンテンツ配信のセグメンテーションのためのサーバについて説明する。仮想オブジェクトモデルは複数のセグメントに分割される。複数のセグメントの順序は配信キューに設定される。仮想オブジェクトモデルの各セグメントは、配信キューに配置された順序で装置に配信される。装置は、仮想オブジェクトモデルと関連する物理オブジェクトを認識するように構成される。
拡張現実アプリケーションを用いて、装置のカメラによって取り込まれた物理オブジェクトのリアルタイム映像の上に仮想オブジェクトを重ねた態様で、ユーザは、追加の情報を体験することができる。物理オブジェクトは、拡張現実アプリケーションが識別及び認識可能な目視基準(コンテンツ識別子ともいう)を含んでいてもよい。物理オブジェクトのリアルタイム映像の上に重ねられる仮想オブジェクトの可視化は、装置のディスプレイに生成される。仮想オブジェクトは、認識される目視基準に基づいてもよい。仮想オブジェクトの可視化のレンダリングは、目視基準及び物理オブジェクトに対するディスプレイの位置及び方位に基づいていてもよい。
一の実施形態では、サーバは配信セグメンテーションモジュールを含む。配信セグメンテーションモジュールは、仮想オブジェクトモデルを複数のセグメントに分割し、複数のセグメントの順序を配信キュー内に設定するように構成される。サーバは、仮想オブジェクトモデルの各セグメントを配信キューの順序で装置に配信してもよい。装置は、仮想オブジェクトモデルと関連する物理オブジェクトを認識するように構成される。仮想オブジェクトモデルの各セグメントは、サーバから送信される複数のセグメントの順序で、装置でレンダリングされる。
一の実施形態では、物理オブジェクトに対する装置の位置及び方位に基づいて、装置のディスプレイにレンダリングされる仮想オブジェクトモデルを、サーバが生成する。仮想オブジェクトの提示は、装置で撮像された物理オブジェクトのリアルタイムイメージ上に重ねられる。
一の実施形態では、配信セグメンテーションモジュールは、物理オブジェクトに対する装置の位置及び方位に基づいて、複数のセグメントの順序を配信キューに設定する。
一の実施形態では、配信セグメンテーションモジュールは、物理オブジェクトに対する装置の位置及び方位を決定し、仮想オブジェクトモデルを物理オブジェクトに対する装置の位置及び方位に基づいて複数のセグメントに分割し、物理オブジェクトに対する装置の位置及び方位に基づいて、複数のセグメントを配信する。
他の一の実施形態では、配信セグメンテーションモジュールは、物理オブジェクトに対する装置の位置及び方位に基づいて、仮想オブジェクトモデルの露出部分に対応する第1のセグメントを決定し、かつ、物理オブジェクトに対する装置の位置及び方位に基づいて、仮想オブジェクトモデルの隠れた部分に対応する第2のセグメントを決定する。次いで、配信セグメンテーションモジュールは、第2のセグメントより前に、第1のセグメントを装置に配信する。
他の一の実施形態では、配信セグメンテーションモジュールは、仮想オブジェクトモデルの第1の仮想オブジェクトに対応する第1のセグメントを決定する。この第1の仮想オブジェクトは、物理オブジェクトに対する装置の位置及び方位に基づいて、露出される。配信セグメンテーションモジュールは、仮想オブジェクトモデルの第2の仮想オブジェクトに対応する第2のセグメントを決定する。この第2の仮想オブジェクトは、物理オブジェクトに対する装置の位置及び方位に基づいて、第1の仮想オブジェクトによって視界から隠される。配信セグメンテーションモジュールは、第2のセグメントより前に装置に、第1のセグメントを配信する。
他の一の実施形態では、サーバは、上記装置及び他の装置から受信する分析データに基づいて分析結果を生成する分析計算モジュールを含む。配信セグメンテーションモジュールは、分析結果に基づいて、複数のセグメントの順序を配信キューに設定する。配信セグメンテーションモジュールは分析結果にアクセスし、分析結果に基づいて仮想オブジェクトモデルを複数のセグメントに分割し、分析結果に基づいて、複数のセグメントを配信する。
一の実施形態では、サーバは、装置が取り込んだ物理オブジェクトに対する装置の姿勢推定データと、装置が取り込んだ物理オブジェクトに対する装置の姿勢期間データと、装置が取り込んだ物理オブジェクトに対する装置の姿勢方位データと、装置が取り込んだ物理オブジェクトに対する装置の姿勢相互作用データと、を受信してもよい。姿勢推定データは、装置が対象とする物理オブジェクト又は仮想オブジェクト上の位置を含んでいてもよい。姿勢期間データは、装置が物理オブジェクト又は仮想オブジェクト上の同一の位置を対象とする期間を含んでいてもよい。姿勢方位データは、物理オブジェクト又は仮想オブジェクトを対象とする装置の方位を含んでいてもよい。姿勢相互作用データは、物理オブジェクトに対応する仮想オブジェクトに対する装置上のユーザの相互作用を含んでいてもよい。
一の実施形態では、コンテンツ識別子は2次元イメージ又は3次元オブジェクトモデルを含んでいてもよい。仮想オブジェクトコンテンツは2次元仮想オブジェクトモデル又は3次元仮想オブジェクトモデルを含んでいてもよい。体験ジェネレータはコンテンツ識別子と仮想オブジェクトコンテンツを関連づけ、体験コンテンツデータセットを作成してもよい。
一の実施形態では、2次元仮想オブジェクトモデル又は3次元仮想オブジェクトモデルは、少なくとも1つの相互作用的特性を有する。相互作用的特性は、装置上のユーザからの相互作用に対応して、2次元仮想オブジェクトモデル又は3次元仮想オブジェクトモデルの状態を変更する。サーバは、分析結果に基づいて、体験コンテンツデータセットからの仮想オブジェクトコンテンツの相互作用的特性を変更してもよい。
一の実施形態では、分析データは装置の使用条件を含んでいてもよい。装置の使用条件は、装置のユーザのソーシャル情報、位置使用情報、及び拡張現実アプリケーションを用いた装置の時間情報を含む。
図1はネットワーク図であり、幾つかの実施例による、装置の拡張現実アプリケーションを動作するのに適したネットワーク環境100を示す。ネットワーク環境100は、装置101、クライアント112、及びサーバ110を含み、これらは互いにネットワーク108を通じて通信可能に接続される。装置101、クライアント112、及びサーバ110はそれぞれ、図12で後述するように、コンピュータシステムの全部又は一部で実装されてもよい。
サーバ110は、ネットワーク基盤のシステムの一部であってもよい。たとえば、ネットワーク基盤のシステムは、体験コンテンツのデータセットのキャンペーン最適化を提供するクラウド基盤のサーバシステムであってもよいし、このクラウド基盤のサーバシステムを含んでもよい。クライアント112は、装置101に配信するコンテンツを準備するためのウェブブラウザ又はプログラマチッククライアントを通じてサーバ110にアクセスしてもよい。
ユーザ102は、装置101を用いて、サーバ110により生成されるコンテンツデータセットによって生成される相互作用的コンテンツを体験(たとえば、操作する、見る、又はプレイする)してもよい。1つの実施例では、ユーザ102はクライアント112を利用してサーバ110のコンテンツ生成ツールを用いて、相互作用的コンテンツを装置101上に生成してもよい。ユーザは、人間のユーザ(たとえば、人間)、マシンユーザ(たとえば、ソフトウェアプログラムによって装置101と相互にやりとりするコンピュータ)、又はこれらの任意の適切な組み合わせ(たとえば、マシンに支援される人間又は人間が監視するマシン)であってもよい。ユーザ102はネットワーク環境100の一部ではないが、装置101と関連し、装置101のユーザであってもよい。たとえば、装置101は、ユーザ102が所有するデスクトップコンピュータ、車両コンピュータ、タブレットコンピュータ、ナビゲーション装置、携帯型メディアデバイス、又はスマートフォンであってもよい。
別の例では、ユーザ102は、装置101のアプリケーションのユーザであってもよい。アプリケーションは、リアルタイムで取り込まれた物理オブジェクトのイメージ上に表示される仮想情報をユーザ102に提供する拡張現実アプリケーションを含んでいてもよい。物理オブジェクトは、たとえば、2次元の物理オブジェクト104(たとえば、写真)又は3次元の物理オブジェクト106(たとえば、車又は建物)であってもよい。たとえば、ユーザ102は、2次元の物理オブジェクト104のイメージを取り込むための装置101をポイントしてもよい。イメージは、仮想オブジェクトモデル及び対応するイメージのライブラリを含むローカルコンテクスト認識データセットモジュールを用いて、装置101でローカルに認識される。次いで、拡張現実アプリケーションは、認識したイメージの識別子に応じて、装置101のディスプレイに情報(たとえば、相互作用的3次元仮想オブジェクト)を生成する。取り込んだイメージが装置101でローカルに認識されない場合、装置101は、サーバ110のデータベースからネットワーク108を通じて取り込んだイメージに対応する3次元モデルをリクエストしてもよい。
装置101は、使用法及びユーザ102が物理オブジェクトとかかわる方法をさらに分析するために、分析データを取り込みサーバ110に提供してもよい。たとえば、分析データは、物理オブジェクト又は仮想オブジェクトをユーザが見ていた位置、物理オブジェクト又は仮想オブジェクトの各位置をユーザ102が見ていた時間、物理オブジェクト又は仮想オブジェクトを見ていたときに、ユーザ102が装置101を持っていた方法、ユーザ102が接する仮想オブジェクトの特性(たとえば、ユーザが仮想オブジェクトのリンクをタップしたかなど)を含んでいてもよい。分析データは、別のコンテンツデータセットを生成するために、サーバ110で処理されてもよい。装置101は、新しいコンテンツデータセットに基づいて、追加した又は強調した特性又は新しい体験を備えた仮想オブジェクトを受信しかつ生成してもよい。
図1に示すマシン、データベース、又は装置のいずれかは、本明細書に記載するマシン、データベース、又は装置の1以上の機能を実施する特定の目的のコンピュータとなるようにソフトウェアにより修正された(たとえば、設定又はプログラムされた)汎用コンピュータで実装されてもよい。たとえば、本明細書に記載する任意の1以上の方法を実装することができるコンピュータシステムは、図12において以下に記載する。本明細書で用いる「データベース」は、データ記憶リソースであり、テキストファイル、テーブル、スプレッドシート、関係データベース(たとえば、オブジェクト関係データベース)、トリプルストア、階層データストア、又はこれらの任意の適切な組み合わせとして構造化されるデータを記憶してもよい。さらに、図1に示す任意の2つ以上のマシン、データベース、又は装置を単一のマシンに組み合わせてもよい。本明細書に記載する任意の単一のマシン、データベース、又は装置の機能を複数のマシン、データベース、又は装置間で分割してもよい。
ネットワーク108は、マシン(たとえば、サーバ110)、データベース、及び装置(たとえば、装置101)の間で通信可能な任意のネットワークであってもよい。したがって、ネットワーク108は、有線ネットワーク、無線ネットワーク(たとえば、モバイル又はセルラネットワーク)、又はこれらの任意の適切な組み合わせであってもよい。ネットワーク108は、プライベートネットワーク、パブリックネットワーク(たとえば、インターネット)、又はこれらの任意の適切な組み合わせの1以上の部分を含んでもよい。
図2は、幾つかの実施例によるサーバ110のモジュール(たとえば、コンポーネント)を示すブロック図である。サーバ110は、配信セグメンテーションモジュール202、体験ジェネレータ204、分析計算モジュール206、及びデータベース208を含む。
配信セグメンテーションモジュール202は、仮想オブジェクトモデルを数個の部分又はセグメントに分割してもよい。セグメントは、各セグメントが非同期的に装置101に配信されるように、配信キューに配置される。つまり、仮想オブジェクトモデルの1つのセグメントは、仮想オブジェクトモデルの別のセグメントの前に配信されてもよい。配信セグメンテーションモジュール202は、図3において下記で詳細に記載する。
体験ジェネレータ204は、コンテンツ識別子を認識する装置101にコンテンツデータセットを提供してよく、仮想オブジェクトコンテンツを用いて装置101との相互作用的体験を生成してもよい。一つの実施例では、体験ジェネレータ204は、コンテンツデータセットを用いて仮想オブジェクトモデルを作成する。コンテンツデータセットは、2次元の物理オブジェクト104(たとえば、写真)又は3次元の物理オブジェクト106(たとえば、車)などの物理オブジェクトに対する装置101の位置に基づいて、装置101のディスプレイにレンダリングされる。装置101は、2次元の物理オブジェクト104(たとえば、写真)又は3次元の物理オブジェクト106(たとえば、車)をコンテンツ識別子として認識する。仮想オブジェクトの可視化は、装置101に取り込まれる物理オブジェクトのリアルタイムイメージの上に重ねられた仮想オブジェクトモデルに対応してもよい。仮想オブジェクトモデルは、物理オブジェクトのイメージによって決定されてもよい。
分析計算モジュール206は、装置101又は分析結果を生成する他の装置から受信した分析データを動作してもよい。一実施例では、分析計算モジュール206は、装置101に取り込まれた物理オブジェクトに対する装置101の姿勢推定、装置101に取り込まれた物理オブジェクトに対する装置101の姿勢期間、装置101に取り込まれた物理オブジェクトに対する装置の姿勢方位、及び装置101に取り込まれた物理オブジェクトに対する装置の姿勢相互作用を分析する。姿勢推定は、装置101が対象とする物理オブジェクト又は仮想オブジェクト上の位置を含んでいてもよい。姿勢期間は、装置101が物理オブジェクト又は仮想オブジェクト上の同じ位置を対象としている範囲の期間を含んでいてもよい。姿勢方位は、物理オブジェクト又は仮想オブジェクトを対象とする装置101の方位及び位置を含んでいてもよい。姿勢相互作用は、物理オブジェクトに対応する仮想オブジェクトについて、装置101でのユーザの相互のやりとりを含んでいてもよい。
データベース208は、コンテンツデータセット212と、分析及び結果データ214とを含んでいてもよい。コンテンツデータセット212は、コンテンツ作成ツールを利用したコンテンツ作成テンプレートデータに基づき生成されるデータセットを含んでいてもよい。たとえば、データセットは、相互作用的仮想コンテンツ(たとえば、仮想オブジェクトモデル)及び物理コンテンツのイメージに対応するライブラリ又はテーブルを含んでいてもよい。
分析及び結果データ214は、装置から受信した分析データを含んでいてもよい。たとえば、分析データは、特に、姿勢推定データ、姿勢期間データ、姿勢方位データ、姿勢相互作用データ、感情データを含んでいてもよい。分析及び結果データ214は、分析計算モジュール206によって生成される分析データの分析からの結果データを含んでいてもよい。結果データは、たとえば、コンテンツデータセット212から、仮想コンテンツの最も利用される特性、最も見られる位置を含んでいてもよい。
図3は幾つかの実施例による、配信セグメンテーションモジュール202のモジュール(たとえば、コンポーネント)を示すブロック図である。配信セグメンテーションモジュール202は、分析ベースセグメンテーションモジュール302、視覚ベースセグメンテーションモジュール304、及び、セグメント配信モジュール306を含む。
一実施形態では、分析ベースセグメンテーションモジュール302は、分析結果にアクセスしてもよく、仮想オブジェクトモデルを分析結果に基づいてセグメントに分割してもよい。セグメント配信モジュール306は、セグメントを分析結果に基づいた順序で配信してもよい。
一つの実施例では、視覚ベースセグメンテーションモジュール304は、物理オブジェクト104又は106に対する装置101の位置及び方位を決定する。視覚ベースセグメンテーションモジュール304は、物理オブジェクト104又は106に対する装置101の位置及び方位に基づいて、仮想オブジェクトモデルをセグメントに分割する。セグメント配信モジュール306は、物理オブジェクト104又は106に対する装置101の位置及び方位に基づいた順序で、セグメントを配信してもよい。
他の実施例では、視覚ベースセグメンテーションモジュール304は、仮想オブジェクトモデルの第1の仮想オブジェクトに対応する第1のセグメントを決定してもよい。第1の仮想オブジェクトは、物理オブジェクト104又は106に対する装置101の位置及び方位に基づいて視界に露出されてもよい。視覚ベースセグメンテーションモジュール304は、仮想オブジェクトモデルの第2の仮想オブジェクトに対応する第2のセグメントを決定してもよい。第2の仮想オブジェクトは、物理オブジェクトに対する装置の位置及び方位に基づいて第1の仮想オブジェクトによって、視界から隠されてもよい。セグメント配信モジュール306は、第2のセグメントより前に装置101に第1のセグメントを配信してもよい。
図4は、幾つかの実施例による、配信セグメンテーションモジュール202の動作の例を示すブロック図である。配信セグメンテーションモジュール202の分析ベースセグメンテーションモジュール302は、サーバ110又は装置101によって認識される物理オブジェクトのイメージに対応する分析データ402、分析結果404、及び仮想オブジェクトモデル408を受信する。物理オブジェクトのイメージのハッシュがサーバ110のコンテンツデータセット212のイメージのハッシュと一致する場合、物理オブジェクトのイメージはサーバ110によって認識されてもよい。物理オブジェクトのイメージのハッシュがサーバ装置101のコンテンツデータセットのイメージのハッシュと一致する場合、物理オブジェクトのイメージは装置101によって認識されてもよい。
配信セグメンテーションモジュール202の視覚ベースセグメンテーションモジュール304は、物理オブジェクトに対する装置101の位置及び方位を含む視覚位置データ406と、サーバ110又は装置101によって認識される物理オブジェクトのイメージに対応する仮想オブジェクトモデル408と、を受信する。
セグメント配信モジュール306は、分析ベースセグメンテーションモジュール302又は視覚ベースセグメンテーションモジュール304のいずれかに基づく順序でセグメントを配信してもよい。そこで、一実施例では、セグメントが配信される又はサーバ110から送信される順序は、分析データ及び結果214に基づいていてもよい。たとえば、セグメント配信モジュール306は、分析ベースセグメンテーションモジュール302を用いて、まずセグメントAを、次にセグメントBを、その次にセグメントCを配信又は生成してもよい。他の実施例では、セグメントが配信される順序又はサーバ110から送信される順序は、物理オブジェクトを眺める装置101の方位又は位置に基づいていてもよい。たとえば、セグメント配信モジュール306は視覚ベースのセグメンテーションモジュール304を用いて、まずセグメントBを、次にセグメントCを、その次にセグメントAを配信又は生成してもよい。
図5は、幾つかの実施例による、分析計算モジュール206の動作の例を示すブロック図である。分析計算モジュール206は分析データ402により作動する。一実施例では、分析データ402は、姿勢推定データ502、姿勢期間データ508、姿勢方位データ506、及び姿勢相互作用データ508を含む。
姿勢推定データ502は、装置101が対象としている仮想オブジェクト又は物理オブジェクト上の位置を含んでいてもよい。たとえば、装置101は、装置101で物理オブジェクト104を対象とすることによって生成される仮想的な像の上部を対象としてもよい。他の実施例では、装置101は、雑誌の写真内の人物の靴を、対象としてもよい。
姿勢期間データ504は、物理又は仮想オブジェクト上の同じ位置を装置101が対象としている期間を含んでいてもよい。たとえば、姿勢期間データ504は、ユーザ102が雑誌内の人物の靴に対して、装置が狙いを定めかつそれを維持する時間の長さを含んでいてもよい。靴に対するユーザの感情及び関心は、ユーザ102が装置101を靴に向けて維持した時間の長さに基づいて推測されてもよい。
姿勢方位データ506は物理又は仮想オブジェクトを対象とする装置の方位を決定するよう構成されてもよい。たとえば、姿勢方位モジュール506は、ユーザ102が風景モードで装置101を保持していることを判断し、これにより装置101の方位に基づいて感情又は関心を推定してもよい。
姿勢相互作用データ508は、物理オブジェクトに対応する仮想オブジェクトに対する装置101のユーザ102のインタラクションなデータを含んでいてもよい。たとえば、仮想オブジェクトは、仮想メニュー又はボタンなどの特性を含んでいてもよい。ユーザ102が仮想ボタンをタップすると、装置101のブラウザアプリケーションがタップされた仮想ダイアログボックスに関連づけられている予め選択されたウェブサイトを起動する。姿勢相互作用データ508は、ユーザ102がどのボタンをタップしたか、ユーザ102がどのボタンをどの頻度でタップしたか、各仮想ボタンのクリック率、拡張アプリケーションからユーザ102が訪れたウェブサイトなどを測定し、決定するデータを含んでいてもよい。
分析計算モジュール206は、統計アルゴリズムを用いた傾向、決定されたパターンが提示されたデータを分析する。たとえば、分析計算モジュール206は、最も利用された又はクリックされた特性、最もクリックされた又は最もクリックされなかった仮想オブジェクトの色、最も見られた仮想オブジェクトのエリアなどを決定してもよい。分析計算モジュール206の計算結果は、分析結果404と呼ばれてもよい。
図6は、幾つかの実施例による装置101のモジュール(たとえば、コンポーネント)を示すブロック図である。装置101は、センサ602、ディスプレイ604、プロセッサ606、及び記憶装置616を含んでいてもよい。たとえば、装置101は、デスクトップコンピュータ、車両コンピュータ、タブレットコンピュータ、ナビゲーション装置、携帯メディアデバイス、又はユーザのスマートフォンであってもよい。ユーザは、人間のユーザ(たとえば、人間)、マシンユーザ(たとえば、ソフトウェアプログラムによって装置101と相互にやりとりするコンピュータ)、又はこれらの任意の適切な組み合わせ(たとえば、マシンに支援される人間又は人間に監視されるマシン)を含んでいてもよい。
センサ602は、たとえば、近接センサ、光学センサ(たとえば、電荷結合装置(CCD))、方位センサ(たとえば、ジャイロスコープ)、音声センサ(たとえば、マイクロフォン)を含んでいてもよい。たとえば、センサ602は、リアフェーシングカメラ及びフロントフェーシングーシングカメラを装置101に含んでいてもよい。本明細書に記載するセンサは例示を目的とするものであり、したがって、センサ602は記載するものに限定されないことに留意されたい。
ディスプレイ604は、たとえば、ユーザの入力をタッチ画面ディスプレイ上の接触で受信するように構成されるタッチ画面ディスプレイを含んでいてもよい。別の実施例では、ディスプレイ604は、プロセッサ606によって作成されるイメージを表示するように構成される画面又はモニタを含んでいてもよい。
プロセッサ606は、拡張現実アプリケーション608、セグメントプロセッサ610、及び分析追跡モジュール612を含んでいてもよい。
拡張現実アプリケーション608は、装置101のディスプレイ604に、装置101によって取り込まれた物理オブジェクトのイメージの上に重ねて3次元仮想オブジェクトの可視化を生成してもよい。3次元仮想オブジェクトの可視化は、装置101のカメラに対する物理オブジェクトの位置を調整することによって操作されてもよい。同じように、3次元仮想オブジェクトの可視化は、物理オブジェクトに対する装置101の位置を調整することによって操作されてもよい。
一つの実施例では、拡張現実アプリケーション608は、記憶装置614内のコンテンツデータセット616と通信して、取り込まれたイメージと関連する仮想オブジェクトの3次元モデルを再現する。たとえば、取り込まれたイメージは、識別可能なイメージ、シンボル、文字、数、マシン可読コードからなる目視基準(マーカとも呼ばれる)を含んでいてもよい。たとえば、目視基準は、バーコード、QRコード(登録商標)、又は、以前に3次元仮想オブジェクトと関連づけられたイメージを含んでいてもよい。
一つの実施例では、セグメントプロセッサ610は、セグメントをサーバ110から受信し、装置で受信したセグメントにおける、各セグメントの仮想オブジェクトの一部をレンダリングする。サーバ110から受信したセグメントは、記憶装置614の仮想オブジェクトセグメント618に、ローカルに格納されてもよい。仮想オブジェクトのすべてのセグメントが受信されると、仮想オブジェクトモデルはコンテンツデータセット616に転送され、格納される。
分析追跡モジュール612は、ユーザ102の物理オブジェクトに対する関わり方に関する分析データを追跡してもよい。たとえば、分析追跡モジュール612は、物理オブジェクト又は仮想オブジェクトをユーザ102が見ている場所、物理オブジェクト又は仮想オブジェクトの各位置をユーザ102が見ている長さ、物理オブジェクト又は仮想オブジェクトを見るときに、ユーザ102が装置101をどのように持っているか、ユーザ102が相互にやり取りする仮想オブジェクトの特性(たとえば、ユーザが仮想オブジェクト内のリンクをタップしたかどうか)を追跡してもよい。
記憶装置614は、目視基準のデータベース(たとえば、イメージ)及びこれに対応する仮想オブジェクトモデル(たとえば、3次元仮想オブジェクト、3次元仮想オブジェクトの相互作用的特性)をコンテンツデータセット616に格納するように構成されてもよい。たとえば、目視基準は、マシン可読コード又は以前に識別されたイメージ(たとえば、靴の写真)を含んでいてもよい。以前に識別された靴のイメージは、靴の写真に対する装置101の位置を操作して異なる角度から見ることができる、靴の3次元の仮想モデルに対応してもよい。3次元仮想靴の特性は、靴の3次元仮想モデルの選択可能なアイコンを含んでいてもよい。アイコンは、装置101をタップ又は移動することによって、選択又は起動されてもよい。
一つの実施例では、記憶装置614は、コンテンツデータセット616、仮想オブジェクトセグメント618、及び分析データ620を含む。
コンテンツデータセット610は、たとえば、一連のイメージ及び対応するコンテンツ体験(たとえば、相互作用的の3次元仮想オブジェクトモデル)を含む。コンテンツデータセット610は、サーバ110によって決定される、イメージのコアセット又は最も人気のあるイメージを含んでいてもよい。イメージのコアセットは、サーバ110によって識別される制限のある数のイメージを含んでいてもよい。たとえば、イメージのコアセットは、最も人気のある10の雑誌のカバーイメージ及び対応する体験(たとえば、仮想オブジェクト)を含んでいてもよい。他の実施例では、サーバ110は、サーバ110で受信された最も人気があるか又はよくスキャンされるイメージに基づいて、第1のセットのイメージを生成してもよい。
コンテンツデータセット616は、またたとえば、サーバ110から読みだされる第2のセットのイメージ及び対応する体験(たとえば、3次元仮想オブジェクトモデル)も含んでいてもよい。たとえば、装置101で取り込まれたが、イメージのコアセットで認識されないイメージは、認識のためにサーバ110に提出される。取り込まれたイメージがサーバによって認識される場合は、対応する体験は装置101でダウンロードされ、コンテンツデータセット616に格納されてもよい。
分析データ620は、分析追跡モジュール612によって収集される分析データに対応する。
一つの実施例では、装置101は、ネットワーク108を通じてサーバ110と通信し、目視基準のデータベースの一部、対応する3次元仮想オブジェクト、及び3次元仮想オブジェクトの対応する相互作用的特性を読みだす。ネットワーク108は、マシン、データベース、及び装置(たとえば、装置101)の間で通信可能な任意のネットワークであってもよい。したがって、ネットワーク108は、有線ネットワーク、無線ネットワーク(たとえば、モバイル又はセルラネットワーク)、又はこれらの任意の適切な組み合わせであってもよい。ネットワークは、プライベートネットワーク、パブリックネットワーク(たとえば、インターネット)、又はこれらの任意の適切な組み合わせの1以上の部分を含んでいてもよい。
本明細書で説明される任意の1以上のモジュールは、ハードウェア(たとえば、マシンのプロセッサ)、又はハードウェアとソフトウェアの組み合わせにより実装されてもよい。たとえば、本明細書で説明される任意のモジュールは、そのモジュールのために、本明細書で説明される動作を実行するためのプロセッサを構成してもよい。さらに、任意のこれらの2以上のモジュールは、単一のモジュールの組み合せであってもよく、かつ、単一のモジュールの本明細書で説明される機能は、複数のモジュールの間で細分化されてもよい。さらに、様々な実施例によれば、単一のマシン、データベース、又は装置内で実行されるような、本明細書で説明されるモジュールは、複数のマシン、データベース、又は装置に分散されていてもよい。
図7は、幾つかの実施例による、分析追跡モジュール718のモジュール(たとえば、コンポーネント)を示すブロック図である。分析追跡モジュール718は、姿勢推定モジュール702、姿勢期間モジュール704、姿勢方位モジュール706、及び姿勢相互作用モジュール708を含む。
姿勢推定モジュール702は、装置101が対象とする仮想オブジェクト又は物理オブジェクト上の位置を検出するように構成されてもよい。たとえば、装置101は、装置101が物理オブジェクト104を狙うことによって生成される、仮想的な像の上部を対象としてもよい。他の実施例では、装置101は、雑誌の写真内の人物の靴を対象としてもよい。
姿勢期間モジュール704は、装置101が物理オブジェクト又は仮想オブジェクト上の同じ位置を対象としている期間を決定するように構成されてもよい。たとえば、姿勢期間モジュール704は、ユーザ102が装置で雑誌内の人物の靴に狙いを定め、かつそれを維持する時間の長さを測定してもよい。靴の感情及び関心は、ユーザ102が装置101を靴に向けて維持した時間の長さに基づいて推測されてもよい。
姿勢方位モジュール706は、物理オブジェクト又は仮想オブジェクトを対象とする装置の方位を決定するように構成されてもよい。たとえば、姿勢方位モジュール706は、ユーザ102が風景モードで装置101を保持していると決定してもよく、したがって、感情又は関心を装置の方位101に基づいて推定してもよい。
姿勢相互作用モジュール708は、装置101上での物理オブジェクトに対応する仮想オブジェクトに対するユーザの相互作用102を決定するように構成されてもよい。たとえば、仮想オブジェクトは、仮想メニュー又はボタンなどの特性を含んでいてもよい。ユーザ102が仮想ボタンをタップする場合には、装置101のブラウザアプリケーションが、タップされた仮想ダイアログボックスに関連づけられた予め選択されたウェブサイトを起動する。姿勢相互作用モジュール708は、ユーザ102がタップしたボタン、各仮想ボタンのクリック率、拡張現実アプリケーション608からユーザ102が訪れるウェブサイトなどを測定し、決定してもよい。
図8Aは、幾つかの実施例による、仮想オブジェクト810の配信セグメンテーションモジュールの動作の例を示すブロック図である。装置101は、セグメントBの前にセグメントAを受信する。本実施例では、セグメントAは、装置101の位置に基づいて、仮想オブジェクト810の露出された部分802に対応する。セグメントBは、装置101の位置に基づいて、隠れた(非露出)部分804に対応する。そこで、装置101は、セグメントBの前にセグメントAを処理することによって、まずは仮想オブジェクト810の露出された部分802をレンダリングする。
図8Bは、幾つかの実施例による、数個の仮想オブジェクトの配信セグメンテーションモジュールの動作の例を示すブロック図である。仮想オブジェクト806は仮想オブジェクト808の視覚をブロックする。そこで、装置101は、処理セグメントDを処理して仮想オブジェクト808をレンダリングする前に、まずはセグメントCを受信及び処理して、仮想オブジェクト806をレンダリングする。
図9は幾つかの実施例による、体験を行う例を示す概略図である。装置901は、装置901によって認識される写真906が有する物理オブジェクト904を指してもよい。装置901は、イメージ908のハッシュを、装置910の視覚位置及び方位データと共にサーバ110に出力する。物理オブジェクト904に対する視覚位置及び方位は、写真906の位置及び方位に基づいて決定されてもよい。
サーバ110の配信セグメンテーション202は、写真906に関連する仮想オブジェクトモデル908を数個のセグメント、つまり、セグメントA、B、及びCに分割する。配信セグメンテーション202は、次に、物理オブジェクト904に対する装置901の相対的位置及び方位に基づいて、各セグメントの配信に優先順位をつける。たとえば、仮想オブジェクトのセグメントAが916で最初に配信され、それによって、装置101は、セグメントAに対応する部分のレンダリングを開始してもよい。他の実施例では、まず多くのユーザがセグメントAに対応する建物の上部を検証することが、分析データによって示されてもよい。次にセグメントBが装置に配信され、レンダリングされる。セグメントCは、建物の底部及び反対側に対応するため、最後となる。ユーザが上部からのアングルで建物を見るため、セグメントCは、上部からのアングルで建物を見ているユーザの視界からは隠れており、最後にレンダリングすることができる。このように、セグメントは、受信される順序で装置の上にレンダリングされる。
図10は、幾つかの実施例による、コンテンツ配信のセグメンテーションの方法の例を示すフローチャートである。動作1002で、サーバ110の配信セグメンテーションモジュール202は、イメージデータ及び分析データ及び結果を1以上の装置から受信してもよい。
動作1004で、配信セグメンテーションモジュール202は、イメージデータに関連する仮想オブジェクトモデルを読みだす。
動作1006で、配信セグメンテーションモジュール202は、装置からの分析に基づいて、仮想オブジェクトモデルをセグメントに分割する。
動作1008で、配信セグメンテーションモジュール202は、分析に基づいて、セグメントに優先順位を付ける。
動作1010で、配信セグメンテーションモジュール202は、セグメントを優先順位に基づいた順序で配信する。
図11は、幾つかの実施例による、コンテンツ配信のセグメンテーションの他の方法の例を示すフローチャートである。
1102で、配信セグメンテーションモジュール202は、イメージデータ及び視覚位置を装置から受信する。
1104で、配信セグメンテーションモジュール202は、イメージデータに関連する仮想オブジェクトモデルを読みだす。
1106で、配信セグメンテーションモジュール202は、視覚位置に基づいて仮想オブジェクトモデルをセグメントに分割する。
1108で、配信セグメンテーションモジュール202は、視覚位置に基づいてセグメントに優先順位を付ける。
1110で、配信セグメンテーションモジュール202は、優先順位に基づいた順序でセグメントを配信する。
図12は、幾つかの実施例による、マシン1200のコンポーネントを示すブロック図である。マシン可読媒体(たとえば、マシン可読記憶媒体、コンピュータ可読記憶媒体、又はこれらの任意の適切な組み合わせ)からの命令を読み取ることができ、本明細書で論じる任意の1以上の方法の全体又は一部を実施することができる。具体的には、図12はコンピュータシステムの実施例の形式でマシン1200の図を示す。コンピュータシステムでは、マシン1200に本明細書で論じる任意の1以上の方法の全体又は一部を実行させる命令1224(たとえば、ソフトウェア、プログラム、アプリケーション、アプレット、アプリ、又は他の実行可能なコード)が実行されてもよい。代替的な実施例では、マシン1200はスタンドアロンの装置として動作してもよく、又は他のマシンに接続(たとえば、ネットワーク接続)されてもよい。ネットワーク化されたデプロイメントでは、マシン1200は、サーバマシン又はサーバ−クライアントネットワーク環境内のクライアントマシンとして、又は分散(たとえば、ピアツーピア)ネットワーク環境のピアマシンとして動作してもよい。マシン1200は、連続するか又は他の方法で、サーバコンピュータ、クライアントコンピュータ、パーソナルコンピュータ(PC)、タブレットコンピュータ、ラップトップコンピュータ、ネットブック、セットトップボックス(STB)、携帯情報端末(PDA)、携帯電話、スマートフォン、ウェブアプライアンス、ネットワークルータ、ネットワークスイッチ、ネットワークブリッジ、又はそのマシンが取るべきアクションを特定する命令1224を実行可能な任意のマシンであってもよい。さらに、単一のマシンのみが例示されているが、「マシン」という用語は、一群のマシンを含むように解釈されてもよい。一群のマシンは、個別に又は合同で命令1224を実行して、任意の1以上の本明細書で論じる方法のすべて又は一部を実施する。
マシン1200は、バス1208を介して互いに通信するように構成されるプロセッサ1202(たとえば、中央処理装置(CPU)、グラフィックプロセッサ(GPU)、デジタルシグナルプロセッサ(DSP)、特定用途向け集積回路(ASIC)、高周波集積回路(RFIC)、又はこれらの任意の適切な組み合わせ)、メインメモリ1204、及びスタティックメモリ1206を含む。マシン1200はさらに、グラフィックスディスプレイ1210(たとえば、プラズマディスプレイパネル(PDP)、発光ダイオード(LED)ディスプレイ、液晶ディスプレイ(LCD)、プロジェクタ、又はブラウン管(CRT))を含んでいてもよい。マシン1200はまた、英数字入力装置1212(たとえば、キーボード)、カーソル制御装置1214(たとえば、マウス、タッチパッド、トラックボール、ジョイスティック、モーションセンサ、又は他のポインティング機器)、記憶装置1216、信号発生器1218(たとえば、スピーカ)、及びネットワークインターフェース機器1220を含んでいてもよい。
記憶装置1216はマシン可読媒体1222を含む。マシン可読媒体1222上には、本明細書に記載する任意の1以上の方法又は機能を実現する命令1224が格納される。命令1224はまた、マシン1200による実行中に、完全に又は少なくとも部分的に、メインメモリ1204内、プロセッサ1202内(たとえば、プロセッサのキャッシュメモリ内)、又は両方にあってもよい。したがって、メインメモリ1204及びプロセッサ1202はマシン可読媒体と考えられてもよい。命令1224は、ネットワーク1226(たとえば、ネットワーク108)を通じて、ネットワークインターフェース装置1220を介して、送信されても受信されてもよい。
本明細書で用いる、「メモリ」という用語は、データを一時的又は永続的に記憶可能なマシン可読媒体を指し、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、バッファメモリ、フラッシュメモリ、及びキャッシュメモリを限定せずに含むように解釈されてもよい。実施例では、マシン可読媒体1222は単一の媒体として示されるが、「マシン可読媒体」という用語は、命令を記憶可能な単一の媒体又は複数の媒体(たとえば、中央又は分散データベース、又は関連するキャッシュ及びサーバ)を含むように解釈されるべきである。「マシン可読媒体」という用語はまた、マシン(たとえば、マシン1200)によって実行可能な命令を記憶可能な任意の媒体、又は複数の媒体の組み合わせを含むように解釈されるべきである。それによって、マシンの1以上のプロセッサ(たとえば、プロセッサ1202)によって実行される場合に、命令は本明細書に記載する任意の1以上の方法をマシンに実施させることができる。このように、「マシン可読媒体」は単一の記憶機器又は装置、ならびに複数の記憶機器又は装置を含む「クラウドベースの」記憶システム又は記憶ネットワークを指す。「マシン可読媒体」という用語は、したがって、固体メモリ、光学媒体、磁気媒体、又はこれらの任意の適切な組み合わせの形式で1以上のデータデポジトリを限定せずに含むように解釈されるべきである。
本明細書を通して、複数の事例は、単一の事例として説明されるコンポーネント、動作、又は構造を実装してもよい。1以上の方法の個々の動作は、別個の動作として示され、且つ説明されてはいるが、1以上の個々の動作は同時に実施されてもよく、且つ示された順番で動作が実施されることは、要求されない。構成例において、別個のコンポーネントとして提示された構造及び機能性は、組み合わされた構造又は組み合わされたコンポーネントとして実装されてもよい。同様に、単一のコンポーネントとして提示された構造及び機能性は、別個のコンポーネントとして実装されてもよい。これらの及び他の変形例、変更例、追加例、及び改善例は、本明細書における主題の範囲内である。
ある実施例は、本明細書では、ロジック又は多数のコンポーネント、モジュール、又はメカニズムを含むものとして説明される。モジュールは、ソフトウェアモジュール(たとえば、マシン可読媒体上において、又は伝送信号において具体化されたコード)、又はハードウェアモジュールのいずれかを構成してもよい。「ハードウェアモジュール」は、ある動作を実施できる有形ユニットであり、且つある物理的方法において構成されるか、又は配列されてもよい。様々な実施例で、1以上のコンピュータシステム(たとえば、スタンドアロンコンピュータシステム、クライアントコンピュータシステム、又はサーバコンピュータシステム)、又はコンピュータシステム(たとえば、プロセッサ又は一群のプロセッサ)の1以上のハードウェアモジュールは、本明細書で説明されるような、ある動作を実施するために動作するハードウェアモジュールとして、ソフトウェア(たとえば、アプリケーション又はアプリケーションの部分)によって構成されてもよい。
幾つかの実施例では、ハードウェアモジュールは、機械的に、電気的に、又はこれらの適切な任意の組み合わせで実装されてもよい。たとえば、ハードウェアモジュールは、ある動作を実施するように永続的に構成される、専用の回路又はロジックを含んでもよい。たとえば、ハードウェアモジュールは、フィールドプログラマブルゲートアレイ(FPGA)又はASICのような特殊用途プロセッサであってもよい。ハードウェアモジュールはまた、ある動作を実施するようにソフトウェアによって一時的に構成される、プログラム可能なロジック又は回路を含んでもよい。たとえば、ハードウェアモジュールは、汎用プロセッサ又は他のプログラム可能なプロセッサの中に包含されるソフトウェアを含んでもよい。正しく理解されることであろうが、専用の、且つ永続的に構成された回路において、又は一時的に構成された回路において(たとえば、ソフトウェアによって構成された)、ハードウェアモジュールを機械的に実装するための決断は、コスト及び時間を考慮することによって主導される。
したがって、表現「ハードウェアモジュール」は、有形実体を包含すると理解されるべきであり、実体とは、物理的に構築され、永続的に構成されるか(たとえば、ハードウェアにより実現される)、又はある方法で動作するように、又は本明細書で説明されたある動作を実施するように、一時的に構成される(たとえば、プログラムされる)。本明細書で使用されるように、「ハードウェア実装モジュール」は、ハードウェアモジュールを指す。ハードウェアモジュールが一時的に構成される(たとえば、プログラムされる)実施形態を考えれば、ハードウェアモジュールの各々は、時間におけるいずれの段階にあっても、構成される必要がないか、又は実証される必要が無い。たとえば、ハードウェアモジュールが、特殊用途プロセッサになるように、ソフトウェアによって構成された汎用プロセッサを備える場合、その汎用プロセッサは、異なる時には、それぞれ異なる特殊用途のプロセッサ(たとえば、異なるハードウェアモジュールを備える)として構成されてもよい。ソフトウェアは、したがって、たとえば、時間のある1つの段階では特別なハードウェアモジュールを構成し、且つ時間の異なる段階では異なるハードウェアモジュールを構成するように、プロセッサを構成してもよい。
ハードウェアモジュールは、他のハードウェアモジュールへ情報を提供し、且つ他のハードウェアモジュールから情報を受信することが可能である。従って、説明されたハードウェアモジュールは、通信的に結合されていると見なされてもよい。複数のハードウェアモジュールが同時に存在するところでは、通信は、2以上のハードウェアモジュール間での、又は2以上のハードウェアモジュールの中での信号伝送(たとえば、適切な回路及びバスを通しての)によって達成されてもよい。複数のハードウェアモジュールが、異なる時間に構成される、又は実証される実施例では、そのようなハードウェアモジュール間の通信は、たとえば、複数のハードウェアモジュールがアクセスするメモリ構造における情報の記憶及び読みだしによって達成されてもよい。たとえば、1つのハードウェアモジュールは、動作を実施し、且つ、その動作の出力を、該ハードウェアモジュールが結合されるメモリ装置に記憶してもよい。さらなるハードウェアモジュールは、その後、より遅い時間に、記憶された出力を読みだすと共に処理するために、メモリ装置にアクセスしてもよい。ハードウェアモジュールはまた、入力装置又は出力装置との通信を開始してもよく、且つ、リソース上で動作することが可能である(たとえば、情報の収集)。
本明細書で説明された方法例の様々な動作は、少なくとも部分的には、1以上のプロセッサによって実施されてもよく、該1以上のプロセッサは、関連する動作を実施するように一時的に構成されるか(たとえば、ソフトウェアによって)、又は永続的に構成される。一時的に又は永続的に構成される、そのようなプロセッサは、本明細書で説明された、1以上の動作又は機能を実施するために動作する、プロセッサ実装モジュールを構成してもよい。本明細書で使用されるように、「プロセッサ実装モジュール」は、1つ以上のプロセッサを使用して実装されるハードウェアモジュールを指す。
同様に、本明細書で説明された方法は、少なくとも部分的にはプロセッサ実装であってもよく、プロセッサはハードウェアの一例である。たとえば、1つの方法の、少なくとも幾つかの動作は、1以上のプロセッサ、又はプロセッサ実装モジュールによって実施されてもよい。その上、1以上のプロセッサはまた、「クラウドコンピューティング」環境における、又は「サービスとしてのソフトウェア(SaaS)」としての、関連する動作の性能を支援するために動作してもよい。たとえば、少なくとも幾つかの動作は、一群のコンピュータ(プロセッサを含むマシンの例として)によって実施されてもよく、これらの動作は、ネットワーク(たとえば、インターネット)を介して、且つ1以上の適切なインターフェース(たとえば、アプリケーションプログラムインターフェース(API))を介してアクセス可能である。
ある動作の性能は、1以上のプロセッサの中で分散されてもよく、これら1以上のプロセッサは、単一マシン内に常駐するだけでなく、多数のマシンにわたって配備される。幾つかの実施形態例では、1以上のプロセッサ又はプロセッサ実装モジュールは、単一の地理的場所に位置してもよい(たとえば、ホーム環境、オフィス環境、又はサーバファームの中で)。他の実施形態例では、1つ以上のプロセッサ又はプロセッサ実装モジュールは、多数の地理的場所にわたって分散されてもよい。
本明細書で説明された主題のいくつかの部分は、マシンメモリ(例えば、コンピュータメモリ)内でビット又は2値のデジタル信号として格納されたデータ上の、動作のアルゴリズム又は記号的表現の観点で提示されてもよい。そのようなアルゴリズム又は記号的表現は、データ処理技術において当業者によって使用される技術例であり、それによって、自分達の仕事が他の当業者に伝えられる。本明細書で使用されるように、「アルゴリズム」は自己矛盾がない動作系列、又は望ましい結果に導く同様な処理である。この文脈では、アルゴリズム及び動作は、物理量の物理的動作に関与する。典型的には、しかし必ずしもというわけではないが、そのような量は、電気的信号、磁気的信号、又は光学的信号の形態を取ってもよく、これらの信号は、マシンによって、格納され、アクセスされ、転送され、組み合わされ、比較され、又は他の方法で操作され得る。主として通常使用の理由のために、「データ」、「コンテンツ」、「ビット」、「値」、「構成要素」、「記号」、「文字」、「用語」、「数」、「数字」などのような単語を用いて、そのような信号を指すことは時には簡便である。しかしながら、これらの単語は単なる簡便な標識であり、適切な物理量に関連付けられるべきものである。
特に別段の記載がない限り、本明細書で「処理」、「算出」、「計算」、「決定」、「提示」、「表示」などの用語を用いる論議は、マシン(たとえば、コンピュータ)のアクション又は処理を指してもよい。マシンは、1以上のメモリ(たとえば、揮発性メモリ、不揮発性メモリ、又はこれらの任意の適切な組み合わせ)、レジスタ、又は情報を受信し、記憶し、送信し、又は表示する他のマシンコンポーネント内の物理量(たとえば、電子、磁気、又は光学)として表されるデータを動作又は変換する。さらに、別段明示的な記載がない限り、本明細書で用いる「1つの(「a」又は「an」)」は特許文献で一般的なように、1又は1より多い事例を含む。最後に、別段明示的な記載がない限り、本明細書で用いる「又は」という接続詞は、非排他的な「又は」を指す。





  1. 配信セグメンテーションモジュールによって埋め込まれたプロセッサであって、
    仮想オブジェクトモデルを複数のセグメントに分割し、かつ、前記複数のセグメントの順序を配信キューに設定するように構成されるプロセッサと、
    前記仮想オブジェクトモデルの各セグメントを装置への前記配信キューの順序で配信するように構成される体験ジェネレータであって、前記装置は、前記仮想オブジェクトモデルと関連する物理オブジェクトを認識するように構成される体験ジェネレータと、
    前記仮想オブジェクトモデルを記憶するメモリと、
    を有する、サーバ。

  2. 請求項1に記載のサーバであって、
    前記仮想オブジェクトモデルの各セグメントは、前記サーバから送信される前記複数のセグメントの順序で、前記装置でレンダリングされる、
    サーバ。

  3. 請求項1に記載のサーバであって、
    前記体験ジェネレータは、前記物理オブジェクトに対する前記装置の位置及び方位、前記装置が取り込む前記物理オブジェクトのリアルタイムイメージに重ねられる前記仮想オブジェクトの表示に基づいて、前記装置のディスプレイにレンダリングされる前記仮想オブジェクトモデルを生成するように構成される、
    サーバ。

  4. 請求項1に記載のサーバであって、
    前記配信セグメンテーションモジュールは、前記物理オブジェクトに対する前記装置の位置及び方位に基づいて、前記複数のセグメントの前記順序を前記配信キューに設定する、
    サーバ。

  5. 請求項4に記載のサーバであって、
    前記配信セグメンテーションモジュールは、
    前記物理オブジェクトに対する前記装置の前記位置及び前記方位を決定し、かつ、前記物理オブジェクトに対する前記装置の前記位置及び前記方位に基づいて、前記仮想オブジェクトモデルを前記複数のセグメントに分割するように構成される視覚ベースセグメンテーションモジュールと、
    前記物理オブジェクトに対する前記装置の前記位置及び前記方位に基づいて、前記複数のセグメントを配信するように構成されるセグメント配信モジュールと、
    を有する、サーバ。

  6. 請求項5に記載のサーバであって、
    前記視覚ベースセグメンテーションモジュールは、
    前記物理オブジェクトに対する前記装置の前記位置及び前記方位に基づいて、前記仮想オブジェクトモデルの露出部分に対応する第1のセグメントを決定し、
    前記物理オブジェクトに対する前記装置の前記位置及び前記方位に基づいて、前記仮想オブジェクトモデルの隠れた部分に対応する第2のセグメントを決定するように構成され、
    前記セグメント配信モジュールは、前記第2のセグメントよりも前に、前記第1のセグメントを前記装置に配信するように構成される、
    サーバ。

  7. 請求項5に記載のサーバであって、
    前記視覚ベースセグメンテーションモジュールは、
    前記仮想オブジェクトモデルの第1の仮想オブジェクトであって、前記物理オブジェクトに対する前記装置の前記位置及び前記方位に基づいて露出される前記第1の仮想オブジェクトに対応する第1のセグメントを決定し、かつ、
    前記仮想オブジェクトモデルの第2の仮想オブジェクトであって、前記物理オブジェクトに対する前記装置の前記位置及び前記方位に基づいて、前記第1の仮想オブジェクトによって視界から隠されるように構成される前記第2の仮想オブジェクトに対応する第2のセグメントを決定するように構成され、
    前記セグメント配信モジュールは、前記第2のセグメントよりも前に前記第1のセグメントを前記装置に配信するように構成される、
    サーバ。

  8. 請求項1に記載のサーバであって、
    前記装置及び他の装置から受信する分析データに基づく分析結果を生成するように構成される分析計算モジュールをさらに備え、
    前記配信セグメンテーションモジュールは、前記分析結果に基づいて、前記複数のセグメントの前記順序を前記配信キューに設定する、
    サーバ。

  9. 請求項8に記載のサーバであって、
    前記配信セグメンテーションモジュールは、
    前記分析結果にアクセスし、前記分析結果に基づいて、前記仮想オブジェクトモデルを前記複数のセグメントに分割するように構成される分析ベースセグメンテーションモジュールと、
    前記分析結果に基づいて、前記複数のセグメントを配信するように構成されるセグメント配信モジュールと、
    を有する、サーバ。

  10. 請求項8に記載のサーバであって、
    前記分析計算モジュールは、
    前記装置が取り込んだ前記物理オブジェクトに対する前記装置の姿勢推定データと、前記装置が取り込んだ前記物理オブジェクトに対する前記装置の姿勢期間データと、前記装置が取り込んだ前記物理オブジェクトに対する前記装置の姿勢方位データと、前記装置が取り込んだ前記物理オブジェクトに対する前記装置の姿勢相互作用データと、
    を受信するように構成される、サーバ。

  11. コンピュータ実装方法であって、
    仮想オブジェクトモデルを複数のセグメントに分割し、かつ、前記複数のセグメントの順序を配信キューに設定し、かつ、
    仮想オブジェクトモデルと関連する物理オブジェクトを認識するように構成される装置に対して、前記仮想オブジェクトモデルの各セグメントを前記配信キューの順序で配信する
    ことを含む、方法。

  12. 請求項11に記載のコンピュータ実装方法であって、
    前記仮想オブジェクトモデルの各セグメントは、前記サーバから送信される前記複数のセグメントの順序で前記装置でレンダリングされる、方法。

  13. 請求項11に記載のコンピュータ実装方法であって、
    前記物理オブジェクトに対する前記装置の位置及び方位に基づいて、前記装置のディスプレイにレンダリングされる前記仮想オブジェクトモデルであって、前記装置に取り込まれた前記物理オブジェクトのリアルタイムイメージに重ねられた前記仮想オブジェクトの表示を生成すること、
    をさらに含む、方法。

  14. 請求項11に記載のコンピュータ実装方法であって、
    前記物理オブジェクトに対する前記装置の位置及び方位に基づいて、前記複数のセグメントの前記順序を前記配信キューに設定することをさらに含む、方法。

  15. 請求項14に記載のコンピュータ実装方法であって、
    前記物理オブジェクトに対する前記装置の前記位置及び前記方位を決定し、
    前記物理オブジェクトに対する前記装置の前記位置及び前記方位に基づいて、前記仮想オブジェクトモデルを前記複数のセグメントに分割し、
    前記物理オブジェクトに対する前記装置の前記位置及び前記方位に基づいて、前記複数のセグメントを配信する
    ことをさらに含む、方法。

  16. 請求項15に記載のコンピュータ実装方法であって、
    前記物理オブジェクトに対する前記装置の前記位置及び前記方位に基づいて、前記仮想オブジェクトモデルの露出部分に対応する第1のセグメントを決定し、
    前記物理オブジェクトに対する前記装置の前記位置及び前記方位に基づいて、前記仮想オブジェクトモデルの隠れた部分に対応する第2のセグメントを決定し、
    前記第2のセグメントよりも前に、前記第1のセグメントを前記装置に配信する、
    ことをさらに含む、方法。

  17. 請求項15に記載のコンピュータ実装方法であって、
    前記仮想オブジェクトモデルの第1の仮想オブジェクトであって、前記物理オブジェクトに対する前記装置の前記位置及び前記方位に基づいて露出される前記第1の仮想オブジェクトに対応する第1のセグメントを決定し、
    前記仮想オブジェクトモデルの第2の仮想オブジェクトであって、前記物理オブジェクトに対する前記装置の前記位置及び前記方位に基づいて前記第1の仮想オブジェクトによって視界から隠されている前記第2の仮想オブジェクトに対応する第2のセグメントを決定し、
    前記第2のセグメントよりも前に、前記第1のセグメントを前記装置に配信する、
    ことをさらに含む、方法。

  18. 請求項11に記載のコンピュータ実装方法であって、
    前記装置及び他の装置から受信した分析データに基づいて、分析結果を作成し、
    前記分析結果に基づいて前記複数のセグメントの順序を前記配信キューに設定する、
    ことをさらに含む、方法。

  19. 請求項18に記載のコンピュータ実装方法であって、
    前記分析結果にアクセスし、かつ、前記分析結果に基づいて、前記仮想オブジェクトモデルを前記複数のセグメントに分割し、
    前記分析結果に基づいて、前記複数のセグメントを配信する、
    ことをさらに含む、方法。

  20. 命令を備える非一時的なマシン可読媒体であって、マシンの1以上の複数のプロセッサによって実行される場合、前記命令は、
    仮想オブジェクトモデルを複数のセグメントに分割し、前記複数のセグメントの順序を配信キューに設定し、
    前記仮想オブジェクトモデルの各セグメントを前記配信キューの順序で装置に配信することであって、前記装置は前記仮想オブジェクトモデルと関連する物理オブジェクトを認識する、
    ように構成されることを含む動作を前記マシンに実施させる、マシン可読媒体。


 

 

Patent trol of patentswamp
類似の特許
マルチモーダルイメージング環境において画像マテリアルを視覚化する装置である。X線イメージャ100及び超音波プローブUSPからの画像XF、USVは、3Dシーンを形成するためにインタラクティブグラフィックスディスプレイGUIに融合される。3Dシーンでは、超音波ボリュームUSVの3DレンダリングUSSと一緒に、X線投影面XFが、同じシーン内で遠近法によって表示される。レンダリングは、ユーザによって選択されたビューUVに応じたものであり、当該ビューは、ユーザがインタラクティブグラフィックスディスプレイGUIとインタラクトすることによって変更可能である。
本発明は、ユーザの左眼(16a)を補足するように配置された少なくとも第1のカメラ(14a)、及びユーザの右眼(16b)を補足するように配置された少なくとも第2のカメラ(14b)を備える両眼視線追跡システム(14a,14b)と、ユーザの左眼(16a)に画像を提示するよう配置された第1の表示手段(18a)、及びユーザの右眼(16b)に画像を提示するよう配置された第2の表示手段(18b)を備えるヘッドマウントディスプレイ(10)と、前記視線追跡システム(14a,14b)からの画像を処理し、少なくとも、前記左眼(16a)及び右眼(16b)の3D位置及び前記左眼(16a)及び右眼(16b)の方向ベクトルを計算し、前記ヘッドマウントディスプレイによって前記ユーザの左眼及び右眼(16a,16b)に投影すべきディジタル画像のストリームを計算及びレンダリングするように設計された処理装置(24,24a,24b)と、を備えるヘッドマウントシステム(10)に関し、本発明によれば、このヘッドマウントシステムおいて、前記処理装置(24,24a,24b)は、更に、前記ディジタル画像のストリーム計算及びレンダリングする際に、前記左眼及び右眼(16a,16b)の3D位置及び前記左眼及び右眼(16a,16b)の方向ベクトルを考慮するように設計される。本発明は、ヘッドマウントディスプレイを用いてディジタル画像のストリームを計算しレンダリングするための方法にも関する。
3D画像信号を処理するためのシステムが提供される。3D画像信号は、2D画像信号(図4a)と、3Dディスプレイ上で2D画像信号の3Dレンダリングを可能にする2D補助信号(図4b)とを備える。システムは、2D画像信号内のユーザ定義2D領域(182)をユーザが確立することを可能にするためのユーザインタフェースサブシステム(180)と、2D画像信号を3Dレンダリングする際の3Dディスプレイの表示面上の表示領域に対応する、2D補助信号内の2D領域(142)を定義するための領域定義器(140)と、i)2D画像信号を3Dレンダリングする際の表示領域内の所望の量の奥行き低減を表現する奥行き低減パラメータを取得し、ii)奥行き低減パラメータから調整値を導き出すための奥行きプロセッサ(160)とを備える。したがって、表示領域内の奥行き低減は、すなわち、調整値に基づいて2D領域内部の2D補助信号の信号値を調整することによって、確立されることができる。システムは、3D画像信号内のハードコード化されたオーバーレイに対して奥行き低減を適用するために有利的に用いられてもよい。
【課題】医師や検査技師が、複雑な三次元のデータボリューム画像を、簡易で直感的な操作でナビゲート可能なシステムおよび方法を提供する。
【解決手段】配向感知可能な表示装置を利用して三次元データボリューム画像データを提示するシステムおよび方法であって、表示装置20を傾斜させ、持ち上げ、および持ち下げることにより、ボリューム画像を簡易にナビゲートできる。これにより、特に、装置が患者などの画像データ元に、または画像データ元の近くに配置された場合、装置自体が、ボリューム画像に入り込むウィンドウとして利用できるという印象をユーザが得るように、表示装置の角度および位置に関連する画像30を画面上に提示する。
【選択図】図1
【課題】再合焦画像の焦点スタックから、該焦点スタックから導出した全焦点画像を使用して適応スライス画像を生成する。
【解決手段】焦点スタック中においてスライス画像を選択することS725と、適応スライス画像中に合焦させる、全焦点画像中の少なくとも1つの被写体を選択することS730と、全焦点画像中の選択した少なくとも1つの被写体を選択したスライス画像に合成することによって適応スライス画像を生成するS735。
【選択図】図7
【課題】オブジェクトの画像からオブジェクトの3Dモデルのテクスチャマップを作成するための方法および装置を提供する。
【解決手段】現実世界のオブジェクトの3Dモデルのテクスチャマップを生成するためのシステムは、カメラ、およびカメラの視野の反射面を含む。反射面は、ターゲットオブジェクトの1または複数の反射面がカメラに映るように位置付けされる。カメラはターゲットオブジェクトのダイレクト画像、および反射面からの反射画像をキャプチャする。画像プロセッサデバイスは、反射ビューの歪みを検出することにより、キャプチャされた画像において、ターゲットオブジェクトのダイレクト画像から反射ビュー/画像を分離する。画像プロセッサは、反射ビューにおいて歪みを低減し、ターゲットオブジェクトの3D空間の特性および反射ビューに基づいたテクスチャマップを生成する。
【選択図】図1
【課題】部品との対応がわかりやすく引出線を配置できる引出線配置位置決定プログラム、引出線配置位置決定方法および引出線配置位置決定装置を提供する。
【解決手段】受付部41は、オブジェクトが配置された3次元CAD空間でオブジェクトを表示させる視点の位置の指定を受け付ける。特定部51は、オブジェクトが配置された3次元CAD空間を、指定された視点から表示する場合に、該視点から見た場合に表示される該オブジェクトの形状を特定する。引出線配置部52は、特定したオブジェクトの形状から定まる位置に、引出線の一方の端を配置する。
【選択図】図1
【課題】 医療処置中のX線透視画像のリアルタイムシミュレーションのための方法及びシステムを提供する。【解決手段】 方法は、X線透視撮影システムの第1の座標系と、磁気位置追跡システムの第2の座標系とを位置合わせすることを含む。磁気位置追跡システムを使用して、患者の器官の3次元(3D)マップを算出する。位置合わせされた第1の座標系及び第2の座標系を使用して、第2の座標系内でのX線透視撮影システムの視野(FOV)を算出する。3Dマップ及び算出されたFOVに基づいて、X線透視撮影システムにより生成されるであろうX線透視画像をシミュレートする2次元(2D)画像を形成し、X線透視画像をシミュレートする2D画像を表示する。【選択図】 図1
【課題】対象物が不規則な形状である場合に、対象物分割を実行するときに、規則的形状の対象物に変換することにより、対象物分割中の処理負荷を軽減する装置及び方法を提供する。【解決手段】3次元画像から対象物を分割する方法及び装置を定義する。まず、1つの次元、2つの次元又は3つの次元のラプラシアンオブガウシアンフィルタなどのスケール推定処理を使用して、対象物の表面が推定される。第2に、規則的形状の(好ましくはほぼ球面の)非等方性形状を提供するために、推定された表面に各次元で独立して縮小関数を適用することにより、推定された表面が変換される。対象物は、その背景のボリュームから分割され、逆変換されて当初の形状に戻され、当初の形状は画像ボリュームから隔離される。【選択図】図3
【課題】ユーザがCT画像の容疑物を速くマークするとともに、仮想危険品画像を含むか否かのフィードバックを提供することができるセキュリティーチェックCTシステム及びその方法を提供する。
【解決手段】被検体の検査データを読み取る。被検体の、検査データから得られた3D検査画像に少なくとも1つの3D仮想禁制品画像(Fictional Threat Image)を挿入する。この3D仮想禁制品画像を含む3D検査画像における少なくとも1つの領域、またはこの3D仮想禁制品画像に対応する2D仮想禁制品画像を含む2D検査画像における少なくとも1つの領域に対する選択を受信し、この2D検査画像は、前記3D検査画像又は検査データから得られたものである。この選択に応答して、3D検査画像に少なくとも1つの3D仮想禁制品画像が含まれることに関するフィードバックを提供する。
【選択図】図4A
To top