モニタリングのための拡張現実方法およびシステム

著者らは特許

G06T15/20 - 透視演算
G06T19/00 - コンピュータグラフィックスのための3Dモデルまたはイメージの操作

の所有者の特許 JP2016528775:

スネクマ

 

ディスプレイ(14)とカメラ(24)とを備えたシステムを用いて、デバイス(20)の監視のために画像を表示するための方法である。この方法は、次のステップ、すなわち、
a0)デバイスの状態パラメータが取得されるステップと、
a1)アクティブカメラが選択されるステップと、
a2)取得画像パラメータと合成画像パラメータとが決定されるステップと、
b2)取得画像パラメータに従ってカメラ画像が取得されるステップと、
c)合成画像パラメータに従ってデバイスの合成画像が計算されるステップと、
d)表示される監視画像を形成するために、取得画像と合成画像とが現実的に組み合わされるステップと
を含む。
デバイスの状態パラメータに応じて、ステップa2)において画像パラメータが決定される、および/または、ステップc)において合成画像が計算される、および/または、ステップd)において監視画像が形成される。
この方法を実行する監視システムである。

 

 

本発明は、デバイスの監視のための監視画像の表示方法と監視システムとに関する。このデバイスは、産業用ツール、マシン、車両、生物、建物などであり得る。
監視は、デバイスの通常の動作モード、デバイスがテストの対象となるとき、または任意の他の特定の状況のいずれかにおいて生じ得る。
本発明は、特にモータの監視のために、より詳しくはターボマシンまたはロケットモータの監視のために、それらがテストの対象となるときに用いられ得る。
産業界では、たとえば生産ユニットなど、デバイスの動作の監視は、一般的に、監視システムを用い、監視スタッフの責任の下で行われる。
そのような監視システムは、一般的に、その画像が1つまたは複数のモニタ上に表示される1つまたは複数のカメラを備えた映像監視手段を備える。
監視システムは、また、たとえば流体循環図などの図がその上に表示されるモニタを備え得るのであって、そして、その図の上には生産ユニットの臨界パラメータの値がリアルタイムで表示される。
監視システムは、また、デバイスの異なるパラメータをモニタし任意の誤動作を知らせるアラートメッセージを送るトラッキング(またはモニタリング)システムも含み得る。これらのメッセージは、上述した流体循環図の上に表示され得る。
監視スタッフは、カメラから受信された画像と受信されたメッセージとをリアルタイムで解析する。これらのメッセージに応じて、監視スタッフは、カメラの1つの視野角を特に修正すること、または、監視されている生産ユニットの特定の部分において画像を拡大することさえも可能である。
異常または誤動作の場合には、多くのエラーまたは異常メッセージが、監視システムによって、ほとんど同時に表示される。かなりの量の情報が表示された場合、監視スタッフが情報を十分かつ迅速に消化し、関連する情報を選択して、最適な決定を行うのは困難である。
特に、重要な情報がいくつかのモニタ(カメラによって撮影された画像を示す映像モニタ、流体循環図を示すモニタ、アラートメッセージとデバイスの臨界変数の値とをオプションとして表示するモニタなど)にわたって分散され、そのことが、監視スタッフが状況を理解し必要な決定を行う際の業務を複雑にする。
仏国特許出願公開第2956701号明細書
また、本発明の第1の目的は、監視されているデバイスが監視スタッフによってより容易に理解されるように、監視されているデバイスに関する情報の最適化された表示を可能にする監視システムを用いたデバイスの監視のための表示方法を提案することである。
この目的を達成するため、本発明の第1の態様により、ディスプレイとデバイスの全体または一部を撮影できるように配置された少なくとも1つの実カメラとを備えた監視システムを用いてデバイスを監視するための監視画像表示方法が、提案される。
この表示方法は、以下のステップ:すなわち、
a0)デバイスの少なくとも1つ状態パラメータが取得されるステップと、
a1)システムが複数のカメラを備える場合には、アクティブカメラと称されるカメラが、複数のカメラから選択されるステップと、
a2)具体的には取得画像パラメータの1組と合成画像パラメータの1組とである2組の画像パラメータが決定されるステップであって、各組の画像パラメータが、デバイスに対する相対的なカメラ位置および向きと、カメラの1つまたは複数の光学パラメータとを含む、決定されるステップと、
b2)アクティブカメラを用い、取得された画像パラメータに従って、デバイスの全体または一部を示す取得画像が取得されるステップと、
c)合成画像パラメータを考慮しながら仮想カメラが提供することができるように、デバイスまたはデバイスの一部の合成画像が計算されるステップと、
d)監視画像と称される画像が、監視画像を形成するために取得画像と合成画像とが現実的に組み合わされるように、取得画像と合成画像とから形成されるステップと、
e)監視画像がディスプレイ上に表示されるステップと
を含む。
また、ステップa2)において、画像パラメータが、デバイスの前記少なくとも1つの状態パラメータに応じて決定され、および/または、ステップc)において、合成画像が、デバイスの前記少なくとも1つの状態パラメータに応じて計算され、および/または、ステップd)において、監視画像が、デバイスの前記少なくとも1つの状態パラメータに応じて形成される。
好ましくは(しかし、必ずではないが)、この表示方法がリアルタイムで実行されることにより、ディスプレイ上に表示される監視画像はリアルタイムで更新されることが可能である。ディスプレイは、デバイスの変化をリアルタイムで示すフィルムまたはビデオシーケンスを表示する。
この表示方法は、2つのタイプの画像を用いる:すなわち、(実)カメラによって取得される画像である取得画像と、デバイスを示す合成画像とである。合成画像は、デバイス(または、その少なくとも一部)の3次元デジタルモデルを用いて計算される。
非常に概略的には、本発明による表示方法は、したがって、実カメラ(アクティブカメラ)を用いてデバイスの画像を取得することと、デバイスの全体または一部を示す合成画像を計算することと、次に表示される監視画像を形成するために取得画像と合成画像とを組み合わせることとから構成される。
取得画像と合成画像との組合せがデバイスに関する最重要の情報が監視画像に保持されるようになされることは、明らかである。
そのため、取得され組み合わされた画像は、単一のディスプレイまたはモニタ上に、任意の時点において、デバイスの最も関連する表現を与えるのである。
通常の動作では、表示される監視画像は、カメラの1つによって取得されるような、デバイスの外部的な全体図であり得る。
しかし、本発明による表示方法は、表示の可能性を分割し(demultiplies)、合成画像に一体化される追加的情報をカメラから来る情報(取得画像)に追加する。結果的な監視画像は、監視されているデバイスの振る舞いに関する理解に特に有益である、極度に豊富な画像を含む。合成画像は、たとえばデバイスの隠された内部の部分を表すのに役立ち得る。
監視画像に含まれている情報の豊富さおよび量によって、デバイスの監視を確実にするのに必要なモニタの個数を減らすことが、一般的に可能である。
また、有利なことに、監視画像は、デバイスの状態に応じて形成されるのであるが、その理由は、画像パラメータの決定または合成画像の計算または監視画像の形成が、デバイスの状態パラメータに応じて行われるからである。
この目的のためには、特定の組の画像パラメータ、および/または、特定の合成画像の計算モード、および/または、特定の監視画像の形成のモードは、当然に、予め選択されるべきであって、デバイスがある所定の状態にあるときには、形成される監視画像がデバイスの状態を解釈しデバイスの監視を可能にするために特に適切であるように、構成される。
この動作モードは、特に適切な合成画像を監視者に提出することを可能にし、典型的には、監視されているデバイスの状態を解析し誤動作を識別して適当な訂正作用をトリガするために監視者によって費やされる時間を短縮する。
画像パラメータ
画像パラメータ(デバイスに対するカメラの向きおよび位置、カメラの光学パラメータ)とは、カメラの画像に何が現れるかを決定するパラメータである。画像パラメータは、実際に、カメラがどこに位置決めされるか、カメラがどの向きに配置されるか、およびカメラの光学パラメータ(ズームなど)が何であるかを特定する。
取得画像パラメータは、アクティブカメラによって取得された画像に何が現れるかを定義し、合成画像パラメータは、合成画像が計算されるステップc)の間にどの画像が計算されるのかを定義する。
画像パラメータは、したがって、実カメラに関係し得るか、または、仮想シーンに位置決めされている画像を生じる仮想カメラにも関係し得る。
画像パラメータが決定されるステップa2)は、その間に、選択された(アクティブカメラ)または決定された(画像パラメータ)要素が、デフォルトの値を想定するか、または、反復されることで、監視システムによって実行されるプログラムにおいて先行するイテレーションの間に用いられた値を保持するかのいずれかである、という受動的なステップであり得る。
いくつかの場合において、アクティブカメラの選択が、それ自体により、2組の画像パラメータを決定するのであるが、これは、それら2組の(取得画像および合成画像)パラメータに関して、アクティブカメラである間に、これらの画像パラメータが取られるときである。なお、このアクティブカメラである間に画像パラメータが取られるというのが、最も多くの場合に生じることである。
しかし、取得画像パラメータと合成画像パラメータとの間には、いくつかの差異も存在し得る。
取得画像パラメータと合成画像パラメータとは、たとえば:
− アクティブカメラの位置決めおよび/もしくは向きのエラーの補償に関して異なり得るし、ならびに/または、アクティブカメラの光学パラメータにおいて異なり得るのであって、
− その理由は、合成画像はアクティブ画像の一部だけを表現するからである。
合成画像
合成画像とは、仮想カメラが提供し得るようなデバイスまたはデバイスの一部の画像である。合成画像は、実際、デバイス(またはその一部)の3次元デジタルモデルを含んでおり1つまたは複数の「仮想カメラ」が位置決めされている仮想シーンから(それ自体が知られているように)取得され、レンダリングされた画像である。
いくつかの場合には、仮想シーンと実デバイスとの間に差異が存在することが適切な場合があり得る。
たとえば、仮想シーンは、オプションとして、テストの対象となるデバイスの他に目的物のデジタルモデルを含み得る。仮想シーンは、たとえばロケットモータの動作テストであれば、モータの燃料タンクなどのモデルを含み得るのであるが、その場合、これらの目的物の表現により、監視スタッフにとって画像を理解することが容易になる。
他方で、合成画像においては、オプションではあるが、デバイスが不完全である場合があり得る(または同等に、デバイスの部分がモニタに対して透明なことがあり得る)。
他の場合には、たとえば、デバイスの構成に関するより読み取りやすい表現を可能にするために「展開された」位置にあるなど、デバイスが、仮想シーンにおいては、現実とは異なるように位置決めされることがあり得る。
また、合成画像は、一般に、デバイスのデジタルモデルの画像レンダリング上に重ねられた追加的情報によって、豊富にされる。この追加的情報は、特に、リアルタイムで変動し得る。この追加的情報は、通常、それが関係する画像の地点の近傍において、合成画像の中に一体化されている。
この追加的情報は、デバイスのいくつかのパラメータの変動範囲における、デバイス自体の上に位置決めされた表現であり得る。
この表現は、「故障の色」を用いて、すなわち、示されているパラメータの値の異なる範囲と従来関連する異なった色を用いて、完成され得る。
この追加的情報は、最終的には、象徴的な、特に言語的な情報を含み得る。
合成画像は、それが一体化している追加的情報により、および/または、それが実カメラによっては可視的でない(もしくは、はるかに見にくい)デバイスの部分を示すという事実により、監視スタッフに、デバイスにおいて進行中である物理現象をより良く理解させ、結果的にはその物理現象がどのように変化していくのかをより容易に理解させる。
取得画像と計算画像との組合せ
監視画像では、取得画像と合成画像とを、複数の異なる方法で組み合わせることが可能である。
これらの2つの画像は、部分的に透明な層を用いることによって、重ね合わせられ得る。また、合成画像と取得画像とが相補なこともあり得るのであって、たとえば、監視画像において、デバイスのある特定の箇所に関するすべてのピクセルが合成画像から来ており、それ以外のピクセルは取得画像から来ている、ということがあり得る。
監視画像は、透過性を用いて、取得画像と合成画像とにそれぞれ対応する複数の異なる層を組み合わせることができる。
当然であるが、本表示方法は、はるかにより効果的なのであって、その理由は、取得画像と合成画像とが監視画像において現実的に組み合わされるからである。
これらの2つの画像が現実的に組み合わされるという事実は、これらの2つの画像が、組み合わされるときには、合成画像によって示されるデバイスの部分が、カメラによって取得された画像によって示されるデバイス(すなわち、デバイスの残り)の部分に対し相対的に正常な位置に、または少なくとも正常に見える位置に現れる画像を形成する、ということを意味する。
この方法が実行されているときには、ステップc)で当初に計算された画像をカメラによって取得された画像と現実的に組み合わせることが不可能である、ということが生じ得る。
この問題を修正するために、本発明による方法のある実施形態においては、監視画像を形成するために取得画像と合成画像とが現実的に組み合わされるように、ステップd)の間に合成画像が修正および/または再計算される。
何よりもまず、取得画像と合成画像とが完全に対応することが絶対に必要であるということに留意されたい。有利であることに、監視画像は、取得画像と合成画像との間にいくらかの差異が存在する場合であっても、その利点を保つ。
これらの差異は、何よりもまず、重要性が最小に過ぎない場合でも、合成画像の寸法再決定(redimensioning)を実行することによって、すなわち、その2つの方向に沿った拡張または収縮とオプションであるが回転とを適用することによって、克服され得る。
取得画像と合成画像との間の差異が相当程度ある場合には、これは、アクティブカメラによる有効画像取得パラメータに関する誤差に起因し得る。
実際には、カメラの画像パラメータは、これらのパラメータの測定誤差であると知られる。したがって、取得画像に対する理論的な画像パラメータと有効な画像パラメータとの間には幅が存在し得る。
この場合、ステップd)において、取得画像からその取得画像の現実の画像パラメータを識別し、取得画像の有効パラメータから合成画像パラメータを更新し、更新された合成画像パラメータを考慮に入れながら合成画像を再計算し、最後に監視画像を再計算することが必要である。
本表示方法では、一般に、一定数の選択が、監視スタッフの制御の下に残される:特に、その画像がディスプレイ上に表示されるアクティブカメラと、アクティブカメラのパラメータ(位置、向き、光学パラメータ)との選択である。
いくつかの場合には、異なるカメラからのパラメータとは対応しないあるカメラ位置もしくは向きまたはさらにはカメラの光学パラメータを用いてデバイスが撮影されている監視画像を表示する、ということが決定され得る。
この場合には、監視画像表示方法は、次の通りに実行され得る:すなわち、ステップa2)において、関連する瞬間において実カメラのどれのものでもない画像パラメータが決定され、ステップb2)において取得画像を取得するのに先立って、ステップb1)の間に、アクティブカメラのパラメータが、ステップa2)で決定された画像パラメータと実質的に対応するように、構成される。
よって、この実施形態では、画像パラメータが、新たな好適な値を想定するように、カメラに強制される。換言すると、好適な監視画像のタイプは前もって選択され(デバイスに対するカメラの特定の位置および向き、そのズーム倍率など)、アクティブカメラがこの選択に応じて選択され、アクティブカメラは、この選択に応じて、位置決めされ、向きが決められ、調節される。
また、取得画像と合成画像とが組み合わされる方法は、一般的に、監視スタッフによって監視システムの動作の間に特定される。この方法では、たとえば、合成画像を表示するための機能を自由にすることが可能であり、合成画像においては、デバイスの特定のパラメータの機能を表示するだけでなく、見ることを望まないデバイスのコンポーネントを透明(またはモニタには見えないよう)にすることが可能である。
他方では、これらの可能性に加え、本発明による監視画像表示方法は、いくつの状況において表示を自動的に修正する能力を有する。
この目的により、監視システムは、その間にデバイスの1つまたは複数の状態パラメータが取得されるこの方法のステップa0)によって、デバイスの変化を知らされる。監視システムは、たとえば、デバイスのトラッキングシステム(健全性トラッキングシステムまたは「健全性モニタリングシステム」と称される)によって好ましくは周期的かつリアルタイムで送信されるデバイスの状態パラメータを受信することができる。
このまたはこれらの状態パラメータの取得に続いて、そして本発明に従い、監視画像を取得する際に生じる以下の動作の少なくとも1つが、デバイスの状態パラメータに応じて行われる:
− ステップa2)において、画像パラメータが決定され、および/または
− ステップc)において、合成画像が計算され、および/または
− ステップd)において、監視画像が形成される。
デバイスのパラメータは、時間に対して可変なパラメータである。これらのパラメータは、デバイスのデフォルトまたは誤動作情報であり得る、または、デバイスのデフォルトまたは誤動作情報を含み得る。この情報は、たとえば、デバイスのトラッキングシステムによって生成されるアラートまたはアラームメッセージであり得る。
ある実施形態では、監視システムを表示する際の変化を正当化するデバイスの状態パラメータのどのような変動の後でも、画像パラメータが調節される、ならびに/または、合成画像および/もしくは監視画像が好ましくはリアルタイムで再計算される。そのようにして、監視スタッフは、リアルタイムで、ディスプレイ上において、監視されるデバイスのどのような変化についても知らされる。
特に、ステップa0)において取得されたデバイスの状態パラメータが所定のしきい値を超えると、ステップa2)において画像パラメータが修正され得る、および/または、ステップc)において合成画像が再計算され得る、および/または、ステップd)で監視画像が再形成され得る。
監視画像は、したがって、それ自体、検出された異常に関係している。
本発明は、また、計算ユニットと、ディスプレイと、デバイスの少なくとも1つの状態パラメータを取得することができるデバイスのトラッキング手段と、少なくとも1つのカメラとを備えたデバイスの監視のための監視システムを備えており、計算ユニットは:
a)監視画像と称される画像のために、前記少なくとも1つのカメラによって撮影されるデバイスに対する相対的なカメラ位置および向きとカメラの1つまたは複数の光学パラメータとを含む画像パラメータを決定し、システムが複数の実カメラを備えるときには複数のカメラからアクティブカメラと称されるカメラの選択を行うことができる決定手段(またはモジュール)と、
b2)決定手段によって決定された画像パラメータに従って、アクティブカメラの画像を取得することができる取得手段と、
c)決定手段によって決定された画像パラメータを考慮しながら仮想カメラが提供することができるように、デバイスまたはデバイスの一部の合成画像を計算することができる計算手段と、
d)監視画像を形成するために取得画像と合成画像とが現実的に組み合わされるように、取得画像と合成画像とから監視画像と称される画像を形成することができる画像形成手段と
を備えており、ディスプレイが監視画像を表示する(e)ことができ、システムにおいては、
− 決定手段が、画像パラメータを、デバイスの前記少なくとも1つの状態パラメータに応じて決定することができ、および/または
− 計算手段が、合成画像を、デバイスの前記少なくとも1つの状態パラメータに応じて計算することができ、および/または
− 監視画像形成手段が、監視画像を、デバイスの前記少なくとも1つの状態パラメータに応じて形成することができる。
監視画像のための画像パラメータは、一般的には、ステップb2)で画像を取得するためと、ステップc)で合成画像を計算するためとに同時に用いられる、画像パラメータの1組である。
これらは、また、ステップb2)での画像取得のためと、ステップc)で合成画像形成のためとにそれぞれ用いられる、具体的には取得画像パラメータの1組と合成画像パラメータの1組という、別の2組の画像パラメータでもあり得る。
決定手段が、この後者の場合に、互換的な取得画像パラメータと合成画像パラメータとを定義できるということ、すなわち、ステップd)において、これらのパラメータに基づいて生成された取得画像と合成画像とを現実的に組み合わせることが可能であるということは、明らかである。
上述した点b2)、c)およびd)と同様に、計算ユニットは:
b2)決定手段によって決定された画像パラメータに従って、アクティブカメラの画像を取得し、
c)決定手段によって決定された画像パラメータを仮想カメラが考慮し得るように、デバイスまたはデバイスの一部の合成画像を計算し、
d)監視画像を形成するように取得画像と合成画像とが現実的に組み合わされるように、監視画像と称される画像を、取得画像と合成画像とから形成する、
ように構成されることがいえる。
以下の改良も、単独でまたは組合せによって、採用され得る:
− 取得手段は、少なくとも1つの実カメラの少なくとも1つのパラメータを、前記パラメータと計算ユニットによって決定された画像パラメータとが等しくなるように、調節できることがあり得る。
− 計算および/または画像形成手段は、監視画像を形成するために取得画像とここで修正されたおよび/または再計算された画像とがステップd)において現実的に組み合わされるように、取得画像に応じて合成画像を修正および/または再計算できることがあり得る。
− 監視システムでは、モニタリング手段は、異常検出手段であり得る。
− 決定手段は、デバイス上で検出された異常に応じて、画像パラメータを(ステップa2で)決定できることがあり得る。
− モニタリング手段は、この場合に、大量の入手可能な異常情報から主たる異常情報を選択できる異常インタープリタを、修正された画像をこの主たる異常情報に応じて計算するために備えた異常検出手段を備えていることがあり得る。
− 計算手段は、デバイス上で検出された異常に応じて、合成画像をステップc)で計算できることがあり得る。
本発明の範囲において、デバイスの全体または一部を撮影できるように配置された少なくとも1つの実カメラに接続されたコンピュータによって実行されると、上述したように定義された表示方法のステップを実行させるための命令を含むコンピュータプログラムもまた提案される。
本発明の範囲において、デバイスの全体または一部を撮影できるように配置された少なくとも1つの実カメラに接続されたコンピュータによって実行されると、上述したように定義された表示方法のステップを実行させるための命令を含むコンピュータプログラムが記録されたコンピュータ可読な記録媒体もまた提案される。
非限定的な例を通じて示された実施形態に関する以下の詳細な説明から、本発明がより良く理解され、その効果がより明瞭に浮かび上がるであろう。この説明では、添付された次の図面が参照される:
本発明による監視システムの概略図である。 ある実施形態での本発明によるプロセスのステップを例証する図である。 本発明によるプロセスが実行される間の画像計算に用いられる仮想シーンの概略図である。 取得画像および合成画像からの監視画像の形成を例証する概略図である。
本発明による監視システム10が、ロケットモータ20上で行われるテストを監視するためのものとして、図1に概略的に示されている。
この監視システム10は、テストを担当する監視スタッフに、制御パネルから、モータ20のために提供される適切なテストを制御させる。
モータ20は、従来の方式で動作テストの対象とされるノズル21を備えたテストロケットモータである。それは、この目的のためにテストベンチ上に配置されているが、図示されていない。
モータ20には、このロケットモータ(またはデバイス)20のモニタリング手段を構成する異なるセンサ22が装備されている。センサ22は、たとえば温度、圧力、加速度など、モータの状態パラメータを測定する。
モータ20は、また、異なるカメラ24の監視下に置かれる。
センサ22は、コンピュータまたは電子制御ユニット(「ECU」)26に接続されている。その機能は、動作テストの間、モータ20の変化をリアルタイムで持続的にモニタすることである。コンピュータ26は、モータ20の「健全なモニタリングシステム」を構成する。そのようなシステムは、たとえば、フランス特許第FR2956701号に記載されている。
監視システム10は、モニタ(またはディスプレイ)14とキーパッド16とが接続された計算ユニット12を備える。監視システムは、さらに、第2の制御モニタ14’と第2のキーパッド16’とを備える。
計算ユニット12は、モニタ14上にモータ20の監視画像を表示することを可能にするコンピュータ表示プログラムを実行するように設計されている。この目的のために、計算ユニット12は、アクティブカメラと画像パラメータとを決定することができる決定手段12aと、カメラ画像を取得するための取得手段12bと、デバイスの合成画像を計算するための計算手段12cと、そして最後に、取得手段と計算手段とによって供給される画像から監視画像を形成するための画像形成手段12dとを備える。
取得手段12bは、また、カメラ(および、その位置決めとその向きとを可能にする位置決め手段)に、好適な位置パラメータと光学パラメータとを送信することができる。したがって、これはまた、カメラパラメータの調節手段を構成する。
表示プログラムの初期化
3Dシーンの作成
計算ユニット12の表示プログラムは、データとして、モータ20の3次元デジタルモデル20’を用いる。プログラムの初期化の間に、モータ20のデジタルモデル20’がその中に配置された仮想シーンが定義される。実カメラ24のものと同一の光学(仮想)特性を有する仮想カメラ24’が、仮想シーンの中に位置決めされる。結果的な仮想シーンが、図4によって図解されている。
プログラムのパラメータ化
また、予め定義された振る舞いの1組がプログラムされる。
それぞれの予め定義された振る舞いは:
− センサ22によって測定された状態パラメータの関数である条件または基準(および、オプションとして時間などの他の数値)と、
− このように定義された条件または基準が満たされる場合に用いられる画像パラメータの値と
を含む。
したがって、システムが実行され、予め定義された条件または基準が満たされるとすぐに、ディスプレイとオプションであるがアクティブカメラとが、これらの条件に対して予め定義された画像パラメータを直ちに採用する。これにより、状況に最も適合した表示が、監視スタッフの注意のために直ちに表示されることが可能になる。
監視システム10は、たとえば、モータベアリングの振動レベルの上昇を検出した場合には、以下の予め定義された振る舞いを有するように、プログラムされ得る:
− アクティブカメラがベアリングの配置位置に向けられ、最大の拡大倍率(ズーム)で画像を取得するように、画像パラメータが調節される、
− ベアリングに最も近いカメラが、アクティブカメラとして選択され、ベアリングの近くに移動され、ベアリングの方向に向けられ、その拡大倍率が最大にされる、
− 画像が、このカメラによって取得される、
− 計算手段12cが、その中ではベアリングが特定の色で示されているベアリングの合成画像を計算する、
− 画像形成手段12dが、ベアリングのこの合成画像とモータの残りを示す取得画像とを組み合わせて、得られた監視画像がモータの全体画像中のベアリングの合成画像を示すようにする。監視画像が形成されている間は、監視画像の中で合成画像が全体として可視的となるように、合成画像が、カメラによって取得された画像を含む層の前に配置された層の上に配置される。
監視画像10は、たとえば、以下の予め定義された振る舞いを有するようにも、プログラムされ得る。
計算手段は、実質的にリアルタイムで、理論的なデジタルモデルを用いて、たとえば以下のような入手可能な測定値に応じて、モータにおけるいくつかのパラメータの変動を計算することができる:
− 電力消費、
− 熱伝達。
この後で、計算手段は、合成画像の中に、計算されたパラメータの変動範囲の色付きの表現を、組み入れる。この色付きの表現は、たとえ限られた数の具体的な計測値があったとしても、色勾配という形式にすることが可能である。
表示プログラムの実行
表示プログラムの主なステップが、図2によって図解されている。
表示プログラムは、以下で説明されるステップS0)からe)までをループ内で永続的に実行する反復的なプログラムであり、ステップe)が実行されるたびに監視画像を更新する。
ステップa0)監視情報の更新
このプログラムの冒頭のステップa0は、何よりもまず、モータ20の状態パラメータの更新された値を取得することで構成される。この情報は、リアルタイムで、コンピュータ26によって、計算ユニット12に送られる。この情報は、計算ユニット12の画像パラメータの決定手段12aによって、取得される。
この情報は、モータのパラメータ値を、および/または、異常な値がいくつかのパラメータに関して提起されるときにはコンピュータ26からのアラートメッセージを、含む。
プログラムのステップa0は、また、たとえばアクティブカメラの選択や、表示されている画像に関するいくつかの画像パラメータなど、監視スタッフによって特定された値または命令を取得することで構成される。特定されたパラメータは、特に、アクティブカメラに影響を与える画像パラメータ、および/または、表示される画像に組み込まれる合成画像に影響を与える合成画像パラメータから取得される。
ステップa1)およびa2)アクティブカメラおよび画像パラメータの決定
第1の処理ステップa1)およびa2)は、計算ユニット12の決定手段12aによって行われる。この決定手段は、アクティブカメラを決定し、取得画像パラメータと合成画像パラメータとを決定する。次にモニタ14上に表示される監視画像の形成を考慮すると、このステップは、したがって、以下を決定することによって構成される:
− 異なる複数のカメラ24から、デバイスまたはその一部の写真を供給するアクティブカメラと、
− 具体的にはモータ20に対するアクティブカメラの画像化位置および向きである、アクティブカメラによって取得画像が有することになる取得画像パラメータ、および、たとえばズーム倍率などそのカメラが取らなければならない光学パラメータと、
− 具体的にはモータ20のデジタルモデルに対する合成画像の画像化位置および向きである、合成画像が有することになる合成画像パラメータ、空間におけるデジタルモデルの特定の位置(これは、対応する実際のものの位置とは異なり得る)、ならびに、たとえばズーム倍率などの仮想シーンの画像を生成するために仮想カメラが取らなければならない光学パラメータと
である。
最も多くの場合には、取得画像パラメータは、合成画像パラメータと同一である。しかし、システム10によって実行されるプログラムは、取得画像のための画像パラメータと合成画像のための画像パラメータとが異なるように、提供されることがあり得る。この状況は、たとえば、好適な監視画像はモータ20の全体画像であるにもかかわらず、たとえば小さなサイズのコンポーネントのようなモータの1つのコンポーネントだけを示す合成画像がこの全体画像に挿入される場合などにおいて、生じ得る。合成画像の画像パラメータは、合成画像が考察対象であるコンポーネントだけを示すように、特定される。
他方で、最も多くの場合に、決定手段は、(取得および合成)画像パラメータとして、以前に用いられたアクティブカメラ24の画像パラメータを用いる。監視システム10を操作している監視スタッフは、(システムの始動の間に用いられた)アクティブカメラをデフォルトで特定するのであるが、また、先にステップS0で示されたように、新たなカメラをアクティブカメラとして特定している、または、画像パラメータを修正している、ということもあり得る。
したがって、監視スタッフの命令を考慮して、決定手段は、取得画像と合成画像とのためのパラメータを定義する。
監視システム10の特に興味深い特性は、テストの間にモータ20が誤動作を生じた場合の、その振る舞いである。
(所定のリストの一部を形成する)特定の誤動作メッセージがコンピュータ26によってユニット12に送られる場合には、または、モータ20のあるパラメータがある所定の値を超える場合には、ステップa2)において、計算ユニット12によって実行されるプログラムが、それ自体で、自動的に、新たな画像パラメータを定義する。
たとえば、モータ20の重要なコンポーネントに関するある特定の誤動作メッセージが受け取られる場合には、決定手段は、(監視スタッフの介入なしに)自動的に、その誤動作が存在するコンポーネントをモニタ上に特に表示する画像パラメータを考慮する。
取得画像パラメータは、たとえば、アクティブカメラが誤動作の存在する故障したコンポーネントに最も接近し、アクティブカメラがそのコンポーネントに可能な限り接近して位置決めされそのコンポーネントの方向に向けられるように、調節される。ズーム倍率(カメラ24において調節可能である唯一の光学パラメータ)は、その故障したコンポーネントがアクティブカメラの画像において最良の条件で見ることができるように、調節される。
ステップb)画像の取得
このステップは、2つの部分ステップを含む。
b1)アクティブカメラの調節
画像パラメータが決定された(ステップa2)後で、アクティブカメラのパラメータが取得画像パラメータと対応しない場合には、アクティブカメラが、そのパラメータが決定手段12aによって決定された好適な取得画像パラメータと対応するように、調節される。
与えられている例では、カメラ24は、ラック28上の垂直軸に沿って並進的に移動可能である。これらは、また、水平軸を中心として回転することにより向き付け可能でもある(矢印R)。
また、アクティブカメラ24のパラメータを調節するために、(カメラパラメータ適合手段として機能する)取得手段12bが、好適な取得画像パラメータを、アクティブカメラ24とその位置決め手段とに送信する。位置決め手段は、このカメラを位置決めして向きを決定し、このカメラが、その内部パラメータ(特に、ズーム倍率)を送信されたパラメータと一致するように調節する。
ステップb2)取得画像の取得
(必要な場合に)いったんカメラが位置決めされ取得画像パラメータに調節されると、取得手段12bが、アクティブカメラ24の画像の取得を実行する。
ステップc)合成画像の計算
他方で、システム10は、合成画像パラメータに従って、合成画像を計算する。この画像は、モータ20の一部を、またはオプションであるがモータ20全体を示す。
合成画像の特性は、一般的に、監視スタッフによってモニタすることを望むパラメータに応じて予め決定されるか、または特定される。
したがって、デフォルトの表示は、モータのコンポーネントのそれぞれに対して定義されている。このデフォルトの表示は、いくつかのパラメータの表現を含み得、たとえば、モータのノズルに関しては、デフォルトでは、振動速度が表示される。
監視スタッフは、また、特定のパラメータの表示を要求することもできる。
しかし、合成画像の特性は、また、いくつかの状況では、モータ20の状態情報に応じても定義可能である。
このようにして、いくつかの所定の誤動作メッセージが送られる場合には、または、いくつかのパラメータがある所定の値を超える場合には、計算手段12cが、合成画像に関して予め決定されている特定の特性を考慮する。これらの特定の特性は異なる種類のものであり、以下を含み得る:
− 見ることができるようにするという目的のために、いくつかのコンポーネントを透明にすること(可視的/非可視的コンポーネント)、
− 結果的に得られる視野がより優れたものとなるように、いくつかのコンポーネントを特定の位置に位置決めすること(たとえば、モータの内部が可視的になるように、モータのコンポーネントが「展開された状態」に位置決めされるように特定され得る)、
− 監視スタッフが関連の誤動作メッセージを受信する場合には、監視スタッフにとって最も重要であると考えられるパラメータの値を表示すること。パラメータの値は、モータ自体の上に(または、そのコンポーネントのいくつかの上だけに)、デジタル形式で、または、より有利には、故障を示す従来の色を用いて、表示され得る、
− 所定の従来の意味を有するいくつかの色に従って、オプションでは明滅するようにして、デフォルトのコンポーネントを表すこと。
たとえば、ノズルの1点における温度が所定の値を超える場合には、計算手段が、ノズルにおけるその温度情報が表示されるように、合成画像の特性を修正するのであり、すなわち、図4に示されているように(この図は、ノズルの高温点Pを包囲する等温曲線を示している)、ノズルにおける温度範囲の変動を示すように、合成画像が計算される。
ステップd)監視画像の形成
いったん取得画像と合成画像とが取得されると、ユニット12の画像形成手段12dが、監視画像を形成する。
最も多くの場合には、取得画像パラメータと合成画像パラメータとは対応するのであり、これは、たとえば画像パラメータが厳密に同一であるために、合成画像が取得画像と容易に組み合わされ得るということを保証することになる。
しかし、取得画像と合成画像との組合せが現実的な画像を生じない、ということが起こり得る。
2つの画像を組み合わせた後で、表示プログラムは、組合せが満足できるものであるかどうかを評価する。この評価は、2つの画像におけるリッジの抽出と2つの画像の間のリッジの対応の評価とによってなされ得る。
取得画像と合成画像との組合せが満足できるものである場合には、得られた監視画像が、モニタ14に送られる。
逆の場合には、監視画像が再計算される。この再計算は、異なる複数の方法でなされ得る。
差異が最小限である場合には、両方向へのスケールファクタの適用(「スケール」関数)などの基本的な画像処理は、合成画像を取得画像により良く対応させるように、合成画像に適用される。取得画像と合成画像との組合せによる監視画像の決定ステップd)だけが、反復される。
差異がより大きな場合には、合成画像が再計算される。計算ユニットが、取得画像の有効画像パラメータにより近くなるように、新たな合成画像パラメータを決定する(ステップa2)。
これらの新たな合成画像パラメータは、異なる複数の方法で計算され得る。
それらは、何よりもまず、取得画像自体から計算され得る。この目的のために、ターゲット(たとえば、再帰反射性の材料で作られた円形のひし形)がモータ20の上に配置され得、計算ユニットは、単に、画像に現れるターゲットの位置から、画像の画像特性を決定するための手段を備える。
あるいは、合成画像パラメータは、ターゲットをシーンの中に組み入れることを必要とすることなく、取得画像から再計算され得る。この目的で、計算ユニットは、取得画像における輪郭の抽出を行い、抽出された輪郭に形状認識アルゴリズムを適用することによって、画像の画像特性を決定するための手段を備え得る。
新たな合成画像パラメータが固定されると、計算手段12cが、これらの新たなパラメータに基づいて、合成画像を再び計算する(ステップc)。監視画像は、取得画像と新たな合成画像とを組み合わせることによって、形成される(ステップd)。
取得画像と新たな合成画像との組合せが満足できるものである場合には、新たな監視画像がモニタ14に送信される。反対には、合成画像の改善ステップが反復される。
合成画像の形成の例が、図4に示されている。これは、カメラ24によって取得された画像50を示し、また、この画像はモータ20の全体を示す。
図4は、また、合成画像52を示し、合成画像52は、モータのノズル21だけを示している。このノズルは、ノズルのデジタルモデル21’を用いて示されている。デジタルモデル21’は、ノズルの表面温度の変動を等温曲線の形式で示す。
図4は、最後に、取得画像50と合成画像52との組合せによって形成された監視画像54を示す。画像54では、ノズルの表現は合成画像52(そして、したがって、等温曲線を示しているデジタルモデル21’)から来ており、画像の残りは、カメラによって取得された画像50から来ている。
表示プログラムのある変形例では、決定手段は、合成画像パラメータを、たとえば上述したようにターゲットを用いることにより、取得画像からシステム的に決定する。
計算ユニット12はリアルタイムに機能するのであって、すなわち、a1)からe)までのすべてのステップはリアルタイムに実行される。



  1. ディスプレイ(14)と、デバイス(20)の全体または一部を撮影できるように配置された少なくとも1つの実カメラ(24)とを備えた監視システム(10)を用いたデバイスの監視のために、監視画像を表示するための方法であって、
    a1)システムが複数のカメラを備える場合には、アクティブカメラと称されるカメラが、複数のカメラから選択されるステップと、
    a2)具体的には取得画像パラメータの1組と合成画像パラメータの1組とである2組の画像パラメータが決定されるステップであって、各組の画像パラメータが、デバイスに対する相対的なカメラ位置および向きと、カメラの1つまたは複数の光学パラメータとを含む、決定されるステップと、
    b2)取得された画像パラメータに従って、アクティブカメラを用いてデバイスの全体または一部を示す取得画像(50)が取得されるステップと、
    c)合成画像パラメータを考慮しながら仮想カメラが提供することができるように、デバイスまたはデバイスの一部の合成画像(52)が計算されるステップと、
    d)監視画像(54)と称される画像が、監視画像を形成するために取得画像と合成画像とが現実的に組み合わされるように、取得画像と合成画像とから形成されるステップと、
    e)監視画像がディスプレイ上に表示されるステップと
    を含んでいる方法において、
    デバイスの少なくとも1つの状態パラメータが取得されるステップa0)をさらに含むこと、ならびに
    − ステップa2)において、画像パラメータが、デバイスの前記少なくとも1つの状態パラメータに応じて決定され、および/または
    − ステップc)において、合成画像が、デバイスの前記少なくとも1つの状態パラメータに応じて計算され、および/または
    − ステップd)において、監視画像が、デバイスの前記少なくとも1つの状態パラメータに応じて形成される
    ことを特徴とする、監視画像を表示するための方法。

  2. ステップa2)において、実カメラのどの1つのものでもない画像パラメータが関連する瞬間に決定され、ステップb2)において取得画像を取得するのに先立ち、ステップb1)の間に、アクティブカメラのパラメータが、ステップa2)において決定される画像パラメータと実質的に対応するように構成される、請求項1に記載の表示方法。

  3. 監視画像を形成するためにステップd)において取得画像と合成画像とが現実的に組み合わされるように、合成画像が、取得画像に応じて修正および/または再計算される、請求項1または2に記載の表示方法。

  4. ステップa0)において取得されたデバイスの状態パラメータが所定のしきい値を超えると、ステップa2)において画像パラメータが修正される、および/または、ステップc)において合成画像が再計算される、および/または、ステップd)において監視画像が再形成される、請求項1から3のいずれか一項に記載の表示方法。

  5. 計算ユニット(12)とディスプレイ(14)と少なくとも1つのカメラ(24)とを備えた、デバイスの監視のための監視システム(10)であって、計算ユニットが、
    a)監視画像と称される画像(54)のために、前記少なくとも1つのカメラによって撮影されるデバイスに対する相対的なカメラ位置および向きとカメラの1つまたは複数の光学パラメータとを含む画像パラメータを決定し、システムが複数のカメラを備えるときには複数のカメラからアクティブカメラと称されるカメラの選択を行うことができる決定手段(12a)と、
    b2)決定手段によって決定された画像パラメータに従って、アクティブカメラの画像を取得することができる取得手段(12b)と、
    c)決定手段によって決定された画像パラメータを考慮しながら仮想カメラが提供することができるように、デバイスまたはデバイスの一部の合成画像を計算することができる計算手段(12c)と、
    d)監視画像(54)を形成するために取得画像(50)と合成画像(52)とが現実的に組み合わされるように、取得画像と合成画像とから前記監視画像を形成することができる画像形成手段(12d)と
    を備えており、ディスプレイが監視画像を表示する(e)ことができる監視システムにおいて、
    デバイスの少なくとも1つの状態パラメータを取得することができるデバイスのモニタリング手段(22)をさらに備えていること、ならびに
    決定手段が、画像パラメータを、デバイスの前記少なくとも1つの状態パラメータに応じて決定することができ、および/または
    計算手段が、合成画像を、デバイスの前記少なくとも1つの状態パラメータに応じて計算することができ、および/または
    監視画像形成手段が、監視画像を、デバイスの前記少なくとも1つの状態パラメータに応じて形成することができる
    ことを特徴とする、監視システム。

  6. 取得手段(12b)が、少なくとも1つの実カメラ(24)の少なくとも1つのパラメータを調節することにより、前記パラメータが、計算ユニットによって決定される画像パラメータと等しくなるようにすることができる、請求項5に記載の監視システム。

  7. 計算および/または画像形成手段が、合成画像を取得画像に応じて修正および/または再計算することにより、監視画像を形成するためにステップd)において取得画像とここで修正および/または再計算された画像とが現実的に組み合わされるようにできるようにする、請求項5または6に記載の監視システム。

  8. デバイス(20)の全体または一部を撮影できるように配置された少なくとも1つの実カメラ(24)に接続されたコンピュータによって実行されると、請求項1から4のいずれか一項に記載の表示方法のステップを実行するための命令を含む、コンピュータプログラム。

  9. デバイス(20)の全体または一部を撮影できるように配置された少なくとも1つの実カメラ(24)に接続されたコンピュータによって実行されると、請求項1から4のいずれか一項に記載の表示方法のステップを実行するための命令を含むコンピュータプログラムが記録された、コンピュータ可読な記録媒体。

 

 

Patent trol of patentswamp
類似の特許
【解決手段】ヘッドマウントディスプレイの画面を動作させるシステム及び方法は、プログラムを実行するステップを含む。プログラムの実行によってHMDの画面上に画像のレンダリングがもたらされる。画面は第1の光学設定を用いて画像をレンダリングする。第1の画像が画面に表示される。第1の画像は第1のサイズを有し、ある距離において表示される。第1の画像についての明瞭度レベルを識別するための入力が受信される。第2の画像が画面に表示される。第2の画像は第2のサイズ及び当該距離を有する。第2の画像についての明瞭度レベルを識別するための入力が受信される。第1及び第2の画像について受信された明瞭度レベルに基づいて、画面に対する第1の光学設定が第2の光学設定に変更される。
【選択図】図3A
電子装置1は、患者の顔の3Dモデル及び患者の顔の3Dモデルに取り付けられた患者インターフェイスデバイスの3Dモデルを表示するよう構成された表示領域210をユーザーインターフェイス200−4、200−5内に生成するよう構成された表示生成ユニット110と、ユーザーインターフェイス内に透明度調整ツール250を生成するよう構成された透明度調整ユニット150であって、透明度調整ツールは、ユーザーインターフェイスの3D表示領域内に表示された患者インターフェイスデバイスの3Dモデルのコンポーネントのサブセットの透明度を調整するよう操作可能である、透明度調整ユニットとを含む。
画像処理装置は、第1のフレームを取得し、第1のユーザと第2のユーザとの少なくともいずれかのための追加の画像データを取得し、第1のフレーム及び第1のユーザのための追加画像データを合成することによる第1のユーザのための第1の合成フレームと第1のフレーム及び第2のユーザのための追加画像データを合成することによる第2のユーザのための第2の合成フレームとの少なくともいずれかを生成し、第1のユーザに対して、第1の合成フレームが生成された場合には第1の合成フレームを、それ以外の場合には第1のフレームを出力し、第2のユーザに対して、第2の合成フレームが生成された場合には第2の合成フレームを、それ以外の場合には第1のフレームを出力する。
コンピュータで実施される医療用視覚化方法は、特定の哺乳動物の解剖学的アイテムの三次元モデルを同定するステップ(302)と;解剖学的アイテムを通る三次元空間内の通行可能な経路を自動的に同定するステップ(304)と;通行可能な経路に滑らかな曲線をフィッティングするステップ(306)と;三次元画像システムでユーザに解剖学的アイテム及び滑らかな曲線の視覚表現を表示するステップ(308)と、を含む。
硬化エラストマーゴルフボール成分は、エチレン性不飽和エラストマー、エチレン性不飽和モノマー、第1及び第2のフリーラジカル開始剤を含むエラストマー化合物を圧縮モールドにおいて第1の架橋温度(T)へ加熱し、エラストマーを部分的に架橋し、その後第2の架橋温度へ加熱し、ゴルフボールのエラストマー成分を硬化することによって作製される。(i)第1の開始剤はTで約0.2〜5分の半減期を有し、第2の開始剤はTで約0.2〜5分の半減期を有し、TはTよりも少なくとも約30℃高い、又は、(ii)第2の開始剤の1分間半減期温度は第1の開始剤の1分間半減期温度よりも少なくとも約30℃高く、Tは第1の開始剤の1分間半減期温度の約20℃以内であり、Tは第2の開始剤の1分間半減期温度の約20℃以内である。
拡張現実デバイス // JP2016527651
【解決手段】
拡張現実デバイス(102)は、少なくともコントローラー(164)、メモリ(166)および少なくとも1のスクリーン(162)から構成され得る。
拡張現実デバイスは、物理的位置(120)に位置づけられ、ユーザ(248)が物理的位置の方を向いたときにだけ表示される拡張現実デジタルコンテンツを用いて、少なくとも1つのスクリーンにより、拡張現実デジタルコンテンツ(132、134、136、138)を表示するように構成することができる。
【選択図】 図5
【解決手段】頭部装着ディスプレイ(HMD)とHMDの使用方法が提供される。一実施例におけるHMDは、ヘッド装着部と、ヘッド装着部へ結合されたビューイング・モジュールを含む。ビューイング・モジュールは、画像コンテンツを描画するよう構成されるスクリーン内へのビューポートを持つ内側部分と外側ハウジングを含み、さらに、ビューイング・モジュールの外側ハウジングに統合された複数の照明素子を含む。複数の照明素子は、HMDの画像追跡のために配置され、HMDの使用中に複数の照明素子をアクティブまたは非アクティブへ制御するために、照明ロジックが設けられる。また、HMDの使用方法、HMDの追跡及びHMDへの画像データの提供、及び、HMDを使用しながらコントローラまたはユーザーの手、あるいは両方で行うコンテンツとのインタラクションも提供される。
【選択図】図1
本発明は、骨の実質的に半球状の窩と境界を接する縁を有する骨の病理学的変形を治療する外科的切除計画を作成する方法に関し、骨の一連の3d医学画像を取得し、該画像から、患者参照画像内の半球状の窩の中心、縁の軸、縁及び縁に沿って位置する複数のポイントに割り振られた円周座標系を含む、患者の解剖学的ランドマークデータを定義し、該患者のデータから、縁に割り振られた円周座標系内で、縁に沿った複数のポイントにおいて実質的に半球状の窩に関して、骨の被覆パラメーターを表す複数のポイントを含む3d患者被覆曲線を決定し、参照縁形態に対応する参照データを取得し、データは3d参照被覆曲線を含み、一連の3d画像から、縁を含む骨の部分の3d表面モデル、及び3d参照被覆曲線から3d参照縁形態モデルを作成し、骨の仮想的切除部分を算出して、過剰に被覆された骨部分の除去をシミュレーションするために、3d表面モデル上に表示する。
本発明は、心臓インプラント42の植え込みを計画する医療イメージングシステム10に関し、医療イメージングシステムは、心臓周期の間の心臓32の異なる状態を示す複数の3次元(3D)心臓画像14、14'を受け取る入力ユニット12と、複数の3D心臓画像14、14'において、ターゲットインプラント領域38及び心臓インプラント42と干渉しうる局所的に隣接する領域40をセグメント化するセグメント化ユニット22と、複数の3D心臓画像14、14'のうち少なくとも2つにおいて、ターゲットインプラント領域40への心臓インプラント42の植え込みをシミュレートするシミュレーションユニット24と、複数の3D心臓画像14、14'のうち少なくとも2つにおいて、セグメント化された局所的に隣接する領域40と、シミュレートされた心臓インプラント42との重なり46を評価する衝突評価ユニット26と、評価された重なり46に関するフィードバック情報をユーザに提供するフィードバックユニット28と、を有する。
【解決手段】頭部装着装置(HMD)の画像表示管理のための方法、システム及びコンピュータプログラムが提供される。ある方法は、仮想世界の情景を表示しているHMDを着用しているユーザの凝視を追跡するオペレーションを含む。加えて、当該方法は、ユーザの凝視が所定エリアで所定時間固定していることを検出するオペレーションを含む。その検出に応答して、当該方法は領域の外側の表示エリアの仮想世界の場面を維持しながら、HMDの表示領域をフェードアウトする。更に、その方法は、ユーザが領域を見通しているときに、HMDがユーザにとって透明であるかのように現実世界に情景を領域にフェードインするオペレーションを含む。現実世界の情景のフェードインは領域の外側の仮想世界の場面を維持することを含む。
【選択図】図10
To top