4つのledのパターンによるポーズの決定

 

本発明は、計算の分野に関し、光学的オブジェクトトラッキングシステムにおいて、追跡されるオブジェクトの基準マーカーと、カメラによって撮像された画像平面への基準マーカーの投影との1対1のマッピングを探し出す方法をカバーする。対応問題を解決する方法は、オブジェクトの3Dの点と、そのオブジェクトの画像平面への2Dの投影との対応を探し出すことによって実現され、これが使用されることにより、オブジェクトの3Dの位置と方向を探し出すことができる。それは、追跡されるオブジェクトの現在のポーズがなくても機能するように設計されていて、対応問題と同様に、最初の対応問題についても効率的である。さらに、対応問題を解決するために使用されるLED群を選択する方法も提供される。その方法は、動いている状況下で追跡されるオブジェクトの可能性のあるポーズを表すポーズデータを使用して、使用事例の要件を満たすようにLED群が選択される。

 

 

本発明は、計算の分野に関し、光学的オブジェクトトラッキングシステムにおいて、追跡されるオブジェクトの基準マーカーと、カメラによって撮像された画像平面への基準マーカーの投影との1対1のマッピングを探し出す方法をカバーする。
ある環境において三次元のオブジェクトを追跡し、所定の座標系に対する位置と方向(ポーズ)を計算する方法及びモデルがあることが知られている。これらの種類のトラッカーシステムは、例えば、航空機において、パイロットの頭の方向を判定するのに使用されている。例えば表示装置の座標系に関して、方向が取得されると、それに応じて、表示装置上でグラフィックスを生成することが可能になる。磁気的な、機械的な、又は光学的な手段を使用して、その場のオブジェクトを追跡する別の方法がある。現在、オブジェクトの空間関係は、磁気センサ又はレーザビームを使用して判定されているけれども、本発明は、特に、カメラベース(日中のテレビカメラ、熱、赤外線(IR)、TOF(Time-of-Flight)など)の追跡機を使用したシステムに関する。
光学的カメラベースのシステムの一つにおいて、パイロットは模様(基準マーカー)が付いたヘルメットを着用し、少なくとも1つのトラッカーカメラがこれらの模様に基づいた幾何学的計算を使用して、ヘルメットの位置と方向を判定する。カメラベースのトラッカーシステムにおいて使用される模様は、可視光カメラによって追跡されるグラフィカルな(一般的に、黒と白の)模様(パッシブ・マーカー)、又は光源アレイ(例えば、発光ダイオード、すなわちLED)(アクティブ・マーカー)である。これらの光源は、電磁スペクトルの赤外領域内になるように、カメラセンサとフィルタのセットの適当な選択により、選ばれる。他の配置も可能であるけれども、これらのシステムは不適当な照明条件下であっても動作できるため、赤外線LEDを使用したものが、それらの配置の中で最も便利である。それ故、追跡模様を持つオブジェクトとカメラとの空間関係の計算が、最先端において周知である。文書全体にわたって空間関係について述べているときはいつでも、エンティティの所定の基準系と他のものとの関係を意味していることが、理解されるべきである。目的は、カメラと3Dオブジェクトの回転と移動を探し出して、オブジェクトの3Dの位置と方向が分かるようにすることである。この基準系は、一般的に、検討中のオブジェクトの各模様に基づいている。トラッカーシステムにおいて、他の座標系に関するトラッカーカメラの位置と方向が知られている(又は計算可能、又は測定可能である)ため、トラッカーカメラのセンサとそれから他の座標系とを使用して、ヘルメットの空間関係を計算することもできる。この文脈において「追跡されるオブジェクト」は、追跡模様(基準マーカー)を持ち、トラッカーシステムによって追跡されるオブジェクトを意味する。それは、ヘルメットを搭載したトラッカーシステムのヘルメットであっても良いし、又は任意の他のオブジェクトであっても良い。
上記光学的カメラベースのトラッキングシステムについてのポーズ推定問題は、以下のように示される:オブジェクトの三次元(3D)の点とそのオブジェクトの画像平面への二次元(2D)の投影との間の、一連のN個の特徴の対応を与えられて、カメラの基準系に対するオブジェクトの回転と移動を探し出す。目的は、カメラと3Dオブジェクトの間の回転と移動を探し出して、オブジェクトの3Dの位置と方向を分かるようにすることである。ポーズ推定問題の正式な定義は、正しい解が二重であること、すなわち対応問題であることを必要とする。対応問題は、以下のように示される:カメラの基準系に対するオブジェクトの回転と移動が与えられて(又は与えられず)、オブジェクトの3Dの点とそのオブジェクトの画像平面への2Dの投影との間のN個の特徴の対応を探し出す。目的は、オブジェクトの3Dの点と、そのオブジェクトの画像平面への2Dの投影との間の対応を探し出し、これが使用されて、オブジェクトの3Dの位置と方向を探し出すことである。この問題は、最先端において周知である。しかし、我々は、解が正しく解決可能な二重のものであることを必要とする2つの問題を持つ。それ故、トラッカーシステムは、ポーズ推定問題と対応問題のいずれかに対する最初の解を必要とする。
カメラの基準系に対するオブジェクトの回転と移動が与えられない場合、対応問題は最初の対応問題と呼ばれる。最初の対応問題を解決することを選ぶ場合、対応問題を解決するための完了時間をできる限り短くする。追跡されるオブジェクトは、カメラの視錐台から離れ、その後そこに戻る可能性があるため、このような取り組みは必要である。このようなケースでは、追跡プロセスの再スタートが必要であり、それ故、最初の対応問題の速い解決は、起動時間を短くする。好ましい応用の一つにおいて、特にパイロットの頭が何回も視錐台から離れる場合、ヘルメットを追跡するために、速い起動は見えない時間を著しく断ち切る。
追跡されるオブジェクトの3Dの点と、そのオブジェクトの画像平面への2Dの投影との間の、最初の対応を決定する、現在使用されている方法がいくつかある。その方法の一つにおいて、多数の連続画像が使用されて、そこでは点灯されるLEDの数が反復毎に1つ増加する。それから、ポーズの変更は連続して撮像されたフレーム間で多くないと仮定して、3Dから2Dへのマッチングが近似計算により計算される。新たに点灯されるLEDは、合致リストに追加されている、いずれの2D点にも合致しなかったものである。追跡されるオブジェクトのポーズが小さな誤差だけで知られている場合には、対応問題の解決はより簡単である。それから、類似の近似計算が実行されて、3Dから2Dへのマッチングが探し出される。
現在の方法を用いた最初の対応問題の解決は、多くのフレームキャプチャを必要とするため、長い時間を要するが、最初は追跡されるオブジェクトの回転/移動のデータを利用できないため、追跡されるオブジェクトのポーズを使用する方法を利用できない。現在の方法は、最初の対応問題を解決する効果的な方法を提供していない。この問題の解決を提供するために、非常に効率的な方法で問題を解決する新しい手法が導入されるべきである。さらに、提案された方法は、対応問題を(最初のケースだけでなく)解決し、対応問題の全体的な解決を提供するのに使用されうる。
米国特許第005828770号の文献(Leis,Ristau)、最先端の出願は、多数の連続したフレームキャプチャを使用して最初の対応問題を解決する、近似計算に基づく方法を開示している。この文献では、追跡されるオブジェクトのポーズが分かっているときに対応問題を解決する、類似の近似に基づく方法もまた提供されている。
米国特許第005828770号明細書
本発明の目的は、光学的オブジェクトトラッキングシステムにおいて、追跡されるオブジェクトの基準マーカーと、カメラによって撮像された画像平面への基準マーカーの投影との1対1のマッピングを探し出すことである。
本発明の目的を達成するために実現されるシステム及び方法が、添付の図に示されている。
オブジェクトの可能性のある基準位置のメッシュのグラフを示す。 4つからなるLED群のサンプル配置を示す。 ポーズ不明瞭性の問題の例を示す。(a−1)(a−2)は、オブジェクトの仰角0度でのLED群の投影の例を示す。(b−1)(b−2)は、オブジェクトの仰角−45度でのLED群の投影の例を示す。(c−1)(c−2)は、オブジェクトの仰角+45度でのLED群の投影の例を示す。 対応問題を解決するための方法のフローチャートである。 対応問題を解決するために使用されるLED群を選択する方法のフローチャートである。
対応問題を解決する方法(100)は、本質的に、
現在のLED群を点灯するステップ(101)と、
現在のLED群のうちの4つのLEDの全てがカメラで見えるかどうかを判断するステップ(102)と、
現在のLED群のうちの全てのLEDが見える場合、中央LEDを識別するステップ(103)と、
中央LEDが不明瞭かどうかを判断するステップ(104)と、
中央LEDが不明瞭でない場合、側部LEDを識別するステップ(105)と、
上部LEDと下部LEDを識別するステップ(106)と、
計算された対応を使用して、追跡されるオブジェクトのポーズを計算するステップ(107)と、
計算されたポーズが不明瞭かどうかを判断するステップ(108)と、
現在のLED群のうちの全てのLEDが見えない、又は中央LEDが不明瞭である、又は計算されたポーズが不明瞭である場合、新しいLED群に切り替えるステップ(109)と、
を含む。
ステップ101において、現在のLED群のLEDを点灯し、2D空間へのLEDの投影が見えるようにする。好ましくは、各群は、追跡されるオブジェクト上の、特定のパターンの、選択された4つのLEDで構成される。点灯される4つのLEDの選択は、2つの主な要因から生じる。第1に、対応を探し出すために、いくつかの幾何学的ルールを定義する必要があり、より簡単なルールが定義されて、より少ないLEDを使用して実行されうる。第2に、オブジェクトのポーズを計算するのに必要な対応の理論的な最小数は4である。それ故、ステップ101において、できるだけ少ないLEDが点灯され、点灯されたLEDが追跡されるオブジェクトのポーズの計算を可能にする。
点灯されたLEDの2D空間の投影は領域の影響を及ぼし、いくつかの画素は高輝度の値を持ち、それ故、画像処理のいくつかの形態が適用される必要がある。これは、簡単な閾値化、接続要素の計算、近接要素の重心の計算などの形態であっても良い。これらのプロセスは最先端で周知であり、ここでは説明しない。この前処理の最後に、4組の(x,y)の値を持つことになる。各値は目に見えるLEDの一つに対応する。
ステップ102において、点灯されたLEDの全てがカメラの視点から見えるかどうかを判断する。追跡されるオブジェクトが、カメラから見えるLEDを遮断するポーズで配置されているか、又は追跡されるオブジェクト上のいくつかのLEDがカメラの視錐台の範囲外にある可能性がある。このようなケースでは、定義された幾何学的ルールは、適用できない。さらに、たとえ対応の計算が成功しても、理論的限界の4に対し、分かっている対応の数がより少ないため、ポーズ推定を実行できない。このようなケースでは、新しいLEDセットに切り替えて再試行する。
LED群のLEDは、特別なパターンで配置される。サンプルのパターンが図2に見られ、ここでは、3つのLEDが一直線に配置され、4つめのLEDが側部の位置に配置されている。最終的な配置は、「T」によく似ている。この特別な配置を使用して、特別な幾何学的ルールを生成して、中央、側部、上部、及び下部のLEDを識別する。
ステップ103において、中央LEDに関する対応を探し出す。中央LEDが他の点灯されたLEDまでの最小の総距離を持つと仮定して、中央LEDを識別する幾何学的ルールが生成される。中央LEDの3Dの位置は、おおよそ他のLEDの真ん中にあり、LEDの2Dの投影のために、そうであると仮定することは安全であるため、これは合理的な仮定である。2つのLED間の距離は、2D空間上でユークリッド距離として計算される。それから、他のLEDまでの最小の総距離を持つものとして、中央LEDの投影を識別する。
しかし、中央LEDを常に間違いなく識別することは難しい。2つのLEDが、互いに非常に近接している他のLEDまでの最小の総距離を持つ場合、中央LEDの決定の信頼性は低いと言える。カメラがLEDに対して横向きの位置に配置されている場合に、このようなケースは起こり、中央LEDを側部LEDと間違える可能性がある、又は中央LEDを上部LED/下部LEDと間違える可能性がある。理論的に、3Dから2Dへの投影が完璧で、LEDが同一平面上にある場合、このような信頼性の計量を必要としない。しかし、光学的ひずみと、あるエラーを引き起こす画像処理技術と、同一平面状にない形状で配置されたLEDは、このような計量を必要とする。このようなケースが、不明瞭な識別と名付けられる。ステップ104において、中央LEDの識別が不明瞭かどうかを判断する。このような判断は、簡単な相対的閾値化を使用して実現されうる(2番目に最小の総距離が、最小の総距離の所定の割合の範囲内であれば、LEDの識別は不明瞭であると言う)。不明瞭な判断が存在すれば、新しいLEDセットに切り替えて再試行する。
ステップ105において、側部LEDの識別が行われる。側部LEDを識別するために定義された幾何学的ルールは、画像内で中央LEDから他の3つのLEDまで線を描くことを必要とする。それから、各線について、残りの2つのLEDから線までの直交距離を計算し、全部で6(3×2)の値を計算する。計算された6つの値の中から最小値に対応するLEDが、上部/下部LEDのうちの一つとして識別される。6つの値の最小値を計算するのに使用された線を描くために、(中央LEDと共に)使用されたLEDは、他方の上部/下部のLEDとして識別される。中央LEDと上部/下部LEDが識別されるため、残りのLEDが側部LEDとなる。
この時点で、2つのLEDが上部/下部のLEDとして識別されたということに注目すべきである。しかし、2つのLED間の、上部と下部の位置への、1対1のマッピングはない。ステップ106において、上部と下部のLEDの計算が行われる。上部と下部のLEDを識別するために定義された幾何学的ルールは、側部LEDから中央LEDまで線を描くことを必要とする。それから、線の右側のLEDを上部LEDとして識別し、線の左側のLEDを下部LEDとして識別できる(側部LEDが右側で選択されると仮定する。そうでなければ、下部LEDを上部LEDと切り替える)。中央LEDの不明瞭性を除いて、LEDの特別な配置は対応の計算に関する混同を許可しないことに注目すべきである。それ故、説明した方法は、計算する対応の堅固な方法を提供する。
ステップ107において、計算された4つの対応を使用して、ポーズの計算が行われる。4つの対応を使用して、ポーズを計算することができる。しかし、いくつかのケースでは、LEDの2Dビューとポーズとの1対1のマッピングがない(すなわち、LEDの特定の2Dビューから、両方が正しい2つのポーズを計算することができる。)。このケースは、ポーズの不明瞭性と呼ばれ、ポーズ推定問題の継承問題である。ポーズの不明瞭性の問題の例が図3に示されている。図3において、左側のグラフは3D空間のLED群の位置を示し、右側のグラフは2D空間へのそれらの投影を示している。図3(a)は、LEDを回転させていない、標準投影であり、参照を取るためのものである。図3(b)において、LEDは仰角軸において−45度回転される。図3(c)において、LEDは仰角軸において+45度回転される。図からわかるように、結果として生じる画像は同一である。それ故、EL=45度とEL=−45度で探し出されたポーズは、数学的に両方正しい。しかし、実際には、これらのポーズのうちの一方のみが、結果として生じる画像をもたらす。しかし、ポーズ推定方法を使用して、正しいポーズを探し出す方法はない。完了するために、(各LEDについて単一の(x,y)の値を探し出すために)撮像された画像の前処理の後に、図3の右側のグラフが得られることに注目すべきである。撮像された原画像において、図3(b)では上部LEDがカメラにより近いため、下部LEDよりも大きい。図3(c)では、下部LEDがカメラにより近いため、上部LEDよりも大きい。問題は単一の軸に抑制されず、単一の2Dビューに対応するポーズが対称であるときに問題は存在することにも注目すべきである。
ステップ108において、ポーズの計算が不明瞭であるかどうかを判断する。不明瞭でなければ、計算された対応は正しく、ポーズを計算するのに、計算された対応を使用できる。ポーズ推定と対応の計算の標準の反復を開始できる。しかし、ポーズが不明瞭であれば、例え、対応の計算が正しかったとしても、ポーズ推定プロセスにおいてそれらを使用することができない。それ故、計算された対応は、ポーズの推定と対応の計算の標準の反復を開始するのに十分ではない。このようなケースでは、新しいLEDセットに切り替えて再試行する。
対応問題を解決する方法(100)が4つのLEDからなる一群のみを使用して実行される場合、ポーズの不明瞭性が原因で、対応を計算できない、又はオブジェクトのポーズが見つからないケースがある。このようなケースを避けるために、数個のLED群を使用することを提案する。しかし、LED群を注意深く選択し、オブジェクトが取ることができる、可能性があるポーズの全てをカバーしながら、選択するLED群を最小数にするべきである。対応問題を解決する(100)ために使用されるLED群を選択する方法(200)は、より良い形式で使用事例に適合する、より良いLED群の選択のために、動いている状況下で追跡されるオブジェクトのポーズを使用する、このような注意深い選択プロセスを特定する。
対応問題を解決する(100)ために使用されるLED群を選択する方法(200)は、本質的に、
アクティブなマーカーの位置を表すメッシュデータと、動いている状況下で追跡されるオブジェクトの可能性のあるポーズを表すポーズデータと、1つのカメラの位置及び方向とを取得するステップ(201)と、
カバーされていないポーズセットを取得したポーズデータに初期化するステップ(202)と、
「T」形のパターンの4つのLED群の全てを列挙し(生成し)、非選択のLED群のセットに追加するステップ(203)と、
現在のカバーされていないポーズセットのポーズ毎に、カメラ配置データを使用して、非選択のLED群を2D空間に投影するステップ(204)と、
(非選択のLED群、現在のカバーされていないポーズセットのポーズの)各ペアについて、4つ全てのLEDが見える場合、非選択のLED群にポーズを登録するステップと(205)、
非選択のLED群の中から、最もカバーされていないポーズをカバーするLED群を識別して、選択されたLED群に加えるステップ(206)と、
カバーされていないポーズセットからカバーされたポーズを除去し、且つ非選択のLED群のセットから選択されたLED群を除去するステップ(207)と、
終了条件が満たされたかどうかを判断し、そうであれば終了するステップ(208)と、
を含む。
追跡されるオブジェクト(例えば、赤外線LEDを備えたヘッドトラッキングシステムのためのヘルメット)のアクティブな基準の位置が、オブジェクトの各位置について三次元座標で表される。一般的な座標系に対して、メッシュ(モデル)に関するこれらの座標が判定され、カメラの場所に関連付けられるべきであることに注目することが重要である。それと同時に、動いている状況下で追跡されるオブジェクトの可能性のあるポーズを表すポーズデータも導入する必要がある。本発明の好ましい構成において、これらのデータは、実際のオブジェクト上に置かれた慣性計測装置(IMU)を使用して、実際の動いている状況下で取得され、オブジェクトの動作が記録されて、ポーズデータとして使用される。
ステップ202において、カバーされていないポーズセットの初期化が行われる。カバーされていないポーズセットとは、現在カバーされていないポーズの集まりである。ここで、「カバーされていない」とは、現在選択されているLED群のうちのいずれもが、そのポーズでは、完全には見えないことを意味する。このセットは、最初は、入力ポーズデータの全部である。しかし、方法が進むと、より多くのポーズがカバーされるため、このセットは空のセットに低減される。
ステップ203において、「T」形のパターンのLED群の全ての列挙(生成)が行われる。このステップは、追跡されるオブジェクトのアクティブな基準の位置に過度に依存する。しかし、LED群の生成はやや容易である。簡単な例が、n×nグリッドのLEDを使用して提供されうる。n×nグリッド上で、3×3グリッドのLEDを使用する場合、3×3グリッドの真ん中のLEDは、8つのLED群において使用されうる。真ん中のLEDは、「T」パターンの中央LEDである(3×3グリッドのサイズ3の、「+」と「×」の形状の4つの直線を作成でき、側部LEDを右側又は左側に配置することができる)。アクティブな基準位置についての特定の入力のために、同様の方略が探し出される。しかし、合理的に小さい数のLED群をもたらすように、任意の生成プロセスが予期されるべきである。
追跡されるオブジェクトとカメラの相対的な空間位置を知ることにより、入力ポーズデータを使用して、数学的に、LED群を移動し回転することができ、基準の可視性を計算できる。ステップ204において、カバーされていないポーズセットのポーズ毎に、入力カメラの位置/方向から、メッシュ上の各非選択LED群の可視性が計算される。ステップ205において、各非選択LED群を表す、可視性の値のリストが生成される。可視性の値は、LED群の全てのノードが、現在のカバーされていないポーズセットを考慮して、カメラのビューポートから何回見えたかを表す。
好ましい構成において、ポーズを与えられた3Dモデルの点(アクティブ・マーカー)の可視性を推定するのに、閉鎖モデルが使用される(2004年Davis他)。それは、コンピュータグラフィックスにおいて開発された光線追跡技術に基づいている。LED基準のケースにおいて、可視性の計算は、オブジェクトの座標系に対するLEDの法線と、LED照明の円錐角と、オブジェクトの既知のポーズとに基づいている。カメラ座標系におけるLEDの法線とカメラ平面の法線との角度は、LEDがどの程度垂直にカメラ(LEDの方向角)に向けられているかを定義する。LED照明の円錐角は、カメラに対して可視のLEDについての、最小のLED方向角の閾値を定義する。与えられたポーズについて、LED方向角をLED毎に計算して、その可視性を決定できる。オブジェクトの座標系に対するマーカーの法線と、マーカー照明の円錐角と、オブジェクトの既知のポーズが、任意のアクティブマーカー追跡システムに同等に適用されうる。
それから、ステップ206において、最も高い可視性の数を持つ非選択のLED群が、対応問題を解決するための方法(100)で使用するために選択される。対応問題を解決するための方法(100)において使用されるLED群として以前に決定されなかった最も高い可視性の数を持つLED群が、決定されたポーズデータのほとんどにおいて完全に見えるため、選択される。ステップ207において、カバーされていないポーズセットから最近選択されたLED群によってカバーされたポーズを除去し、且つさらなる計算のために使用される非選択のLED群のセットから、最近選択されたLED群を削除する。この構成において、少なくとも一つのポーズが新しく選択されたLED群によってカバーされるため、カバーされていないポーズセットのエレメントの数は反復毎に減少する。また、この構成において、選択されたLED群の数は、反復毎に一つ増加する。
ステップ208において、終了条件がチェックされる。最初のポーズデータのすべてのポーズが、少なくとも1つの選択されたLED群によってカバーされるときに、主な終了条件が発生する。このケースは、入力ポーズデータに対するLED群の成功した熟練の選択に対応する。いくつかの特別なケースにおいて、入力ポーズデータ、カメラの位置、及びアクティブなマーカーの位置は、全てのポーズの範囲を許可しない。このケースでは、新しいLED群を追加しても、方法が少なくとも1つのポーズのカバーに失敗した場合に、終了できる。このケースにおいて、対応問題を解決するために使用されるLED群を選択する方法(200)によって生成されるLED群は、訓練セットにおけるすべてのポーズについて、対応問題を解決する方法(100)において使用されるときに、有効な対応結果を生じさせることができない。異なる終了条件が、所定数のLED群の選択として、特定されうる。この構成において、いくつかのポーズはカバーされない。しかし、対応問題を解決する方法(100)は、より少ないLED群を持ち、使用して動作する。
100 対応問題を解決する方法
200 対応問題を解決するために使用されるLED群を選択する方法
C カメラ
O0 オブジェクトの仰角(0)
O1 オブジェクトの仰角(−45)
O2 オブジェクトの仰角(45)
B0 オブジェクトの仰角0度での下部LEDの投影
B1 オブジェクトの仰角−45度での下部LEDの投影
B2 オブジェクトの仰角45度での下部LEDの投影
T0 オブジェクトの仰角0度での上部LEDの投影
T1 オブジェクトの仰角−45度での上部LEDの投影
T2 オブジェクトの仰角45度での上部LEDの投影
C0 オブジェクトの仰角0度での中央LEDの投影
C1 オブジェクトの仰角−45度での中央LEDの投影
C2 オブジェクトの仰角45度での中央LEDの投影
F0 オブジェクトの仰角0度での側部LEDの投影
F1 オブジェクトの仰角−45度での側部LEDの投影
F2 オブジェクトの仰角45度での側部LEDの投影
米国特許第005828770号の文献(Leis,Ristau)、最先端の出願は、多数の連続したフレームキャプチャを使用して最初の対応問題を解決する、近似計算に基づく方法を開示している。この文献では、追跡されるオブジェクトのポーズが分かっているときに対応問題を解決する、類似の近似に基づく方法もまた提供されている。
2005年のBoschetti他は、自由な外科的遠隔操作の任務の5レベルの実行中に、オペレータを導く問題に取り組んでいる。この研究は、触覚マスタ、スレーブロボット、光学追跡装置、及び主制御装置で構成される脊椎手術遠隔ロボットシステムの実現可能性に重点を置いている。このシステムを使用して、外科医は、遠隔ロボット装置を使用して、触覚フィードバックにより導かれながら、穴を開ける作業を実行する。脊椎骨が動くとすぐに、追跡装置は脊椎骨のポーズを測定する。適当な力がオペレータの手に与えられて、手術道具の位置と方向をオペレータに調整させる。さらに、触覚マスタは、遠隔操作に関連した力のフィードバックを生成する。この文書は、この触覚システムの設計と実施、特に制御システム構造に関し、重点を置いている。
2000年のDario他は、従来の関節鏡検査のための高性能の道具と、コンピュータを使用した関節鏡検査のためのシステムの主要構成要素の両方である、関節鏡検査のためのメカトロニクスの道具を記載している。メカトロニクスの関節鏡は、ケーブルで作動され、サーボモータで駆動される、多関節の機械的構造を持ち、先端の方向を測定するための位置センサと、膝の繊細な組織との可能性のある接触を検出するための力センサとを備えていて、センサの信号の処理と、モータの駆動と、外科医とインターフェースをとるための埋め込み式のマイクロコントローラ、及び/又はシステム制御部を組み込んでいる。コンピュータを使用した関節鏡検査システムは、術前のCT又はMR画像の分割と3Dの復元のための画像処理モジュールと、膝関節の位置を測定して、操作している道具の軌道を追跡し、術前と術中の画像をマッチングするための登録モジュールと、拡張現実のシナリオと、メカトロニクスの関節鏡からのデータを友好的及び直感的な方法で表示するヒューマン・マシン・インターフェースと、を含む。術前と術中の画像と、メカトロニクス関節鏡により提供される情報とを統合することにより、システムは、計画段階での膝関節の仮想ナビゲーションと、介入中の拡張現実によるコンピュータガイダンスとを可能にする。この文書は、メカトロニクス関節鏡の特性と、コンピュータを使用した関節鏡検査のためのシステムの特性とを詳細に記載していて、道具とシステムの暫定版を使用して得られた実験結果を論じている。
2000年のHoff/Vincentは、ヘッドマウントディスプレイを備えた拡張現実システムにおいて、オブジェクトに対する頭の相対的な位置と方向(ポーズ)の精度を分析するための方法が開発されたことを開示している。光学追跡センサのエラーの確率的推定から、共分散行列の形式で、オブジェクトに対する頭のポーズの不確実性が計算されうる。位置の不確実性は、3D楕円体として可視化されうる。不確実性の明確な表現を持つ一つの有用な利点は、全体的な登録の制度を改善するために、固定のセンサとヘッドマウントセンサの組み合わせにより、センサデータを結合できることである。方法は、光学透過ヘッドマウントディスプレイと、ヘッドマウントCCDカメラと、固定の光学追跡センサとを組み込む実験的な拡張現実システムの分析に適用された。ヘッドマウントディスプレイに対して移動可能なオブジェクトのポーズの不確実性が分析された。
本発明の目的を達成するために実現されるシステム及び方法が、添付の図に示されている。
提案した方法を使用して、ポーズを決定するために使用されるLEDの全てを識別することができる。また、提案した方法は、LEDの3Dの位置とそれらのそれぞれの2Dの投影との対応問題を解決するために使用されるLED群の選択の仕方に関する一連のステップを含む。
好ましい構成において、ポーズを与えられた3Dモデルの点(アクティブ・マーカー)の可視性を推定するのに、閉鎖モデルが使用される。それは、コンピュータグラフィックスにおいて開発された光線追跡技術に基づいている。LED基準のケースにおいて、可視性の計算は、オブジェクトの座標系に対するLEDの法線と、LED照明の円錐角と、オブジェクトの既知のポーズとに基づいている。カメラ座標系におけるLEDの法線とカメラ平面の法線との角度は、LEDがどの程度垂直にカメラ(LEDの方向角)に向けられているかを定義する。LED照明の円錐角は、カメラに対して可視のLEDについての、最小のLED方向角の閾値を定義する。与えられたポーズについて、LED方向角をLED毎に計算して、その可視性を決定できる。オブジェクトの座標系に対するマーカーの法線と、マーカー照明の円錐角と、オブジェクトの既知のポーズが、任意のアクティブマーカー追跡システムに同等に適用されうる。



  1. 現在のLED群を点灯するステップ(101)と、
    現在のLED群のうちの4つのLEDの全てがカメラで見えるかどうかを判断するステップ(102)と、
    現在のLED群のうちの全てのLEDが見える場合、中央LEDを識別するステップ(103)と、
    中央LEDが不明瞭かどうかを判断するステップ(104)と、
    中央LEDが不明瞭でない場合、側部LEDを識別するステップ(105)と、
    上部LEDと下部LEDを識別するステップ(106)と、
    計算された対応を使用して、追跡されるオブジェクトのポーズを計算するステップ(107)と、
    計算されたポーズが不明瞭かどうかを判断するステップ(108)と、
    現在のLED群のうちの全てのLEDが見えない、又は中央LEDが不明瞭である、又は計算されたポーズが不明瞭である場合、新しいLED群に切り替えるステップ(109)と、
    を含むことを特徴とする、対応問題を解決する方法(100)。

  2. ステップ101において、特に「T」形のパターンで配置された4つの点灯したLEDを同時に使用することを特徴とする、請求項1に記載の対応問題を解決する方法(100)。

  3. 4つのLEDがカメラによって完全に見える場合のみ、対応問題の解決が実行されることを特徴とする、請求項2に記載の対応問題を解決する方法(100)。

  4. ステップ103において、中央LEDに関する対応の識別は、他の残りの3つのLEDまでの、全てのLEDの距離を計算し、3D空間の真ん中のLEDに関連した中央LEDとして、最小の総距離を選択することにより、達成されることを特徴とする、請求項1から請求項3のいずれかに記載の対応問題を解決する方法(100)。

  5. 計算された2つの最小の総距離が、互いの所定の割合の範囲内である場合、中央LEDに関する見つかった対応を不明瞭であると識別し、さらに使用される中央LEDを破棄することを特徴とする、請求項4に記載の対応問題を解決する方法(100)。

  6. ステップ105において、側部LEDに関する対応の識別は、中央LEDから残りのLEDまで3つの線を描き、それから残りの2つのLEDから各線までの直交距離を計算し、それからいずれかの線までの最小の直交距離を探し出し、最後に、線までの最小の直交距離を持つ又は最小でない直交距離を持つ線を描くのに使用されない1つのLEDを側部として選択することにより、実現されることを特徴とする、請求項1から請求項5のいずれかに記載の対応問題を解決する方法(100)。

  7. ステップ106において、上部LED/下部LEDに関する対応の識別は、側部LEDから中央LEDまで線を描き、前記線の右側のLEDを上部LEDとして識別し、前記線の左側のLEDを下部LEDとして識別することを特徴とする、請求項1から請求項6のいずれかに記載の対応問題を解決する方法(100)。

  8. 上部LED/下部LEDの対応は、側部LEDがLED群の左側にある場合に切り替えられることを特徴とする、請求項7に記載の対応問題を解決する方法(100)。

  9. 計算された対応は、任意のポーズ推定アルゴリズムによって使用され、ステップ108において目先の対応について、1以上の正しいポーズがある場合、探し出されたポーズは、不明瞭であると考えられることを特徴とする、請求項1から請求項8のいずれかに記載の対応問題を解決する方法(100)。

  10. ポーズが不明瞭である、中央LEDが不明瞭である、又はカメラで見えるLEDが4つ未満である場合、新しいLED群への切り替えを実行することを特徴とする、請求項1から請求項9のいずれかに記載の対応問題を解決する方法(100)。

  11. 対応問題を解決する(100)ために使用されるLED群を選択する方法(200)であって、
    アクティブなマーカーの位置を表すメッシュデータと、動いている状況下で追跡されるオブジェクトの可能性のあるポーズを表すポーズデータと、1つのカメラの位置及び方向とを取得するステップ(201)と、
    カバーされていないポーズセットを取得したポーズデータに初期化するステップ(202)と、
    「T」形のパターンの4つのLED群の全てを列挙し(生成し)、非選択のLED群のセットに追加するステップ(203)と、
    現在のカバーされていないポーズセットのポーズ毎に、カメラ配置データを使用して、非選択のLED群を2D空間に投影するステップ(204)と、
    (非選択のLED群、現在のカバーされていないポーズセットのポーズの)各ペアについて、4つ全てのLEDが見える場合、非選択のLED群にポーズを登録するステップ(205)と、
    非選択のLED群の中から、最もカバーされていないポーズをカバーするLED群を識別して、選択されたLED群に加えるステップ(206)と、
    カバーされていないポーズセットからカバーされたポーズを除去し、且つ非選択のLED群のセットから選択されたLED群を除去するステップ(207)と、
    終了条件が満たされたかどうかを判断し、そうであれば終了するステップ(208)と、
    を含むことを特徴とする、LED群を選択する方法(200)。

  12. カバーされていないポーズセットは、選択されたLED群によってカバーされていないポーズの集まりであり、実行の開始時に、動いている状況下で追跡されるオブジェクトの可能性のあるポーズを表すポーズデータに初期化されることを特徴とする、請求項10に記載のLED群を選択する方法(200)。

  13. 4つからなる「T」形のLED群の全てが、候補LED群として列挙される(生成される)ことを特徴とする、請求項10又は請求項11に記載のLED群を選択する方法(200)。

  14. 現在の残りのカバーされていないポーズセットのポーズ毎に、カメラ配置データを使用して、非選択LED群が投影されることを特徴とする、請求項10から請求項12のいずれかに記載のLED群を選択する方法(200)。

  15. カバーされていないポーズセットのポーズは、群の4つ全てのLEDがそのポーズで見える場合、非選択LED群に登録されることを特徴とする、請求項10から請求項13のいずれかに記載のLED群を選択する方法(200)。

  16. カバーされていないポーズセットのほとんどのポーズをカバーするLED群が選択されて、選択されたLED群に追加されることを特徴とする、請求項10から請求項14のいずれかに記載のLED群を選択する方法(200)。

  17. 選択されたLED群によってカバーされたポーズはカバーされていないポーズセットから除去され、且つ選択されたLED群は非選択LED群から除去されることを特徴とする、請求項10から請求項15のいずれかに記載のLED群を選択する方法(200)。

  18. カバーされていないポーズセットが空になるか、所定数のLED群が選択されるか、又はいずれのLED群も少なくとも1つのカバーされていないポーズをカバーすることができないときに、方法の終了が発生することを特徴とする、請求項10から請求項16のいずれかに記載のLED群を選択する方法(200)。

 

 

Patent trol of patentswamp
類似の特許
制御電子機器のセットと、デジタルカメラ構成要素と、照明構成要素と、ハウジング構成要素と、迅速診断検査トレー(5)であり、トレーが、ある形状およびあるサイズを有する少なくとも1つの迅速診断被検査物をデジタルカメラ構成要素および照明構成要素に対して定位置に保持することができ、リーダーが、1つを超える異なる迅速診断被検査物に適応することができる、迅速診断検査トレーとを含む汎用迅速診断検査リーダーが、本明細書で開示され説明される。第1の物理的サイズ、第1の特徴、および第1のフォーマットを有する少なくとも1つの第1の迅速診断被検査物を供給するステップと、第2の物理的サイズ、第2の特徴、および第2のフォーマットを有する少なくとも第2の迅速診断被検査物を供給するステップと、第1の迅速診断被検査物を汎用迅速診断検査リーダーに挿入するステップと、汎用迅速診断検査リーダーを使用して第1の迅速診断被検査物を分析するステップと、第1の迅速診断検査をリーダーから取り除くステップと、リーダーのいかなる機械的調整もなしに、またはいかなる追加部品または追加挿入物の使用もなしに、第2の迅速診断被検査物を汎用迅速診断検査リーダーに挿入するステップと、汎用迅速診断検査リーダーを使用して第2の迅速診断被検査物を分析するステップとを含む方法も開示される。
符号化光の検出 // JP2016524853
カメラによって捕捉される光を表す画像データを受け取るための入力部と、或る変調周波数で変調された光の中の符号化光成分を検出するための画像解析モジュールとを含む装置。カメラは露光時間を有し、光は、それぞれが露光時間の時期にわたって持続する一連の露光の間中、捕捉される。画像解析モジュールによって行われる検出は、前述の検出内で前述の露光時間の影響による周波数ブラインドスポットに見舞われる。この問題に対処するために、本装置は、露光時間に影響を及ぼすカメラの1つ又は複数のパラメータを制御するための出力部と、変調周波数が周波数ブラインドスポットに対応するのを避けるために1つ又は複数のパラメータを制御するように構成されるコントローラとを更に含む。
該画像走査装置は、紙製の手形を搭載する搭載部材と、光源と、入光側が搭載部材に対応して設けられて、紙製の手形の光源による照射光に対する反射光又は透過光を受光し、また光源の放射光を受光するレンズと、レンズの出光側に設けられて、レンズからの光信号を電気信号に変換する第1の変換器と、光源と第1の変換器に接続されて、光源の発光時間を制御し、光源の発光中に電気信号を収集し、また、光源による発光が停止されてから所定の時間が経過した後に再び電気信号を収集するコントローラと、を備える。本発明によると、既存技術における紙製の手形の走査精度が低い問題を解決し、紙製の手形の判別精度を向上させる効果を実現できる。
本発明は、各々が光束を受け取り、電気信号をアナログの形で送達するように適合された、k行l列のアレイを形成する複数のフォトサイトと、少なくとも1つのアナログデジタル変換器とを備える画像センサであって、少なくとも、前記フォトサイトが、隣接するn個の列と、隣接するn'個の行とに属する、n×n'のフォトサイトブロックのアナログ重み付けによる第1の調節を有する、第1の組の積分回路と、前記フォトサイトが、隣接するm個の列と、隣接するm'個の行とに属する、m×m'のフォトサイトブロックのアナログ重み付けによる第2の調節を有する、第2の組の積分回路とをさらに備え、アレイの第1の組の列の隣接するn個の列が、第1の組のn×n'個の積分回路に接続され、アレイの第2の組の列の隣接するm個の列が、第2の組のm×m'個の積分回路に接続され、第1の組のn個の列が、第2の組のm個の列と交互に配置されて前記フォトサイトのアレイを形成している、画像センサに関する。
【解決手段】 回転されたカメラグループを用いて、名目進行方向に沿って傾斜画像を収集する乗物であって、選択的に歪み修正電子画像センサを用いて、投影された画素の縦列または横列を地上の所定の方向と整列させて、収集の質、効率、および/または費用を改善する。第1の態様では、カメラグループは、名目進行方向に対して対角状に回転される。第2の態様では、歪み修正電子画像センサは、投影された画素の縦列または横列を地上の所定の方向と整列させる。第3の態様では、歪み修正電子画像センサは、カメラの光軸の周りで回転される。第4の態様では、カメラはストリップ内で画像を収集して、異なるカメラのストリップは重なり合い、大きなベースラインで、小さな時間差の立体視を提供する。
【選択図】 図6
本開示は、撮影パラメータ設定方法撮影パラメータ設定装置、プログラム及び記録媒体を開示し、端末技術領域に属する。前記撮影パラメータ設定方法は、現在設定の撮影モードに基づいて、色温度調整可能なフラッシュ素子を含むスレーブ装置に対して設定する、少なくとも出力色温度及び出力時間を含む撮影パラメータを取得するステップと、前記スレーブ装置と予め確立された無線データリンクを介して、前記撮影パラメータを前記スレーブ装置に送信することで、前記スレーブ装置が前記撮影パラメータに基づいて前記スレーブ装置のフラッシュ素子の撮影時の出力色温度及び出力時間を設定するようにするステップとを含む。本開示は、スレーブ装置に対して設定する撮影パラメータの出力色温度及び出力時間を取得することで、スレーブ装置のフラッシュ素子の出力色温度及び出力時間を制御する。これにより、複数な端末による撮影を行う場合、スレーブ装置が光を補助する時の出力色温度の正確性を高め、撮影画像の品質を向上させる。
【選択図】図1
一実施形態におけるカメラは、カメラハウジングに光学フィルタを介して入射する光をデジタル画像データに変換するイメージセンサをカメラハウジング内に含む。光学フィルタは不透明度を可変とすることができる。イメージセンサと通信するプロセッサが光学フィルタの動作設定を識別し、露光期間に渡り、光学フィルタの動作設定に従って光学フィルタの不透明度を調節する。さらに、プロセッサは、少なくとも光学フィルタの動作設定に基づきデジタル画像データ値を修正する。
【選択図】 図1A
画像処理のための例示的な方法、装置、およびシステムについて説明される。1つまたは複数の基準画像が、画像品質スコアに基づいて選択される。各基準画像の少なくとも1つの部分が、マージされて出力画像が作成される。動きアーティファクトを有する出力画像が、ターゲットと比較されて出力画像の動きアーティファクトが補正される。
セットの画像を読み取って、一緒にマージして高ダイナミックレンジ出力画像にするための装置および方法が、説明される。画像は、それぞれのhdr加重と、それぞれのゴーストのない加重とを有する。画像は、ゴーストのない加重を使用してセットの入力画像の加重平均を使用して、一緒にマージされる。hdr出力画像内の各ピクセルと、そのhdr出力画像を作成するのに使用された基準画像内の各ピクセルとの間の差に基づいて、差分画像が決定される。
広いダイナミックレンジの入力ビデオ信号における複数の入力画像が受領される。前記複数の入力画像におけるある特定の入力画像に基づいて、グローバル光変調の特定の設定が決定される。グローバル光変調の前記特定の設定は、特定のダイナミックレンジ窓を生成する。前記特定の入力画像における複数の入力符号値が、前記特定の入力画像に対応する特定の出力画像における複数の出力符号値に変換される。前記複数の出力符号値は、前記複数の入力符号値によって表わされるのと同じまたは実質的に同じルミナンス・レベルを生成する。前記特定の入力画像における他の任意のピクセルは、ディスプレイ管理を通じて前記特定の出力画像における異なるルミナンス・レベルに変換される。
To top