メッシュ・セグメンテーション及びメッシュ・レジストレーションのための方法及びシステム

著者らは特許

G06K9/46 - 画像の特徴の抽出
G06T - イメージデータ処理または発生一般
G06T3/00 - イメージの平面における幾何学的イメージ変換,例.ビットマップからビットマップへ異なるイメージを作るもの
G06T7/00 - イメージ分析
G06T7/0032 - 相関に基づく方法を用いるもの
G06T17/20 - ワイヤフレーム記述,例.ポリゴン化またはテセレーション

の所有者の特許 JP2016517759:

コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V.

 

メッシュ・セグメンテーション及びレジストレーションのための方法は、解剖学的メッシュテンプレート(40)のベース・トポロジに基づく、術前の解剖学的画像(50)からの術前の解剖学的メッシュ(51)の抽出と;解剖学的メッシュテンプレート(40)のベース・トポロジから導出される術前の解剖学的メッシュ(51)の術前トポロジに基づく、術中の解剖学的画像(60)からの術中の解剖学的メッシュ(61)の抽出と、術前の解剖学的メッシュ(51)の術前トポロジから導出される術中の解剖学的メッシュ(61)の術中トポロジによって確立される、術前の解剖学的メッシュ(51)と術中の解剖学的メッシュ(61)との間のマッピング対応に基づく、術前の解剖学的画像(50)及び術中の解剖学的画像(60)のレジストレーションとを備える。
(図2)

 

 

本発明は、一般に、術前の解剖学的画像(例えば解剖学的構造のコンピュータ断層撮影(CT)スキャン又は磁気共鳴(MR)撮像スキャン)及び術中の解剖学的画像(例えば解剖学的構造の超音波(US)画像フレーム)の画像セグメンテーションに関し、術前の解剖学的画像及び術中の解剖学的画像の信頼性のあるレジストレーションを容易にする。本発明は、特に、術前の解剖学的画像及び術中の解剖学的画像からの解剖学的メッシュの抽出のための解剖学的メッシュテンプレートに関し、これにより、解剖学的メッシュは、これらの解剖学的画像をレジストレーションするためのマッピング対応(mapping correspondence)を有する。
術前の解剖学的画像と術中の解剖学的画像の融合は、画像誘導型の介入手順/外科的手順/診断手順を容易にするのに用いられている。周知の一シナリオは、高解像度の術前のCT又はMRスキャンと、術中の超音波画像フレームの融合である。例えば従来の2次元(2D)の超音波システムには、位置センサ(例えば電磁追跡センサ)が備えられ、追跡した臓器の2Dスイープ(sweep)を取得することができることがある。画像取得中に得られる追跡情報を使用して、2DスイープのUSフレームが、基準の座標系に対して整列されて臓器の3次元(3D)ボリュームを再構築する。超音波は、臓器の術中の撮像には理想的であるが、画像誘導には画像解像度が乏しい。したがって、超音波撮像と他の高解像度の撮像モダリティ(例えばCT又はMR)との融合が、介入手順/外科的手順/診断手順の超音波ベースの誘導を改善するのに用いられている。画像融合中に、対象の臓器が、術中の超音波と術前のモダリティとの間で正確にレジストレーションされる。2つの異なるモダリティの融合について多くの画像レジストレーション技術が提案されているが、術中の超音波といずれかの術前のモダリティ(例えばCT又はMR)の融合は、術中の超音波と術前のモダリティとの間の機能的な依存関係の欠如に起因して、困難なことであることが分かっている。
より具体的には、肝臓の術中のUS画像フレームに対する肝臓の術前の3D CT撮像スキャンの融合のための既知のダイヤフラム表面モデル(diaphragm surface model)に基づく解決策は、2D超音波スイープ又は単一の3D超音波ボリュームの取得から得られる、肝臓について抽出される3D肝臓ダイヤフラム表面モデルに対する、術前の3D CT撮像スキャンから得られる肝臓の3D形状セグメンテーションのレジストレーションを要する。術中の超音波画像におけるダイヤフラムの表面セグメンテーションは、母集団の平均メッシュモデルを、画像ベースの特徴を使用して超音波画像に適合させる。これは、課題をもたらす可能性があり、結果として、画像レジストレーションの正確性は、超音波セグメンテーションの正確性に大いに依存する。
ダイヤフラム表面モデルに基づくアプローチに対する代替として、本発明は、特に画像誘導型の介入手順/外科的手順/診断手順のために、術前の解剖学的画像と術中の解剖学的画像のメッシュ・セグメンテーション及びメッシュ・レジストレーションを提供する。
本発明の第1の形態は、メッシュ・セグメンテーション及びメッシュ・レジストレーションのためのシステムである。当該システムは、術前ワークステーション(例えばCTワークステーション又はMRIワークステーション)と、術中ワークステーション(例えば超音波ワークステーション)を用いる。動作において、術前ワークステーションは、解剖学的メッシュテンプレートのベース・トポロジに基づいて、術前の解剖学的画像(例えばCTの肝臓画像又はMRIの肝臓画像)から、術前の解剖学的メッシュを抽出する。解剖学的メッシュテンプレートのベース・トポロジから導出される、抽出された術前の解剖学的メッシュの術前トポロジに基づいて、術中ワークステーションは、術中の解剖学的画像(例えば超音波の肝臓画像)から術中の解剖学的メッシュを抽出し、術前の解剖学的メッシュの術前トポロジから導出される術中の解剖学的メッシュの術中トポロジによって確立される、術前の解剖学的メッシュと術中の解剖学的メッシュとの間のマッピング対応に基づいて、術前の解剖学的画像及び術中の解剖学的画像をレジストレーションする。
本発明の第2の形態は、メッシュ・セグメンテーション及びメッシュ・レジストレーションのためのモジュールネットワークである。当該システムは、術前メッシュ・エクストラクタと、術中メッシュ・エクストラクタと、メッシュ空間トランスフォーマとを備える。動作において、術前メッシュ・エクストラクタは、解剖学的メッシュテンプレートのベース・トポロジに基づいて、術前の解剖学的画像(例えばCTの肝臓画像又はMRIの肝臓画像)から術前の解剖学的メッシュを抽出する。術中メッシュ・エクストラクタは、解剖学的メッシュテンプレートのベース・トポロジから導出される術前の解剖学的メッシュの術前トポロジに基づいて、術中の解剖学的画像(例えば超音波の肝臓画像)から術中の解剖学的メッシュを抽出する。メッシュ空間トランスフォーマは、術前の解剖学的メッシュの術前トポロジから導出される術中の解剖学的メッシュの術中トポロジによって確立される、術前の解剖学的メッシュと術中の解剖学的メッシュとの間のマッピング対応に基づいて、術前の解剖学的画像及び術中の解剖学的画像をレジストレーションする。
本発明の第3の形態は、メッシュ・セグメンテーション及びレジストレーションのための方法である。当該方法は、解剖学的メッシュテンプレートのベース・トポロジに基づく、術前の解剖学的画像(例えばCTの肝臓画像又はMRIの肝臓画像)からの術前の解剖学的メッシュの抽出と、解剖学的メッシュテンプレートのベース・トポロジから導出される術前の解剖学的メッシュの術前トポロジに基づく、術中の解剖学的画像(例えば超音波の肝臓画像)からの術中の解剖学的メッシュの抽出と、術前の解剖学的メッシュの術前トポロジから導出される術中の解剖学的メッシュの術中トポロジによって確立される、術前の解剖学的メッシュと術中の解剖学的メッシュとの間のマッピング対応に基づく、術前の解剖学的画像及び術中の解剖学的画像のレジストレーションとを含む。
本発明の前述の形態及び他の形態、並びに本発明の様々な特徴及び利点は、添付の図面と関連して読まれる、本発明の様々な実施形態の下記の詳細な説明から更に明らかになるであろう。詳細な説明及び図面は、限定ではなく、単に本発明を例示するものであり、本発明の範囲は、添付の特許請求の範囲及びその均等の範囲によって定義される。
本発明に係るメッシュ・セグメンテーション及びメッシュ・レジストレーションの方法の例示的な実施形態を表すフローチャートである。 図1に図示されるフローチャートの例示的な実装を示す図である。 本発明に係る術前のセグメンテーションモデルの構築の方法の例示的な実施形態を表すフローチャートである。 図3に図示されるフローチャートの例示的な実装を示す図である。 本発明に係る術中のセグメンテーションモデルの構築の方法の例示的な実施形態を表すフローチャートである。 図5に図示されるフローチャートの例示的な実装を示す図である。 本発明に係るマルチモーダルセグメンテーション及びレジストレーションのためのシステム及びモジュールネットワーク(module network)の例示的な実施形態を示す図である。
本発明は、術前の解剖学的画像及び術中の解剖学的画像のメッシュ・セグメンテーション及びメッシュ・レジストレーションの初期設定(initialization)のために、解剖学的メッシュテンプレートのベース・トポロジを用いる。
本発明の目的では、「解剖学的」、「メッシュ」、「モデル」、「抽出」、「構築」、「セグメンテーション」、「レジストレーション」及び「変換」という用語及び関連する用語は、本発明の分野で知られるように広く解釈されるべきである。
また、本発明の目的では、撮像動作の発生又は撮像システムの動作に関わらず、「術前」という用語は、本明細書で使用されるとき、前処理あるいは介入手順/外科的手順/診断手順を支持する二次的撮像モダリティとして指定される、特定の撮像モダリティの任意の撮像動作又は構造を示すよう広く定義され、「術中」という用語は、本明細書で使用されるとき、介入手順/外科的手順/診断手順の実行中の一次撮像モダリティとして指定される、特定の撮像モダリティの任意の撮像動作又は構造を示すよう広く定義される。撮像モダリティの例には、これらに限られないが、CT、MRI、X線及び超音波が含まれる。
実際には、本発明は、任意の解剖学的領域(例えば頭部、胸部、骨盤等)及び解剖学的構造(例えば骨、臓器、循環系、消化器系等)、任意のタイプの術前の解剖学的画像及び任意のタイプの術中の解剖学的画像に当てはまる。また、実際には、術前の解剖学的画像及び術中の解剖学的画像は、介入手順/外科的手順/診断手順の同じ対象(subject)又は異なる対象の解剖学的領域/構造のものであってよく、術前の解剖学的画像及び術中の解剖学的画像は、同じ撮像モダリティによって生成されても、異なる撮像モダリティによって生成されてもよい(例えば術前CTと術中US、術前CTと術中CT、術前MRIと術中US、術前MRIと術中MRI、術前USと術中US)。
本発明の理解を容易にするために、本明細書では、術前のCT/MRの肝臓画像及び術中の超音波の肝臓画像のメッシュ・セグメンテーション及びメッシュ・レジストレーションの初期設定のための肝臓メッシュテンプレートのベース・トポロジの使用を対象とする、本発明の例示の実施形態が提供され得る。「CT/MR」という用語は、本明細書では、CT撮像又はMR撮像の代替的な使用を指すのに使用される。
図1を参照すると、フローチャート10は、本発明のメッシュ・セグメンテーションとメッシュ・レジストレーションの方法を表している。フローチャート10の段階S11は、解剖学的メッシュテンプレートのベース・トポロジが、対象の術前の解剖学的画像からの術前の解剖学的メッシュの抽出のためのベースとして機能することを含む。より具体的には、解剖学的メッシュテンプレートは、術前の解剖学的画像から解剖学的メッシュテンプレートと同じトポロジを有する術前の解剖学的メッシュを抽出するために、解剖学的画像内に示される解剖学的特徴と関連して使用される、固定数の節点(node)及び面(face)で構成される既知のトポロジを有する。
実際には、段階S11における、解剖学的メッシュテンプレートのベース・トポロジに基づく、術前の解剖学的画像からの術前の解剖学的メッシュの抽出のために、任意の技術が実装され得る。図2に示されるように、段階S11の一実施形態において、CT/MRセグメンテーションモデル11は、CT/MR肝臓画像50からのCT/MR肝臓メッシュ51の抽出のために、既知のベース・トポロジの肝臓メッシュテンプレート40をCT/MR肝臓画像50の画像特徴(例えば表面境界)に半自動的に適合させる。
フローチャート10の段階S12は、段階S11中に抽出された術前の解剖学的メッシュの術前トポロジが、段階S11と同じ対象又は段階S11と異なる対象の術中の解剖学的画像からの術中の解剖学的メッシュの抽出のためのベースとして機能することを含む。より具体的には、段階S11の間に抽出された術前の解剖学的メッシュは、解剖学的メッシュテンプレートと同じ既知のトポロジを有することになり、該術前の解剖学的メッシュの既知のトポロジを術中の解剖学的画像の解剖学的特徴とともに使用して、解剖学的メッシュテンプレート及び術前の解剖学的メッシュと同じトポロジを有する術中の解剖学的メッシュを抽出する。
実際には、段階S12における、術前の解剖学的メッシュの術前トポロジに基づく、術中の解剖学的画像からの術中の解剖学的メッシュの抽出のために、任意の技術が実装され得る。図2に示されるように、段階S12の一実施形態において、超音波セグメンテーションモデル12が、既知のトポロジのCT/MR肝臓メッシュ51を超音波肝臓画像60に適応的に空間的に変換する。適応的な空間変換は、自由度(例えば剛体変換(rigid transformation)、アフィン変換又は弾性的に変形可能な変換(elastic deformable transformation))を制限していることがある。空間変換の後に、超音波セグメンテーションモデル12は、超音波肝臓画像60からの超音波肝臓メッシュ61の抽出のために、CT/MRの肝臓メッシュ51を超音波肝臓画像60の画像特徴(例えば表面境界)に半自動的に適合させる。
フローチャート10の段階S13は、術前の解剖学的画像と術中の解剖学的画像のレジストレーションを含む。より具体的には、解剖学的メッシュテンプレートの既知のベース・トポロジから導出される術前の解剖学的メッシュと術中の解剖学的メッシュの同一のトポロジは、術前の解剖学的メッシュと術中の解剖学的メッシュとの間のマッピング対応を確立し、このマッピング対応は、術中の解剖学的画像への術前の解剖学的画像の空間変換又はその反対の変換を容易にする。したがって、術前の解剖学的画像及び術中の解剖学的画像が、介入手順/外科的手順/診断手順の画像誘導の目的でレジストレーションされる。
実際には、術前の解剖学的と術中の解剖学的画像のレジストレーションのために任意の技術が実装され得る。図2に示されるように、段階S13の一実施形態において、CT/MR肝臓メッシュ51と超音波肝臓メッシュ61は、CT/MR肝臓メッシュ51と超音波肝臓メッシュ61の1対1のレジストレーション13(例えば剛体変換、アフィン変換又は弾性的に変形可能な変換)を容易にする同一の節点及び面を有する。フローチャート10の終了後、結果として得られる、術前の解剖学的画像(例えば図2のCR/MR画像50)及び術中の解剖学的画像(例えば図2の超音波画像60)のレジストレーションを、画像誘導型の介入手順/外科的手順/診断手順に使用することができる。
図2を参照すると、フローチャート10の例示の実施形態は、術前のセグメンテーションモデル(例えばCT/MRセグメンテーションモデル11)及び術中のセグメンテーションモデル(例えばUSセグメンテーションモデル12)を用いていた。次に、術前のセグメンテーションモデルと術中のセグメンテーションモデルの構築方法を示すために図3〜6を説明することにする。
図3を参照すると、フローチャート20は、本発明の術前のセグメンテーションモデルの構築方法を表している。
フローチャート20の段階S21は、j個(j2)の対象の一般集団(general population)全体にわたる解剖学的メッシュテンプレートの構築を含み、これにより、解剖学的メッシュテンプレートは、固定数の頂点と面の既知のベース・トポロジを有する。実際には、解剖学的メッシュテンプレートの構築のために任意の技術が実装され得る。段階S21の一実施形態では、図4に示される肝臓メッシュテンプレート40は、1つの肝臓についてj個のCT/MRセグメンテーションされる肝臓メッシュの一般対象集団の平均から構築される。肝臓メッシュテンプレート40は、固定の数の頂点及び面の既知のベース・トポロジを有し、図1に示されるようなフローチャート10のメッシュ・セグメンテーションの初期設定に使用される。
フローチャート20の段階S22は、j個の対象の一般集団全体にわたるk個(k2)の術前の解剖学的画像のデータセットからの、術前のトレーニングメッシュのデータセットの抽出を含む。実際には、術前のトレーニングメッシュのデータセットの抽出のために任意の技術が実装され得る。図4に示されるように、段階S22の一実施形態では、CT/MRトレーニングメッシュのデータセット53は、CT/MR肝臓画像のデータセット52の画像特徴(例えば表面境界)に対する肝臓メッシュテンプレート40の半自動的適合22によって抽出される。
実際には、解剖学的メッシュテンプレートの構築のためのセグメンテーションされた解剖学的メッシュ(図4には図示せず)と、術前のセグメンテーションモデルの構築のための術前の解剖学的画像のデータセット(例えば図4のCT/MR肝臓画像のデータセット52)を、同じ対象のうちの1つ以上から、あるいは2つの別個の対象のセットから生成することができる。
フローチャート20の段階S23は、術前のトレーニングメッシュのデータセット及び術前の解剖学的画像のデータセットからの、術前のセグメンテーションモデルの構築を含む。実際には、術前のセグメンテーションモデルの構築のために任意の技術が実装され得る。図4に示されるように、段階S23の一実施形態では、CT/MRセグメンテーションモデル23が、CT/MR肝臓画像のデータセット52内に示される画像特徴から、並びにCT/MRトレーニングメッシュのデータセット53の既知の頂点及び面から構築される。フローチャート20の終了後、CT/MRセグメンテーションモデル23は、図2に示されるようなCT/MRセグメンテーションモデル11として機能し得る。
図5を参照すると、フローチャート30は、本発明の術中のセグメンテーションモデルの構築方法を表す。フローチャート30の段階S31は、j個の対象の一般集団全体にわたるi個(i2)の術前の解剖学的画像のデータセットからの、術前のベースラインメッシュのデータセットの抽出を含む。実際には、術前のベースラインメッシュのデータセットの抽出のための任意の技術が実装され得る。図6に示されるように、段階S31の一実施形態では、CT/MRセグメンテーションモデル23(図4)は、肝臓メッシュテンプレート40を、CT/MRベースラインメッシュのデータセット55の抽出のために、CT/MR肝臓画像のデータセット54の画像特徴(例えば表面境界)に半自動的に適合させる。
実際には、術前のセグメンテーションモデルの構築のための術前の解剖学的データセット(例えば図4のCT/MR肝臓画像データセット52)と、術中のセグメンテーションモデルの構築のための術前の解剖学的画像データセット(例えば図6のCT/MR肝臓画像データセット54)を、同じ対象のうちの1つ以上から、あるいは2つの別個の対象のセットから生成することができる。
フローチャート30の段階S32は、j個の対象の一般集団全体にわたるl個(l2)の術中の解剖学的画像のデータセットからの、術中のトレーニングメッシュのデータセットの抽出を含む。実際には、術中のトレーニングメッシュのデータセットの抽出のための任意の技術が実装され得る。図6に示されるように、段階S32の一実施形態では、術前のベースラインメッシュのデータセット55が、任意の既知の技術(例えば手動のレジストレーション)によって超音波肝臓画像のデータセット62へ空間的に変換され、超音波トレーニングメッシュのデータセット63が、超音波肝臓画像のデータセット62の画像特徴(例えば表面境界)への術前のベースラインメッシュのデータセット55の半自動的適合32によって抽出される。
実際には、術前の解剖学的画像のデータセット(例えばCT/MR肝臓画像のデータセット54)と術中の解剖学的画像のデータセット(例えば超音波肝臓画像のデータセット62)を、同じ対象のうちの1つ以上から、あるいは2つの別個の対象のセットから生成することができる。
フローチャート30の段階S33は、術中のトレーニングメッシュのデータセットからの術中のセグメンテーションモデルの構築を含む。実際には、術中のセグメンテーションモデルの構築のための任意の技術が実装され得る。図6に示されるように、段階S33の一実施形態では、超音波セグメンテーションモデル33が、超音波肝臓画像のデータセット62内に示される画像特徴(例えば表面境界)から、並びに超音波トレーニングメッシュのデータセット63の既知の頂点及び面から構築される。フローチャート30の終了後、超音波セグメンテーションモデル33は、図2に示される超音波セグメンテーションモデル12として機能し得る。
図7を参照すると、フローチャート10(図1)、フローチャート20(図3)及びフローチャート30(図5)を実装するためのソフトウェア/ファームウェアモジュール91〜95のネットワークが図示されている。
第1に、術前メッシュ・エクストラクタ91は、フローチャート10の段階S11(図1)により含まれ、CT/MR肝臓メッシュ51の抽出(図2)で例示的に示されるような、術前の解剖学的メッシュを抽出するための技術を用いる。
第2に、術中メッシュ・エクストラクタ92は、フローチャート10の段階S12(図1)により含まれ、超音波肝臓メッシュ61の抽出(図2)で例示的に示されるような、術中の解剖学的メッシュを抽出するための技術を用いる。
第3に、メッシュ空間トランスフォーマ93は、フローチャート10の段階S13(図1)により含まれ、超音波肝臓メッシュ61へのCT/MR肝臓メッシュ51の空間変換(図2)で例示的に示されるような、術中の解剖学的メッシュへの術前の解剖学的メッシュの空間変換のための技術を用いる。
第4に、モジュール91及び92を支持して、術前モデルのコンストラクタ94は、フローチャート20(図3)により含まれ、CT/MRセグメンテーションモデル23の構築(図4)で例示的に示されるような、術前のセグメンテーションモデルを構築するための技術を用いる。
最後に、モジュール91及び92を支持して、術中モデルのコンストラクタ95は、フローチャート30(図5)により含まれ、超音波セグメンテーションモデル33の構築(図6)で例示的に示されるような、術中のセグメンテーションモデルを構築するための技術を用いる。
図7は更に、術前ワークステーション90a及び術中ワークステーション90bを用いるシステムを図示している。実際には、術前ワークステーション90a及び術中ワークステーション90bは、物理的に独立のワークステーションであってよく、あるいは単一のワークステーション内に物理的に統合される論理的なサブステーションであってもよい。
術前ワークステーション90aは構造的に、ワークステーション90a内でソフトウェア/ファームウェアとしてプログラムされ、インストールされる、術前メッシュ・エクストラクタ91を実行するためのハードウェア/回路(例えばプロセッサ、メモリ等)を用いて構成される。
術中ワークステーション90bは構造的に、ワークステーション90b内でソフトウェア/ファームウェアとしてプログラムされ、インストールされる、術中メッシュ・エクストラクタ92及びメッシュ空間トランスフォーマ93を実行するためのハードウェア/回路(例えばプロセッサ、メモリ等)を用いて構成される。
実際には、術前モデル・コンストラクタ94及び術中モデル・コンストラクタ95は、術前ワークステーション90a内で、あるいはトレーニングワークステーション(図示せず)内でソフトウェア/ファームウェアとしてプログラムされ、インストールされることがあり、トレーニングワークステーションは、物理的に独立のワークステーション又は術前ワークステーション90a内に物理的に統合される論理的なサブステーションのいずれかである。
例示的なシステムの動作において、画像誘導型の介入手順/外科的手順/診断手順の術前段階100に先立つトレーニング段階(図示せず)の間に、CT/MRセグメンテーションモデル11(図4)及び超音波セグメンテーションモデル12(図6)が、それぞれモジュール94及び95によって構築される。実際には、セグメンテーションモデル11及び12の構築は、多くの画像誘導型の介入手順/外科的手順/診断手順について一度に起り得る。
図7に示されるように、画像誘導型の介入手順/外科的手順/診断手順の術前段階100の間に、対象者70の肝臓71がCT/MRIスキャナ80によりスキャンされて、これにより、術前メッシュ・エクストラクタ91は、固定数の頂点及び面の既知のベース・トポロジを有する肝臓メッシュテンプレート40に基づいて、CT/MR肝臓画像50からCT/MR肝臓メッシュ51を抽出する。
図7に示されるように、画像誘導型の介入手順/外科的手順/診断手順の術中段階101の間に、対象者70の肝臓71が超音波プローブ81により撮像されて、これにより、術中メッシュ・エクストラクタ92は、肝臓メッシュテンプレート40のベース・トポロジと同一の固定数の頂点及び面の既知のトポロジを有するCT/MR肝臓メッシュ51に基づいて、超音波肝臓画像60から超音波画像メッシュ61を抽出する。超音波肝臓メッシュ61は、肝臓メッシュテンプレート40のベース・トポロジと同一の固定数の頂点及び面の既知のトポロジを有し、これにより、メッシュ空間トランスフォーマ93は、超音波肝臓画像60にCT/MR肝臓画像50をレジストレーションする目的のために、CT/MR肝臓メッシュ51を超音波肝臓メッシュ61へ空間的に変換する。
図1〜図7を参照して、当業者は、本発明の様々な利点を十分に理解するであろう。そのような利点は、これには限られないが、画像誘導型の介入手順/外科的手順/診断手順の術前段階の貴重な時間を節約し、術前及び術中の解剖学的画像を整列させる人的要因及び主観性を低減させることにより、画像誘導型の介入手順/外科的手順/診断手順のための全体的なワークフローを改善する、メッシュ・セグメンテーション及びメッシュ・レジストレーションを含む。
本発明の様々な実施形態を例示し、説明してきたが、本明細書において説明される本発明の実施形態は例示であり、本発明の真の範囲から逸脱することなく、様々な変更及び修正を行ってもよく、均等物をその要素と置き換えてもよいことが当業者には理解されよう。加えて、その中心となる範囲から逸脱することなく、本発明の教示を適応させる多くの修正が行われてもよい。したがって、本発明は、本発明を実施するためのベストモードとして考えられる特定の実施形態に限定されないものとして意図されており、むしろ、本発明は、添付の特許請求の範囲内にある全ての実施形態を含むように意図される。



  1. メッシュ・セグメンテーション及びメッシュ・レジストレーションのためのシステムであって、当該システムは:
    解剖学的メッシュテンプレートのベース・トポロジに基づいて、術前の解剖学的画像から術前の解剖学的メッシュを抽出するように動作的に構成される、術前ワークステーションと;
    術中ワークステーションと;
    を備え、
    前記術中ワークステーションは、前記解剖学的メッシュテンプレートの前記ベース・トポロジから導出される前記術前の解剖学的メッシュの術前トポロジに基づいて、術中の解剖学的画像から術中の解剖学的メッシュを抽出するように動作的に構成され、
    前記術中ワークステーションは、前記術前の解剖学的メッシュの前記術前トポロジから導出される前記術中の解剖学的メッシュの術中トポロジによって確立される、前記術前の解剖学的メッシュと前記術中の解剖学的メッシュとの間のマッピング対応に基づいて、前記術前の解剖学的画像及び前記術中の解剖学的画像をレジストレーションするように更に動作的に構成される、
    システム。

  2. 前記術前の解剖学的画像及び前記術中の解剖学的画像の双方が、同一の画像モダリティから生成される、
    請求項1に記載のシステム。

  3. 前記術前の解剖学的画像及び前記術中の解剖学的画像は、異なる画像モダリティから生成される、
    請求項1に記載のシステム。

  4. 前記解剖学的メッシュテンプレートの前記ベース・トポロジに基づく、術前の解剖学的画像のデータセットからの術前のトレーニングメッシュのデータセットの抽出により、術前のセグメンテーションモデルを構築するように動作的に構成される、トレーニングワークステーションを更に備え、
    前記術前ワークステーションは、前記解剖学的メッシュテンプレートの前記ベース・トポロジに基づいて前記術前の解剖学的画像から前記術前の解剖学的メッシュを抽出するよう前記術前のセグメンテーションモデルを含む、
    請求項1に記載のシステム。

  5. 前記術前のベースラインメッシュのデータセットの前記術前トポロジに基づく、術中の解剖学的画像のデータセットからの術中のトレーニングメッシュのデータセットの抽出により、術中のセグメンテーションモデルを構築するように動作的に構成される、トレーニングワークステーションを更に備え、
    前記術中ワークステーションは、前記術前の解剖学的メッシュの前記術前トポロジに基づいて前記術中の解剖学的画像から前記術中の解剖学的メッシュを抽出するよう前記術中のセグメンテーションモデルを含む、
    請求項1に記載のシステム。

  6. 前記トレーニングワークステーションは、前記解剖学的メッシュテンプレートの前記ベース・トポロジに基づいて術前の解剖学的画像のデータセットから、前記術前のべースラインメッシュのデータセットを抽出するように更に動作可能である、
    請求項5に記載のシステム。

  7. 前記術中ワークステーションによる前記術前の解剖学的画像及び前記術中の解剖学的画像のレジストレーションは、前記術中の解剖学的メッシュへの前記術前の解剖学的メッシュの空間変換を含む、
    請求項1に記載のシステム。

  8. メッシュ・セグメンテーション及びレジストレーションのためのモジュールネットワークであって、当該モジュールネットワークは:
    解剖学的メッシュテンプレートのベース・トポロジに基づいて、術前の解剖学的画像から術前の解剖学的メッシュを抽出するように動作的に構成される、術前メッシュ・エクストラクタと;
    前記解剖学的メッシュテンプレートの前記ベース・トポロジから導出される前記術前の解剖学的メッシュの術前トポロジに基づいて、術中の解剖学的画像から術中の解剖学的メッシュを抽出するように動作的に構成される、術中メッシュ・エクストラクタと;
    前記術前の解剖学的メッシュの前記術前トポロジから導出される前記術中の解剖学的メッシュの術中トポロジによって確立される、前記術前の解剖学的メッシュと前記術中の解剖学的メッシュとの間のマッピング対応に基づいて、前記術前の解剖学的画像及び前記術中の解剖学的画像をレジストレーションするように動作的に構成される、メッシュ空間トランスフォーマと;
    を備える、モジュールネットワーク。

  9. 前記術前の解剖学的画像及び前記術中の解剖学的画像の双方が、同一の画像モダリティから生成される、
    請求項8に記載のモジュールネットワーク。

  10. 前記術前の解剖学的画像及び前記術中の解剖学的画像は、異なる画像モダリティから生成される、
    請求項8に記載のモジュールネットワーク。

  11. 前記解剖学的メッシュテンプレートの前記ベース・トポロジに基づく、術前の解剖学的画像のデータセットからの術前のトレーニングメッシュのデータセットの抽出により、術前のセグメンテーションモデルを構築するように動作的に構成される、術前モデル・コンストラクタを更に備え、
    前記術前メッシュ・エクストラクタは、前記解剖学的メッシュテンプレートの前記ベース・トポロジに基づいて前記術前の解剖学的画像から前記術前の解剖学的メッシュを抽出するよう前記術前のセグメンテーションモデルを含む、
    請求項8に記載のモジュールネットワーク。

  12. 前記術前のベースラインメッシュのデータセットの前記術前トポロジに基づく、術中の解剖学的画像のデータセットからの術中のトレーニングメッシュのデータセットの抽出により、術中のセグメンテーションモデルを構築するように動作的に構成される、術中モデル・コンストラクタを更に備え、
    前記術中メッシュ・エクストラクタは、前記術前の解剖学的メッシュの前記術前トポロジに基づいて前記術中の解剖学的画像から前記術中の解剖学的メッシュを抽出するよう前記術中のセグメンテーションモデルを含む、
    請求項8に記載のモジュールネットワーク。

  13. 前記術中モデル・コンストラクタは、前記解剖学的メッシュテンプレートの前記ベース・トポロジに基づいて術前の解剖学的画像のデータセットから、前記術前のべースラインメッシュのデータセットを抽出するように更に動作可能である、
    請求項12に記載のモジュールネットワーク。

  14. 前記術前メッシュ・エクストラクタは、術前ワークステーション上に動作可能にインストールされ、
    前記術中メッシュ・エクストラクタ及び前記メッシュ空間トランスフォーマは、術中ワークステーション上に動作可能にインストールされる、
    請求項8に記載のモジュールネットワーク。

  15. 前記メッシュ空間トランスフォーマによる前記術前の解剖学的画像及び前記術中の解剖学的画像のレジストレーションは、前記術中の解剖学的メッシュへの前記術前の解剖学的メッシュの空間変換を含む、
    請求項8に記載のモジュールネットワーク。

  16. メッシュ・セグメンテーション及びレジストレーションのための方法であって、当該方法は:
    解剖学的メッシュテンプレートのベース・トポロジに基づく、解剖学的領域の術前の解剖学的画像からの術前の解剖学的メッシュの抽出と;
    前記解剖学的メッシュテンプレートの前記ベース・トポロジから導出される前記術前の解剖学的メッシュの術前トポロジに基づく、術中の解剖学的画像からの術中の解剖学的メッシュの抽出と;
    前記術前の解剖学的メッシュの前記術前トポロジから導出される前記術中の解剖学的メッシュの術中トポロジによって確立される、前記術前の解剖学的メッシュと前記術中の解剖学的メッシュとの間のマッピング対応に基づく、前記術前の解剖学的画像及び前記術中の解剖学的画像のレジストレーションと;
    を備える、方法。

  17. 前記解剖学的メッシュテンプレートの前記ベース・トポロジに基づく、術中の解剖学的画像のデータセットからの術中のトレーニングメッシュのデータセットの抽出を含む、術前のセグメンテーションモデルの構築を更に備え、
    前記術前のセグメンテーションモデルは、前記解剖学的メッシュテンプレートの前記ベース・トポロジに基づく前記術前の解剖学的画像からの前記術前の解剖学的メッシュの抽出を実施する、
    請求項16に記載の方法。

  18. 前記術前のベースラインメッシュのデータセットの前記術前トポロジに基づく、術中の解剖学的画像のデータセットからの術中のトレーニングメッシュのデータセットの抽出を含む、術中のセグメンテーションモデルの構築を更に備え、
    前記術中のセグメンテーションモデルは、前記術前の解剖学的メッシュの前記術前トポロジに基づく前記術中の解剖学的画像からの前記術中の解剖学的メッシュの抽出を実施する、
    請求項16に記載の方法。

  19. 前記術中のセグメンテーションモデルの構築は、前記解剖学的メッシュテンプレートの前記ベース・トポロジに基づく、術前の解剖学的画像のデータセットからの前記術前のべースラインメッシュのデータセットの抽出を更に含む、
    請求項18に記載の方法。

  20. 前記術前の解剖学的画像及び前記術中の解剖学的画像のレジストレーションは、前記術中の解剖学的メッシュへの前記術前の解剖学的メッシュの空間変換を含む、
    請求項16に記載の方法。

 

 

Patent trol of patentswamp
類似の特許
電子デバイスによる対話型画像戯画化のための方法が、説明される。この方法は、画像の少なくとも1つの特徴位置を検出することを含む。この方法は、少なくとも1つの特徴位置に基づいて、少なくとも1つの水平線と少なくとも1つの垂直線のグリッドを備える画像メッシュを生成することを含む。この方法は、ジェスチャ入力を獲得することをさらに含む。また、この方法は、少なくとも1つのジェスチャ入力に基づいて、少なくとも1つの戯画化アクションを決定することも含む。この方法は、画像メッシュ、少なくとも1つの戯画化アクション、および画像に基づいて、戯画画像を生成することをさらに含む。
画像処理 // JP2016514310
物体の組の点群データから自動的にその物体の組の三次元表示を生成するための方法および装置が記載されている。方法および装置は、物体によって占有された空間を複数のボリュームに分割する。ボリューム内の点がおおよそ表面上に共存していれば、そのようなボリュームは、表面ボリュームとして指定される。おおよそ同一平面上の表面を有する表面ボリュームはより大きな表面ボリュームを形成するために結合される。ボリューム内の点がおおよそ線上に共存していれば、そのようなボリュームは、線ボリュームとして指定される。おおよそ同一直線上の線を有する線ボリュームは、より大きな線ボリュームを形成するために結合される。
【選択図】 図1
デプスマップ(10)の第1の要素(21)に関連付けられたコンテンツを強化するための方法であって、前記デプスマップ(10)は、視点に従ってシーン(1)に関連付けられる。従って、前記デプスマップの空間内の前記第1の要素(21)におけるデプスの変動を表す少なくとも第1の情報が設定される。
テッセレーションのためのシステムおよび方法について説明されている。テッセレーションのため、テッセレーションユニットは、ドメインを複数の部分に分割することができ、少なくとも1つの部分は連続的部分である。テッセレーションユニットは、ドメイン座標に対応するパッチ座標が再利用バッファ内に格納される確率を高めるために前記連続的部分内の対角線ストリップに沿ったプリミティブのドメイン座標を出力し得る。
【選択図】図19
本発明は、患者の顔面データを収集するためのコンピューティングデバイスおよびシステムに関する。システムは、少なくとも一つのテンプレート、カメラ、および、コンピューティングデバイスを含んでいる。テンプレートは、少なくとも一つのコンピュータで検出可能なエレメントを含んでおり、患者の顔面の2次元画像を撮影することができる。ここで、顔面はテンプレートの開口部の中に位置決めされる。2次元画像、および、それぞれの2次元画像における顔面と少なくとも一つのコンピュータで検出可能なエレメントに係るカメラに関する決定された距離と向きに基づいて、コンピューティングデバイスは、3次元データを構築することができる。本発明は、また、対応する方法に関する。
本発明は、三次元グラフィックス画像の最適化ポリゴンに基づいたシェルメッシュを形成するように構成される画像処理装置を制御するコンピュータ実施方法に関する。本発明は、対応する画像処理装置及びコンピュータプログラム製品にも関する。
本発明は、ユーザの左眼(16a)を補足するように配置された少なくとも第1のカメラ(14a)、及びユーザの右眼(16b)を補足するように配置された少なくとも第2のカメラ(14b)を備える両眼視線追跡システム(14a,14b)と、ユーザの左眼(16a)に画像を提示するよう配置された第1の表示手段(18a)、及びユーザの右眼(16b)に画像を提示するよう配置された第2の表示手段(18b)を備えるヘッドマウントディスプレイ(10)と、前記視線追跡システム(14a,14b)からの画像を処理し、少なくとも、前記左眼(16a)及び右眼(16b)の3D位置及び前記左眼(16a)及び右眼(16b)の方向ベクトルを計算し、前記ヘッドマウントディスプレイによって前記ユーザの左眼及び右眼(16a,16b)に投影すべきディジタル画像のストリームを計算及びレンダリングするように設計された処理装置(24,24a,24b)と、を備えるヘッドマウントシステム(10)に関し、本発明によれば、このヘッドマウントシステムおいて、前記処理装置(24,24a,24b)は、更に、前記ディジタル画像のストリーム計算及びレンダリングする際に、前記左眼及び右眼(16a,16b)の3D位置及び前記左眼及び右眼(16a,16b)の方向ベクトルを考慮するように設計される。本発明は、ヘッドマウントディスプレイを用いてディジタル画像のストリームを計算しレンダリングするための方法にも関する。
ビデオストリーム内で観測されたシーン内のオブジェクトの面法線を解くためのシステムおよび方法が本明細書で説明される。システムおよび方法は、キーフレームのセットを生成するために、ビデオストリームサンプリングするステップと、キーフレームの各々の中のマップ点のセットに関する仮説面法線を生成するステップと、仮説面法線の各々から計算されたワーピング行列を用いて、第1のキーフレーム内の対応するマップ点のパッチを第2のキーフレームの視点にワープさせるステップと、2個のキーフレーム内の各仮説面法線同士の間のワーピング誤差をスコア付けするステップと、第1のキーフレームと第2のキーフレームとの間で高いワーピング誤差を有する仮説面法線を廃棄するステップとを含み得る。
【解決手段】3Dプリンティングの方法は、ゲーム内ジオメトリを含む仮想ゲーム環境を生成するステップをさらに含む、ビデオゲームを実行するステップと、仮想ゲーム環境の現在の状態が3Dプリンティングのために選択されたという指示を受け取るステップと、補足的ジオメトリを獲得するステップと、3Dプリンタジオメトリを作成するために、ゲーム内ジオメトリを補足的ジオメトリで補足するステップと、を含み、3Dプリンタジオメトリに含まれる仮想ゲーム環境の構成要素は、補足的ジオメトリによって、モデルの最終プリント物理形態においてモデルを支持するように計算された寸法を有する3Dプリンタジオメトリ内の構造形状を有するように修正される。
【選択図】図5A
【課題】3Dモデル化オブジェクトの設計を向上させる。
【解決手段】3Dモデル化オブジェクトを表す細分割曲面と、対応する所定のメッシュ−NURBS曲面間の変換アルゴリズムと、に対して関連付けられたベースメッシュを、ユーザにより定義するステップ(S10)と、2D画像と2D画像を細分割曲面上にエングレーブするための場所と、をユーザにより定義するステップ(S20)と、メッシュ−NURBS曲面間の変換アルゴリズムをベースメッシュに対して実行した結果に、変形写像を適用することに対応する、NURBS曲面を判定するステップ(S30)であって、変形写像は、メッシュ−NURBS曲面間の変換アルゴリズムをベースメッシュに対して実行した結果の位置に関して設けられる、変位ベクトルを含み、位置は、2D画像をエングレーブするための場所に対応し、変位ベクトルは、2D画像の対応する画素値に基づき、計算されるステップとを含む。
【選択図】図2
To top