ホール・スライド画像レジストレーションおよび画像間注釈デバイス、システム、ならびに方法

 

本開示は、画像レジストレーションおよび注釈のためのデバイス、システム、および方法に関する。本デバイスは、共通格子上でスライド・デジタル画像全体を整列し、組織構造を照合することに基づいて、一方の整列画像から他方の整列画像に注釈を転記するためのコンピュータ・ソフトウェア製品を含む。本システムは、組織構造に基づく画像レジストレーションおよび画像間注釈を遂行するために、ワークステーションおよびネットワーク型コンピュータというような、コンピュータ実装システムを含む。本方法は、組織構造に基づいて共通格子上において隣接する組織切片に対応するデジタル画像を整列させ、隣接組織画像の1つから隣接組織画像の他の1つに注釈を転記するプロセスを含む。

 

 

本明細書は、組織サンプルのデジタル化画像の操作および/または分析デバイス、システム、ならびに方法に関する。また、本明細書は、近隣組織切片サンプルの1組のデジタル化画像の画像レジストレーション(位置合わせ、registration)デバイス、システム、および方法に関する。そして、本明細書は、隣接組織切片サンプルの1組の画像における1つの画像から、隣接組織切片サンプルの1組の画像における他の画像に注釈を転記するデバイス、システム、および方法にも関する。
デジタル病理学とは、デジタル環境における病理情報の管理および解釈を指す。組織切片のスライドを撮像するために、走査デバイスが使用される。組織切片は、デジタル・スライド、例えば、ホール・スライド画像(whole slide image)が生成されるように、染色することができる。デジタル病理学ソフトウェアは、デジタル・スライドをコンピュータ・メモリ・デバイスに格納し、コンピュータ・モニタ上で確認し、分析して病理学情報を得ることを可能にする。
デジタル病理学が、とりわけ、紙面および電子的記録、臨床背景情報、以前の事例、画像、および結果というような病理学情報の種々の側面の統合を可能にできることが期待される。また、デジタル病理学が、可能な効率の中でもとりわけ、作業負荷能力増大、正しい病理学者の適時抜擢、事例および診断の素早い引き出し、およびワークフローの改善というような、効率向上を可能にできることも期待される。しかしながら、デジタル病理学の幅広い採用およびその種々の便益の裏付け(promise)には、撮像性能、スケーラビリティ、および管理というような、多数の障害がある。
以下にある種の新規な特徴を示し説明し、その一部または全部は特許請求の範囲において指摘される場合があるが、本開示のデバイス、システム、および方法は、明示される詳細に限定されることは意図していない。何故なら、例示する実施形態の形式および詳細、ならびにそれらの動作における種々の省略、修正、交換および変更が、本開示の主旨から全く逸脱することなく行えることを、当業者は認めるからである。本明細書において記載する特徴は、明確に「肝要」または「必須」であると述べられない限り、肝要でも必須でもないものとする。
組織サンプルのデジタル化画像の操作および/または分析デバイス、システム、ならびに方法を提供する。
本開示は、組織サンプルのデジタル化画像の操作および/または分析のためのデバイス、システム、および方法を提供する。例えば、本開示は、隣接組織切片に対応するデジタル・スライドのコンピュータ化された画像レジストレーション、および/またはデジタル・スライドの内少なくとも1つからデジタル・スライドの内少なくとも1つの他のものへの注釈転記のためのデバイス、システム、および方法を提供する。
ある実施形態では、本デバイスは、1組の隣接する組織切片のデジタル画像の一部である画像を整列し、および/または整列画像間で注釈をマッピングするためのコンピュータ・プログラム製品を含む。1組における各画像は、異なる染料(また、標識、以後「染料(stain)」)、異なる撮像モード、または双方を使用して得ることができる。ある実施形態では、コンピュータ・プログラム製品は、コンピュータ読み取り可能プログラム・コードが埋め込まれた有形コンピュータ読み取り可能記憶媒体を含み、コンピュータ読み取り可能プログラム・コードが、画像レジストレーションプロセス(即ち、例えば、異なる複数組のデータを1つの座標系に変換することを目的とするプロセス)を使用し、組織構造の照合に基づいて、1組において選択されたデジタル画像を整列させて1組の整列デジタル画像を得るように構成され、更に、コンピュータ読み取り可能プログラム・コードは、1組の整列デジタル画像における少なくとも1つのデジタル画像から、1組の整列画像におけるデジタル画像の少なくとも他の1つに注釈を転記するように構成することもできる。他の実施形態では、コンピュータ・プログラム製品は、コンピュータ読み取り可能プログラム・コードが埋め込まれた有形コンピュータ読み取り可能記憶媒体を含み、コンピュータ読み取り可能プログラム・コードは、組織構造の照合に基づいて、画像レジストレーションプロセスを使用して、1組の隣接組織切片のデジタル画像からの第1デジタル画像と、この1組からの第2デジタル画像とを整列して整列画像対を得るように構成され、コンピュータ読み取り可能プログラム・コードは、整列対における第1または第2デジタル画像の一方から、整列対における第1または第2デジタル画像の他方に注釈を転記するように構成することもできる。
更に他の実施形態では、組織構造を照合する動作は、1組の隣接組織切片のデジタル画像において選択された画像の各々について、ソフト加重前景画像(soft weighted foreground image)を計算する動作(例えば、前記第1および第2デジタル画像の各々についてソフト加重前景画像を計算する)と、得られた前景デジタル画像の各々について二進組織エッジ・マップを抽出する動作(例えば、第1および第2前景デジタル画像の各々について)と、組織エッジ・マップに基づいてグローバル変換パラメータを計算する動作(例えば、第1および第2組織エッジ・マップに基づいて)とを伴う。 更に他の実施形態では、組織構造を照合する動作は、更に、グローバル変換パラメータに基づいて、元々選択された画像(例えば、第1画像および第2画像)の少なくとも一部を共通格子にマッピングする動作を伴う。更に他の実施形態では、共通格子の中心が、前景画像の中心と一致する。
他の実施形態では、注釈を転記する動作は、整列画像の少なくとも1つ(例えば、第1画像またはソース画像)から、整列画像の少なくとも他の1つ(例えば、第2画像またはターゲット画像)における対応する位置に、共通格子(ある実施形態では、ターゲット画像のような、特定の画像の格子でもよい)に基づいて、注釈をマッピングする動作を含む。更に他の実施形態では、注釈を転記する動作は、更に、精細レジストレーションプロセスに基づいて、転記された注釈の位置の精度を高める(refine)動作を含む。更に他の実施形態では、精細レジストレーションプロセスは、ソース画像(例えば、1対の整列画像の内第1画像)における元の注釈の周囲にウインドウを識別する動作と、ターゲット画像(例えば、1対の整列画像の内第2画像)における対応する位置に、第2のそれよりも大きなウインドウを識別する動作と、第2ウインドウ内において第1ウインドウに対応する第3ウインドウを繰り返しシフトする動作と、第3ウインドウに最適な位置を識別する動作とを含む。更に他の実施形態では、最適な位置を識別する動作は、距離変換およびコスト関数計算に基づく。
ある実施形態では、本システムは、プロセッサと、このプロセッサによる実行のための命令を収容するメモリであって、命令がプロセッサによって実行されると、組織構造に基づいて第1画像および第2画像を整列し、第1画像および第2画像が1組の隣接組織切片の画像の内の一部であり、1組の画像の各々は、異なる染料、異なる撮像モード、または双方を使用して準備することができ、および/または少なくとも第1画像または第2画像の一方における注釈(例えば、既存の注釈および/またはユーザが印した注釈)を、少なくとも第1画像および第2画像の他方に複製するという結果が得られる、メモリと、命令を実行するようにプロセッサをトリガーするクライアント・ユーザ・インターフェースと、クライアント・ユーザ・インターフェース、画像、結果、ならびにその組み合わせを表示することができるモニタとを含む。ある実施形態では、本システムはコンピュータ・ワークステーション上に実装される。ある実施形態では、本システムは、コンピュータ・ネットワークを使用して実装される。
ある実施形態では、本方法は、1組の隣接組織切片のデジタル画像から画像を選択するステップと、組織照合に基づいてレジストレーションプロセスを使用して、選択された画像を整列するステップを伴う画像レジストレーションプロセスを含む。各デジタル画像は、1組における他のデジタル画像と比較して、異なる染料、異なる撮像モード、または双方を使用して得ることができる。更に他の実施形態では、画像レジストレーションプロセスは、1人の被験者の1組の隣接組織切片のデジタル画像から第1組織切片の第1デジタル画像を選択するステップと、1組から第2組織切片の第2デジタル画像を選択するステップと、第1デジタル画像と第2デジタル画像との間における組織構造の照合に基づいて、レジストレーションプロセスを実行するプロセスとを含む。ある実施形態では、レジストレーションプロセスは粗い(coarse)レジストレーションモードを含む。ある実施形態では、レジストレーションプロセスは精細(fine)レジストレーションモードも含む。
ある実施形態では、粗いレジストレーションモードは、第1デジタル画像から第1グレー・レベル組織前景画像を生成するステップと、第2デジタル画像から第2グレー・レベル組織前景画像を生成するステップと、第1グレー・レベル組織前景画像から第1組織二進エッジ・マップを計算するステップと、第2グレー・レベル組織前景画像から第2組織二進エッジ・マップを生成するステップと、第1二進組織エッジ・マップおよび第2二進組織エッジ・マップを整列するために、グローバル変換パラメータを計算するステップと、グローバル変換パラメータに基づいて、第1デジタル画像および第2デジタル画像を共通格子にマッピングするステップとを伴う。更に他の実施形態では、グローバル変換パラメータを計算するステップが、モーメントベースのマッピング方法を使用して、第1組織二進エッジ・マップと第2組織二進エッジ・マップとの間にアフィン・マッピングを生成するステップを含む。ある実施形態では、精細レジストレーションプロセスは、第1デジタル画像に注釈を付けるステップと、共通格子上における注釈を、第2デジタル画像における対応する位置にマッピングするステップと、二進組織エッジ・マップに基づいて、面取り距離マッピング(Chamfer distance-mapping)を使用して、第2画像上における注釈の位置を更新するステップとを含む。
ある実施形態では、本方法は、1組の隣接組織切片のデジタル画像からの第1デジタル画像から、この1組における第2デジタル画像に注釈をマッピングする方法である。ある実施形態では、この方法は、整列された1対のデジタル画像を選択するステップと、選択された画像のいずれにも以前に注釈が付けられていない場合この対におけるデジタル画像の一方に注釈を付ける(または、任意に、以前に注釈が付けられていた場合にも画像に注釈を付ける)ステップと、この対の他方のデジタル画像に注釈を転記するステップとを伴う。ある実施形態では、マッピング方法は、1組の隣接組織切片のデジタル画像から第1画像を選択するステップと、この1組から第2画像を選択するステップと、例えば、本明細書において更に説明するように、組織構造の照合に基づいて、粗いレジストレーションプロセスを使用して、共通格子上において第1画像を第2画像と整列する結果となる命令をコンピュータ・プロセッサに実行させるステップと、第1画像に未だ注釈が付けられていない場合これに注釈を付ける(または、任意に、既に注釈が付けられている場合も、第1画像に注釈を付ける)ステップと、注釈を第2画像に転記するようにコンピュータ・プロセッサに命令するステップとを伴う。ある実施形態では、注釈を転記するステップは自動的に行われ、レジストレーションさせるべき1対における画像に既に注釈が付いている場合には、初期レジストレーションプロセス(例えば、粗いレジストレーションプロセス)と実質的に同時に行うことができ、あるいは第1画像に注釈を付けるのと実質的に同時に行うこともできる。ある実施形態では、注釈を転記するステップは、第1および第2画像が整列された後に行われる。ある実施形態では、注釈を転記するステップは、更に、精細レジストレーションプロセスに基づいて、例えば、本明細書において更に説明するように、第2画像上において注釈の位置を調節するステップも含む。本発明のある実施形態では、第1画像上にある注釈(例えば、コンピュータに関連付けられたメモリ内における画像に関連付けられた図またはメモ)が第2画像に自動的にマッピングされる。本発明のある実施形態では、ユーザが、手作業で、コンピュータ・インターフェースまたはプログラム(例えば、画像ビューア・ソフトウェア・アプリケーション)によって、コンピュータ・プロセッサによって転記された注釈の位置、サイズ、および形状の内少なくとも1つを調節する。
本開示はある種の具体的な実施形態を提示するが、本発明はこれらの実施形態に限定されるのではない。本明細書における説明から、説明する実施形態には変更が可能であること、したがって、明細書は、説明する実施形態よりも範囲が広いことを、当業者は認めよう。したがって、全ての例は非限定的である。
図1は、本開示によるデバイス、システム、および方法を実現することができる医療用撮像ワークステーション・システムの実施形態を表す斜視図である。 図2は、本開示によるデバイス、システム、および方法を実現することができるネットワーク型システムの実施形態を示すネットワーク図である。 図3は、インタラクティブ・メニュー・バーおよびウインドウを含むホーム・スクリーンのスクリーンショットであり、このホーム・スクリーンは、本開示による画像分析プログラムの実施形態に関連付けられたウインドウ型グラフィカル・クライアント・ユーザ・インターフェースの一部であってもよい。 図4は、異なるメニュー選択肢が選択されたときの図3のホーム・スクリーンの他のスクリーンショットである。 図5は、更に他のメニュー選択肢が強調された、図3のホーム・スクリーンの他のスクリーンショットである。 図6は、デジタル・スライドを見て注釈を付けることができ、図3のホーム・スクリーンから起動することができる注釈モジュールGUIの実施形態のスクリーンショットである。 図7は、デジタル・スライドに注釈を付けた後における、図6の注釈モジュールGUIの他のスクリーンショットである。 図8は、画像レジストレーションを実行した後における、図5のスクリーンの他のスクリーンショットである。 図9は、レジストレーションが実行された後に、図示した実施形態におけるスクリーンが自動的に開く、注釈モジュールGUIのスクリーンショットである。 図10は、1対のレジストレーション画像に対する所望の視野(「FOV」)を表示する、図9の注釈モジュールGUIの他のスクリーンショットである。 図11は、図8に示すホーム・スクリーンの画像レジストレーションタブの下にある表示ボタン310をユーザが押したときに開かれるウインドウのスクリーンショットである。 図12は、本開示にしたがって画像分析ソフトウェア・プログラムによって実行される方法の実施形態を示す流れ図である。 図13は、本開示による画像分析プログラムの一部とすることができる、粗いレジストレーションプロセスの実施形態の基本ステップを示す。 図14は、図13の粗いレジストレーションプロセスの実施形態の基本ステップの1つを更に詳細に示す。 図15Aは、HE画像およびその対応するソフト加重前景画像を示す。 図15Bは、HE画像およびその対応するソフト加重前景画像を示す。 図15Cは、HE画像およびその対応するソフト加重前景画像を示す。 図16は、図15のHチャネル画像に対する図14のソフト加重プロセスの実施形態を示す。 図17Aは、IHC画像およびその対応するソフト加重前景画像、ならびに図13の粗いレジストレーションプロセスの実施形態の基本ステップの1つの詳細を示す。 図17Aは、IHC画像およびその対応するソフト加重前景画像、ならびに図13の粗いレジストレーションプロセスの実施形態の基本ステップの1つの詳細を示す。 図17Cは、IHC画像およびその対応するソフト加重前景画像、ならびに図13の粗いレジストレーションプロセスの実施形態の基本ステップの1つの詳細を示す。 図18は、図17A〜図17CのIHC画像に対する図14のソフト加重プロセスの実施形態を示す。 図19は、ソフト加重前景HE画像およびその対応するエッジ・マップ、ならびにソフト加重前景IHC画像およびその対応するエッジ・マップを示す。 図20は、変換HEエッジ・マップを示す。 図21は、8つの変換条件の各々に関する面取り距離値のグラフの一例である。 図22は、本開示の実施形態にしたがって計算されたグローバル変換パラメータを使用して、共通格子上で整列されたHE画像およびIHC画像を示す。 図23は、本開示による粗いレジストレーションプロセスのみの後における第1画像から第2画像へ注釈をマッピングした結果を示す。 図24は、本開示による精細レジストレーションプロセスの実施形態の初期ステップを示す。 図25は、図24の精細レジストレーションプロセスの追加ステップを示す。
1つ以上の実施形態の詳細な説明をここに示す。しかしながら、本開示によるデバイス、システム、および方法は、種々の形態で具体化できることは理解されるはずである。したがって、本明細書において開示される具体的な詳細は、限定と解釈してはならず、逆に、特許請求の範囲に対する代表的基準として、そして当業者に本デバイス、システム、および方法を任意の適した様態で採用することを教示するための代表的基準として解釈することとする。
別段定められなければ、本明細書において使用される全ての技術的用語および科学的用語は、本開示が属する技術分野における当業者によって共通に理解されるのと同じ意味を有するものとする。本明細書において1つの用語に複数の定義がある場合、別段述べられなければ、この章におけるものが優先する。
「例えば」、「のような」、「含む」等の句が本明細書において使用される場合はいつも、明示的に別段述べられなければ、「そして限定ではなく」が続くと理解されるものとする。同様に、「例」、「例示的な」等も非限定的であると理解されるものとする。
「実質的に」という用語は、意図する目的に否定的な影響を与えない、記述子(descriptor)からの逸脱を考慮する。記述的用語は、「実質的に」という単語が明示的に指定されなくても、「実質的に」という用語によって修飾されると理解されるものとする。
「約」という用語は、実験的誤差によるばらつきを考慮することを意味する。全ての測定値および数値は、その測定値または数値が以上の単語によって明示的に修飾されなくても、以上の単語によって修飾されることが暗黙に認められるものとする。
「備える」(comprising)および「含む」(including)、ならびに「有する」(having)および「伴う」(involving)等の用語は、相互交換可能に使用され、同じ意味を有するものとする。同様に、「備える」(comprises)、「含む」(includes)、「有する」(has)、および「伴う」(involves)等も相互交換可能に使用され、同じ意味を有するものとする。具体的には、これらの用語の各々は、「備える」(comprising)の一般的な米国特許法の定義と一貫して定められ、したがって「少なくとも以下のこと」を意味する開いた用語であると解釈され、更に追加の特徴、制限、態様等を除外しないように解釈されるものとする。つまり、例えば、「コンポーネントa、b、およびcを有するデバイス」とは、そのデバイスが少なくともコンポーネントa、b、およびcを含むことを意味する。同様に、「ステップa、b、およびcを伴う方法」という句は、この方法が少なくともステップa、b、およびcを含むことを意味する。
「a」または「an」という用語が使用される場合はいつも、別段明示的に述べられなければ、またはこのような解釈が文脈において無意味でなければ、「1つ以上」と理解されるものとする。
「整列する」(align)および「レジストレーションする」(register)という単語、ならびにそれらの形態の全て(例えば、「整列している」(aligning)および「レジストレーションしている」(registering))は、選択的に使用され、「画像」という用語に関して使用されるときは、同じことを意味するものとする。例えば、「整列された画像」および「レジストレーションされた画像」という句は、画像レジストレーションプロセス(例えば、粗いレジストレーションおよび/または精細レジストレーションプロセス)を受けたデジタル画像を記述するために、選択的に使用される。
本開示は、デジタル病理学に関し、デジタル組織画像分析のためのコンピュータ実装デバイス、システム、および方法を提供する。ある実施形態では、本デバイス、システム、および方法は、単体のワークステーション(インターネットへのアクセスのためにモデムを含んでもよい)上に実現される。ある実施形態では、本デバイス、システム、および方法は、コンピュータ・ネットワークを跨いで実現されてもよい。
単体のワークステーションにおいて実現されてもまたはネットワークを跨いで実現されてもそれには関係なく、本開示によるシステムは、以下のハードウェア・コンポーネントの内少なくとも一部を含むことができる。モニタのような画像および/または結果を表示する出力デバイスと、ソフトウェア・プログラムと対話処理するためのキーボードおよびマウスまたはトラック・ボールのような1つ以上の入力デバイスと、更にはソフトウェア・プログラムを実行するためのプロセッサとを含むコンピュータ。また、本システムは、複数組のデジタル画像ファイルを格納する記憶デバイスも含むことができる。各組は、1人の被験者の同じ組織の隣接組織切片の1つ以上のホール・スライド画像を含む。1組における各デジタル画像ファイルは、その1組における他のデジタル画像ファイルと比較して、異なる撮像モード(例えば、明視野顕微鏡および蛍光顕微鏡)を使用するガラス・スライド、または異なる染料(例えば、HE、IHC染料)を使用して組織切片が準備されたガラス・スライド、あるいは双方から生成することができる。記憶デバイスは、コンピュータ自体の一部であることが可能であり、またはネットワーク・アクセス可能な記憶デバイスのような、別のデバイスであることも可能である。また、本システムは、ガラス・スライドからデジタル画像ファイルを生成するスキャナも含むことができる。本開示の範囲内におけるある種の実施形態では、生体試料(組織資料であってもなくてもよい)が、基板上に置かれる。基板は、ガラスまたは顕微鏡スライドであってもなくてもよい。本開示の範囲内におけるある種の実施形態では、複数の生体試料(例えば、組織試料)が撮像され比較されるが、被験者の同じ切片またはブロックから由来するのではなくてもよい。本開示の範囲内におけるある種の実施形態では、デジタル画像が、本開示の範囲内における方法にしたがってレジストレーションされ使用のために利用可能となるが、これらのデジタル画像は、1人の被験者からの隣接しない組織切片の画像であってもよい。本開示の範囲内におけるある種の実施形態では、デジタル画像が、本開示の範囲内における方法にしたがってレジストレーションされ使用のために利用可能となるが、これらのデジタル画像は、異なる被験者からの生体試料の画像であってもよい。
単体のワークステーションにおいて実現されてもまたはネットワークを跨いで実現されてもそれには関係なく、本システムは、以下のソフトウェア・コンポーネントも含むことができる。レジストレーションモジュール(粗いレジストレーションモジュールおよび/または精細レジストレーションモジュールを含むことができる)、注釈モジュール、または双方を含む画像分析プログラム。レジストレーションモジュールは、プロセッサによって実行されると、その結果、隣接する組織切片の1組のデジタル画像において少なくとも2つのデジタル画像を整列させることにより、1組の整列デジタル画像を作成する。注釈モジュールは、プロセッサによって実行されると、その結果、隣接する組織切片の1組のデジタル画像におけるデジタル画像の内少なくとも1つについての注釈を、その1組におけるデジタル画像の内少なくとも他の1つにマッピングする。ある実施形態では、注釈モジュールは、プロセッサによって実行されると、その結果、デジタル画像の内少なくとも1つに注釈を付け、および/またはデジタル画像の内少なくとも1つについての注釈を、デジタル画像の内少なくとも他の1つにマッピングする。ある実施形態では、レジストレーションモジュールは注釈モジュールと実質的に同時に実行される。例えば、1つのスライドから他のスライドに注釈をマッピングする要求は、プロセッサに、これらの画像の少なくとも1つからこれらの画像の少なくとも他の1つに、注釈の整列およびマッピングの双方を行わせる。ある実施形態では、注釈は、ソース画像上に予め存在することができる。ある実施形態では、注釈は、画像分析プログラムにおいて、例えば、ある画像をソース画像として選択し、画像分析プログラムを使用してその画像に注釈を付けることによって、ユーザが生成する。ある実施形態では、レジストレーションモジュールは、注釈モジュールの前に実行される。例えば、注釈モジュールは、プロセッサによって実行されると、その結果、1組の整列画像の一部である少なくとも1つのデジタル画像から、1組の整列画像の一部である少なくとも1つの他のデジタル画像に注釈をマッピングする。また、本システムは、画像確認モジュールも含む。画像確認モジュールは、画像分析プログラムの一部であってもよく、ユーザが1つ以上のデジタル画像ファイルにアクセスし、モニタ(1つまたは複数)上でファイルを見て、ある実施形態では、クライアント・ユーザ・インターフェースを使用してデジタル・スライドを操作することを可能にする。本発明の実施形態例では、ユーザが手作業で注釈(例えば、注釈の位置、大きさ、形状)を編集および/または調節することもできる。注釈は、コンピュータ・インターフェースまたはコンピュータ入力デバイスを介して、注釈モジュールによって生成されたものである。
本開示によるコンピュータ実装方法は、1人の被験者の同じ組織ブロック、セクション、またはサンプルからの少なくとも2つのデジタル画像を、組織構造に基づいて整列し、1組の整列デジタル画像を得るコンピュータ実装レジストレーションプロセスであって、1組における各デジタル画像が、1組における他のデジタル画像と比較して、異なる染料、異なる撮像モード、または双方を使用して得られた画像から導き出すことができる、プロセスと、1組の整列デジタル画像におけるデジタル画像の内少なくとも1つについての注釈を、1組の整列デジタル画像におけるデジタル画像の内少なくとも他の1つにマッピングするコンピュータ実装マッピング・プロセスとを含む。ある実施形態では、画像レジストレーションプロセスおよび注釈プロセスは、実質的に同一の広がりをもって行われる。例えば、注釈を1つのデジタル・スライドから他のものにマッピングする命令は、結果的に、これらのスライドを整列させ、スライドに注釈を付けるという双方を実行する。例えば、注釈命令の結果、最初に画像を整列させ、次いで注釈を一方の画像から他方の画像に転記する。ある実施形態では、画像レジストレーションプロセスが最初に行われ、注釈プロセスは、最初に少なくとも1対の整列画像を選択し、次いで少なくとも1対の整列画像における画像の少なくとも1つに注釈を付けることによって開始される。ある実施形態では、レジストレーションプロセスは粗いレジストレーションプロセスを含む。ある実施形態では、レジストレーションプロセスは、粗いレジストレーションプロセスおよび精細レジストレーションプロセスを含む。更に他の実施形態では、精細レジストレーションモジュールが使用される前、および/または粗いレジストレーションプロセスが使用される前に、ソース画像の注釈付けが行われる。このように、例えば、ある実施形態では、ユーザがソース画像およびターゲット画像双方の同時確認を望む場合、具体的な注釈を全く付ける必要なく、粗いレジストレーションプロセスを呼び出して、双方の画像の総合的なレジストレーションを実行することができる。ある実施形態では、ユーザが印したソース画像の注釈をターゲット画像に戻すことを望む場合、例えば、ユーザ注釈に近い領域において、精細レジストレーションプロセスを呼び出して、粗いレジストレーションだけに頼った場合と比較して、ソース画像およびターゲット画像の整列を改良することができる。
ある実施形態では、粗いレジストレーションプロセスが、整列のためにデジタル画像を選択し、選択したデジタル画像の各々からグレー・スケール画像を生成し、得られたグレー・スケール画像間で組織構造を照合する動作を伴うこともできる。更に他の実施形態では、グレー・スケール画像を生成する動作が、染色された組織切片のホール・スライド画像から、ソフト加重(soft-weighted)前景画像を生成する動作を伴う。他の実施形態では、組織構造を照合する動作は、組織エッジ二進マップを、得られたグレー・スケール画像の各々から抽出し、この組織エッジ二進マップを整列するためにグローバル変換パラメータを計算する動作を伴う。ある実施形態では、グローバル変換パラメータは、モーメント・ベースのマッピング方法(moments-based mapping method)を使用して、第1二進組織エッジ・マップと第2二進組織エッジ・マップとの間にアフィン・マッピングを生成するために計算される。更に他の実施形態では、粗いレジストレーションプロセスは、グローバル変換パラメータに基づいて、選択されたデジタル画像を共通格子にマッピングする動作を含み、この格子は、選択されたデジタル画像を覆う(encompass)ことができる。ある実施形態では、精細レジストレーションプロセスは、1組の整列デジタル画像における第1デジタル画像の第1副領域、例えば、注釈を含む副領域を識別する動作と、1組の整列デジタル画像における第2デジタル画像上で第2副領域を識別する動作であって、第2副領域が第1副領域よりも大きく、第1副領域が共通格子上において第2副領域の実質的に内部に位置する、動作と、第2副領域において第1副領域に最適化された位置を計算する動作とを伴う。
ある実施形態では、マッピング・プロセスは、粗いレジストレーションプロセスの後に1組の整列画像における第1デジタル画像に注釈を付ける動作と、この注釈を、1組の整列デジタル画像における第2デジタル画像にマッピングする動作とを伴うこともできる。更に他の実施形態では、精細レジストレーションプロセスの結果に基づいて、注釈の位置が正しく決められる(refine)。
これより図面を参照すると、同様の参照番号は、全体を通じて同様の部分を指す。図1は、医療用撮像ワークステーション・システム10の実施形態を表す斜視図であり、本開示によるデバイス、システム、および方法を実現することができる。図示のように、医療用撮像ワークステーション・システム10は、プロセッサ(「CPU」)(図示せず)、記憶デバイス(図示せず)、グラフィクス・プロセッサ・ユニット(「GPU」)(図示せず)、および任意のモデム(図示せず)のようなハードウェア・コンポーネント30のための筐体、図示する例ではモニタ40である第1出力デバイス、図示する例ではキーボード50である第1ユーザ入力デバイス、ならびに図示する例では、トラック・ボールまたはマウス60のような、ディスプレイと対話処理するためのポインティング・デバイスである、第2ユーザ入力デバイスを有するコンピュータ20を含む。当技術分野では周知のように、コンピュータ20、ハードウェア・コンポーネント30、モニタ40、およびユーザ入力デバイス50、60は、別々のコンポーネントとして図示されるが、これらは、全てラップトップ・コンピュータの形態に統合してもよいというように、もっと少ない部品に統合してもよい。また、医療用撮像ワークステーション・システム10は、コンピュータ実装医療用撮像システムと関連付けられることが知られている他のデバイスの中でもとりわけ、図示の例ではスライド・スキャナ70である第3入力デバイス、図示の例ではプリンタ80である第2出力デバイス、バックアップ電源90、および外部記憶デバイス(図示せず)というような、追加の周辺機器も含むことができる。ある実施形態では、医療用撮像ワークステーション・システム10は、多数のスクリーン上で多数のデジタル組織画像を同時に見やすくするために、1つよりも多いモニタ40を含むこともできる。当業者には認められようが、特定のコンポーネントは、技術が変化するに連れて、変化することもあり得る。例えば、周辺ポインティング・デバイスは、スクリーンがユーザの指または音声コマンドに応答する場合、不要になるかもしれない。
また、医療用撮像ワークステーション・システム10は、レジストレーションモジュールを含む画像分析プログラム、注釈モジュール、または双方、および画像分析プログラムの一部であってもよい画像確認モジュールのような、ソフトウェア・コンポーネントも含む。ソフトウェア・コンポーネントは、1つ以上のファイルとすることができ、記憶デバイスに格納することができ(例えば、ソフトウェア・コンポーネントを内部ハード・ドライブに格納することができる)、および/またはソフトウェア・コンポーネントを、DVD、CD、またはメモリ・カードのようなメモリ・ディスクに格納することもできる。メモリ・ディスクは、メモリ・ディスク受入ポート25を介して筐体30内に挿入されるときに、プロセッサによってアクセスすることができる。
CPUは、記憶デバイスおよびGPUを含む、種々の周辺機器およびハードウェア・コンポーネントに動作可能に接続される。記憶デバイスは、一時的または永続的に、複数組のデジタル画像を格納することができ、デジタル画像は、例えば、走査デバイスによってシステム内にインポートすることができる。複数組のデジタル画像は、1人の被験者の隣接組織切片の1つ以上のデジタル画像を含み、各画像は、他の画像と比較して、異なる染料/ラベル/マーカ、異なる撮像モード、または双方を使用して得ることができる。GPUは、画像表示プログラムおよび画像分析プログラム(1つのプログラムに組み合わせることもできる)からの命令を処理する。例えば、GPUによって実行されると、画像表示プログラムは、ユーザがGUIと対話処理して命令を供給し、その結果、例えば、GPUのようなプロセッサが画像分析プログラムの1つ以上の態様(aspect)を実行する結果となるように、および/またはモニタ40の1つ以上に格納されているデジタル画像の内1つ以上を、それらのネーティブな(本来走査されたままの)フォーマットで表示するまたは画像分析プログラムによって修正される通りに表示する結果となるように、多数のウインドウを有する、ウインドウ型グラフィカル・ユーザ・インターフェース(「GUI」)をモニタ40上に提供することができる。既に述べたように、画像分析プログラムは、レジストレーションモジュールおよび注釈モジュールを含む。例えば、CPUによって実行されると、レジストレーションモジュールは、その結果、格納されているデジタル画像が異なる染料、異なる撮像モード、または双方を使用して得られたのであっても、格納されているデジタル画像の内少なくとも2つを共通格子上に組織構造に基づいて整列させ、1組の整列画像を作成する。例えば、CPUによって実行されると、注釈モジュールは、その結果、1組の整列画像におけるデジタル画像の内1つから、1組の整列画像におけるデジタル画像の内少なくとも他の1つに注釈をマッピングする。
図2は、本開示によるデバイス、システム、および方法を実現することができるネットワーク型システムの実施形態を示すネットワーク図である。図示のように、システム200は、データベース・サーバ210と、ネットワーク・アクセス可能な記憶デバイス215とを含み、各々がネットワーク220に接続される。記憶デバイス215は、複数組のデジタル画像を格納し、各組は、1人の被験者の隣接する組織切片の1つ以上のデジタル画像を含む。1組における各画像は、1組における他の画像と比較して、異なる染料、異なる撮像モード、または双方を使用することによって得ることができる。1つ以上のクライアント・コンピュータ230は、キーボード232、マウス(図示せず)、およびプリンタ(図示せず)のような、関連付けられた入力および出力デバイスを有することができ、当技術分野では周知の任意の手段によって(例えば、専用接続、DSLまたはケーブル・モデム、ワイヤレス・インターネット接続、ダイアルアップ・モデム等)、同様にネットワーク220に接続される。クライアント・コンピュータ230は、記憶デバイス215におけるデジタル画像にアクセスするために使用されるウェブ・ブラウザを含む。本発明の実施形態例では、デジタル画像を格納するためにクラウド・ストレージを使用することもできる。
クライアント・コンピュータ230は、画像分析プログラムに関係する命令を実行するように構成された少なくとも1つのプロセッサを含む。画像分析プログラムは、サーバ210からクライアント・コンピュータ230にダウンロードすることができる。画像分析プログラムは、クライアント・ユーザ・インターフェースを提供する画像ビューア・モジュールを含むことができる。実行されると、画像ビューア・モジュールは、多数のウインドウを有しユーザが命令を供給することを可能にするウインドウ型GUIを提供することができ、その結果、プロセッサが画像分析プログラムの1つ以上の態様を実行し、および/またはその結果、格納されているデジタル画像の内1つ以上を、それらの本来走査されたフォーマットで、または画像分析プログラムによって修正される通りに、表示することができる。画像分析プログラムは、ユーザが1人の被験者の組織切片から得られた1組の画像において整列(レジストレーション)のために画像を選択することを可能にするが、1組における各画像は、その1組における他の画像と比較して、異なる染料、または異なるモード、あるいは双方を使用して作られたのでもよい。また、画像分析プログラムは、ユーザが1組のデジタル画像において選択された1つ以上のデジタル画像に注釈を付けること、およびこれらの注釈を、1組のデジタル画像における他のデジタル画像の内1つ以上にマッピングさせることを可能にする。ある実施形態では、システム200は、スライド全体250を走査し、デジタル画像を生成するためにスキャナ240も含み、デジタル画像は記憶デバイス215に格納される。
当業者は認めるであろうが、コンピュータ化ネットワークのコンテキストにおいて画像分析プログラムを実装すると、他の場合では単体のワークステーションによって制限されるかもしれない、ある種の活動が可能になる。例えば、同じ場所にいない、実際には互いに離れているかもしれない病理医が、画像を分析するときに協働することができ、場所には関係なく、正しい病理医に正しい時点に到達することができる。
図1および図2は、1つ以上のコンピュータ・システムまたはネットワーク・トポロジにおいて存在することができるある種のエレメントを示す。本開示によるデバイスおよびシステムを実現することができるコンピュータ・システムおよびネットワークは、他のコンピュータ・システムおよびネットワーク・トポロジも包含することができ、これら他のコンピュータ・システムおよびネットワーク・トポロジにおけるよりも多いまたは少ないエレメントを含むのでもよいことは、当業者には理解されよう。言い換えると、図1よび図2の実施形態は限定ではない。例えば、ある実施形態では、デジタル画像を格納するために、クラウド・ストレージを使用してもよい。
図3〜図5は、併せて、画像を管理し、整列し、および/または注釈を付けるためにプロセッサと相互作用するクライアント・ユーザ・インターフェースの実施形態を示す。図示する実施形態では、クライアント・ユーザ・インターフェースは、2つの基本ツールに跨がって実装される。「WorkBench」は、スライド投影管理ツールであり、一方「VersoViewer」(または「Verso」)は、スライド・ビューアおよび注釈ツールである。また、Versoは、分析プラットフォームとして使用することもできる。何故なら、画像分析アルゴリズムはVersoから呼び出すことができるからである。WorkBenchおよびVersoは、インターフェースおよびワークフロー・ツールの例として提示され、これらに基づいて、レジストレーションフレームワークが提示される。しかしながら、レジストレーションワークフローは、他の注釈/ビューアGUIツールおよび他の画像分析/管理ツールと使用することができる、および/またはこれらとの使用のために適応させることができるように、十分に汎用的になっている。
図3および図4は、WorkBenchGUI用のホーム・スクリーンの実施形態を示し、このホーム・スクリーンは、例えば、レジストレーション問題のために分析プロジェクトを作成するために画像分析プログラムが起動されるときに開く。図示する実施形態では、このホーム・スクリーンは、多数の異なるウインドウで構成される(図示のように、「レジストレーション」ウインドウ300、「ナビゲータ」ウインドウ302、および「プロジェクト・ブラウザ」ウインドウ304)。このウインドウ型環境内において、ユーザは、種々の選択肢から最終的にどれを呼び出すか選択し、画像レジストレーション、画像注釈付け、ならびに画像および結果表示を実施することができる。プロジェクト・ブラウザ・ウインドウ304は、例えば、ユーザが新たなプロジェクトを開始していない場合に、既に作成されたプロジェクトをユーザが突き止めるのに役立ち、一方ナビゲータ・ウインドウ302は、例えば、離れたサーバ上に位置するかもしれない画像にユーザがアクセスするのに役立つ。レジストレーションウインドウ300は、種々のボタンを含み、その機能性について以下で更に詳しく説明する。
プログラムを起動した後、一旦プロジェクトが作成されたなら、ユーザは、図3に示すような、画像レジストレーションモジュールの「画像ギャラリー」セクション306(例えば、レジストレーションウインドウ300)を選択して、レジストレーションが考慮される画像を前もって見ることができる。図示する例では、画像ギャラリー306は、2つの画像、HE画像308およびIHC画像310を収容し、これらは全体スライド画像のサム・ネイル写真として表示され、全体スライド画像の名称が、サム・ネイルの下に現れる。しかしながら、画像ギャラリー306は、任意の数の画像(例えば、システムの記憶容量によって制限される)を収容することができ、隣接する組織切片から撮られた複数組の画像全体を含むこともできる。画像は、当技術分野では周知の手段にしたがって、例えば、画像ギャラリー・タブ306をクリックしたときに、画像ギャラリー306に追加され、ユーザ・インターフェースのエリアまたはデータベースからこれらを画像ギャラリー306にドラッグおよびドロップすることによって、画像を追加することができる。
図4に示すように、レジストレーションウインドウ300の「分析ジョブ」フォルダ312を選択すると、画像ギャラリー306において入手可能な画像のリスト、および関連情報、例えば、画像ギャラリー306において画像のために既に利用可能な異なる注釈が現れる。この例では、画像ギャラリー306における画像のいずれにも、利用可能な注釈はない。
図5に示すように、画像レジストレーションタブ314の下において、ユーザはプロジェクトにおける1つの画像をソース画像として識別することができ(ユーザ注釈を有する、またはユーザの注釈が付けられる)、またユーザはプロジェクトにおける1つの画像をターゲット画像として識別することができる(レジストレーションモジュールは、この画像についての注釈を引き出す)。図示する例では、HE画像308は、既に「ソースWSI」(ホール・スライド画像)パネル316にドラッグおよびドロップされており、HE画像308をソース画像として識別し、IHC画像310は既に「ターゲットWSI」パネル318にドラッグおよびドロップされており、このIHC画像をターゲット画像として識別する。各WSIパネル318内において、「マーカ・タイプ」320において該当するタグ選択肢を選択することによって、画像毎に染料のタイプが入力される。
ソース画像が既にユーザ注釈を含む場合、画像レジストレーションタブ314の下にある「分析」ボタン322上でクリックすることによって、レジストレーションルーチンを呼び出すことができる。同様に画像レジストレーションタブ314の下にある横並びFOV確認ボタン324は、ソースおよびターゲット画像からの一致した視野(「FOV」)の横並び表示を与え、ユーザがターゲット画像において、ユーザが印を付けたFOVをアルゴリズムが引き出したFOVと比較することを可能にする。代表的に挙げた例では、一旦分析ボタン322がクリックされレジストレーションが完了すると、Versoビューアが自動的に起動して、図9に示すように、ソース308およびターゲット310画像を横並びで表示する。
ユーザ注釈がないとき、ユーザはビューアにおいてソース画像を開き、対象領域に印を付ける(注釈を付ける)ことができる。更に具体的には、図6に示すように、ソース画像上でダブル・クリックすると、注釈モジュールに関連付けられたビューア・インターフェース(Versoビューア)が起動され、このビューアにおいて、ソース画像(図示する実施形態ではHE画像)が表示され、ソース画像を操作し、および/または注釈を付けることができる。図示のように、VersoビューアGUIは、メニュー・バーおよび多数のアイコンを有する「ビューア」ウインドウ326を含み、表示された画像、注釈モジュール、ならびにレジストレーションおよび注釈プログラム全体とのユーザの対話処理を容易にする。例えば、インポート・ボタン328は、ユーザが注釈をインポートすることを可能にし、プレー・ボタン330は、ユーザが1つの注釈から次に進むことを可能にし、ズーム・ボタン340およびスライダ350は、ユーザが種々の解像度でホール・スライド画像を見ることを可能にする。更に、注釈は、例えば、注釈ツール360を使用して付けることができる。注釈ツール360は、それぞれ、矩形362、楕円364、またはフリー・ハンド描画366ボタンを使用して、矩形、楕円、またはポリライン・ベースの(フリー・ハンド描画のような)領域を作るために使用することができる。一旦ソース画像に少なくとも1つのFOVが印されたなら、そして印された注釈が保存されたなら、ユーザはレジストレーションに進むことができる(例えば、WorkBench環境において画像レジストレーションタブ314の下にある「分析」ボタン322上でクリックすることによって)。
ある実施形態では、Versoビューアを独立して開くこともできる。しかしながら、使い易さのために、WorkBenchにおけるソース画像上でダブル・クリックすると、その結果、Versoウインドウ・タブにおいて画像が開く。一例として、ビューアが最初に開かれる場合、ソース画像をビューア・ウインドウにドラッグおよびドロップことができる。代わりに、画像を開くために、ファイル−>開くメニューを使用することもできる。
図7は、同じHEソース画像308を示す。これも注釈スクリーン内に表示されるが、注釈モジュール(例えば、Verso)において提供され図に示されるツール368を使用してそれに注釈が付けられた後である。具体的には、HE画像308内では、3つの対象領域(矩形として図示され、FOV1、FOV2、およびFOV3と称される)に印されている。HE画像308におけるこれら3つの領域の各々について、レジストレーションモジュールは、ターゲット画像(この例ではIHC画像310)における対応する注釈を戻すことになる。
図5は、画像レジストレーションモジュール(例えば、WorkBench)GUIの他のスクリーンショットである図8と共に、注釈モジュール(例えば、Verso)における変更が、どのように画像レジストレーションモジュールに更新され反映されるかを示す。具体的には、図5に示すように、画像レジストレーションタブ314の下において、注釈モジュールにおける注釈付けの後、FOVタブ309の#が更新され、HEソース画像308には3つの異なるFOV画像(「FOV」)が利用可能であることを示す。図8は、ユーザがソース画像(この例では、HE画像308)およびターゲット画像(この例では、IHC画像310)を整列するようにプログラムに命令した後における画像レジストレーションモジュールに対する更新を示す。具体的には、画像レジストレーションタブ314の下において、画像レジストレーションの後に、今では3つの異なるFOVがIHCターゲット画像310に利用可能となる。
図9は、注釈モジュール(例えば、Verso)GUIの他のスクリーンショットを示す。図示のように、図示する実施形態では、一旦WorkBenchフレームワークを介して画像レジストレーションが完了したなら、注釈スクリーンが注釈モジュール内に自動的に開き、HEソース画像308およびIHCターゲット画像310が一緒に同じがスクリーン内に、例えば、図示のように、横並びで表示され、一致するFOV(即ち、ユーザが印した注釈311a〜311cがHEソース画像308上で表示され、対応する引き出された注釈311d〜311fがIHCターゲット画像310上で表示される)。図示する実施形態では、3つのFOV全てを双方のホール・スライド画像に対して横並びで見ることができるように、ホール・スライド画像が1×解像度で示される。
図10に示すように、図示の実施形態では、Versoビューアは、注釈が付けられた領域を次々に見るモードも含む。進むボタン330をクリックすると、ユーザは1つの注釈から次に前進することができ、一方前ボタン332は、ユーザに、現在見ている注釈から直前に見た注釈に移動させる。また、図示の実施形態では、ユーザが画像1に対する1つのFOV(例えば、第1FOV)から他のFOV(例えば、第2FOV)に移ると、右ペインにおける表示も同様に画像2に対する対応するFOV(ここでは、第1FOVから第2FOVに)まで進む。
図11は、WorkBenchの画像レジストレーションタブ314の下において利用可能な個々のFOVを見るための代替画像表示を示すスクリーンショットである。横並び画像FOV確認ボタン324(図5)上でクリックすると、図11のスクリーンが開く。Versoビューアの実施態様と同様、WorkBenchビューも分割スクリーンであり、注釈が付けられたHEソース画像308の少なくとも一部がこのスクリーンの一部上に表示され、注釈が付けられたIHCターゲット画像310の対応する部分が、スクリーンの第2部上に表示される。図10および図11は、それぞれ、注釈モジュールおよび画像レジストレーションモジュールにおける第1注釈FOVを示し、WorkBenchと比較して、Versoビューアを使用すると、照合される注釈をどのように比較することができるかを示す。これらの図から明らかなように、注釈モジュール(Versoビューア)では、注釈が各分割スクリーンの中央に、スライド画像の他の部分に加えて表示される。対照的に、画像レジストレーションモジュール(WorkBench)では、デジタル画像の注釈部分だけを見ることができる。画像レジストレーションモジュールでは、注釈モジュールと同様、利用可能な画像対全てを見渡す(run through)選択肢がある。この例では、3つの画像対があり、ユーザによる独立した確認のために選択することができる。したがって、第2および第3注釈の同様の分割スクリーン・ビューも、注釈モジュールおよび/またはレジストレーションモジュールにおいて発生させる(launch)ことができ、レジストレーションモジュールの場合、例えば、上/下矢印を使用して画像対全域をスクロールすることによってアクセスされる。また図示のように、注釈モジュールは、ユーザに、どのように結果を確認するかに関して柔軟性を与える。例えば、ユーザは、ズーム・ボタン340および/またはズーム・スライダ350を使用して、画像を確認する解像度(スクリーン・ショットでは4×が示される)を選択することができる。
図12は、本開示による画像分析ソフトウェア・プログラムの実施形態によって実行される方法の実施態様を示す流れ図である。画像分析ソフトウェア・プログラムは、ユーザが、プロセッサに、選択されたデジタル画像(例えば、ホール・スライド画像、部分的スライド画像、あるいはホールまたは部分的スライド画像の部分を含む、組織切片の走査スライドのデジタル画像)を整列し、これらの画像の1つ以上に注釈を付け、注釈を1つ以上の画像から他の画像またはその組み合わせにマッピングするように命令することを可能にする。図12に示すように、方法600は開始ブロック602において開始する。ブロック604において、1組のデジタル画像を操作のために取得する(例えば、走査またはデータベースから選択する)。各組のデジタル画像は、例えば、1人の被験者の1組の隣接する組織切片からの組織切片に対応する1つ以上のデジタル画像を含む。各組のデジタル画像は、1人の被験者の1組の隣接組織切片からの組織切片に対応する1つ以上のデジタル画像を含む。各画像は、他の画像と比較して、異なる染色がなされた組織切片、または異なる撮像モードを使用してデジタル化された組織切片、あるいはその双方から導き出すことができる。ある実施形態では、デジタル画像は、隣接する組織切片から準備されたスライド(例えば、顕微鏡のガラス・スライド)を走査することによって生成される。
ブロック606において、1つの画像対のみが選択された場合、プロセスは直接ブロック610に進む。1対よりも多い画像が選択された場合、ブロック610に進む前に、ブロック608においてこの1組の選択された画像を対に纏める。ある実施形態では、画像対は隣接対として選択される。つまり、例えば、1組の選択された画像が、10枚の平行な隣接するスライド(L1・・・L10)を含む場合、L1およびL2が1対として纏められ、L3およびL4が1対として纏められる等となる。一方、どの画像対が互いに最も類似するかに関して情報が入手可能でない場合、ある実施形態では、それらの離間距離にしたがって画像が纏められ(例えば、種々の画像のHマップ間の面取り距離(chamfer distance)に対応するエッジ間または画像間距離)、互いに最も近い画像を一緒にして対にする。本発明の実施形態例では、エッジ間/画像間距離が、画像の対に利用される。ある実施形態では、エッジに基づく面取り距離が、画像間/エッジ間距離を計算するために使用されてもよい。画像対には以前に粗いレジストレーションプロセスが行われ、画像が粗く整列され結果が保存されていた場合、本プロセスはブロック614に進む。そうでなければ、ブロック612において、選択された画像対に対して、粗いレジストレーションプロセスを実行する。粗いレジストレーションプロセスについては、以下で更に詳しく説明する。
ブロック614に移り、選択されて、今ではレジストレーションされた(整列された)画像を、共通格子上に表示する。画像は、1つのモニタ上において、1つの画像に重ね合わされ、別々の画像として表示され、または双方であり、あるいは数個のモニタに跨がって広げられる。ブロック616において、クライアント・ユーザは、1対の画像からの画像の内1つを、ソース画像として選択することができる。既に所望通りにソース画像に注釈が付けられている場合、本プロセスはブロック622に進む。そうでなければ、クライアント・ユーザは、ブロック620において、ソース画像に所望通りに注釈を付ける。ある実施形態では、注釈は、例えば、ユーザが注釈を入力するとの実質的に同時に、その選択された画像上に再現される。ある実施形態では、ユーザは最初にソース画像およびターゲット画像を識別し、ソース画像に注釈が付いていた場合、ユーザは次に進んで画像をレジストレーションするように(例えば、粗いレジストレーションプロセスを実行する)プログラムに命令する。ソース画像に未だ注釈が付けられていない場合、ユーザは、1対の画像をレジストレーションする前に、ソース画像に注釈を付けることができる。ブロック622は、ブロック620と実質的に同時に行われても(または行われなくても)よく、ブロック622において、対における他方の画像(ターゲット画像)に注釈をマッピングし、図式的にターゲット画像上で再現する。注釈付けが粗いレジストレーションに先立って行われる実施形態では、画像の対がレジストレーションされる(整列される)のと実質的に同時に、注釈をソース画像からターゲット画像にマッピングすることができる。ブロック624に移り、マッピングされた注釈の位置および/または画像の整列を最適化するために、精細レジストレーションプロセスを実行することができる。精細レジストレーションプロセスについては、以下で更に詳しく論じる。ブロック626において、注釈が付けられた画像対を、精細レジストレーションプロセスの結果と共に表示する(または、精細レジストレーションが使用されない場合には、注釈が付けられた画像対は、粗いレジストレーションプロセスの結果のみと共に表示されてもよい)。次いで、本方法は最終ブロック628において終了する。
図13は、ブロック612の粗いレジストレーションプロセスに関する更なる詳細を示す。粗いレジストレーションプロセスを開始する前に、整列のために2つの画像が選択される(図12のブロック604)。図13に示すように、ある実施形態では、2つの画像に適用される粗いレジストレーションプロセスは、1)ソフト加重(連続値)前景画像(ここでは「グレー・スケール」画像とも呼ぶ)を、選択された画像の各々から入手する(図13のブロック612a)、2)得られた前景画像の各々からエッジ画像を抽出する(図13のブロック612b)、および3)エッジ・マップに基づく照合、およびソフト加重前景画像から得られたモーメント情報を使用して、グローバル変換パラメータ(例えば、回転、スケール、シフト)(図13のブロック612c)を計算する動作を伴うことができる。最後に、図13に示すように、2つの画像は、グローバル変換パラメータを使用して整列され、モニタ(または複数のモニタ)上の共通格子上に表示されればよい。
図14〜図18は、ブロック612aの更なる詳細を示し、ここでソフト加重前景(即ち、染色画像に適用されたソフト加重に対応する画像であり、高い/低い値は、ある種の染色が多く/少なく存在することを示す)が得られる。ソフト加重方法とは、離散値符号無しキャラクタ画像から、連続ドメイン値画像を得る方法である(例えば、画素値の範囲は0〜255である)。ある実施形態では、ソフト加重前景画像を得るという目標は、デジタル画像において組織を非組織から分離すること、そしてスケーリングおよび平行移動推定(translation estimation)のためにスライド全体からモーメント計算のための基礎を与えることである。ある実施形態では、グレー・スケール前景画像は、色ディコンボリューション・プロセスを、選択されたデジタル画像に適用することによって得られ、デジタル画像は、染色されている組織切片から準備されたガラス・スライドのスキャンでもよい。特定の色ディコンボリューション・プロセスは、特定の染色に依存し、ここでは、3つの例、HE染色、IHC染色、および蛍光画像について説明する。
図14〜図16は、HE画像のためのソフト加重前景画像抽出プロセスを示す。図14〜図16に示すように、この画像抽出プロセスは、本質的に色ディコンボリューション・プロセスであり、染色(color stain)が元のHE画像(図15a)から除去されて、その結果ソフト加重前景画像(図15b)が得られる。HE色ディコンボリューションは、例えば、Ruifrok AC, Johnston DA, Quantification of histological staining by color deconvolution(色ディコンボリューションによる組織学的染色の定量化), Anal Quant Cytol Histol 23: 291-299, 2001に記載されるように、当技術分野において周知の任意の方法によって実行することができる。この文献をここで引用したことにより、その内容全体が本願にも含まれるものとする。
図14および図16は、併せて、図15bの画像を得るために使用されるプロセスの実施形態を示す。図14に示すように、図15aの複合画像HE画像を形成するために混合/追加された2つの画像成分(具体的には、H(ヘマトキシリン:青着色)およびE(エオシン:赤着色))を除去することによって、Hチャネル画像およびEチャネル画像が得られる。ある実施形態では、2つの(HおよびE)チャネルが得られた後(例えば、色ディコンボリューション・プロセスの後)、OTSUおよびソフトウェア加重方法が、Hチャネル画像およびEチャネル画像の各々に対して実行される。OTSU方法は、ヒストグラム形状に基づく閾値判定(thresholding)を自動的に実行するために使用される閾値判定方法であり、例えば、Otsu, Nobuyuki, “A Threshold Selection Method From Gray-Level Histograms”(グレー・レベル・ヒストグラムからの閾値選択方法)、Automatica 11.285-296 (1975): 23-27に記載されている。この文献をここで引用したことにより、その内容全体が本願にも含まれるものとする。加重H画像(例えば、Hチャネルの染色寄与を反映する画像であり、Hチャネルの染色寄与が高い/低い程、加重H画像は高い/低い値を有する)が、OTSUに基づく閾値判定およびH−チャネル画像に対するソフト加重の後に得られる。同様に、加重E画像も、OTSUに基づく閾値判定およびE−チャネル画像に対するソフト加重の後に得られる。最後に、加重HE画像が次のように得られる。加重HE画像における各画素=(Hチャネル画像画素、Eチャネル画像画素)の最大値。即ち、これは、HおよびEチャネル画像における対応する画素値の最大値である。
図16は、Hチャネル画像のためのソフト加重プロセスの実施形態を示す。OTSUに基づく閾値判定が実行された後、閾値(前景を背景Hチャネルから分けるための)がlevelHとして採用される。したがって、levelHは、Hチャネル上で計算されたOTSUに基づく閾値であり、lowHは、端数×levelHの値であり、maxHは最大(Hチャネル画像)、即ち、Hチャネル画像における全ての画素の最大値である。この説明から理解できるように、HおよびEチャネルにおいて、強度値が低い(または高い)ほど、画像における暗い(または明るい)領域に対応する。例えば、Hチャネルにおいて、領域が暗い程、ヘマトキシリン(青成分)が一層強く表現されたエリアを示す。最終的な加重H画像では、これらの暗い領域程(青が濃い領域程)には高い値が予想される。同様に、加重H画像では、ヘマトキシリンの寄与が低い明るい領域程、低い値が予想される。
ある実施形態では、青いヘマトキシリン・チャネルの寄与が高いときに一層高い値となり、青チャネル寄与が低いときには一層低い値になる加重H画像を得ることが目的である。図16において、端数項が、ソフト重みが加重H画像にどのように割り当てられるかを制御する。例えば、端数=1の場合、lowH=levelHとなり、青チャネル寄与(Hチャネルの値)がlowHよりも少ない画像画素には1の値が割り当てられる。端数が1であるとき、加重H画像は、[levelH,maxH]の範囲内においてゼロでない画素強度値を有する(ここで、levelHは、Hチャネルに対して計算されたOTSUに基づく閾値を表し、maxHはHチャネル画像の最大値を表す)。このようなある実施形態では、HチャネルにおいてlevelHよりも低い画素/画素強度値に対して、加重H画像には1の値が割り当てられる。Hチャネルにおいて[lowH,maxH]の範囲にある値に対して、加重H値は[1,0]の範囲になる。Hチャネルにおける[lowH,maxH]の範囲は、加重H画像における[1,0]の範囲にマッピングされる。ある実施形態では、端数は、経験的に選択された0.8という値である。したがって、加重H画像は、更に広い画素値の範囲において値を有する。多くの場合、ぼんやりした画像領域程、OTSUによって戻される閾値は正確でないおそれがあり、したがって、OTSU閾値よりも値が僅かしか高くない画像画素には、もっと低い値が加重画像に割り当てられる。
図17および図18は、併せて、IHC画像のためのソフト加重前景画像抽出プロセスを示す。図17cに示すように、この画像抽出プロセスは、本質的に、色ディコンボリューション・プロセスであり、主要な色成分が画像から抽出される。例えば、図示する実施形態では、ヘマトキシリン(青)およびDAB(茶色)が主要な染色成分であり、IHC画像をこれら2つの色チャネルに分離するために、色ディコンボリューションが使用される。
HE画像に使用したのと同じソフト加重方法が、次にIHC画像に使用される。加重DAB画像は、OTSUに基づく閾値判定およびDABチャネル画像に対するソフト加重の後に得られる。同様に、加重ヘマトキシリン画像が、OTSUに基づく閾値判定およびヘマトキシリン画像に対するソフト加重の後に得られる。最後に、加重IHC画像は、画素毎にmax(加重DAB画像、加重ヘマトキシリン画像)となる。即ち、加重IHC画像における各画素は、DABおよびヘマトキシリン・チャネル画像における2つの対応する画素の内最大値となる。
図18は、DBAチャネル画像のためのソフト加重プロセスの実施形態を示す。OTSUに基づく閾値判定が実行された後、閾値(DBA(茶色)チャネルにおいて前景を背景から分離するため)がlevelBrとして採用される。したがって、levelBrは、茶色チャネルについて計算されたOTSUに基づく閾値であり、lowbrowは端数×levelBr(ここでは、端数は0.8である)であり、maxBrはmax(茶色チャネル画像)である。即ち、maxBrは、茶色チャネル画像における全ての画素値の内最大値である。茶色チャネルにおいてlowBrよりも低い値に対して、加重DAB画像には1の値が割り当てられる。茶色チャネルにおける[lowBr,maxBr]の範囲が、加重DAB画像における[1,0]の範囲にマッピングされる。この説明から理解できるように、茶色および青チャネルでは、強度値が低い程(または高い程)、画像領域における暗い(または明るい)領域に対応する。このプロセス全体の結果、図17cに示すようなソフト加重前景画像が、図17aに示すような元のIHC画像から生成される。
また、ソフト加重前景画像は、例えば、グレー・スケール画像を準備し、OTSUを適用してこのグレー・スケール画像を二進画像に変換することによって、蛍光画像から抽出することもできる。ある実施形態では、ソフト加重前景画像を抽出する開始点として、蛍光画像からグレースケール・サムネイル画像が読み出される(read off)。次いで、OTSUを使用して、グレースケール・サムネイル画像を二進画像に変換する。そして次に、例えば、Samet, Hanan, “An Improved Approach to Connected Component Labeling of Images”(画像の連接成分標識付けに対する改良された手法)、Proceedings, IEEE Computer Society Press, 1986に記載されるように、二進画像に対して連接成分(connected components)を実行する。この文献をここで引用したことにより、その内容全体が本願にも含まれるものとする。ある実施形態では、標準的なアルゴリズムを使用して、二進画像における連続領域を戻すために、連接成分分析が使用される。連接成分の後に戻された連続領域から、外側領域の一部が、小さい方からのセル・サイズというような、所定の判断基準に基づいて破棄される。このプロセスの結果、サム・ネイル画像において、各領域がある一定の最少サイズを超過する前景領域を有することになる。ある実施形態では、Nが前景画像におけるON画素の総数とすると、連接成分から得られた1つのブロブから抽出される最少サイズは、少なくともN/20、最少エリアの選択となるはずであり、N/20は経験的に選択される。これらの領域では、値が高い程、サム・ネイルが暗いソフト加重前景画像に割り当てられる(強度値が暗い領域程(または低い程)組織領域である可能性が高くなり、強度値が明るい領域程(または高い程)、組織でない、ガラス領域である可能性が高くなる)。
ソフト加重前景画像が抽出された後、グローバル変換パラメータが推定される(図13のブロック612c)。ある実施形態では、グローバル変換を計算するために、第1画像(例えば、ユーザ/病理医がある種の領域に印したソース画像)および第2画像(例えば、ユーザ/病理医が、印された領域を引き出すために選択したターゲット画像)が比較される。図19に示すように、ある実施形態では、エッジ・マップの検出(図13のブロック612b)によってこの比較が行われる。図19aは、HE画像のためのエッジ・マップ抽出を示し、この図の上半分は加重前景画像を示し、下半分はHE画像のエッジ・マップを示す。図19bは、IHC画像のためのエッジ・マップ抽出を示し、この図の上半分はIHC画像の加重前景画像を示し、この図の下半分はIHC画像のエッジ・マップを示す。
ある実施形態では、例えば、Canny, John, “A Computational Approach to Edge Detection”(エッジ検出に対する計算的手法)、Pattern Analysis and Machine Intelligence, IEEE Transactions at 6 (1986); 679-698に記載されるように、キャニー・エッジ検出モード(Canny edge detection mode)を使用して、エッジ・マップが抽出される。この文献をここで引用したことにより、その内容全体が本願にも含まれるものとする。第1ステップにおいて、ソフト加重前景画像に対して勾配画像(gradient image)が計算され、次いでエッジ検出のために使用される。次いで、これら2つの画像間におけるグローバル変換を判定するために、エッジ・マップが使用される。ある実施形態では、画像1を画像2にマッピングするときに補助するグローバル変換のパラメータは、1)x軸およびy軸に沿った平行移動、2)x軸およびy軸のスケーリング、3)回転角、および4)x軸、y軸、または双方に沿うことができる反射である。ソフト加重前景画像に基づいて、画像毎に重心画像が計算され、それらの差が、第1画像を第2画像と整列するために使用される、x軸およびy軸に沿った平行移動を示す。ソフト加重前景画像にモーメントを使用して(例えば、Hu, Ming-Kuei, “Visual Pattern Recognition by Moment Invariants” (モーメント不変系による視覚的パターン認識)、Information Theory, IRE Transactions, vol IT-8, pp. 179-187, 1962に記載されるように(この文献をここで引用したことにより、その内容全体が本願にも含まれるものとする)、第1画像を第2画像に整列することができるx軸およびy軸に対する倍率が計算される。一旦ソフト加重前景画像が計算されたなら、染色画像からマスク画像(二進画像)を得るために、OTSUに基づく閾値判定が実行される。第1および第2画像におけるマスク画像に基づいて、Huモーメントを使用して、双方のドメインにおける正準角が計算される。例えば、Hu, Ming-Kuei, “Visual Pattern Recognition by Moment Invariants”(モーメント不変系による視覚的パターン認識)、Information Theory, IRE Transactions, vol IT-8, pp. 179-187, 1962に記載されるように、角度差が回転を与える。この文献をここで引用したことにより、その内容全体が本願にも含まれるものとする。画像1および2の間の角度差は、画像1を画像2にマッピングすることができる変換角のあり得る値として考慮され(角度Φ=(画像2からの正準角)−(画像1からの正準角))、正準角は、以上で述べた刊行物に記載されるように、モーメントの方法を使用して計算される。
加えて、ある実施形態では、8通りの可能な変換事例が考慮され(各変換事例は、ソース画像、即ち画像1に適用されるある種のアフィン・グローバル変換に対応する)、そして事例毎に、a)画像1に対して変換エッジ・マップが計算され、更にb)画像2のエッジ・マップからのその距離も計算される。ある実施形態では、変換エッジ・マップ(a)は、最良の変換事例に基づき、ある実施形態では、画像1に対する変換エッジ・マップと画像2に対するエッジ・マップとの間で最少距離を生成するものである。8通りの可能な変換事例は、1)Φだけ回転する、2)(180−Φ)だけ回転する、3)x軸に沿って反射する、4)y軸に沿って反射する、5)x軸およびy軸双方に沿って反射する、6)0だけ回転する、7)90だけ回転する、そして8)−90だけ回転する(全ての事例について、スケーリングおよび平行移動が含まれる)。図20は、以上の8通りの条件の各々にしたがって変換された後におけるHEエッジ・マップを示す。
ある実施形態では、画像1を画像2に粗雑にマッピングするグローバル変換を得るために、エッジ・マップ間の距離が、面取り距離方法(例えば、Borgefors, Gunilla, “Distance Transformations In Digital Images"(デジタル画像における距離変換)、 Computer Vision, Graphics, and Image Processing,(コンピュータ映像、グラフィクス、および画像処理)、34.3 (1986): 344-371に記載されるように。これらの文献をここで引用したことにより、その内容全体が本願にも含まれるものとする)を使用して計算される。面取り距離(エッジ・マップA、エッジ・マップB)(各画像に対応する。エッジ・マップAは、ソース画像、画像1から得られ、一方エッジ・マップBはターゲット画像、画像2から得られる)は、AにおけるあらゆるONエッジ画素と、Bにおける最も近いONエッジ画素との間における平均距離である。ある実施形態では、面取り距離は、次のように計算することができる。
・EAは、エッジ・マップA,二進画像を示し、DAは距離変換の後に得られる行列であるとする。DAにおける各画素は、EAにおけるその画素からEAにおける最も近いON画素までの距離を示す。
・例えば、 EA = [1 0 0 1 1
0 1 1 1 0
1 0 0 1 0
0 0 0 0 1
0 1 0 0 1]
そして、 DA = [0 1.0000 1.0000 0 0
1.0000 0 0 0 1.0000
0 1.0000 1.0000 0 1.0000
1.0000 1.0000 1.4142 1.0000 0
1.0000 0 1.0000 1.0000 0]
である場合、
・例えば、EAにおいて、第4行および第3列における画素を考える。1の値を有し、これに最も近い2つの画素は、第3行第4列、および第5行第2列にある。画素の位置を(i,j)で示す場合、これは、行列EAの第i行および第j列にその画素が存在することを示す。したがって、(i,j)および(i,j)で与えられる位置に2つの画素がある場合、これら2つの画素間のL2距離は、sqrt((i-i+(j-j)で表される。したがって、それに最も近い2つの画素の距離は、それぞれ、sqrt(2)およびsqrt(2)となり、DAにおける第4行および第3列の値は、min(sqrt(2),sqrt(2))=sqrt(2)となる。
・面取り距離(Aのエッジ・マップ、Bのエッジ・マップ)=(EA.*DB)/(EAにおける1の数)、ここで、DBはエッジ・マップBの距離変換である。
・(EA.*DB)=(EAにおける各エレメントを、DBにおける各対応エレメントと乗算する)および(次いで数値を合計する)
当業者は理解するはずであるが、面取り距離は、その非可換的性質(non-commutative nature)のために、距離メトリックではない。更に具体的には、面取り距離は、2つのエッジ・マップ間における類似性/相違を説明するために使用することができる距離関数である。この距離関数は、形状がエッジ・マップによって表される場合に、形状を比較するために使用することができる。本開示によるある実施形態に適用されると、面取り距離は、主に、画像間で組織領域を比較する。それらのエッジ・マップが似ているとき、2つの組織領域は似ており、これは面取り距離によって正しく把握することができる。画像間には色および染色強度に差があることがあり得るが、エッジ・マップは、組織の構造を取り込むので、他よりも比較的一貫性が高い特徴である。同じ/並列する組織スライスが比較されるとき、組織はある程度同じままで残る。距離関数がメトリックであるためには、エッジ・マップAからエッジ・マップBへの距離が得られるとき、この距離は、エッジ・マップBからエッジ・マップAに得られても、同一であるはずである。面取り距離については、この可換的性質は当てはまらず、したがってメトリックではない。このため、ある実施形態では、2つの距離値、AからBまでの面取り距離、およびBからAまでの面取り距離の内最大値が、2つのエッジ・マップ間の最終有効距離を得るために使用される。端的に言うと、面取り距離(エッジ・マップA、エッジ・マップB)は、面取り距離(エッジ・マップB、エッジ・マップA)と等しい必要はない。このため、ある実施形態では、エッジ・マップAおよびB間で使用される最終距離尺度は、max(面取り距離(エッジ・マップA、エッジ・マップB)、面取り距離(エッジ・マップB、エッジ・マップA))となる。そして、ある実施形態では、一旦8通りの条件全てについてこれらの距離値が計算されたなら、最も低い距離値が得られた条件が選択される。
図21は、8つの計算された距離値の例である(第1および第2画像の変換バージョン間で使用される距離関数は、面取り距離に基づくそれらのエッジ・マップの関数である)。この例によれば、最良の変換は、7.41の回転角を使用するそれであることがわかる。第1変換条件が選択されたのは、これが最少面取り距離になるからである。
図22は、グローバル変換パラメータが計算された後(図13のブロック612c)において、レジストレーションされた画像が共通格子上に表示される、図12のブロック612の実施形態を示す。更に具体的には、この実施形態では、図22は、共通の大型画像格子上にマッピングされたHE画像およびIHC画像を示し、図22aでは、格子の中心が、ソフト加重前景HE画像共通格子のモーメントベースの中心と一致し、図22bでは、格子の中心が、ソフト加重前景IHC画像のモーメントベースの中心と一致する。共通格子は、第1(例えば、ソース)および第2(例えば、ターゲット)画像の変換バージョン双方を含み、第1画像において印された領域に基づいて、第2画像におけるいずれの領域を復元するためにも有用であることができる。
画像間注釈(cross-image annotation)(図12のブロック620、622)は、双方の画像を含むこの大型共通格子が得られるときに、行うことができる。例えば、ある実施形態では、図23に示すように、ユーザが印した点(第1画像において)を、最初に大型格子における一致領域にマッピングすることができ、次いで大型格子における点を、第2画像における対応する位置にマッピングする。その結果、この説明している実施形態では、第1画像は、病理医がある領域に印した画像となる。画像間注釈は、8通りの条件から得られた最良の変換(この例では、回転角7.41)を使用して、大型共通画像格子に到達することによって実行される。この例では、大型共通画像格子は、ソフト加重前景画像をその中心に含む。大型共通格子に到達するプロセスについて、例えば、以下のように、更に具体的に説明することができる。
ソース画像1は、M1行およびN1列を有する画像であるとし、その重心位置が(x1,y1)にあるとする。すると、画像1の最も左側および最も右側の点から重心までの距離が、(x1−0)および(N1−1−x1)となる。同様に、画像1における最も上側の点および最も下側の点から重心までの距離は、(y1−0)および(M1−1−y1)となる。ターゲット画像、画像2では、そのサイズがM2行およびN2列であるとする。その重心の位置は(x2,y2)とする。すると、画像2の最も左側の点および最も右側の点から重心までの距離は、(x2−0)および(N2−1−x2)となる。同様に、画像2の最も上側および最も下側の点から重心までの距離は、(y2−0)および(M2−1−y2)となる。画像1よび2は、大型共通格子の中心が画像1および画像2双方の中心と一致するように、共通の大型格子上に置かれる。したがって、大型共通画像格子における重心の、その境界点(最も左、最も右、最も上、最も下)の内任意のものまでの最大距離は、これら8つの項{(x1−0),(N1−1−x1),(y1−0),(M1−1−y1)、(x2−0)、(N2−1−x2)、(y2−0)、(M2−1−y2)}の内の最大値となる。この最大距離項をdで示すとする。すると、この大型共通画像格子のサイズは、各辺が2×d+1となる。この格子は、正方形の格子であり、したがって、2×d+1行および2×d+1列を有する。
図23において見られるように、第1画像においてユーザが印した点と、第2画像において復元された点との間には、多少のずれがあることもある。このような場合、注釈領域を更に正確に決めるために、精細レジストレーションモジュール(図12のブロック624)を実装することができる。一般に、ある実施形態では、精細レジストレーションプロセスは、第1画像においてユーザが印した領域周囲に第1ウインドウを定め、第2画像において第2ウインドウを定め、第2ウインドウは第1ウインドウよりも大きいが、実質的に共通格子上の第1ウインドウと同じ位置に置かれ、第2ウインドウにおける第1ウインドウに最適な位置を計算する動作を伴う。ある実施形態では、第2ウインドウにおける第1ウインドウの位置は、第2ウインドウ内において第1ウインドウとサイズが等しいまたは実質的に等しいウインドウを繰り返しずらして最良の一致を識別することによって最適化される。図24および図25を参照しながら、説明する精細レジストレーションプロセスの実施形態を一例として以下に示す。
図24および図25に示すように、
・点Qが画像1において印されるとき、画像1に対応する大型格子における点Pに対応することが示される(点PおよびQの定義については、図24を参照のこと)。
・粗雑変換が正確である場合、引き出された点に対する最良の選択は、大型格子におけるPに近い。
・最良の一致点になりそうな候補を発見するために、大型格子において点Pの周囲にW×W(画素×画素)(W=300とする)ウインドウを考える。各場合において、画像1を考慮して、大型格子内の点P周囲にL×L(画素×画素)(L=375とする)領域を考え、画像2を考慮して、大型格子内において新たにずらして各点の周囲にL×L領域を考える(図25では、W=300およびL=375が使用される)。
・これらのL×L領域においてローカル・エッジ・マップに基づいて、ローカル・面取りが行われ、粗雑照合の結果を最適にずらすために、最少コスト・ウインドウが選択される。
・一例として、L−W=75、5画素ずつの刻みで、可能な限り最良のシフトを探す場合、検索点の総数=(75/5)=225となる(5を選択したのは、計算の複雑さを軽減するためであり、1画素のシフトによって、75×5=5625個のデータ点が得られる)。計算の観点から、225個の検索点の各々についてエッジ・マップ、およびエッジ・マップの距離変換を計算するのは、計算集約的であるおそれがある。したがって、ある実施形態では、エッジ・マップ全体の距離変換を計算し格納することによって、起こり得る計算上の問題に取り組む。次いで、ある実施形態では、計算を高速化するために、エッジ画像および距離変換画像から、適したウインドウを抜粋する(crop out)。ある実施形態では、適したウインドウは十分に大きいので、2つの領域が2つの画像において比較されるとき、十分なエッジに基づくコンテンツがこれらのウインドウ領域にあるため、第1画像における所与のテンプレート・ウインドウに対して、第2画像において正しいウインドウが発見されたときを明確に判断ことができる。ウインドウ・サイズが非常に小さい場合、「テンプレート・ウインドウ/検索ウインドウ」間の距離は非常に小さくなり、検索画像において最良のウインドウを識別することが困難になるおそれがあり、一方ウインドウ・サイズが大きくなる程、計算の複雑さが増大する。言い換えると、エッジ・マップ計算およびあらゆるエッジ・マップに対する距離変換(ローカル領域に基づく)は、計算集約的となるおそれがある。したがって、ある実施形態では、画像1および画像2双方が大型画像格子にマッピングされた後に、画像1および画像2についてエッジ・マップが1回計算され、次いでこれらの距離変換行列が保存される。ある実施形態では、ローカル領域(ウインドウ)を考えるとき、エッジ・マップおよび距離変換マップの抜粋バージョンを使用してもよい。したがって、ローカル領域についてエッジ・マップおよび距離変換マップを再計算することを回避することができる。
・二進画像(エッジ・マップ画像)の距離変換は、Borgefors, Gunilla, “Distance Transformations In Digital Images, Computer Vision, Graphics, and Image Processing(デジタル画像、コンピュータ映像、グラフィクス、および画像処理における距離変換), 34.3 (1986): 344-371に記載される公式を使用して計算することもできる。この文献をここで引用したことにより、その内容全体が本願にも含まれるものとする。[0089]において説明したように、距離変換には単位が関連付けられない。これは、述べられた距離が画素数に関することを暗示する。所与の画像画素における距離変換値は、その画素から最も近いON画像画素までの距離である(ON画素とは、エッジ・マップにおいて値が1である画素のことである。即ち、これはエッジ点となる)。
・ウインドウのサイズは、ユーザによって印される、または既に画像1内に存在する入力注釈のサイズに依存する。例えば、分析が行われるスケールにおいてユーザが60×70画素のサイズの注釈に印した場合(例えば、2×解像度)、ソース画像(画像1)におけるウインドウを、ターゲット画像におけるその周囲の領域と比較するために使用されるウインドウ・サイズも60×70となる。一旦粗いレジストレーションが行われたなら、図23、図24、および図25に示すように、2つの画像は大まかに互いに整列され、一致する双方の画像が同じ格子上に重畳される。これは、図25において実証したように、最良に一致するウインドウを発見するために近隣領域を検索するときに役立つ。
コンピュータは、通例、プロセッサ、オペレーティング・システム、システム・メモリ、メモリ記憶デバイス、入力−出力コントローラ、入力−出力デバイス、およびディスプレイ・デバイスというような、既知のコンポーネントを含む。また、コンピュータには多くの可能な構成およびコンポーネントがあり、更に、キャッシュ・メモリ、データ・バックアップ・ユニット、および多くの他のデバイスを含んでもよいことも、当業者には理解されよう。入力デバイスの例には、キーボード、カーソル制御デバイス(例えば、マウス)、マイクロフォン、スキャナ等が含まれる。出力デバイスの例には、ディスプレイ・デバイス(例えば、モニタまたはプロジェクタ)、スピーカ、プリンタ、ネットワーク・カード等が含まれる。ディスプレイ・デバイスは、視覚的情報を提供するディスプレイ・デバイスを含むことができ、この情報は、通例、画素のアレイとして、論理的および/または物理的に編成することができる。また、入力および出力インターフェースを設けるための種々の既知のまたは今後のソフトウェア・プログラムの内任意のものを含むことができるインターフェース・コントローラも含むことができる。例えば、インターフェースには、1つ以上のグラフィカル表現をユーザに供給する「グラフィカル・ユーザ・インターフェース」(GUIと呼ばれることも多い)と一般に呼ばれるものを含むことができる。インターフェースは、通例、当業者には周知の選択または入力手段を使用して、ユーザ入力を受け入れることが可能にされる(enable)。また、インターフェースはタッチ・スクリーン・デバイスであってもよい。同一または代替実施形態において、コンピュータ上のアプリケーションは、「コマンド・ライン・インターフェース」(CLIと呼ばれることも多い)と呼ばれるものを含むインターフェースを採用することができる。CLIは、通例、アプリケーションとユーザとの間で、テキストに基づく対話処理を可能にする。通例、コマンド・ライン・インターフェースは、ディスプレイ・デバイスを介して、テキストのラインとして出力を提示し、入力を受ける。例えば、ある実施態様は、当業者には周知であるUnix(登録商標) Shellsのような「シェル」と呼ばれるもの、または Microsoft.NETフレームワークのようなオブジェクト指向型プログラミング・アーキテクチャを採用する Microsoft Windows(登録商標) Powershellを含むこともできる。インターフェースは、1つ以上のGUI、CLI、またはその組み合わせを含むことができることは、当業者には認められよう。プロセッサは、Intel Corporation(インテル社)によって製造されるCeleron、 Core、またはPentium(登録商標)プロセッサ、 Sun Microsystems(サン・マイクロシステムズ社)によって製造されるSPARC プロセッサ、AMD Corporation(AMD社)によって製造されるAthlon、Sempron、Phenom、またはOpteronプロセッサのような、市販のプロセッサを含むことができ、あるいは入手可能なまたは入手可能になる他のプロセッサの内の1つでもよい。プロセッサのある実施形態は、マルチコア・プロセッサと呼ばれるものを含んでもよく、および/または単一コアまたはマルチコア構成とした並列処理技術を採用することが可能にされてもよい。例えば、マルチコア・アーキテクチャは、通例、2つ以上のプロセッサ「実行コア」を含む。この例では、各実行コアが、多数のスレッドの並列実行を可能にする、独立したプロセッサとして実行することができる。加えて、プロセッサは、32または64ビット・アーキテクチャと一般に呼ばれるもの、あるいは現在知られているまたは今後開発されるかもしれない他のアーキテクチャ構成で構成されてもよいことも、当業者には認められよう。プロセッサは、通例、オペレーティング・システムを実行する。オペレーティング・システムは、例えば、Microsoft Corporation(マイクロソフト社)からのWindows(登録商標)型オペレーティング・システム、Apple Computer Corp.(アップル・コンピュータ社)からのMac OS Xオペレーティング・システム、多くの販売業者から入手可能なUnix(登録商標)またはLinux(登録商標)型オペレーティング・システムまたはオープン・ソースと呼ばれるもの、他のまたは今後のオペレーティング・システム、あるいはその何らかの組み合わせでもよい。オペレーティング・システムは、周知の様態でファームウェアおよびハードウェアとインターフェースし、プロセッサが種々のコンピュータ・プログラムの機能を調整および実行し易くする。コンピュータ・プログラムは、種々のプログラミング言語で書かれてもよい。オペレーティング・システムは、通例、プロセッサと協働して、コンピュータの他のコンポーネントの機能を調整および実行する。また、オペレーティング・システムは、スケジューリング、入力−出力制御、ファイルおよびデータ管理、メモリ管理、ならびに通信制御および関連サービスも提供し、これらは全て既知の技法に従う。システム・メモリは、所望の情報を格納するために使用することができコンピュータによってアクセスすることができる種々の既知のまたは今後のメモリ記憶デバイスの内任意のものを含むことができる。コンピュータ読み取り可能記憶媒体は、揮発性および不揮発性、リムーバブルおよび非リムーバブル媒体を含むことができ、コンピュータ読み取り可能命令、データ構造、プログラム・モジュール、または他のデータというような情報の格納のための任意の方法または技術で実現される。その例には、あらゆる一般に入手可能なランダム・アクセス・メモリ(RAM)、リード・オンリ・メモリROM)、電子的消去可能プログラマブル・リード・オンリ・メモリ(EEPROM)、デジタル・バーサタイル・ディスク(DVD)、常駐ハード・ディスクまたはテープのような磁気媒体、リードおよびライト・コンパクト・ディスクのような光媒体、あるいはその他のメモリ記憶デバイスが含まれる。メモリ記憶デバイスは、コンパクト・ディスク・ドライブ、テープ・ドライブ、リムーバブル・ハード・ディスク・ドライブ、USBまたはフラッシュ・ドライブ、またはディスケット・ドライブを含む、種々の既知のまたは今後のデバイスの内任意のものを含むことができる。このようなタイプのメモリ記憶デバイスは、それぞれ、コンパクト・ディスク、磁気テープ、リムーバブル・ハード・ディスク、USBまたはフラッシュ・ドライブ、あるいはフロッピ・ディスケットのような、プログラム記憶媒体から読み出す、および/またはこれらに書き込むのが通例である。これらのプログラム記憶媒体、あるいは現在使用されているまたは今後開発されるかもしれないその他のものはいずれも、コンピュータ・プログラム製品と見なすことができる。認められようが、これらのプログラム記憶媒体は、通例、コンピュータ・ソフトウェア・プログラムおよび/またはデータを格納する。コンピュータ制御ロジックとも呼ばれるコンピュータ・ソフトウェア・プログラムは、通例、メモリ記憶デバイスと併せて使用されるシステム・メモリおよび/またはプログラム記憶デバイスに格納される。ある実施形態では、コンピュータ・プログラム製品は、制御ロジック(プログラム・コードを含むコンピュータ・ソフトウェア・プログラム)が内部に格納されたコンピュータ使用可能媒体を含むと説明した。制御ロジックは、プロセッサによって実行されると、このプロセッサに、その内部に記述された機能を実行させる。他の実施形態では、ある機能は、例えば、ハードウェア状態機械を使用して、主にハードウェアで実現される。本明細書において説明した機能を実行するようなハードウェア状態機械の実装は、当業者には明白であろう。入力−出力コントローラは、人であれ機械であれ、ローカルであれリモートであれ、ユーザからの情報を受け入れて処理する種々の既知のデバイスの内任意のものを含むことができる。このようなデバイスは、例えば、モデム・カード、ワイヤレス・カード、ネットワーク・インターフェース・カード、サウンド・カード、または種々の既知の入力デバイスの内任意のもののための他のタイプのコントローラを含む。出力コントローラは、人であれ機械であれ、ローカルであれリモートであれ、ユーザに情報を提示する種々の既知のディスプレイ・デバイスの内任意のもののコントローラを含むことができる。現在説明している実施形態では、コンピュータの機能エレメントは、システム・バスを通じて互いに通信する。コンピュータのある実施形態は、ネットワークまたは他のタイプの遠隔通信を使用して、ある機能エレメントと通信することができる。当業者には明白であろうが、計器制御および/またはデータ処理アプリケーションは、ソフトウェアで実現される場合、システム・メモリおよび/またはメモリ記憶デバイスにロードされ、そこから実行することができる。また、計器制御および/またはデータ処理アプリケーションの全部または一部は、メモリ記憶デバイスのリード・オンリ・メモリまたは同様のデバイスに存在してもよく、このようなデバイスでは、計器制御および/またはデータ処理アプリケーションが最初に入力−出力コントローラを介してロードされる必要はない。尚、計器制御および/またはデータ処理アプリケーション、あるいはその一部が、プロセッサによってシステム・メモリ、またはキャッシュ・メモリ、あるいは双方に、実行のために有利なように、既知の様態でロードされてもよいことは当業者には理解されよう。また、コンピュータは、システム・メモリに格納された1つ以上のライブラリ・ファイル、実験データ・ファイル、およびインターネット・クライアントを含んでもよい。例えば、実験データは、検出された信号値、あるいは合成(SBS)実験またはプロセスによる1つ以上のシーケンス処理(sequencing)に関連付けられた他の値というような、1つ以上の実験または分析評価に関するデータを含むことができる。加えて、インターネット・クライアントは、ネットワークを使用して他のコンピュータ上におけるリモート・サービスにアクセスすることが可能にされた(enabled)アプリケーションを含むこともでき、例えば、一般に「ウェブ・ブラウザ」と呼ばれるものを含むことができる。この例では、一般に採用されるウェブ・ブラウザには、Microsoft Corporationから入手可能なMicrosoft Internet Explorer、 Mozilla Corporation(モジラ社)から入手可能なMozilla Firefox、Apple Computer Corp.から入手可能なSafari、Google Corporation(グーグル社)から入手可能なGoogle Chrome、または当技術分野において現在知られているまたは今後開発される他のタイプのウェブ・ブラウザが含まれる。また、同じまたは他の実施形態において、インターネット・クライアントが、生物学的用途のためのデータ処理アプリケーションというような、ネットワークを通じて離れた情報にアクセスすることが可能な特殊ソフトウェア・アプリケーションを含んでもよく、またはそのエレメントとなることもできる。ネットワークは、当業者には周知である多くの種々のタイプのネットワークの内1つ以上を含むことができる。例えば、ネットワークは、通信するために、TCP/IPプロトコル・スイートと一般に呼ばれるものを採用することができるローカルまたはワイド・エリア・ネットワークを含むこともできる。ネットワークは、インターネットと一般に呼ばれる、相互接続されたコンピュータ・ネットワークの世界規模のシステムを構成する(comprise)ネットワークを含んでもよく、または種々のイントラネット・アーキテクチャを含むこともできる。また、ネットワーク接続環境におけるあるユーザは、一般に「ファイヤウォール」(パケット・フィルタ、または境界保護デバイスと呼ばれることもある)と呼ばれるものを、ハードウェアおよび/またはソフトウェア・システムへおよびからの情報トラフィックを制御するために採用することを好む場合もあることを、当業者は認めよう。例えば、ファイヤウォールは、ハードウェア・エレメントまたはソフトウェア・エレメント、あるいはその何らかの組み合わせを含むことができ、通例、例えば、ネットワーク管理者等のような
、ユーザによって導入されるセキュリティ方針を施行するために設計される。以
上、多数の実施形態について説明したが、更に他の実施形態も本開示によって包含されることは、当業者には理解されよう。尚、以上で説明した実施形態には、その広い発明概念から逸脱することなく、変更が可能であることは、当業者には認められよう。したがって、本開示および発明概念は、開示された特定の実施形態に限定されるのではなく、添付した特許請求の範囲において定められる通りのものを含む発明概念の主旨および範囲内における変更をカバーすることを意図することは理解されよう。したがって、種々の実施形態の以上の説明は、必然的に除外を暗示しない。例えば、「ある」(some)実施形態または「他の」(other)実施形態は、本発明の範囲内に該当する「ある」、「他の」、「今後の」、および「ある種の」実施形態の全部または一部を含むことができる。



  1. コンピュータ化された画像レジストレーションプロセスであって、
    a.1人の被験者の隣接組織切片の1組のデジタル画像から第1組織切片の第1デジタル画像を選択するステップと、
    b.前記1組から第2組織切片の第2デジタル画像を選択するステップと、
    c.前記第1デジタル画像と前記第2デジタル画像との間で組織構造を照合するステップと、
    d.前記第1デジタル画像上に描かれた注釈を前記第2デジタル画像に自動的にマッピングするステップと
    を含む、コンピュータ化された画像レジストレーションプロセス。

  2. 請求項1記載のコンピュータ化された画像レジストレーションプロセスにおいて、前記第1デジタル画像が、染料および撮像モードを使用して得られた画像から導き出され、前記第2デジタル画像が、前記第1デジタル画像と比較して、異なる染料、異なる撮像モード、または双方を使用して得られた画像から導き出される、コンピュータ化された画像レジストレーションプロセス。

  3. 請求項2記載のコンピュータ化された画像レジストレーションプロセスにおいて、前記染料が、ヘマトキシリンおよびエオシン染料(「HE」染料)、免疫組織化学染料(「IHC」染料)、または蛍光染料から選択される、コンピュータ化された画像レジストレーションプロセス。

  4. 請求項2記載のコンピュータ化された画像レジストレーションプロセスにおいて、前記撮像モードが、明視野顕微鏡検査および蛍光顕微鏡検査から選択される、コンピュータ化された画像レジストレーションプロセス。

  5. 請求項1記載のコンピュータ化された画像レジストレーションプロセスにおいて、組織構造を照合するステップが、粗いレジストレーションモードを含み、前記粗いレジストレーションモードが、
    前記第1デジタル画像から第1グレー・レベル組織前景画像を生成し、前記第2デジタル画像から第2グレー・レベル組織前景画像を生成するステップと、
    前記第1グレー・レベル組織前景画像から第1組織二進エッジ・マップを計算し、前記第2グレー・レベル組織前景画像から第2組織二進エッジ・マップを生成するステップと、
    前記第1二進エッジ・マップおよび前記第2二進エッジ・マップを整列するために、グローバル変換パラメータを計算するステップと、
    前記グローバル変換パラメータに基づいて、前記第1および第2デジタル画像の双方を含む共通大型格子に、前記第1デジタル画像および前記第2デジタル画像をマッピングするステップと
    を含む、コンピュータ化された画像レジストレーションプロセス。

  6. 請求項5記載のコンピュータ化された画像レジストレーションプロセスにおいて、前記グローバル変換パラメータを計算するステップが、モーメントベースのマッピング方法を使用して、前記第1二進エッジ・マップと前記第2二進エッジ・マップとの間にアフィン・マッピングを生成するステップを含む、コンピュータ化された画像レジストレーションプロセス。

  7. 請求項5記載のコンピュータ化された画像レジストレーションプロセスであって、更に、前記第1デジタル画像および前記第2デジタル画像の整列の精度を高めるために、精細レジストレーションモードを含む、コンピュータ化された画像レジストレーションプロセス。

  8. 請求項7記載のコンピュータ化された画像レジストレーションプロセスにおいて、前記精細レジストレーションモードが、前記第1デジタル画像に注釈を付けるステップと、前記共通大型格子上における前記注釈を、前記第2デジタル画像における対応する位置にマッピングするステップと、前記二進組織エッジ・マップに基づいて、面取り距離照合を使用して、前記位置を更新するステップとを含む、コンピュータ化された画像レジストレーションプロセス。

  9. 請求項8記載のコンピュータ化された画像レジストレーションプロセスにおいて、前記組織エッジ二進マップの抜粋バージョンが使用され、前記方法が、更に、粗いモードレジストレーションに対して照合を改良する最少コスト・ウインドウを選択するステップを含む、コンピュータ化された画像レジストレーションプロセス。

  10. 画像レジストレーションシステムであって、
    a.プロセッサと、
    b.前記プロセッサによる実行のための命令を収容するメモリであって、前記命令が実行されると、組織構造の照合に基づいて隣接組織切片の1つ以上の画像を整列して1組の整列画像を得ることであって、前記1つ以上の画像の各々が、異なる染料、異なる撮像モード、または双方を使用して準備されることと、ユーザによって前記整列された画像の1つに付けられた注釈を、前記整列された画像の少なくとも他の1つに複製することの内1つ以上が行われる、メモリと、
    c.前記命令を実行するように前記プロセッサを動作させるクライアント・ユーザ・インターフェースと、
    d.前記クライアント・ユーザ・インターフェース、前記第1画像および前記第2画像、結果、ならびにその組み合わせを表示することができるモニタと、
    を含む、画像レジストレーションシステム。

  11. 請求項10記載の画像レジストレーションシステムであって、前記プロセッサと、前記メモリと、前記クライアント・ユーザ・インターフェースと、前記モニタとを含むコンピュータの少なくとも1つを含むワークステージョン上に実装される、画像レジストレーションシステム。

  12. 請求項10記載の画像レジストレーションシステムであって、コンピュータ・ネットワーク上に実装される、画像レジストレーションシステム。

  13. 請求項12記載の画像レジストレーションシステムにおいて、前記コンピュータ・ネットワークが、1つ以上のクライアント・コンピュータと、サーバと、ネットワーク・アクセス可能なデータベースとを含み、全てがネットワークを介して接続され、前記1つ以上のクライアント・コンピュータが、前記プロセッサと、前記モニタと、前記クライアント・ユーザ・インターフェースとを含み、前記ネットワーク・アクセス可能なデータベースが、少なくとも1組の隣接組織切片の画像を格納し、前記メモリが、前記サーバまたは1つ以上のクライアント・コンピュータ、または双方に存在する、画像レジストレーションシステム。

  14. 請求項10記載の画像レジストレーションシステムにおいて、画像を整列するための前記命令が、粗いレジストレーションプロセスおよび精細レジストレーションプロセスを含むレジストレーションモジュールを含む、画像レジストレーションシステム。

  15. 請求項14記載の画像レジストレーションシステムにおいて、前記粗いレジストレーションモジュールが、デジタル画像からソフト加重前景画像を計算し、前記前景画像から二進組織エッジ・マップを抽出し、前記組織エッジ・マップに基づいてグローバル変換パラメータを計算し、前記グローバル変換パラメータに基づいて、前記組織エッジ・マップを共通格子にマッピングする命令を含む、画像レジストレーションシステム。

  16. 請求項14記載の画像レジストレーションシステムにおいて、前記精細レジストレーションプロセスが、第1整列画像上の注釈を囲む第1領域を識別し、第2整列画像において第2領域を識別し、前記第2領域が前記第1領域よりも大きく、前記第1領域と共に共通格子上に一緒に位置し、距離変換および最少コスト関数計算に基づいて、繰り返しプロセスを使用して、前記第2領域における前記第1領域の位置を最適化する命令を含む、画像レジストレーションシステム。

  17. 画像を整列し、1つの整列画像から他の整列画像に注釈をマッピングするためのコンピュータ・プログラム製品であって、前記コンピュータ・プログラム製品が、コンピュータ読み取り可能プログラム・コードが埋め込まれた有形コンピュータ読み取り可能記憶媒体を含み、前記コンピュータ読み取り可能プログラム・コードが、1組の隣接組織切片のデジタル画像からの第1デジタル画像と前記1組の隣接組織切片のデジタル画像からの第2デジタル画像との間において組織構造を照合するように構成され、前記1組における各画像が、異なる染料、異なる撮像モード、または双方を使用して得られ、前記照合した組織構造に基づいて、前記第1デジタル画像から前記第2デジタル画像に注釈を転記するように構成される、コンピュータ・プログラム製品。

  18. 請求項17記載のコンピュータ・プログラム製品において、組織構造を照合する動作が、前記第1および第2デジタル画像の各々についてソフト加重前景画像を計算する動作と、前記第1および第2前景デジタル画像の各々について二進組織エッジ・マップを抽出する動作と、前記第1および第2組織エッジ・マップに基づいてグローバル変換パラメータを計算する動作と、前記グローバル変換パラメータに基づいて前記第1画像および第2画像を共通格子にマッピングする動作とを含み、前記共通格子が中心を有し、前記第1前景画像および前記第2前景画像が、各々、中心を有し、前記共通格子の中心が、前記第1前景画像の中心および前記第2前景画像の中心と一致するように、前記第1および第2前景画像が、前記共通格子上に置かれる、コンピュータ・プログラム製品。

  19. 請求項18記載のコンピュータ・プログラム製品において、注釈を転記する動作が、前記第1デジタル画像上の注釈を、前記共通格子によって決定される、前記第2画像上の対応する位置にマッピングする動作を含む、コンピュータ・プログラム製品。

  20. 請求項19記載のコンピュータ・プログラム製品において、前記注釈を転記する動作が、更に、前記第1画像上の前記注釈の周囲に第1ウインドウを定める動作を含む精細レジストレーションプロセスに基づいて、前記第2画像上の前記注釈の位置を調節する動作と、
    前記第2画像上の前記注釈の周囲に第2ウインドウを定める動作であって、前記第2ウインドウが前記第1ウインドウよりも大きい、動作と、
    前記第2ウインドウ内に、前記第1ウインドウと同じサイズを有する第3ウインドウを繰り返しシフトする動作と、
    前記第3ウインドウの各位置について、距離変換およびコスト関数計算に基づいて、前記第3ウインドウに対して最適位置を計算する動作と、
    前記第3ウインドウの最適位置に基づいて、前記第2画像における前記注釈の位置を調節する動作と、
    を含む、コンピュータ・プログラム製品。

  21. 1組の隣接組織切片のデジタル画像からの第1デジタル画像から、前記1組の隣接組織切片のデジタル画像の内第2デジタル画像に注釈をマッピングする方法であって、
    a.前記1組から前記第1画像を選択するステップと、
    b.前記1組から前記第2画像を選択するステップと、
    c.任意に前記第1画像に注釈を付けるステップと、
    d.組織構造を照合する動作に基づいて、共通格子上において前記第1画像を前記第2画像と整列する結果となる命令を実行するように、コンピュータ・プロセッサに命令するステップと、
    e.前記第1画像から前記第2画像に注釈を転記するように、前記コンピュータ・プロセッサに命令するステップと、
    を含む、方法。

  22. 請求項21記載の方法において、前記命令が、前記第1画像および前記第2画像が整列されたときに自動的に実行する、方法。

  23. 請求項22記載の方法において、前記整列するステップが、前記第1画像および前記第2画像の各々についてソフト加重前景画像を計算するステップと、前記第1前景画像および前記第2前景画像の各々に対して二進組織エッジ・マップを抽出するステップと、前記第1組織エッジ・マップおよび前記第2組織エッジ・マップに基づいてグローバル変換パラメータを計算するステップと、前記グローバル変換パラメータに基づいて前記第1画像および前記第2画像を共通格子上においてマッピングするステップとを含む、方法。

  24. 請求項23記載の方法において、前記共通格子が中心を有し、各前景画像が中心を有し、前記共通格子の中心が、前記第1画像および前記第2画像の各々に対する前記前景画像の中心に対応する、方法。

  25. 請求項24記載の方法において、前記注釈を転記するステップが、最初に前記第1画像上の注釈を前記共通格子にマッピングし、次いで、前記共通格子の注釈を、前記第2画像上の対応する位置にマッピングするステップを含む、方法。

  26. 請求項25記載の方法において、前記注釈が、更に、前記第1画像における前記注釈の周囲に第1ウインドウを定める動作を含む精細レジストレーションプロセスに基づいて、前記第2画像上の前記注釈の位置を調節するステップと、前記第2画像内に第2ウインドウを定めるステップであって、前記第2ウインドウが前記第1ウインドウよりも大きいが前記共通格子上において前記第1ウインドウと実質的に一緒に位置する、ステップと、距離変換およびコスト関数計算に基づいて、繰り返しプロセスを使用して、前記第2ウインドウにおける前記第1ウインドウについての最適位置を計算するステップとを含む、方法。

  27. 請求項22記載の方法において、ユーザが、コンピュータ・インターフェースを通じて、前記コンピュータ・プロセッサによって転記される前記注釈の位置、サイズ、および形状の内少なくとも1つを手動で調節する、方法。

 

 

Patent trol of patentswamp
類似の特許
画像注釈をグループ化するシステムが開示されている。表示ユニット(1)は、解剖学的オブジェクトの表示を含む対象(5)に関する複数の医用画像を表示するように構成される。注釈ユニット(2)は、ユーザインターフェース(4)を介して複数の医用画像の複数の注釈(3)の入力に関する情報を受けるように構成され、各注釈は、複数の医用画像のうち1つの画像に相対する幾何学的情報を含む。グループ化ユニット(4)は、幾何学的情報、及び、同じオブジェクトに属する注釈(3)の幾何学的関係の一般的な特性を定めるルールのセットに基づき、複数の注釈の中から注釈のグループを検出するように構成される。注釈のグループの検出は、複数の医用画像間の幾何学的関係にさらに基づく。
ディスプレイを備える電子デバイスは、ユーザインタフェースをディスプレイ上に表示する。デバイスは、ディスプレイの対応する領域に対応する第1のコンテンツの1つ以上のコンテンツ表示特性に対するコンテンツ表示値の第1のセットを決定する。デバイスは、コンテンツ表示値の第1のセットに基づき、1つ以上のコントロール外観パラメータに対するコントロール外観値の第1のセットを決定する。デバイスは、コントロールをディスプレイの対応する領域内に表示し、コントロールの外観は、第1のコンテンツ及びコントロール外観値の第1のセットに基づき決定される。
デジタル画像(40)は異なるエネルギーレベルに関する強度を有するピクセルを含む。デジタル画像(40)を処理する方法は、デジタル画像(40)の第1の画像データ(42a)と第2の画像データ(42b)を受け取る、第1の画像データ(42a)は第1のエネルギーレベルをエンコードし、第2の画像データ(42b)は第2のエネルギーレベルをエンコードする、ステップと、第1の画像データ(42a)と第2の画像データ(42b)から回帰モデル(44)を決定するステップであって、回帰モデル(44)は第1の画像データ(42a)のピクセルの強度と第2の画像データ(42b)のピクセルの強度との間の相関を確立する、ステップと、第1の画像データ(42a)と第2の画像データ(42b)とから残差モード画像データ(46)を計算する、残差モード画像データ(46)のピクセルはそのピクセルにおける第2の画像データ(42b)の強度と第1の画像データ(42a)のピクセルの相関強度との差に基づき、相関強度は第1の画像データ(42a)のピクセルの強度に回帰モデル(44)を適用することにより決まる、ステップとを有する。
電子デバイスによる対話型画像戯画化のための方法が、説明される。この方法は、画像の少なくとも1つの特徴位置を検出することを含む。この方法は、少なくとも1つの特徴位置に基づいて、少なくとも1つの水平線と少なくとも1つの垂直線のグリッドを備える画像メッシュを生成することを含む。この方法は、ジェスチャ入力を獲得することをさらに含む。また、この方法は、少なくとも1つのジェスチャ入力に基づいて、少なくとも1つの戯画化アクションを決定することも含む。この方法は、画像メッシュ、少なくとも1つの戯画化アクション、および画像に基づいて、戯画画像を生成することをさらに含む。
3次元の画像形成方法が提供される。この方法では、手持ち式スキャニング装置で被写体の第1の3次元図が取り込まれる第1の位置での前記スキャニング装置の視域の第1の2次元画像を記憶し、前記スキャニング装置が前記第1の位置から第2の位置に移動する間に、前記第1の画像に対する前記第2の位置での前記スキャニング装置の視域の第2の2次元画像の位置測定値を推定し、前記位置測定値に基づいて、フィードバックをユーザに提供するための命令を生成する。尚、前記フィードバックは、第2の3次元図を取り込むために前記第2の位置が適しているかどうかを示すために提供される。3次元の画像形成システムも同様に提供される。
方法は、第1の再構成アルゴリズムにより投影データを処理し、第1の再構成ボリュメトリック画像データを再構成することを含み、第1の再構成ボリュメトリック画像データは、第1の3Dノイズ機能を有する。方法は更に、第2の異なる再構成アルゴリズムにより同じ投影データを処理し、第2の再構成された再構成ボリュメトリック画像データを再構成することを含み、第2の再構成ボリュメトリック画像データは、第1の3Dノイズ関数と異なる第2の3Dノイズ関数を有する。方法は更に、主ビューポートに、第1又は第2の再構成ボリュメトリック画像データを視覚的に提示することを含む。方法は更に、主ビューポートのサブ部分の上に重ねられる関心領域のオーバレイに、第1又は第2の再構成ボリュメトリック画像データの他方のサブ部分を視覚的に提示することを含む。
言語(ハングル、英語など)の文字(数字を含む)を記号イメージとして、又は記号イメージを解析して該当言語の文字(数字を含む)として出力できる記号イメージ編集装置及び方法が開示される。一実施形態によれば、ハングルの文字を対応する記号イメージに変換し、変換された記号イメージをディスプレイしたり、記号イメージを対応するハングルの文字に変換し、変換されたハングル文字をディスプレイする。このとき、記号イメージは、ハングル文字を象徴的に表現したものであって、少なくとも1つのハングル文字を表現する所定の区画された空間でハングルの初声、中声、終声を区分できるように空間分割して分割された空間の一部分に少なくとも1つの象徴物が配置される。
【選択図】図1
3次元(3D)画像編集のための技術が記載される。一実施形態において、例えば、装置は、プロセッサ回路及び3Dグラフィクス管理モジュールを有してよく、3Dグラフィクス管理モジュールは、第1のサブ画像及び第2のサブ画像を有する3D画像内の第1のサブ画像のための変更情報を決定し、その第1のサブ画像のための変更情報に基づき第1のサブ画像を変更し、第1のサブ画像のための変更情報に基づき第2のサブ画像のための変更情報を決定し、その第2のサブ画像のための変更情報に基づき第2のサブ画像を変更するようプロセッサ回路によって動作可能であってよい。他の実施形態は記載及び請求される。
少なくとも一つの表示ユニット(29,32,35,36,37)上に画像を表示すべく3d入力画像データを処理するため、以下のように構成されている。
・3d入力画像データが、対応付けられた3d画像シーン(19,20,21)に合わせて一シーンごとにそのつど用意され、
・3d入力画像データが、管理と処理のためにシーン処理ユニット(24)に入力され、
・3d入力画像データが、一シーンごとにシーン処理ユニット(24)で処理され、少なくとも二つの3d画像シーン(19,20,21)が少なくとも部分的に重畳されて一つの3d全体シーン(26)が形成されかつ管理され、
・3d全体シーン(26)から複数の3d出力シーン(33,34,40)が導出され、これらの3d出力シーン(33,34,40)では、遠近感のある様々な観察位置に合わせて、そのつど重ね合わせが行われて、そのときに3d出力画像データが生成され、
・3d出力画像データは、表示ユニット(29,32,35,36,37)に対して設けられている少なくとも一つのレンダリングユニット(27,30,38,39)に提供され、表示ユニット(29,32,35,36,37)に適合した目標画像データが生成される。
実施形態は、生体試料の画像又は画像の一部に対応する視野の異なる部分を同時に見るための分割画面表示を提供する。分割画面表示の画像パネルは、各サブパネルが視野の異なる部分を表示するように、及び、サブパネルの集まりが視野全体を協力して表示するように、視野の2つ以上の隣接する部分を表示するための、2つ以上の画像サブパネルを含むことができ、又はそれに分割することができる。視野の各部分は、サブパネルの境界で、継ぎ目なく隣接して整合される。サブパネルの視野の各部分を表示するために、種々の表示タイプを用いることができる。画像は、リポートに用いるためにローカルもしくはリモート記憶装置又は記憶媒体に記録することができる。
【選択図】図6
To top