専用のベイヤ―カメラを有するカメラアレイ設計

著者らは特許

H04N5/225 - テレビジョンカメラ
H04N5/232 - テレビジョンカメラを調整するための装置,例.遠隔制御(H04N5/235が優先)
H04N9/09 - 2つ以上の撮像装置を有するもの
H04N9/045 - カラー副搬送波の発生または再生

の所有者の特許 JP2016528822:

ソニー株式会社

 

本発明は、カメラアレイを用いて画像を取得するシステム、方法およびコンピュータプログラムプロダクトを対象とする。方法は、カメラアレイを用いて画像を取得することと関連付けられたアプリケーションを決定することと、ここで、前記カメラアレイは第1のセンサおよび少なくとも1つの第2のセンサを有し、前記第1のセンサは、赤フィルタ、緑フィルタおよび青フィルタを有し、前記第2のセンサの各々は赤フィルタ、緑フィルタまたは青フィルタを有し、前記画像が所定の解像度以上の第1の解像度を有することを前記アプリケーションが要求するかを判断することと、前記画像に関連付けられた深度情報を前記アプリケーションが要求するかを判断することと、前記画像が所定の解像度以上の第1の解像度を有することを前記アプリケーションが要求しないという判断、および前記深度情報を前記アプリケーションが要求しないという判断に応じて、前記第1のセンサを有効化し、前記第1のセンサを用いて前記画像を取得することと、を含む。
【選択図】図1

 

 

カメラアレイが用いられるアプリケーションに基づくカメラアレイの計算負荷および消費電力を減らす必要があった。
本発明の実施形態は、カメラアレイを用いて画像を取得するシステム、方法およびコンピュータプログラムプロダクトを対象とする。方法は、カメラアレイを用いて画像を取得することと関連付けられたアプリケーションを決定することと、ここで、前記カメラアレイは第1のセンサおよび少なくとも1つの第2のセンサを有し、前記第1のセンサは、赤フィルタ、緑フィルタおよび青フィルタを有し、前記第2のセンサの各々は赤フィルタ、緑フィルタまたは青フィルタを有し、前記画像が所定の解像度以上の第1の解像度を有することを前記アプリケーションが要求するかを判断することと、前記画像に関連付けられた深度情報を前記アプリケーションが要求するかを判断することと、前記画像が所定の解像度以上の第1の解像度を有すること前記アプリケーションが要求しないという判断、および前記深度情報を前記アプリケーションが要求しないという判断に応じて、前記第1のセンサを有効化し、前記第1のセンサを用いて前記画像を取得することと、を含む。
ある実施形態では、前記方法は、前記画像が所定の解像度以上の第1の解像度を有すること前記アプリケーションが要求しないという判断、および前記深度情報を前記アプリケーションが要求しないという判断に応じて、さらに、前記少なくとも1つの第2のセンサを非有効化することを含む。
ある実施形態では、前記少なくとも1つの第2のセンサを非有効化することは、前記少なくとも1つの第2のセンサに関連する少なくとも1つの電源ソースを非有効化することを含む。
ある実施形態では、前記方法は、前記画像が所定の解像度以上の第1の解像度を有すること前記アプリケーションが要求するという判断、および前記深度情報を前記アプリケーションが要求するという判断に応じて、前記少なくとも1つの第2のセンサを有効化し、前記少なくとも1つの第2のセンサを用いて前記画像を取得することをさらに含む。
ある実施形態では、前記方法は、前記画像が所定の解像度以上の第1の解像度を有すること前記アプリケーションが要求するという判断、および前記深度情報を前記アプリケーションが要求するという判断に応じて、前記第1のセンサを非有効化することをさらに含む。
ある実施形態では、前記カメラアレイは、格子状に位置する複数のカメラを含む。
ある実施形態では、前記第1のカメラは前記格子状の実質的に中央付近に位置する。
ある実施形態では、前記第1のカメラは前記格子状のエッジ付近に位置する。
ある実施形態では、前記赤フィルタ、緑フィルタおよび青フィルタは、ベイヤ―フィルタを含む。
ある実施形態では、前記赤フィルタ、緑フィルタおよび青フィルタは、第2の格子状に設けられる。
ある実施形態では、前記アプリケーションは、前記カメラアレイのユーザにより決定される。
ある実施形態では、前記方法は、前記第1のセンサに関連する電源ソースを有効化することを含む前記第1のセンサを有効化することを含む。
ある実施形態では、画像を取得する装置が提供される。前記装置は、赤フィルタ、緑フィルタおよび青フィルタを有する第1のセンサ、および赤フィルタ、緑フィルタまたは青フィルタを含む少なくとも1つの第2のセンサを含む格子状のセンサからなるカメラアレイを備える。
ある実施形態では、前記装置は、メモリと、プロセッサと、前記メモリに格納され、前記プロセッサにより実行されるモジュールであって、カメラアレイを用いて画像を取得することと関連付けられたアプリケーションを決定し、前記画像が所定の解像度以上の第1の解像度を有することを前記アプリケーションが要求するかを判断し、前記画像に関連付けられた深度情報を前記アプリケーションが要求するかを判断し、前記画像が所定の解像度以上の第1の解像度を有すること前記アプリケーションが要求しないという判断、および前記深度情報を前記アプリケーションが要求しないという判断に応じて、前記第1のセンサを有効化し、前記第1のセンサを用いて前記画像を取得する、ように構成されるモジュールと、をさらに備える。
ある実施形態では、カメラアレイを用いて画像を取得するためのコンピュータプログラムプロダクトが提供される。前記コンピュータプログラムプロダクトは、コンピュータに、カメラアレイを用いて画像を取得することと関連付けられたアプリケーションを決定し、ここで、前記カメラアレイは第1のセンサおよび少なくとも1つの第2のセンサを有し、前記第1のセンサは、赤フィルタ、緑フィルタおよび青フィルタを有し、前記第2のセンサの各々は赤フィルタ、緑フィルタまたは青フィルタを有し、前記画像が所定の解像度以上の第1の解像度を有することを前記アプリケーションが要求するかを判断し、前記画像に関連付けられた深度情報を前記アプリケーションが要求するかを判断し、前記画像が所定の解像度以上の第1の解像度を有すること前記アプリケーションが要求しないという判断、および前記深度情報を前記アプリケーションが要求しないという判断に応じて、前記第1のセンサを有効化し、前記第1のセンサを用いて前記画像を取得させる、ためのコードのセットを含むコンピュータ読み取り可能な非一時的な記憶媒体を備える。
本発明の実施形態は概略的に説明され、ここで添付図面への言及がされる。
図1は、本発明の実施形態に従う、カメラアレイを用いて画像を取得する例示的な処理フローである。 図2は、本発明の実施形態に従う、カメラアレイにおける例示的な格子状のカメラおよび例示的なベイヤーフィルタを示す。
本発明の実施形態は、添付の図面を参照して、以降により充分に説明される。幾つかの、しかし全てではない、本発明の実施形態が示される。実際、本発明は多様な形態で実施され得て、以降に説明される実施形態に限定されると解釈されるべきではない。むしろ、これらの実施形態は、本開示が法的な出願要求を満たすように提供される。至る場所で、同じ番号は同じ要素を参照する。
本発明の実施形態は、画像の取得または生成プロセスにおいて高解像度キャパシティ(例えば、所定の解像度以上の解像度)または深度情報が求められないアプリケーションの計算負荷を減らすための、カメラアレイにおいて専用ベイヤ―カメラ(例えば、単一の専用ベイヤ―カメラ)を用いる、システム、方法およびコンピュータプログラムプロダクトを対象とする。
典型的なカメラアレイは、格子状(例えば、四辺形格子)に配置された幾つかの低解像度カメラ(またはセンサ)を備える。ここでは、低解像度カメラは、所定の解像度未満の解像度で画像を取得するカメラである。格子状のカメラにおける各カメラは、異なる角度から実質的に同時に画像を取得し得る。代替の実施形態において、各カメラは異なる時間に画像を取得してもよい。さらに、各カメラは、単一色フィルタ(例えば、赤、緑または青フィルタ)を用いて画像を取得する。画像に関連付けられた深度情報を判断する機能(視差キャリブレーション)、または、赤、緑および青画像の各々を補間することにより最終画像の解像度を向上する機能を用いて、各カメラにより取得された画像が共に編集される場合、高解像度RGB(赤緑青)画像が得られる。これらの機能は、カメラアレイを用いた画像の取得の後または実質的に同時のいずれにおいても実行され得る。これらの機能は、カメラアレイまたはカメラアレイと通信する他の演算装置によって実行され得る。画像に関連する深度情報の判断の機能および画像の解像度を増加させる機能の計算負荷および電力消費は高い(例えば、所定の計算負荷レベルおよび/または電力消費レベル以上)。
画像の中のオブジェクトに関連する深度情報を判断する機能、および画像の解像度を向上する機能は、幾つかのアプリケーション(例えば、プレビューアプリケーション、動画記録アプリケーションなど)では要求されない。このため、カメラアレイが用いられるアプリケーションのタイプに基づいてこれらの機能を選択的に有効化するカメラアレイが求められる。
ここで図1を参照すると、図1は、カメラアレイを用いて画像を取得する処理フロー100を示す。図1に示された多様なブロックは、図1に示されたものと異なる順序で実行されてもよい。ブロック100で、処理フローは、カメラアレイを用いて画像を取得することと関連付けられたアプリケーションを決定することを含み、ここで、カメラアレイは第1のセンサおよび少なくとも1つの第2のセンサを有し、第1のセンサは、赤フィルタ、緑フィルタおよび青フィルタを有し、第2のセンサの各々は赤フィルタ、緑フィルタまたは青フィルタを有する。ブロック120で、処理フローは、画像が所定の解像度(高解像度)以上の第1の解像度を有することをアプリケーションが要求するかを判断することを含む。ブロック130で、処理フローは、画像に関連付けられた深度情報を前記アプリケーションが要求するかを判断することを含む。ブロック140で、処理フローは、画像が所定の解像度以上の第1の解像度を有することを前記アプリケーションが要求しないという判断、および深度情報を前記アプリケーションが要求しないという判断に応じて、第1のセンサを有効化し、第1のセンサを用いて前記画像を取得することを含む。
本発明の実施形態によれば、カメラアレイは、図2に示したように格子状のカメラ200を備えてもよい。格子状のカメラ200からのカメラは、個別の赤、緑または青フィルタではなく、RGBカラーフィルタを用いて画像を取得し得る。このカメラは、第1のカメラまたはベイヤ―カメラとして称され得る。一方、ある実施形態ではアレイカメラは第1のカメラを有するが、他の実施形態ではアレイカメラは2以上の第1のカメラを有してもよい。第1のカメラは、格子状の中央に近いカメラ(例えば、カメラ210)または格子状のエッジに近いカメラ(例えば、カメラ220)であってもよい。格子状のカメラ200の残りカメラは、単一色(例えば、赤、緑、または青)に関連するフィルタを有してもよい。残りのカメラは、第2のカメラとして称され得る。
第1のカメラは、動画記録またはカメラプレビューの目的のために有効化される。カメラアレイが長期に渡る動画記録(例えば、少なくとも所定期間の動画記録)およびカメラプレビューに用いられる場合、第1のカメラは、単独または組み合わせで、第2のカメラと比較して少ない電力を消費する(例えば、少ない熱を生成する)。このため、カメラアレイは、許容可能なフレームレート(例えば、所定のフレームレート以上のフレームレート)で動画を記録することができる。
ここで、動画記録はカメラアレイを用いる記録処理に属する。ここで、カメラプレビューは、カメラアレイにより画像が取得される前に画像(例えば、スチール画像)のユーザへのプレビューを有効化する処理に属する。
また、図2は、第1のカメラに用いられる例示的なベイヤーフィルタ250を示す。フィルタ251、253、259および261は青フィルタである。フィルタ252、254、255、257、260、262、263および265は緑フィルタである。フィルタ256、258,264および266は赤フィルタである。カメラが単一色フィルタを用いて画像を取得する場合、取得された画像はフィルタと同じ色を有するであろう。カメラがベイヤーフィルタを用いて画像を取得した場合、取得された画像は多色になるであろう。
高解像度の最終画像が必要(例えば、高解像度のスチール画像)または最終画像のオブジェクトに関連する深度情報が必要なアプリケーションについて、第2のカメラが有効化され、各画像を取得するために用いられる。これらの各画像は、最終画像を生成するために処理され得る(例えば、1または2以上の信号処理機能を利用して)。このようなアプリケーションに関し、第1のカメラは非有効化され、画像の取得に用いられなくてもよい。しかし、他の実施形態では、第1のカメラは、第2のカメラに加えて有効化され、画像の取得に用いられてもよい。
高解像度の最終画像が必要でないアプリケーション(例えば、画像プレビューおよび動画記録)および最終画像のオブジェクトに関連する深度情報が必要でなアプリケーションについては、第1のカメラが有効化され、画像の取得に用いられる。この取得された画像は、最終画像の生成のために処理されてもよい(例えば、1または2以上の信号処理機能)。このような実施形態では、第2のカメラは非有効化され、画像の取得に用いられない。高解像度の最終画像および/または深度情報が求められないアプリケーションについての最終画像の生成のための電力および計算負荷は、高解像度画像および/または深度情報が求められるアプリケーションについての最終画像の生成のための電力および計算負荷よりも低い。
ある実施形態では、画像の取得に先立ち、カメラアレイは、画像が取得されるアプリケーションのタイプを決定する。そして、カメラアレイは、アプリケーションのタイプに基づいて第1のカメラおよび/または第2のカメラを有効化する。画像が取得されるアプリケーションのタイプをカメラアレイが決定できない実施形態では、カメラアレイは、画像が取得されるアプリケーションのタイプの特定をユーザに促してもよい(例えば、カメラアレイと通信するディスプレイを介して)。ある実施形態では、ユーザは、第1のカメラおよび/または第2のカメラを有効化または非有効化することができる。
ある代替の実施形態では、第1のカメラは第2のカメラの1つとしてもまた機能し得る。すなわち、第1のカメラは、ベイヤーフィルタでなく、赤、緑または青フィルタを用いて画像を取得してもよい。他の代替の実施形態では、第2のカメラの各々は、第1のカメラとして機能し得る。すなわち、第2のカメラの各々は、個別の赤、緑または青フィルタでなく、ベイヤーフィルタを用いて画像を取得してもよい。このため、そのような実施形態では、カメラアレイの各カメラは、画像が取得されるアプリケーションのタイプに基づいてベイヤ―フィルタが単一色フィルタに、またはその逆に交換され得る交換可能なフィルタを含んでもよい。従って、画像が取得されるアプリケーションのタイプをカメラアレイが一度決定すると、カメラアレイは、格子状のカメラの各カメラの現在のフィルタを判断し、アプリケーションに求められる各カメラのフィルタのタイプを判断し、各カメラの現在のフィルタを交換するか否かを判断する。
ある実施形態では、カメラアレイは、多様な処理、機能またはここで説明されたアプリケーションを実行する計算装置プロセッサおよびメモリを有する独立した装置であってもよい。メモリは、ここで説明された多様な所定の値を記憶するために用いられてもよい。他の実施形態では、カメラアレイは、計算装置(例えば、携帯電話、タブレット計算装置、ラップトップコンピュータ、時計など)の一部であってもよい。ここで、センサは、カメラまたは画像取得装置と称され得る。
本発明の多様な実施形態が正に上述されたが、本発明は、多様な形態で実施され得て、ここで説明された実施形態に限定されると解釈されるべきでない。むしろ、これらの実施形態は、本開示が法的な出願要求を満たすように提供される。また、可能であれば、ここで説明されたおよび/または予期される本発明のいずれの実施形態のどのような利点、特徴、機能、装置および/または動作観点は、ここで説明された/または予期される本発明の他の実施形態に含まれ得ること、および/またはその逆もあることが理解される。さらに、可能であれば、ここで単数形で表現された全ての表現は、他の明示的な記載がない限り、複数形および/またはその逆を含むことを意味する。ここで、「少なくとも1つの」は、「1または2以上の」を意味し、これらのフレーズは互いに代替可能であることを意図している。したがって、「a」、および/または「an」は、「1または2以上の」または「少なくとも1つの」というフレーズがまたここで用いられていても、「少なくとも1つの」または「1または2以上の」を意味するものである。至る場所で、同じ番号は同じ要素を参照する。
本開示を考慮してある当業者により理解されるように、本発明は、装置(例えば、システム、マシン、装置、コンピュータプログラムプロダクトおよび/または同類のものを含む)、方法(例えば、ビジネス方法、コンピュータ実行処理および/または同類のものを含む)、または前述のいずれの組合わせ、を含んでもよい、および/または、として実現されてもよい。従って、本発明の実施形態は、もっぱらビジネス方法実施形態、もっぱらソフトウェア実施形態(ファームウェア、常駐ソフトウェア、マイクロコード、データベースに格納された手順などを含む)、もっぱらハードウェア実施形態、または、典型定期にはシステムとここで称され得るビジネス方法、ソフトウェアおよびハードウェアの組合わせの実施形態の態様をとりえる。さらに、本発明の実施形態は、1または2以上のコンピュータ実行可能なプログラムコード部分を記憶するコンピュータ読み取り可能な記憶媒体を含むコンピュータプログラムプロダクトの態様をとってもよい。ここで、1または2以上のプロセッサを含み得るプロセッサは、多様な方法で所定の機能を実行するように構成されてもよく、例えば、コンピュータ読み取り可能な媒体に実現された1または2以上のコンピュータ実行可能プログラムコード部分を1または2以上の汎用回路に実行させること、および/または、1または2以上の特定用途向け集積回路に機能を実行させることを含む。
適切などのようなコンピュータ読み取り可能な媒体も使用され得ることを理解されたい。コンピュータ読み取り可能な媒体は、具体的な電気的、磁気的、光学的、電磁気的、赤外線、および/または半導体システム、装置および/または他の装置のような、非一時的コンピュータ読み取り可能な媒体を含むが、これに限定されない。例えば、ある実施形態では、非一時的コンピュータ読み取り可能な媒体は、ポータブルフロッピーディスク、ハードディスク、RAM、ROM、EPROMまたはフラッシュメモリ、CD−ROM、および/または他の幾つかの触れられる光学および/または磁気記憶装置のような触れられる媒体を含む。しかし、本発明の他の実施形態では、コンピュータ読み取り可能な媒体は、例えばコンピュータ実行可能なプログラムコード部分が実現される伝播信号のように、一時的であってもよい。
本発明の動作を実行するための1または2以上のコンピュータ実行可能なプログラムコード部分は、Java、Perl、Smalltalk、C++、SAS、SQL、Python、Objective、C、JavaScriptおよび/またはその同種のもののような、オブジェクト指向、スクリプト、および/またはアンスクリプトプログラム言語を含んでもよい。ある実施形態では、本発明の動作を実行するための1または2以上のコンピュータ実行可能なプログラムコード部分は、C言語および/または類似のプログラミング言語のような、慣用の手順プログラミング言語により書かれてもよい。コンピュータプログラムは、代替的におよび/または追加的に、例えばF#のような、1または2以上のマルチパラダイムプログラミング言語で書かれてもよい。
本発明の幾つかの実施形態は、フローチャート図および/または、装置および/または方法のブロック図を参照してここで説明された。フローチャート図および/またはブロック図に含まれる各ブロック、および/または、フローチャート図および/またはブロック図に含まれるブロックの組合わせは、1または2以上のコンピュータ実行可能なプログラムコード部分により実現され得ることを理解されたい。これらの1または2以上のコンピュータ実行可能なプログラムコード部分は、コンピュータおよび/または他のプログラミング可能なデータ処理装置を介して実行する1または2以上のコンピュータ実行可能なプログラムコード部分が、フローチャートおよび/またはブロック図により示されたステップおよび/または機能を実施するためのメカニズムを作り出すように、汎用コンピュータ、特定用途コンピュータ、および/または他の幾つかのプログラミング可能なデータ処理装置のプロセッサに提供され得る。
1または2以上のコンピュータ実行可能なプログラムコード部分は、一時的および/または非一時的コンピュータ読み取り可能な媒体(例えば、メモリなど)に記憶されてもよい。それは、コンピュータ読み取り可能な媒体に記憶されたコンピュータ実行可能なプログラムコード部分が、フローチャートおよび/またはブロック図において特定されたステップおよび/または機能を実現する指示メカニズムを含む製品を作り出すように、コンピュータおよび/または他のプログラミング可能なデータ処理装置が特定の方法で機能するよう、指示、命令および/または引き起こさせることができる。
1または2以上のコンピュータ実行可能なプログラムコード部分はまた、コンピュータおよび/または他のプログラミング可能な装置において一連の動作ステップが実行されるように、コンピュータおよび/または他のプログラミング可能なデータ処理装置にロードされ得る。ある実施形態では、コンピュータおよび/または他のプログラミング可能な装置上で実行する1または2以上のコンピュータ実行可能なプログラムコード部分がフローチャートおよび/またはブロック図において特定されたステップを実行する動作ステップを提供するように、これはコンピュータ実装手順を作り出す。代わりに、コンピュータ実装ステップは、本発明の実施形態を実行するために、オペレータおよび/または人間実施ステップと組み合わせられても、および/または、置き変えられてもよい。
ある例示的な実施形態が説明され添付の図面に示されたが、これらの実施形態は、広範な本発明の単なる実例であり、限定で無く、上述の段落で説明されたものに加え、多様な変形、組み合わせ、省略、修正および代用が可能であるので、本発明は説明または示された特定の構成および配置に限定されないことを理解されたい。説明された実施形態の多様な適用、修正、および組み合わせが本発明の範囲および精神から離れずに構成可能であることを当業者は理解するであろう。従って、本発明は、ここで具体的に説明された以外の添付の請求項の範囲内において実施され得る。



  1. カメラアレイを用いて画像を取得する方法であって、
    カメラアレイを用いて画像を取得することと関連付けられたアプリケーションを決定することと、ここで、前記カメラアレイは第1のセンサおよび少なくとも1つの第2のセンサを有し、前記第1のセンサは、赤フィルタ、緑フィルタおよび青フィルタを有し、前記第2のセンサの各々は赤フィルタ、緑フィルタまたは青フィルタを有し、
    前記画像が所定の解像度以上の第1の解像度を有することを前記アプリケーションが要求するかを判断することと、
    前記画像に関連付けられた深度情報を前記アプリケーションが要求するかを判断することと、
    前記画像が所定の解像度以上の第1の解像度を有することを前記アプリケーションが要求しないという判断、および前記深度情報を前記アプリケーションが要求しないという判断に応じて、前記第1のセンサを有効化し、前記第1のセンサを用いて前記画像を取得することと、
    を含む、方法。

  2. 前記アプリケーションは、動画記録アプリケーションを含む、請求項1に記載の方法。

  3. 前記アプリケーションは、カメラプレビューアプリケーションを含む、請求項1に記載の方法。

  4. 前記画像が所定の解像度以上の第1の解像度を有すること前記アプリケーションが要求しないという判断、および前記深度情報を前記アプリケーションが要求しないという判断に応じて、さらに、前記少なくとも1つの第2のセンサを非有効化することを含む、請求項1に記載の方法。

  5. 前記少なくとも1つの第2のセンサを非有効化することは、前記少なくとも1つの第2のセンサに関連する少なくとも1つの電源ソースを非有効化することを含む、請求項4に記載の方法。

  6. 前記画像が所定の解像度以上の第1の解像度を有することを前記アプリケーションが要求するという判断、および前記深度情報を前記アプリケーションが要求するという判断に応じて、前記少なくとも1つの第2のセンサを有効化し、前記少なくとも1つの第2のセンサを用いて前記画像を取得することをさらに含む、請求項1に記載の方法。

  7. 前記画像が所定の解像度以上の第1の解像度を有することを前記アプリケーションが要求するという判断、および前記深度情報を前記アプリケーションが要求するという判断に応じて、前記第1のセンサを非有効化することをさらに含む、請求項6に記載の方法。

  8. 前記カメラアレイは、格子状に位置する複数のカメラを含む、請求項1に記載の方法。

  9. 前記第1のカメラは前記格子状の実質的に中央付近に位置する、請求項1に記載の方法。

  10. 前記第1のカメラは前記格子状のエッジ付近に位置する、請求項1に記載の方法。

  11. 前記赤フィルタ、緑フィルタおよび青フィルタは、ベイヤ―フィルタを含む、請求項1に記載の方法。

  12. 前記赤フィルタ、緑フィルタおよび青フィルタは、第2の格子状に設けられる、請求項1に記載の方法。

  13. 前記アプリケーションは、前記カメラアレイのユーザにより決定される、請求項1に記載の方法。

  14. 前記第1のセンサを有効化することは、前記第1のセンサに関連する電源ソースを有効化することを含む、請求項1に記載の方法。

  15. 画像を取得する装置であって、
    赤フィルタ、緑フィルタおよび青フィルタを有する第1のセンサ、および
    赤フィルタ、緑フィルタまたは青フィルタを含む少なくとも1つの第2のセンサ
    を含む格子状のセンサからなるカメラアレイを備える、装置。

  16. メモリと、
    プロセッサと、
    前記メモリに格納され、前記プロセッサにより実行されるモジュールであって、
    カメラアレイを用いて画像を取得することと関連付けられたアプリケーションを決定し、
    前記画像が所定の解像度以上の第1の解像度を有することを前記アプリケーションが要求するかを判断し、
    前記画像に関連付けられた深度情報を前記アプリケーションが要求するかを判断し、
    前記画像が所定の解像度以上の第1の解像度を有することを前記アプリケーションが要求しないという判断、および前記深度情報を前記アプリケーションが要求しないという判断に応じて、前記第1のセンサを有効化し、前記第1のセンサを用いて前記画像を取得する、
    ように構成されるモジュールと、をさらに備える、請求項15に記載の装置。

  17. カメラアレイを用いて画像を取得するためのコンピュータプログラムプロダクトであって、
    コンピュータに、
    カメラアレイを用いて画像を取得することと関連付けられたアプリケーションを決定し、ここで、前記カメラアレイは第1のセンサおよび少なくとも1つの第2のセンサを有し、前記第1のセンサは、赤フィルタ、緑フィルタおよび青フィルタを有し、前記第2のセンサの各々は赤フィルタ、緑フィルタまたは青フィルタを有し、
    前記画像が所定の解像度以上の第1の解像度を有することを前記アプリケーションが要求するかを判断し、
    前記画像に関連付けられた深度情報を前記アプリケーションが要求するかを判断し、
    前記画像が所定の解像度以上の第1の解像度を有することを前記アプリケーションが要求しないという判断、および前記深度情報を前記アプリケーションが要求しないという判断に応じて、前記第1のセンサを有効化し、前記第1のセンサを用いて前記画像を取得させる、ためのコードのセットを含むコンピュータ読み取り可能な非一時的な記憶媒体を備える、コンピュータプログラムプロダクト。

 

 

Patent trol of patentswamp
類似の特許
本発明は、プレノプティックマイクロレンズを作製するために、フォトセンサ基板の上に低屈折率の材料を用い、また、上記低屈折率の材料の上に高屈折率の材料を配置して、(カラーフィルタおよび/または画素マイクロレンズを含み、または含まず、)イメージセンサの上にプレノプティック構造をモノリシックに集積化することに関する。プレノプティックレンズは、フォトセンサ基板の上に直接形成される。画素間の干渉を最小化するために、高集積化密度を有するフォトセンサは最小距離で配置され、集積化密度の端部では、同じ色の画素に隣接するその頂点で「変形された正方形」の幾何形状を有し、同じ色の隣接画素のノイズからそれらを離すために、上記頂点から感光領域を除去する。光の効率は、基板から可変の距離(その周辺のほうが小さい)にある、および/または、その周辺ではより非対称なプロファイルを持つ、および/または、センサの周辺に向かって種々のサイズと形状となる画素を持つ、プレノプティックマイクロレンズの構造によって増加する。マイクロレンズは、低屈折率の層と高屈折率の層とを交互に形成することによって作製される。
いくつかの実施形態は、キャプチャされた画像中のカラーシェーディングをオンザフライで推定できる、動的カラーシェーディング補正のためのシステムおよび方法に関する。カラーシェーディングは、キャプチャされた画像のシーン統計値から推定され得、推定されたシェーディングはカラーシェーディング補正のために使用され得る。カラーシェーディング推定方法は、勾配領域におけるそれのユニークな特性によって実際の画像コンテンツからカラーシェーディング成分を分離し得る。
【選択図】図3
光学レンズアセンブリは、5つのレンズ素子を備え、TTL/EFL<1.0を提供する。一実施形態において、第1レンズ素子の焦点距離f1は、TTLの二分の一より小さく、第1レンズ素子と第2レンズ素子の間のエアギャップは第2レンズ素子の厚みの二分の一よりも小さく、第3レンズ素子と第4レンズ素子の間のエアギャップはTTLの五分の一よりも大きく、第4レンズ素子と第5レンズ素子の間のエアギャップは上記第5レンズ素子の厚みの1.5倍よりも小さい。すべてのレンズ素子に非球面レンズを用いてもよい。
本発明は、感光画素の配列からなるセンサと、そのセンサを覆う基本フィルタの配列とを備える、画像取得装置に関する。画素は、3つの異なるタイプ、つまりパンクロ画素、原色画素および赤外線画素でありうる。低照度の条件下で、上記装置は、パンクロ画素を使用してモノクロ画像を表示し、高照度の条件下で、原色画像を結合し、赤外線画像を減算することによって、信号対雑音比が高いカラー画像を表示する。
本開示は、画像関連のデータを、基地局及び/又は1つ以上の衛星コンピューティングデバイス、例えばタブレットコンピュータ及び/又はスマートフォンの間で通信することを対象とする。衛星デバイスは、画像データをキャプチャして、画像関連のデータ(例えば画像又は画像から処理される深度データ)を、基地局のような別のデバイスに通信する。受け取り側のデバイスは、画像関連のデータを使用して、例えばシーン内の何らかの物に、基地局よりも物理的に近い衛星デバイスからキャプチャされた画像データに基づいて、深度データ(例えば深度マップ)を強化する。深度データを様々な条件下でより正確にキャプチャするために、能動的な照明パターンが、基地局又は別の外部プロジェクタから投影され、これにより、衛星ユニットは、他のソースの能動的な照明を使用し得るので、内部電力を消費する必要がなく、能動的な照明からの利益が得られる。
本発明は手の静脈パターンを記録するセンサシステムに関している。このセンサシステムは、手の静脈によって反射可能な近赤外領域の電磁波を動作中に全面に放射するように構成された第1の光源と、前記電磁波の反射信号を記録し、前記反射信号から対応する画像データを供給するカメラチップを有するカメラと、三次元トポグラフィーを検出するトポグラフィーセンサと、前記カメラチップ及び前記トポグラフィーセンサに接続された第1のプロセッサユニットとを含んでいる。本発明によれば、前記第1のプロセッサユニットは、動作中に、前記カメラの画像データと、前記トポグラフィーセンサの三次元トポグラフィーデータとから、手の正規化された静脈パターン又は静脈パターンに対応する特徴ベクトルを生成するように構成される。
本開示は、光不足環境において画像を生成するための方法、システム、及びコンピュータプログラム製品、並びに関連する構造、方法、及び特性に及ぶ。本明細書に記載されるシステム及び方法の特性は、改善した解像度及び色再現を提供することを含み得る。
【課題】本発明は、パッケージ安定性の改善により、製造速度が増加し、運転経費が減少する。そのため、高い運転速度で運転することができるアラミド撚り合わせ法が必要とされている。本発明は、このような方法を提供する。
【解決手段】本発明は、アラミド糸をエンドレスコアの周りで撚り合わせる方法であって、コアは、撚り合わせステップのために、少なくとも1個の糸ボビンを含む撚り合わせ装置に提供され、運転中、ボビンは自身の軸の周りを回転し、ボビンは前記コアの周りを回転して、糸をコアの周りのボビンから巻き戻して糸に囲まれているコアを提供し、糸はアラミド重量基準で、0.05〜0.95重量%の、有機リン化合物を含む仕上げ剤を備える連続アラミド糸であり、有機リン化合物は式X1X2X3P=O(式中、X1、X2およびX3は独立に、Y1−、Y1−O−およびM−Oから選択され、Y1は分岐または直鎖C1〜C20アルキル、アリールまたはアルケニルであり、MはLi、Na、Kまたはアンモニウムから選択され、但し、X1、X2またはX3の少なくとも1つはY1−またはY1−O−から選択され、異なる種類のY1は同じであっても異なっていてもよい)の化合物である方法に関する。
1つの実施形態では、連続アラミド糸が0.10〜0.50重量%の仕上げ剤を備えている。
比較的少量の、特定の有機リン化合物を含む仕上げ剤を使用することにより、回転糸引取を有する回転サーバーのパッケージ安定性が大いに改善されることが分かった。結果として、この仕上げ剤を備えるアラミド糸のパッケージにより、エンドレスコアの周りのアラミド糸の高速撚り合わせが可能になる。
【選択図】図1
本発明の目的は、解像度が低下することなくカラー情報及び深さ情報を復元することができる撮影装置を提供することにある。本装置は、被写体から反射される反射光を透過させるメインレンズと、反射光が入射されると互いに異なるカラーでフィルタリングして透過させる複数のマイクロレンズが配置されたマイクロレンズアレイ部と、イメージセンサ部と、イメージセンサ部でセンシングされた複数の原イメージから対応する位置のピクセルを各々収集して、複数のサブイメージを生成するデータ処理部と、複数のサブイメージを格納する格納部と、複数のサブイメージ内で互いにマッチングされるピクセルを検出して、被写体イメージのカラー情報及び深さ情報を獲得する制御部とを備える。これにより、解像度が低下することなくカラー情報及び深さ情報を復元することができる。
フォトダイオードチップ及びトランジスタアレイチップを有する垂直積層型画像センサ。フォトダイオードチップは、少なくとも1つのフォトダイオードを含み、転送ゲートは、フォトダイオードチップの上面から垂直方向に延びる。本画像センサは、フォトダイオードチップの上に積層されたトランジスタアレイチップを更に含む。トランジスタアレイチップは、制御回路及び蓄積ノードを含む。本画像センサは、トランジスタアレイチップ上に垂直方向に積層された論理チップを更に含む。転送ゲートは、少なくとも1つのフォトダイオードからトランジスタアレイチップにデータを通信し、論理チップは、垂直転送ゲート、リセットゲート、ソースフォロワゲート及び行選択ゲートを選択的に活性化する。
【選択図】図8
To top