ドリー・ズーム効果を自動的に与える方法と装置

 

【課題】ドリー・ズーム効果を実行するために、カメラの運動にしたがってズーム機能を自動的に調節するための種々の方法を提供すること。
【解決手段】1つの例示的方法は、ビデオ・データから2つ以上の関心ポイントを備える第1の画像フレームの受信をさせるステップと、前記ビデオ・データから異なる位置における前記2つ以上の関心ポイントを備える第2の画像フレームの受信をさせるステップと、前記2つ以上の関心ポイントの位置における違いを、前記第1の画像フレームから前記第2の画像フレームへ追跡するステップと、を含むことができる。この方法は、また、スケーリング・ファクタを計算するステップと、前記スケーリング・ファクタを前記第2の画像フレームに適用するステップと、を含むことができる。
【選択図】図4

 

 

本願発明の実施形態は、一般に、メディア・コンテンツに関するものであり、より詳しくは、ドリー・ズーム効果を実行するために、カメラの運動にしたがってズーム機能を自動的に調節するための方法、装置およびコンピュータ・プログラム・プロダクトに関するものである。
コンサート、劇場公演やスポーツなどの公開イベントにおいて、ユーザが、カメラを使用して、これらの公開のイベントをキャプチャし、そして、キャプチャしたイベントを、画像、ビデオ、音声記録やその他のメディア・コンテンツとして格納することがますますポピュラーになっている。メディア・コンテンツは、モバイル端末にアタッチされたカメラまたは他の画像キャプチャ・デバイスによって、より頻繁にキャプチャされる。しかしながら、モバイル端末は、シネマトグラフィ(映画撮影)効果を実行するソフトウェア機能のハードウェアを提供しない。
ドリー・ズーム、カメラが対象の方に向かって、または、それから遠ざかって動く間に、視野角(angle of view)を調節するためのズームレンズをセットすることによって特徴づけられるシネマトグラフィ(映画撮影)効果は、達成するのが難しい。現在は、ハイエンド・カメラが、この効果を達成するために必要である。プロフェッショナルでなければ、プロフェッショナルの装置を用いてさえも、この効果を達成するためには、典型的には複数回ショットをトライする必要がある。携帯電話に備わるカメラのユーザ・インタフェースのほとんどは、連続ズームを可能にしていないが、しかし、その代わりに、典型的には、固定ズーム・ステップの特定のセットを採用している。第2に、現在のユーザ・インタフェースでズーム・セッティングを手で調節することは、十分にフレキシブルではない。一般に、焦点距離において正しい変化にカメラの動きの速度をマッチさせることは、ハイエンド・カメラを用いても非常に挑戦的なものであり、そして、携帯電話カメラでは不可能なことである。
本願発明の例の実施形態にしたがって、ドリー・ズーム効果をつくるために、カメラの運動に一致して自動的にズーム機能を調節する方法、装置およびコンピュータ・プログラム・プロダクトが提供される。更にまた、ズーム機能の調整は、ユーザによるズーム機能のマニュアル操作によるよりはむしろ、画像解析を用いて行われる。例示的実施形態にしたがう方法、装置、および、コンピュータ・プログラム・プロダクトは、また、ドリー・ズーム効果を示すために、画像記録後処理のケースにおいてクロップ領域を決定するように構成することができる。1つの例示的方法は、ビデオ・データから2つ以上の関心ポイントを備える第1の画像フレームの受信をさせるステップと、前記ビデオ・データから異なる位置における前記2つ以上の関心ポイントを備える第2の画像フレームの受信をさせるステップと、前記2つ以上の関心ポイントの位置における違いを、前記第1の画像フレームから前記第2の画像フレームへ追跡するステップと、前記2つ以上の関心ポイントの配置における相対的な違いを表すスケーリング・ファクタを計算するステップと、プロセッサが、前記スケーリング・ファクタを前記第2の画像フレームに適用するステップと、を含むことができる。この方法は、前記第1の画像フレームにおける前記2つ以上の関心ポイントの選択を受信するステップを更に含むことができる。代替的な実施形態において、この方法は、前記第1の画像フレームにおける主対象の選択を受信するステップと、前記主対象の選択にしたがって、前記2つ以上の関心ポイントを選択するステップと、を更に含むことができる。
別の実施形態では、この方法は、前記2つ以上の関心ポイントの各々に対するディスクリプタを格納させるステップと、前記2つ以上の関心ポイントの各々に対するディスクリプタを、前記スケーリング・ファクタの計算に応答して、更新するステップと、を含むことができる。更にまた、スケーリング・ファクタを適用することは、カメラ・デバイスの光学的またはディジタル・ズーム機能の調整をさせることを含むことができる。代替的に、スケーリング・ファクタを適用することは、関心ポイントの2つのセットの間の距離の比率が一定に保たれるように、クロップ領域を選択することを含むことができる。別の実施形態では、この方法は、前記スケーリング・ファクタを適用することによって前記第2の画像フレームを変換するステップと、前記第1の画像フレームおよび変換された第2の画像フレームの表現をさせるステップと、を含むことができる。
例示的装置は、少なくとも1つのプロセッサと、および、コンピュータ・プログラム・コードを保存している少なくとも1つのメモリとを含むことができる。ここで、その少なくとも1つのメモリおよび格納されたコンピュータ・プログラム・コードは、その少なくとも1つのプロセッサで、その装置に、ビデオ・データから、2つ以上の関心ポイントを備える第1の画像フレームを受信させ、前記ビデオ・データから、異なる位置における前記2つ以上の関心ポイントを備える第2の画像フレームを受信させ、前記第1の画像フレームから前記第2の画像フレームへ前記2つ以上の関心ポイントの位置における違いを追跡させ、前記2つ以上の関心ポイントの配置における相対的な違いを表すスケーリング・ファクタを計算させ、前記第2の画像フレームにスケーリング・ファクタを適用させるように構成される。その少なくとも1つのメモリおよび格納されたコンピュータ・プログラム・コードは、その少なくとも1つのプロセッサで、更に、その装置に、前記第1の画像フレームにおける前記2つ以上の関心ポイントの選択を受信させるように構成される。代替的な実施形態において、その少なくとも1つのメモリおよび格納されたコンピュータ・プログラム・コードは、その少なくとも1つのプロセッサで、更に、その装置に、前記第1の画像フレームにおける主対象の選択を受信させ、前記主対象の選択にしたがって、前記2つ以上の関心ポイントを選択させるように構成される。
その少なくとも1つのメモリおよび格納されたコンピュータ・プログラム・コードは、その少なくとも1つのプロセッサで、更に、その装置に、前記2つ以上の関心ポイントの各々に対するディスクリプタを格納させ、前記2つ以上の関心ポイントの各々に対するディスクリプタを、前記スケーリング・ファクタの計算に応答して、更新させるように構成される。更にまた、スケーリング・ファクタを適用することは、カメラ・デバイスのズーム機能を調整させることを含むことができる。代替的に、スケーリング・ファクタを適用することは、関心ポイントの2つのセットの間の距離の比率が一定に保たれるように、クロップ領域を選択することを含むことができる。別の実施形態では、その少なくとも1つのメモリおよび格納されたコンピュータ・プログラム・コードは、その少なくとも1つのプロセッサで、更に、その装置に、前記スケーリング・ファクタを適用することによって前記第2の画像フレームを変換させ、前記第1の画像フレームおよび変換された第2の画像フレームを表現させるように構成される。
更なる実施形態において、コンピュータ読取り可能プログラム命令をその中で保存しておく少なくとも1つの固定コンピュータ読取り可能記憶媒体を含むコンピュータ・プログラム・プロダクトが提供される。このコンピュータ読取り可能プログラム命令は、ビデオ・データから2つ以上の関心ポイントを備える第1の画像フレームの受信をさせるステップと、前記ビデオ・データから異なる位置における前記2つ以上の関心ポイントを備える第2の画像フレームの受信をさせるステップと、前記2つ以上の関心ポイントの位置における違いを、前記第1の画像フレームから前記第2の画像フレームへ追跡するステップと、前記2つ以上の関心ポイントの配置における相対的な違いを表すスケーリング・ファクタを計算するステップと、プロセッサが、前記スケーリング・ファクタをを前記第2の画像フレームに適用するステップと、のために構成されたプログラム命令を含む。このコンピュータ読取り可能プログラム命令は、また、前記第1の画像フレームにおける前記2つ以上の関心ポイントの選択を受信するステップのために構成されたプログラム命令を含む。代替的な実施形態において、このコンピュータ読取り可能プログラム命令は、また、前記第1の画像フレームにおける主対象の選択を受信するステップと、前記主対象の選択にしたがって、前記2つ以上の関心ポイントを選択するステップと、のために構成されたプログラム命令を含む。
このコンピュータ読取り可能プログラム命令は、また、前記2つ以上の関心ポイントの各々に対するディスクリプタを格納させるステップと、前記2つ以上の関心ポイントの各々に対するディスクリプタを、前記スケーリング・ファクタの計算に応答して、更新するステップと、のために構成されたプログラム命令を含む。更にまた、スケーリング・ファクタを適用することは、カメラ・デバイスのズーム機能を調整させることを含むことができる。代替的に、スケーリング・ファクタを適用することは、関心ポイントの2つのセットの間の距離の比率が一定に保たれるように、クロップ領域を選択することを含むことができる。別の実施形態では、このコンピュータ読取り可能プログラム命令は、また、前記スケーリング・ファクタを適用することによって前記第2の画像フレームを変換するステップと、前記第1の画像フレームおよび変換された第2の画像フレームの表現をさせるステップと、のために構成されたプログラム命令を含む。1つの例示的装置は、ビデオ・データから2つ以上の関心ポイントを備える第1の画像フレームの受信をさせる手段と、前記ビデオ・データから異なる位置における前記2つ以上の関心ポイントを備える第2の画像フレームの受信をさせる手段と、前記2つ以上の関心ポイントの位置における違いを、前記第1の画像フレームから前記第2の画像フレームへ追跡する手段と、前記2つ以上の関心ポイントの配置における相対的な違いを表すスケーリング・ファクタを計算する手段と、プロセッサが、前記スケーリング・ファクタを前記第2の画像フレームに適用する手段と、を含むことができる。この装置は、前記第1の画像フレームにおける前記2つ以上の関心ポイントの選択を受信する手段を更に含むことができる。代替的な実施形態において、この装置は、前記第1の画像フレームにおける主対象の選択を受信する手段と、前記主対象の選択にしたがって、前記2つ以上の関心ポイントを選択する手段と、を更に含むことができる。
この装置は、前記2つ以上の関心ポイントの各々に対するディスクリプタを格納させる手段と、前記2つ以上の関心ポイントの各々に対するディスクリプタを、前記スケーリング・ファクタの計算に応答して、更新する手段と、を更に含むことができる。更にまた、スケーリング・ファクタを適用することは、カメラ・デバイスのズーム機能を調整させることを含むことができる。代替的に、スケーリング・ファクタを適用することは、関心ポイントの2つのセットの間の距離の比率が一定に保たれるように、クロップ領域を選択することを含むことができる。別の実施形態では、この装置は、前記スケーリング・ファクタを適用することによって前記第2の画像フレームを変換する手段と、前記第1の画像フレームおよび変換された第2の画像フレームの表現をさせる手段と、を更に含むことができる。
このように、一般的な用語で本願発明の実施形態を記述したが、次に、添付の図面への参照がなされる。これは、必ずしも一定の比率で描かれているというわけではない。ここで、
図1は、本願発明の例示的実施形態にしたがって特に構成することができるシステムのブロック図である。 図2は、本願発明の例示的実施形態にしたがって特に構成することができる装置のブロック図である。 図3は、ドリー・ズーム効果を示す例示的図解である。 図4は、本願発明の実施形態にしたがって例示的装置を動作させる方法を図示している例示的フローチャートである。 図5は、本願発明の実施形態にしたがって、クロップ領域を選択する例示的方法を示す例示的ブロック図である。 図6は、本願発明の実施形態にしたがって例示的装置を動作させる方法を図示する例示的フローチャートである。 図7は、メディア・コンテンツ処理システムの実施形態を実施するための例示的コンピューティング・デバイスの例示的ブロック図である。
いくつかの例示的実施形態は、次に、添付の図面を参照して、以下で、より完全に記載される。ここで、すべてではないが、いくつかの実施形態が示される。実際に、例示的実施形態は、多くの異なる形をとることができ、そして、ここに述べられる実施形態に限られたものとして解釈されてはならない。むしろ、これらの例示的実施形態は、本願開示が適用可能な法的要求を満たすように提供される。以下を通して、同様の参照番号は、同様の要素を参照する。「データ」、「コンテンツ」、「情報」の用語、および、同様の用語は、送信され、受信され、動作し、および/または、格納されることが可能なデータを指すために、いくつかの例示的実施形態にしたがって、互換的に用いることができる。さらに、「例示的」という用語は、ここに使用されるように、いかなる質的な評価をも伝えるために提供されるものではなく、単に、具体例を伝えるためだけのものである。したがって、そのような語の使用は、本願発明の実施形態の要旨および範囲を制限するものであると解釈してはならない。
ここに使われるように、「回路」という用語は、(a)ハードウェアのみの回路インプリメンテーション(例えばアナログおよび/またはディジタル回路だけのインプリメンテーション)(b)(i)プロセッサの組合せにも、または(ii)プロセッサ/ソフトウェア(ディジタルシグナルプロセッサを含む)の部分、ソフトウェア、および、例えば携帯電話またはサーバなどの装置に種々の機能を実行させるために一緒に動作するメモリに適用できるように、回路の組合せ、そして、ソフトウェア(および/またはファームウェア)、および、(c)回路、例えば、たとえソフトウェアまたはファームウェアが物理的に存在しないとしても動作のためにソフトウェアまたはファームウェアを必要とするマイクロプロセッサ、または、マイクロプロセッサの部分のすべてを指す。
この「回路」の定義は、本願において、すべての請求項を含むこの用語のすべての使用について適用される。さらなる例として、本願にて用いられているように、「回路(circuitry)」の用語は、また、単にプロセッサ(または、マルチプロセッサ)またはプロセッサの部分、および、その(あるいは、それらの)付随するソフトウェアやファームウェアのインプリメンテーションをカバーする。「回路」という用語は、また、たとえば、および、特定の請求項要素の適用できるならば、ベースバンド集積回路、または、携帯電話の特定用途向け集積回路(ASIC)、または、サーバにおける同様な集積回路、携帯電話ネットワーク・デバイス、または、他のネットワーク・デバイスをカバーする。
次に、図1を参照すると、コンピューティング・デバイス10と、サーバ12の間、または、他のネットワーク・エンティティ(以下で、一般的に、「サーバ」として参照される)との間で、ワイヤレスで、または、有線を介してのいずれかで、通信をサポートするシステムが、図示される。図示の通り、このコンピューティング・デバイスおよびサーバは、広域ネットワークなど、携帯電話ネットワークまたはインターネットまたはローカル・エリア・ネットワークなど、ネットワーク14を介して、通信していることがあり得る。しかしながら、このコンピューティング・デバイスおよびサーバは、このコンピューティング・デバイスおよびサーバの間の直接の通信を介して、など他の態様で、通信していることがあり得る。
コンピューティング・デバイス10は、パーソナル携帯情報機器(PDA)、携帯電話、スマートフォン、ラップトップ・コンピュータ、タブレット・コンピュータ、または、前述のものの任意の組合せなどのモバイル・コンピューティング・デバイスおよび、他のタイプの音声およびテキスト通信システムを含むいくつかの異なるデバイスによって、具体化することができる。代替的に、このコンピューティング・デバイスは、パソコン、コンピュータ・ワークステーション、その他の固定コンピューティング・デバイスであることができる。サーバ12は、また、コンピューティング・デバイスによって具体化することができ、ある実施態様において、ウェブ・サーバによって具体化される。加えて、図1のシステムでは単一のサーバを表しているが、そのサーバは、コンピューティング・デバイスによって実行される活動をブラウジングするのをサポートするように共働する複数のサーバを備えることができる。
コンピューティング・デバイス10を具体化するデバイスのタイプに拘わらず、このコンピューティング・デバイスは、図2に示されるように、装置20を含むことができる、または、それと接続することができる。これに関して、この装置は、プロセッサ22メモリ・デバイス24、通信インタフェース26および、ユーザ・インタフェース28を含むことができる、または、さもなければ、それらと通信を行うことができる。このように、いくつかの実施形態において、デバイスまたは要素が互いに通信しているように示されるが、以下で、そのようなデバイスまたは要素は、同一のデバイスまたは要素の中で実現することができると考えなければならない。したがって、通信において示されるデバイスまたは要素は、代替的に、同一のデバイスまたは要素の部分であると理解されなければならない。
いくつかの実施形態において、プロセッサ22(および/または、コプロセッサ、あるいは、補助する、または、そうでなければそのプロセッサに接続した他の処理回路)は、メモリ・デバイス24と、バスを介して、この装置のコンポーネントの間で情報をパスするために通信していることができる。メモリ・デバイスは、例えば、1つ以上の揮発性物質および/または不揮発性メモリを含むことができる。言い換えると、例えば、メモリ・デバイスは、(例えば、プロセッサのようなコンピューティング・デバイスなど)機械により検索可能でありえる(例えば、ビットなどの)データを格納するように構成されるゲートを備える(例えば、コンピュータ読取り可能ストレージ・メディアなど)メモリ・デバイスは、装置20が本願発明の例示的実施形態にしたがって、種々の機能を実行することを可能にするために、情報、データ、コンテンツ、アプリケーション、命令、その他を格納するように構成することができる。例えば、メモリ・デバイスは、プロセッサでの処理のために、入力データをバッファするように構成されることができた。加えて、あるいは、代替的に、メモリ・デバイスは、プロセッサによる実行のために、命令を格納するように構成されることができた。
上記したように、装置20は、本願発明の例示的実施形態を用いるように構成されたコンピューティング・デバイス10により具体化することができる。しかしながら、いくつかの実施形態において、この装置は、チップまたはチップ・セットとして具体化することができる。言い換えると、この装置は、材料、コンポーネントや、(例えば、ベース基板など)構造アセンブリ上の配線を含む(例えば、チップなど)1つ以上の物理パッケージを含むことができ、構造アセンブリは、強度、サイズの保全、及び/又は、その上に備えられるコンポーネント回路に対する電気インタラクションの制限を提供することができる。この装置は、したがって、いくつかの場合において、単一チップ上に、または、「単一システム」として、本願発明の実施形態を実施するように構成されることができる。このように、いくつかの場合において、チップまたはチップ・セットは、ここに記述される機能を提供するための、1つ以上の動作を実行するための手段を構成することができる。
プロセッサ22は、いくつかの異なる方法において、具体化することができる。例えば、このプロセッサは、例えば、コプロセッサ、マイクロプロセッサ、コントローラ、ディジタル信号処理装置(DSP)、DSPを有する、または、有さない処理要素、または、例えば、ASIC(application specific integrated circuit)、FPGA(フィールド・プログラマブル・ゲート・アレイ)、マイクロコントローラ・ユニット(MCU)、ハードウェア・アクセラレータ、特殊目的コンピューター・チップ、その他の、集積回路を含む種々の他の処理回路の1つ以上の種々のハードウェア処理手段として、具体化することができる電子ストレージ・デバイスであることができる。このように、いくつかの実施形態において、前記プロセッサは、独立して実行するように構成される1つ以上の処理コアを含むことができる。マルチコア・プロセッサは、単一の物理パッケージの内部で、マルチプロセッシングを可能にすることができる。加えて、あるいは、代替的に、前記プロセッサは、独立した命令の実行、パイプライン化やマルチス・レッディングを可能にするために、バスを介して、タンデムに構成された、1つ以上のプロセッサを含むことができる。
例示的実施形態において、プロセッサ22は、メモリ・デバイス24に保存された命令実行する、または、さもなければ、プロセッサにアクセスするように構成することができる。代替的に、または、追加的に、前記プロセッサは、ハード・コード化した機能を実行するように構成することができる。このように、ハードウェアまたはソフトウェア方法によって、または、その組合せによって、構成されたかどうかにかかわらず、そのプロセッサは、それに応じて構成されている、本願発明の実施形態にしたがって、動作を実行することができる(例えば、物理的に回路に具体化された)エンティティを表現することができる。したがって、例えば、プロセッサが、ASIC、FPGA、その他として具体化されるときに、そのプロセッサは、ここに記述される動作の遂行するために特別に構成されたハードウェアであることができる。代替的に、別の例として、プロセッサが、ソフトウェア命令の実行者として、具体化されるときに、それらの命令は、特別に、そのプロセッサを命令は実行されるときに、ここに記述されるアルゴリズムや動作を実行するように構成することができる。しかしながら、いくつかの場合において、そのプロセッサは、ここに記述されるアルゴリズムや動作を実行するための命令によるプロセッサの更なる構成によって本願発明の実施形態を使用するように構成される(例えば、ヘッド・マウント・ディスプレイなど)特定のデバイスのプロセッサであり得る。このプロセッサは、とりわけ、クロック、演算ロジック・ユニット(ALU)、および、プロセッサの動作をサポートするように構成された論理ゲートを含むことができる。ある実施態様において、そのプロセッサは、また、ユーザ・インタフェース28の1つ以上の要素のうちの少なくともいくつかの機能をコントロールするように構成されるユーザ・インタフェース回路を含むこともできる。
一方、通信インタフェース26は、コンピューティング・デバイス10とサーバ12との間でデータを受信および/または送信するように構成される、ハードウェア、または、ハードとソフトと組合せのいずれかで実現されるデバイスまたは回路などのいかなる手段でもあり得る。これに関して、通信インタフェース26は、例えば、アンテナ(または、複数のアンテナ)および、ワイヤレスでの通信を可能にするためのサポート・ハードウェアサポートやソフトウェアを含むことができる。加えて、あるいは、代替的に、通信インタフェースは、そのアンテナを介して信号の伝送をさせる、または、そのアンテナを介して信号の受信を取り扱うように、そのアンテナとインターラクトするための回路を含むことができる。例えば、通信インタフェースは、ヘッド・マウント・ディスプレイ10と、Wi−Fi、ブルートゥース、または、他の無線通信技術などを介してワイヤレスで通信するように構成することができる。いくつかのインスタンスにおいては、通信インタフェースは、代替的に、あるいは、さらに、有線通信をサポートすることができる。このように、例えば、通信インタフェースは、ケーブル、ディジタル加入者線(DSL)、ユニバーサル・シリアル・バス(USB)、または、他のメカニズムを介した通信をサポートするために通信モデムや他のハードウェア/ソフトウェアを含むことができる。例えば、通信インタフェースは、有線通信を介して、そのコンピューティングのデバイスの他のコンポーネントと通信するように構成することができる。
ユーザ・インタフェース28は、ユーザ入力の表示を受信するために、及び/又は、ユーザへの聴覚的、視覚的、機械的、または、他の出力を提供するために、ユーザ・インタフェース回路構成などプロセッサ22と通信していることができる。このように、ユーザ・インタフェースは、例えば、キーボード、マウス、ジョイスティック、ディスプレイ、タッチ・スクリーン・ディスプレイ、マイクロフォン、スピーカー、および/または、他の入出力メカニズムを含むことができる。いくつかの実施形態において、ディスプレイは、スクリーン上の、壁の上の、メガネ(例えば、ニア・アイ・ディスプレイ)の、空中での、その他のディスプレイを指すことができる。ユーザ・インタフェースは、また、バスなどを介して、メモリ24、および/または、通信インタフェース26と通信していることができる。
図3は、めまい効果、または、ドリー・ズーム・アプリケーションの効果の視覚的な説明を示す。ドリー・ズームは、ズームレンズの対象の方へ、または、それから離れて、カメラがドリー、すなわち、移動する間に、フレームにおいてその対象を同じサイズの保つように、しばしば視野と呼ばれる視野角(angle of view)を調節するためのセッティングによって達成される効果である。その古典的な形式において、カメラは、レンズがズーム・インする間、対象から引き離される。あるいは、逆もまた同じである。したがって、ズームの間に、連続的遠近感歪みが存在し、最も直接的に目立つ特徴は、バックグラウンドが対象に相対して変化する見えることである。
図4は、本願発明の実施形態にしたがって方法、装置およびコンピュータ・プログラム・プロダクトによって実行される例示的動作のフローチャート例を図示する。このフローチャートの各々のブロックおよびフローチャートの中のブロックの組合せは、ハードウェア、ファームウェア、プロセッサ、回路、および/または、1つ以上のコンピュータ・プログラム命令を含むソフトウェアの実行に結びついた他のデバイスなど、種々の手段で、インプリメントすることができることが理解される。例えば、上に記述された1つ以上の手続きは、コンピュータ・プログラム命令により具体化することができる。これに関して、上述の手続きを具体化するそのコンピュータ・プログラム命令は、本願発明の実施形態を使用する装置のメモリ26によって格納することができ、その装置のプロセッサ24により実行することができる。理解されるように、そのような任意のコンピュータ・プログラム命令は、コンピュータの上へ、または、(例えば、ハードウェアなど)他のプログラム可能な装置に、結果として生じるコンピュータまたは他のプログラム可能な装置が、フローチャート・ブロックに指定された機能をインプリメントを準備するように、マシンを生成するために、ロードされることができる。これらのコンピュータ・プログラム命令は、また、コンピュータまたは他のプログラム可能な装置に特定の方法において、コンピュータ読取り可能なストレージ・メモリに格納された命令が、その実行が、フローチャート・ブロックにおいて指定された機能をインプリメントする製造の物品を生産する{???ママ}ように、機能することを指示することができる固定コンピュータ読取り可能ストレージ・メモリに格納される。そのコンピュータ・プログラム命令は、また、コンピュータの上へ、または、一連の動作をコンピュータまたは他のプログラム可能な装置の上で実行する命令が、フローチャート・ブロックにおいて指定された機能をインプリメントするための動作を提供するように、コンピュータ・インプリメントされたプロセスを生じるためにコンピュータ上、または、他のプログラム可能な装置で実行させるように、他のプログラム可能な装置にロードされることができる。このように、図4の動作は、実行されたときに、コンピュータまたは処理回路を、本願発明の例示的実施形態を実行するように構成された特定のマシンに変換する。したがって、図4の動作は、例示的実施形態を実行するために、コンピュータまたは処理を構成するためのアルゴリズムを定義する。いくつかの場合において、汎用コンピュータは、汎用コンピュータを、例示的実施形態を実行するために構成される特定のマシンに変換する図4のアルゴリズムを実行するプロセッサのインスタンスを伴うことができる。
したがって、フローチャートのブロックは、特定された機能と、特定された機能を実行するための動作の組合せを実行するための手段の組合せをサポートする。フローチャートの1つ以上のブロック、および、フローチャートにおけるブロックの組合せは、特殊目的ハードウェアおよびコンピュータ命令の指定された機能、または、それらの組合せを実行する特殊目的ハードウェア・ベースの計算機システムにより、インプリメントすることができることも、また、理解される。
いくつかの実施形態において、ここでの動作のあるものは、下記のように、修正または、さらに拡大することができる。さらに、いくつかの実施形態において、追加的なオプションの動作を、また、含むことができる。修正、オプション追加、または、以下の拡大の各々は、単独で、または、ここに記述された特徴のなかの任意の他のものとの組合せのいずれかで上の動作に含むことができることが理解されるべきである。
図4は、本願発明の実施形態にしたがって実行された、例示的メディア・コンテンツ処理システムを動作させる方法を図示している例示的フローチャートである。図4のブロック405に示されるように、コンピューティング・デバイス10によって具体化された装置20は、したがって、アプリケーションを実行するように構成されることができる。コンピューティング・デバイスによって具体化された装置は、したがって、プロセッサ22、通信インタフェース26、その他、アプリケーションを実行する手段を含む。例としてあげると、実行されるアプリケーションは、(HTML5のようなブラウザ表現マークアップ言語と結合され、アプリケーションを実行可能にする一般のウェブ・ブラウザに依存しているジャワ・スクリプトのような)ブラウザ・サポートされたプログラミング言語において符号化されるコンピュータ・ソフトウェア・アプリケーションなどのウェブ・アプリケーション、または、任意のHTML5、または、ジャワ・スクリプト・アプリケーション、または、「アプリ」を含む。ウェブページまたは「アプリ」のオープニングは、ユーザのモバイル通信デバイス10上のウェブ・ブラウザによって実行することができる。HTML5またはJava(登録商標)Script「アプリ」は、ウェブページ・スクリプトがウェブページ全体を再ダウンロードする必要がなく、データを格納し、読み出すために、図1に示されるもののようなサーバ12とコンタクトすることを可能にする。本願発明の別の実施形態では、アプリケーションは、特権的ウェブ・アプリケーションまたは特権的ウェブ・アプリであることができる。特権的ウェブ・アプリは、アプリ・ストアの手段などによって、検証され得た、または、信頼されたソースであるソースから入手、あるいは、ダウンロードすることができたウェブ・コンテンツの部分である。信頼されたソースは、デフォルト・パワー・セッティングを越えることを可能にすることができる特権的ウェブ・アプリを提供することができる。
本願発明の実施形態のコンテキストにおいて、特定の例は、シネマトグラフィ効果アプリであり得る。一旦、ユーザの携帯電話または、他のプログラム可能なデバイスで開始されると、アプリは、ビデオ記録をセットされ、そして、自動的に、ズーム機能を調節することができる。代替的に、アプリは、ビデオを記録し、そして、ビデオ後処理においてドリー・ズーム効果を適用するように構成することができる。
図4のブロック410に示されるように、コンピューティング・デバイス10によって具体化された装置20は、したがって、ビデオ・データの第1のフレームを受信するように構成されることができる。コンピューティング・デバイスによって具体化された装置は、したがって、ビデオ・データの第1のフレームを受信するために、例えばプロセッサ22、通信インタフェース26、その他の手段を含むことができる。
図4のブロック415に示されるように、コンピューティング・デバイス10によって具体化された装置20は、したがって、関心ポイントを選択するように構成されることができる。コンピューティング・デバイスによって具体化された装置は、したがって、関心ポイントを選択するために、例えばプロセッサ22、通信インタフェース26、その他の手段を含むことができる。例として、主対象の眼の間の距離を、関心ポイントとして選択することができる。
図4のブロック420に示されるように、コンピューティング・デバイス10によって具体化された装置20は、したがって、各関心ポイントに対するディスクリプタを保存するように構成されることができる。コンピューティング・デバイスによって具体化された装置は、したがって、各関心ポイントに対するディスクリプタを保存するために、例えばプロセッサ22、通信インタフェース26、その他の手段を含むことができる。SIFTまたはRIFFなど、画像の中の局所的特徴を検出し記述するための多くの既知の方法またはアルゴリズムが存在する。それらのいずれも、本願発明の文脈において十分である。
図4のブロック425に示されるように、コンピューティング・デバイス10によって具体化された装置20は、したがって、第1のフレームを出力するように構成されることができる。コンピューティング・デバイスによって具体化された装置は、したがって、第1のフレームを出力するために、例えばプロセッサ22、通信インタフェース26、その他の手段を含むことができる。この第1のフレームは、ビデオ・データからの画像フレームであることができる。このビデオ・データは、ライブ信号であることができる。代替的な実施形態において、このビデオ・データは、以前に記録されたビデオ・データであることができる。第1のフレームを出力することは、ビデオまたは画像としての表現のために、その第1のフレームをビデオ・ディスプレイに送信することを含むことができる。代替的な実施形態において、第1のフレームは、メモリに格納されることができる。
図4のブロック430に示されるように、コンピューティング・デバイス10によって具体化された装置20は、したがって、第2のフレームを受信するように構成されることができる。コンピューティング・デバイスによって具体化された装置は、したがって、第2のフレームを受信するために、例えばプロセッサ22、通信インタフェース26、その他の手段を含むことができる。第2のフレームは、ビデオ・データからの画像フレームであることができる。このビデオ・データは、そのビデオ・データが格納されているメモリからのライブ信号、または、信号であることができる。
図4のブロック435に示されるように、コンピューティング・デバイス10によって具体化された装置20は、したがって、関心ポイントを追跡するように構成されることができる。コンピューティング・デバイスによって具体化された装置は、したがって、関心ポイントを追跡するために、例えばプロセッサ22、通信インタフェース26、その他の手段を含むことができる。また、関心ポイント追跡は、既知であり、そして、多くの可能な方法によって、インプリメントすることができる。
図4のブロック440に示されるように、コンピューティング・デバイス10によって具体化された装置20は、したがって、スケーリング・ファクタを計算するように構成されることができる。コンピューティング・デバイスによって具体化された装置は、したがって、スケーリング・ファクタを計算するために、例えばプロセッサ22、通信インタフェース26、その他の手段を含むことができる。例えば、X=(x、y)は、自動的に追跡された関心ポイントを意味するとする。ここでフレーム番号nにおいて、関心ポイント番号mの自動的に追跡された位置は、Xによって示される。次に、主要対象の上の2つの追跡された関心ポイントの最も単純なケースにおいて、フレームnにおけるそれらの距離は、単に、d=||X−X||である。
図4のブロック445に示されるように、コンピューティング・デバイス10によって具体化された装置20は、したがって、スケーリング・ファクタを適用するように構成されることができる。コンピューティング・デバイスによって具体化された装置は、したがって、スケーリング・ファクタを適用するために、例えばプロセッサ22、通信インタフェース26、その他の手段を含むことができる。具体的には、ビデオを通して、対象の見た目のサイズを、一定に保つために、各フレームに対するズーム・ファクタ、スケーリング・ファクタが、s=d/dにセットされる。
このファクタによって後続するビデオフレームをスケーリングすることは、2つの関心ポイントの間の距離を保ち、したがって、主要対象の見た目のサイズを一定に保つ。本願発明の1つの実施形態において、スケーリング・ファクタを適用することは、モバイル・デバイスの上のカメラのズーム機能を調整することを含むことができる。別の実施形態では、スケーリング・ファクタを適用することは、センサのクロップ領域、または、変換された画像を標示するための画像領域を選択することを含むことができる。例として、この実施の形態において、カメラは、主対象から遠ざけられるとき、クロップ領域は、クロップ領域において、主対象の目の間の距離およびそして、第1の画像における背景画像の距離などの距離の比率が、一定に保たれるように、選択される。図5を参照。
図4のブロック450に示されるように、コンピューティング・デバイス10によって具体化された装置20は、したがって、関心ポイント・ディスクリプタを更新するように構成されることができる。コンピューティング・デバイスによって具体化された装置は、したがって、関心ポイント・ディスクリプタを更新するために、例えばプロセッサ22、通信インタフェース26、その他の手段を含むことができる。
図4のブロック455に示されるように、コンピューティング・デバイス10によって具体化された装置20は、したがって、変換された第2のフレームを出力するように構成されることができる。コンピューティング・デバイスによって具体化された装置は、したがって、変換されたフレームを出力するために、例えばプロセッサ22、通信インタフェース26、その他の手段を含むことができる。変換されたフレームを出力することは、ビデオ・ディスプレイに変換された画像を標示することを含むことができる。
図6は、本願発明の実施形態にしたがって実行される例示的メディア・コンテンツ処理システムを動作させる代替の方法を図示する例示的フローチャートである。具体的には、ある実施態様において、電子的に制御可能な光学式ズームを備えることができるカメラ・モジュールに対して、ズーム・ファクタを、前もってセットすることができる。このように、一旦、フレーム番号Xが、記録されると、ズームは、事後に変わることができない。実際に、ドリー・ズーム効果を自動的に与えるこのインプリメンテーションは、フレーム1...Xを通して、カメラの動きを観察し、非常に近い将来にカメラがどのように動くかを予測することができる。そして、前もってスケーリング・ファクタをフレームX+1に設定することができる。
ブロック605、610、615、620、625、630、および、635は、図4の405、410、415、 420、 425、430、および、435と一致し、したがって、対応する開示は、省略される。
図6のブロック640に示されるように、コンピューティング・デバイス10によって具体化された装置20は、後続するフレームに対する動きを予測するように構成することができる。コンピューティング・デバイスによって具体化された装置は、後続するフレームに対する動きを予測するために、例えばプロセッサ22、通信インタフェース26、その他の手段を含むことができる。
図6のブロック645に示されるように、コンピューティング・デバイス10によって具体化された装置20は、ズーム・セッティングを計算するように構成することができる。コンピューティング・デバイスによって具体化された装置は、ズーム・セッティングを計算するために、例えばプロセッサ22、通信インタフェース26、その他の手段を含むことができる。
図6のブロック650に示されるように、コンピューティング・デバイス10によって具体化された装置20は、そのカメラ・モジュールにズーム・セッティングを適用するように構成することができる。コンピューティング・デバイスによって具体化された装置は、カメラ・モジュールへそのズーム・セッティングを適用するために、例えばプロセッサ22、通信インタフェース26、その他の手段を含むことができる。
図6のブロック655に示されるように、コンピューティング・デバイス10によって具体化された装置20は、版関心ポイント・ディスクリプタを更新するように構成することができる。コンピューティング・デバイスによって具体化された装置は、関心ポイント・ディスクリプタを更新するために、例えばプロセッサ22、通信インタフェース26、その他の手段を含むことができる。
図6のブロック660に示されるように、コンピューティング・デバイス10によって具体化された装置20は、現在のフレームを出力するように構成することができる。コンピューティング・デバイスによって具体化された装置は、現在のフレームを出力するために、例えばプロセッサ22、通信インタフェース26、その他の手段を含むことができる。
図7は、メディア・コンテンツ処理システムの実施形態を実施するための例示的コンピューティング・デバイスの例示的ブロック図である。特に、図7は、メディア・コンテンツ処理システム710をインプリメントするために利用することができるシステム20を示す。1つ以上の汎用あるいは専用コンピューティング・システム/デバイスを、メディア・コンテンツ処理システム710を実装するために使用することができることに留意する。それに加え、システム20は、1つ以上の異なったコンピューティング・システム/デバイスを含むことができ、分散した位置にわたることができる。更にまた、示された各々のブロックは、1つ以上のそのようなブロックを、特定の実施形態に適切なものとして表すことができる、または、他のブロックと結合することができる。例えば、いくつかの実施形態において、システム20は、トラッキング・モジュール720、スケーリング・モジュール730、カメラ・モジュール780、または、その3つの任意の組合せを含むことができる。他の例示的実施形態において、トラッキング・モジュール720、スケーリング・モジュール730、または、カメラ・モジュール780は、(例えば、モバイル端末およびリモート・サーバ、複数のリモート・サーバ、その他)別々のシステムの上で動作するように構成することができる。例えば、トラッキング・モジュール720やスケーリング・モジュール730は、モバイル・端末10の上で動作するように構成することができる。また、メディア・コンテンツ処理システム710は、ソフトウェア、ハードウェア、ファームウェアで、または、ここに記述される能力を達成するいくつかの組合せでインプリメントすることができ、
例えば、モバイル端末10、スタンドアロン・システム(例えばリモート・サーバ)によって、システム20を使用されることができるが、以下に記載されたコンポーネント、デバイスまたは要素は、強制的なものではなく、したがって、いくつかは、ある実施形態において、省略されることができることに留意する。加えて、いくつかの実施形態は、更に、あるいは異なる、ここに示され、記述されたものを越えて、コンポーネント、デバイスまたは要素を含むことができる。
示された実施形態において、システム20は、コンピュータ・メモリ(「メモリ」)24、1つ以上のプロセッサ22(例えば、処理回路)、および、通信インタフェース26を備える。メディア・コンテンツ処理システム710が、メモリ24に存在することが示される。他の実施形態においては、コンテンツのいくつかの部分、メディア・コンテンツ処理システム710のコンポーネントのいくつか、あるいは、全部を、他のコンピュータ読取り可能なメディア上で保存し、および/または、送ることができる。メディア・コンテンツ処理システム710のコンポーネントは、好適には、1つ以上のプロセッサ22で実行し、メディア・コンテンツを抽出し、分類するように構成される。他のコードまたはプログラム740(例えば、管理インタフェース、ウェブ・サーバ、その他)、および、データ・リポジトリ750など可能な他のデータ・リポジトリは、また、メモリ24において存在し、好適には、プロセッサ22で実行する。注意すべきは、図7の中のコンポーネントのうちの1つ以上が、いかなる特定のインプリメンテーションにも存在することができないことである。
典型的な実施形態において、上記したように、メディア・コンテンツ処理システム710は、トラッキング・モジュール720、スケーリング・モジュール730、および/または、両方を含むことができる。トラッキング・モジュール720やスケーリング・モジュール730は、図1において概説されたものなどの機能を実行することができる。メディア・コンテンツ処理システム710は、通信用インタフェース26によってネットワーク14を介して、(1)モバイル端末760と、および/または、(2)サードパーティ・コンテンツ770とインターラクトする。ネットワーク14は、(例えば、ツイストペア、同軸、光ファイバー、ラジオ周波数など)任意のメディア、(例えば、ルーター、スイッチ、リピータ、トランシーバなど)ハードウェア、そして、離れて存在する人やデバイスの間の通信を容易にするプロトコル(例えば、TCP/IP、UDP、Ethernet(登録商標)、Wi−Fi、WiMaxなど)の組合せであり得る。これに関して、この通信用インタフェース26は、1つ以上のエア・インターフェース標準、通信プロトコル、変調形式、アクセスタイプ、および/または、その他で動作することができる。より詳しくは、システム20、通信用インタフェース26、その他は、種々の第1世代(1G)通信プロトコル、第二世代(2G)、2.5G、第3世代(3G)通信プロトコル、第4世代(4G)通信プロトコル、(例えば、セッション確立プロトコル(SIP))、および/または、その他インターネット・プロトコル・マルチメディア・サブシステム(IMS)通信プロトコルにしたがって、動作することができる。例えば、モバイル端末は、2G無線通信プロトコルIS−136時分割多元接続(TDMA:Time Division Multiple Access)、GSM(Global System for Mobile Communications)、IS−95(符号分割多重アクセス方式(CDMA))、および/または、その他にしたがって、動作することができる。また、例えば、モバイル端末は、2.5G無線通信プロトコル汎用パケット無線システム(GPRS:General Packet Radio Service)、EDGE(Enhanced Data GSM Environment)、および/または、その他にしたがって、動作することができる。また、例えば、モバイル端末は、UMTS(Universal Mobile Telecommunications System)、CDMA2000(Code Division Multiple Access 2000)、WCDMA(Wideband Code Division Multiple Access)、TD−SCDMA(Time Division−Synchronous Code Division Multiple Access)および/または、その他の3G無線通信プロトコルに従って動作することができる。モバイル端末は、さらに、追加的に、LTE(Long Term Evolution)あるいは、E−UTRAN(Evolved Universal Terrestrial Radio Access Network)および/または、その他の3.9G無線通信プロトコルにしたがって、動作することができることができる。加えて、例えば、モバイル端末は、第4世代(4G)無線通信プロトコルその他にしたがって、また、将来開発されることがあり得る同様の無線通信プロトコルにしたがって、動作することができる。
例示的実施形態において、メディア・コンテンツ処理システム710のコンポーネント/モジュールは、標準的なプログラミング技術を使用してインプリメントすることができる。例えば、メディア・コンテンツ処理システム710は、1つ以上の静的または動的ライブラリとともに、プロセッサ22の上で動作する実行可能「ネイティブ」としてインプリメントすることができ、他の実施形態においては、メディア・コンテンツ処理システム710は、他のプログラム740のうちの1つとして実行する仮想マシンで処理される命令としてインプリメントすることができ、一般に、この技術領域で既知であるプログラミング言語の範囲は、オブジェクト指向(例えば、Java(登録商標)、C++、C#、ビジュアルBasic.NET、Smalltalk、その他)、関数(例えば、ML、lisp、Scheme、その他)、手続き(例えば、C、Pascal、Ada、Modula、その他)、スクリプト(例えば、Perl、Ruby、Python、Java(登録商標)Script、VBScript、その他)、および、宣言(例えば、SQL、Prolog、その他)を含む種々のプログラミング言語パラダイムの代表インプリメンテーションを含む例示的実施形態などをインプリメントするために使用することができる。しかし、これらに限定するものではない。
上述の実施形態は、また、周知の、または、専用の、同期または非同期の、クライアント/サーバ・コンピューティングの技術を用いることができる。また、種々のコンポーネントは、例えば、単一CPUコンピュータ・システムで動作する、あるいは、代替的に、各々が1つ以上のCPUを有する1つ以上のコンピュータ・システムで動作するマルチプログラミング、マルチス・レッディング、クライアント・サーバ、または、ピア・ツー・ピアを含む、当該分野で知られている種々の構造化技術を用いて分解した実行可能なものとして、よりモノリシックなプログラミング技術を使用してインプリメントすることができる。しかしながら、それらに限られるものではない。いくつかの実施形態は、並列に、そして、非同期で実行することができ、そして、メッセージ・パッシング技術を用いて通信することができる。等価の同期実施形態も、また、サポートされる。また、他の機能は、各々のコンポーネント/モジュールで、および、異なる順序で、また、異なるコンポーネント/モジュールによって、インプリメントされ、および/または、実行されることができた。さらに、また、記述された機能を達成することができた。
それに加え、メディア・コンテンツ処理システム710の一部として格納されるデータへのプログラミング・インターフェースは、C、C++、C#、および、Java(登録商標) APIを通して、ファイルにアクセスするためのライブラリ、データ・ベース、または、他のデータ・リポジトリを通して、XMLのような言語を通して、または、ウェブ・サーバ、FTPサーバ、または、格納されたデータへのアクセスを提供する他のタイプのサーバを通して、標準的なメカニズムで利用可能となることができる。データ格納も、また、含めることができ、そして、1つ以上のデータ・ベース・システム、ファイル・システム、あるいは、分散コンピューティング技術を使用するインプリメンテーションを含む情報など、または、上記の任意の組合せを格納するための任意の他の技術としてインプリメントすることができ、
プログラムおよびデータの異なる構成と配置が、ここに記述される技術で使用するために、考えられる。分散コンピューティング技術の多様性は、TCP/IPソケット、RPC、RMI、HTTP、ウェブ・サービス(XML−RPC、JAX−RPC、SOAP、その他)を含む、分散された態様で、図示された実施形態のコンポーネントをインプリメントするために適切である。しかし、それらに制限されるものではない。他のバリエーションも、可能である。また、他の機能は、各々のコンポーネント/モジュールにより提供することができ、あるいは、存在する機能は、コンポーネント/モジュールの間に、異なるように、分配することができ、それでも、また、ここに記述される機能を達成することができた。
更にまた、いくつかの実施形態において、メディア・コンテンツ処理システム710のコンポーネントのいくつか、あるいは、全部を、少なくとも部分的には、1つ以上の特定用途向け集積回路(「ASIC」)、標準的な集積回路、適切に命令を実行するコントローラを含み、そして、マイクロコントローラや埋め込みコントローラ、フィールド・プログラマブル・ゲート・アレイ(「FPGA」)、複雑なプログラマブル・ロジック・デバイス(「CPLD」)、その他を含む、ファームウェアやハードウェアにおけるなどの、インプリメントまたは他の態様において提供することができる。しかしながら、それらに制限されるものではない。システム・コンポーネントやデータ構造の一部もしくは全部は、また、(例えば、ハードディスク、メモリ、コンピュータ・ネットワークまたは、セルラ・ワイヤレス・ネットワーク、または、他のデータ伝送媒体、または、DVDまたはフラッシュ・メモリ・デバイスなどの適切なドライブ、または、適切な接続を介して読まれるように携帯型メディア物品)コンピュータ読取り可能メディア上の(例えば、実行可能で、または、他の機械読み取り可能ソフトウェア命令または構造化データなどの)コンテンツとして格納することができる。コンピュータ読取り可能メディア、および/または、実行する、または、さもなければ、コンテンツを使用する、あるいは、提供する1つ以上の関連するコンピューティング・システムまたはデバイスが、少なくともいくつかの記述された技術を実行することを可能する、あるいは、構成するためである。システム・コンポーネントのいくつか、または、すべて、および、データ構造は、また、(例えば、搬送波の部分として符号化する、または、アナログまたはディジタル伝達信号の一部として含まれることによって)種々のコンピュータ読取り可能伝送媒体上で、データ信号として格納することができる。次に、これらは、無線ベースおよび有線/ケーブル・ベースのメディアをわたることを含んで、送られ、(例えば、単一または多重化されたアナログ信号の部分として、または、複数の別々のディジタル・パケットまたはフレームとして)種々の形態を取ることができる。そのようなコンピュータ・プログラム・プロダクトは、また、他の実施形態においては、他の形をとることができる。したがって、本願のこの開示の実施形態は、他のコンピュータ・システム構成で実施することができる。
多くの修正、および、ここに述べられた本願発明の実施形態の他のものは、前述の説明と関連する図面の中で提示された教示に利益を有する当業者には、思い浮かぶでものである。したがって、本願発明は、開示された特定の実施形態に制限されるものではないこと、そして、修正および他の実施形態は、本願の特許請求の範囲に含まれることが意図されていることが理解されるべきである。さらに、前述の説明と関連する図面が、要素や機能の特定の例示的組合せのコンテキストにおいて、例示的実施形態を記述するけれども、要素や機能の異なる組合せを、添付の請求項の範囲を逸脱することなく、代替的な実施形態によって提供することができることが理解されるべきである。これに関して、例えば、要素の異なる組合せ、および/または、明示的に上述した以外の機能は、また、添付の請求項のいくつかにおいて述べられるように、考えることができる。特定の用語がここにおいて使用されるが、それらは、一般的、説明的な意味においてのみ使用されており、制限の目的のためではない。



  1. ビデオ・データから第1の画像フレームの受信をさせるステップであって、該第1の画像フレームは、2つ以上の関心ポイントを備える、ステップと、
    前記ビデオ・データから第2の画像フレームの受信をさせるステップであって、該第2の画像フレームは、前記2つ以上の関心ポイントを異なる位置に備える、ステップと、
    前記2つ以上の関心ポイントの位置における違いを、前記第1の画像フレームから前記第2の画像フレームに追跡するステップと、
    前記2つ以上の関心ポイントの配置における相対的な違いを表すスケーリング・ファクタを計算するステップと、
    プロセッサが、前記スケーリング・ファクタを前記第2の画像フレームに適用するステップと、
    を含む方法。

  2. 前記第1の画像フレームにおける前記2つ以上の関心ポイントの選択を受信するステップを更に含む請求項1に記載の方法。

  3. 前記第1の画像フレームにおける主対象の選択を受信するステップと、前記主対象の選択にしたがって、前記2つ以上の関心ポイントを選択するステップと、を更に含む請求項1に記載の方法。

  4. 前記2つ以上の関心ポイントの各々に対するディスクリプタを格納させるステップと、前記2つ以上の関心ポイントの各々に対するディスクリプタを、前記スケーリング・ファクタの計算に応答して、更新するステップと、を更に含む請求項1に記載の方法。

  5. 後続する画像受信に対するカメラ動作の予測をさせるステップを更に含み、
    前記スケーリング・ファクタを適用するステップは、カメラ・デバイスのズーム機能の調整をさせるステップと、前記後続する画像受信に先立って前記ズーム機能のセッティングをさせるステップとを含む、
    請求項1に記載の方法。

  6. 前記スケーリング・ファクタを適用するステップは、関心ポイントの2つのセットの間の距離の比率が一定に保たれるように、クロップ領域を選択するステップを含む、請求項1に記載の方法。

  7. 前記スケーリング・ファクタを適用することによって前記第2の画像フレームを変換するステップと、前記第1の画像フレームおよび変換された第2の画像フレームの表現をさせるステップと、を更に含む請求項1に記載の方法。

  8. 少なくとも1つのプロセッサと、および、コンピュータ・プログラム・コードを含む少なくとも1つのメモリとを備える装置であって、
    前記少なくとも1つのメモリと、前記プログラム・コードとは、前記プロセッサを用いて、前記装置に、少なくとも、
    ビデオ・データから、2つ以上の関心ポイントを備える第1の画像フレームを受信させ、前記ビデオ・データから、異なる位置における2つ以上の関心ポイントを備える第2の画像フレームを受信させ、
    前記第1の画像フレームから前記第2の画像フレームへ前記2つ以上の関心ポイントの位置における違いを追跡させ、
    前記2つ以上の関心ポイントの配置における相対的な違いを表すスケーリング・ファクタを計算させ、
    前記第2の画像フレームに前記スケーリング・ファクタを適用させるように構成される、装置。

  9. 前記少なくとも1つのメモリおよび前記コンピュータ・プログラム・コードは、前記プロセッサにより、前記装置に前記第1の画像フレームにおける前記2つ以上の関心ポイントの選択を受信させるようにさらに構成される、請求項8に記載の装置。

  10. 前記少なくとも1つのメモリおよび前記コンピュータ・プログラム・コードは、前記プロセッサにより、前記装置に前記第1の画像フレームにおける主対象の選択を受信させ、前記主対象の選択にしたがって、前記2つ以上の関心ポイントを選択させるようにさらに構成される、請求項8に記載の装置。

  11. 前記少なくとも1つのメモリおよび前記コンピュータ・プログラム・コードは、前記プロセッサにより、前記装置に前記2つ以上の関心ポイントの各々に対するディスクリプタを格納させ、前記2つ以上の関心ポイントの各々に対する前記ディスクリプタを、前記スケーリング・ファクタの計算に応答して、更新させるようにさらに構成される、請求項8に記載の装置。

  12. 前記少なくとも1つのメモリおよび前記コンピュータ・プログラム・コードは、前記プロセッサにより、前記装置に後続する画像受信に対するカメラ動作の予測をさせ、ここで、前記スケーリング・ファクタを適用することは、カメラ・デバイスのズーム機能を調整させることを含み、前記後続する画像受信に先立って前記ズーム機能のセッティングをさせるようにさらに構成される、請求項8に記載の装置。

  13. 前記スケーリング・ファクタを適用することは、関心ポイントの2つのセットの間の距離の比率が一定に保たれるように、クロップ領域を選択することを含む、請求項8に記載の装置。

  14. 前記少なくとも1つのメモリおよび前記コンピュータ・プログラム・コードは、前記プロセッサにより、前記装置に前記スケーリング・ファクタを適用することによって前記第2の画像フレームを変換させ、前記第1の画像フレームおよび変換された第2の画像フレームを表現させるようにさらに構成される、請求項8に記載の装置。

  15. その中で格納されたコンピュータ実行可能プログラム・コード部分を有する少なくとも1つの固定コンピュータ読取り可能記憶媒体を備えるコンピュータ・プログラム・プロダクトであって、
    該コンピュータ実行可能プログラム・コード部分は、
    ビデオ・データから2つ以上の関心ポイントを備える第1の画像フレームの受信をさせるステップと、
    前記ビデオ・データから異なる位置における前記2つ以上の関心ポイントを備える第2の画像フレームの受信をさせるステップと、
    前記2つ以上の関心ポイントの位置における違いを、前記第1の画像フレームから前記第2の画像フレームへ追跡するステップと、
    前記2つ以上の関心ポイントの配置における相対的な違いを表すスケーリング・ファクタを計算するステップと、
    プロセッサが、前記スケーリング・ファクタを前記第2の画像フレームに適用するステップと、
    のためのプログラム・コード命令を備える、コンピュータ・プログラム・プロダクト。

  16. 前記コンピュータ実行可能プログラム・コード部分は、前記第1の画像フレームにおける前記2つ以上の関心ポイントの選択を受信するステップのためのプログラム・コード命令を更に備える、請求項15に記載のコンピュータ・プログラム・プロダクト。

  17. 前記コンピュータ実行可能プログラム・コード部分は、前記第1の画像フレームにおける主対象の選択を受信するステップと、前記主対象の選択にしたがって、前記2つ以上の関心ポイントを選択するステップと、のためのプログラム・コード命令を更に備える、請求項15に記載のコンピュータ・プログラム・プロダクト。

  18. 前記コンピュータ実行可能プログラム・コード部分は、前記2つ以上の関心ポイントの各々に対するディスクリプタを格納させるステップと、前記2つ以上の関心ポイントの各々に対する前記ディスクリプタを、前記スケーリング・ファクタの計算に応答して、更新するステップと、のためのプログラム・コード命令を更に備える、請求項15に記載のコンピュータ・プログラム・プロダクト。

  19. 前記コンピュータ実行可能プログラム・コード部分は、後続する画像受信に対するカメラ動作の予測をさせるステップを更に備え、
    ここで、前記スケーリング・ファクタを適用することは、カメラ・デバイスのズーム機能を調整させることを含み、
    前記後続する画像受信に先立って前記ズーム機能のセッティングをさせるステップと、のためのプログラム・コード命令を更に備える、請求項15に記載のコンピュータ・プログラム・プロダクト。

  20. 前記スケーリング・ファクタを適用することは、関心ポイントの2つのセットの間の距離の比率が一定に保たれるように、クロップ領域を選択することを含む、請求項15に記載のコンピュータ・プログラム・プロダクト。

  21. 前記コンピュータ実行可能プログラム・コード部分は、前記スケーリング・ファクタを適用することによって前記第2の画像フレームを変換するステップと、前記第1の画像フレームおよび変換された第2の画像フレームの表現をさせるステップと、のためのプログラム・コード命令を更に備える、請求項15に記載のコンピュータ・プログラム・プロダクト。

 

 

Patent trol of patentswamp
類似の特許
映像方向の自動調整 // JP2016516365
映像方向の自動調整のための方法と、システムと、コンピュータプログラム製品とを提供する。コンピュータに実装された方法は、複数の画像フレームを備える映像を受信するステップと、映像内の方向変化を検出するステップと、基準方向を映像について決定するステップと、映像を基準方向に、画像フレームのうちの1つまたは複数をリサイズすることによって、また画像フレームのうちの1つまたは複数を基準方向に回転させることによって調整するステップとを含むことができる。その後、基準方向に調整された映像をユーザに提供することができる。
第1の画像/ビデオデータの上に第2の画像/ビデオデータをオーバーレイするためのシステムおよび方法が開示される。第1の画像/ビデオデータは、所定の特性、例えば、HDR、EDR、VDR、またはUHD機能、を用いてディスプレイ上に描写されることが意図されている。第2の画像/ビデオデータは、グラフィクス、クローズドキャプション、テキスト、広告、もしくは、第1の画像/ビデオデータの上にオーバーレイ及び/又は合成されるよう望まれるあらゆるデータを含み得る。第2の画像/ビデオデータは、画像統計及び/又は第1の画像/ビデオデータの特性に従って、アピアランスマップされ得る。加えて、そうしたアピアランスマッピングは、合成画像が描写されるディスプレイの特性に従って行われ得る。そうしたアピアランスマッピングは、観察者にとって視覚的に快適な合成データを描写することが望まれ、所望のディスプレイ上に描写される。
【解決手段】 カメラデバイスが開示される。カメラデバイスは、画像を取り込むためのセンサと、重力方向を検出するためのセンサと、検出された重力方向を用いて、画像の一部を抽出し、画像から水平に位置合わせされた画像を生成するように構成されたプロセッサとを含む。
【選択図】 図5
ビデオの水平フレーミングを動的に維持するための方法及び装置である。本システムは、撮影しながらユーザが自由にデバイスを回転することを可能にする一方で、撮影の間、最終出力を、デバイスビューファインダ又はスクリーン上のオーバーレイで可視化する。結果として生じる記録は、単一方向を安定した水平に維持するように後で補正される。本システム及び方法は、キャプチャされたビデオのキャプチャされた表示上にオーバーレイを効果的に表示する。オーバーレイは、方向に関して修正された画像を示す。
本開示は、回転センサの画像収集のための内視鏡デバイス及びシステムに広がる。本開示は、ユーザが固定ハンドピースに対してルーメンを回転すると、遠位画像センサが回転することを可能とする。システムは、回転ルーメンと固定ハンドピースの連結部に位置する角度センサを含む。適切なソフトウェア画像回転を達成し、それによって所望の方向での最終表示画像とビデオストリームを提供するために、定期的な角度の計測値が、システムの画像処理チェーンで使用される。
本開示は、カメラを使用して撮影されたビデオコンテンツのアイテムを再生するための方法に関する。撮影の際に、カメラに適用されるコマンドにより、シーケンスから構成されたビデオコンテンツのアイテムが構築され強化される。再生のために、ビデオコンテンツはシーケンスに分割される。カメラに適用されるコマンドは、シーケンスごとに抽出され、このシーケンスに関連付けられた少なくとも1つのハプティックアクチュエータの制御パラメータを計算することを可能にする。次いで、ビデオコンテンツのシーケンスを再生する際、少なくとも1つの制御パラメータによって少なくとも1つのハプティックアクチュエータを制御する。このようにして、観察者は、再生中にビデオドキュメントの認識を強化することを可能にする刺激を認識する。強化されたコンテンツを再生することができるプレーヤは、カメラに適用されるコマンドからシーケンスのセットの映写効果を決定する。ついで、この効果に関連付けられたハプティックメタファが、このシーケンスのセットに適用される。
写真の変換提案 // JP2016508248
方法、コンピュータプログラム製品、及び、システムが記載されている。画像の特徴が特定される。1つ以上の他の画像が、画像のこの特定された特徴に類似する1つ以上の他の特徴を含む1つ以上の他の画像に、少なくとも部分的に基づいて1つ以上の他の画像を特定する。第1の画像フィルターを含む、1つ以上の他の画像と関連付けられた1つ以上の画像フィルターが特定される。第1の画像フィルターが前記画像に適用される。
【選択図】図2
異なるグループに分けて配置された複数のハードキーボタンを含む制御パネルを提案する。第1グループのボタンは、所定のシーン設定を選択するように割り当てられる。第2グループのボタンは、現在放送されているシーンのための信号を選択するように割り当てられる。第3グループのボタンは、第1グループのボタンを操作することによって選択可能な次のシーンのための信号を選択するように割り当てられる。ハードウェア制御パネルは、TV制作のワークフローに適合する操作インタフェースを提供する。それは、TV番組中に必要になる全ての機能に対し、概念に関連して直接アクセスすることを可能にする。しかし、特定のシーンで必要とされない機能に対してはアクセスすることはできない。したがって、それはTV制作中の誤動作を著しく低減あるいは防止さえする。
本発明はシーン15に構造化光パターン9を投影するためのレーザー装置10に関する。装置は半導体レーザー2の複数のアレイ1から成り、各アレイ1は半導体レーザー2の発光領域2aの不規則分布を有する。一つ若しくは複数のイメージング光学系4は上記アレイ1をイメージング空間に画像化し、イメージング空間において上記アレイ1の画像を重ね合わせて上記光パターン9を形成する。提案されるレーザー装置は例えば自動車用途において三次元イメージングシステムのために使用され得る高いコントラストと効率を備える光パターンを生成する。
本発明の実施例は、撮影方法、装置、および端末を開示する。本方法は、カメラが起動されたことが検出された後、プレビュー画像を表示するように撮影者に面した表示画面に指示するステップと、予め設定された照明パラメータを取得するステップと、予め設定された照明パラメータを使用することによって照明を提供するように被写体に面した表示画面を制御するステップと、撮影指示に従って画像を撮影するステップと、を含む。本発明の実施例において、表示画面は補助光源として使用されることが可能であり、表示画面は予め設定された照明パラメータを使用することによって照明を提供するように制御され、それによって、弱い光の状況でカメラによって撮影された画像の品質は向上する。
To top