シーン不変化されたメタデータを生成するためのシステムおよび方法

 

【解決手段】映像データストリームに対してシーン不変的なメタデータを生成および適用するための、方法およびシステムを本願において開示する。映像データストリームをシーンに分割または区分けし、映像データのある1つのシーンについてメタデータの第1のセットが生成され得る。メタデータの第1のセットは、メタデータの第1のセットは、映像コンテンツの所望の関数としての、任意の公知のメタデータ(例えば輝度など)であり得る。メタデータの第1のセットは、フレーム単位で生成され得る。一例において、そのシーンについてのメタデータの第1のセットとは異なる、シーン不変的なメタデータを生成してもよい。シーン不変的なメタデータは、シーン中における所望の特徴部を監視することによって生成され、その所望の特徴部を許容可能な範囲の値に保つために用いられ得る。これにより、映像データのレンダリングに際して、目立ちかつ場合によっては邪魔になる視覚的アーチファクトを回避することを助け得る。
【選択図】図4

 

 

本願は、2013年7月30日付け出願の米国仮特許出願第61/859,956号に基づき優先権主張を行う。その開示全体を、本願において参考のため援用する。
本発明は、映像コンテンツの制作およびレンダリングに関し、特に、ターゲットディスプレイ上における映像データのレンダリングを改善するために、関連付けられたメタデータを生成するためのシステムおよび方法に関する。
映像ファイル中のメタデータは典型的にはフレームごと、またはキーフレームについて生成される。しかし多くの場合、再生映像は、映像コンテンツの視聴者にとって邪魔なアーチファクトを有する可能性がある。これらのアーチファクトは、シーン間(例えばある共通の特徴部を有するシーンなど)において目立ち得る。例えば、カメラは、空間的および時間的に移動中(例えば、ある瞬間には暗く照らされた部屋にいたが、戸外の太陽に照らされた空間に移動するなど)の、ある一人の俳優の映像を撮影しているかもしれない。
周囲条件のそのような変化は、視聴者にとって目立つアーチファクトを生成し得る(俳優の顔の色調が変化するなど)。これは、例えば輝度や色域レンダリングなどの性能に関して制限を有するようなターゲットディスプレイ上で映像コンテンツが表示される場合において、特にそうである。コンテンツの制作者(creater)(ディレクターまたはポストプロダクションの専門家など)は、シーンベースのメタデータを作成することにより、そのようなアーチファクトを緩和でき得る。
所望の映像データストリームに対して、シーン不変的なメタデータを生成および適用するための、方法およびシステムを本願において開示する。提供されるシステムおよび/または方法では、映像データストリームをシーンに分割または区分けし、映像データのある1つのシーンについてメタデータの第1のセットが生成され得る。メタデータの第1のセットは、映像コンテンツの所望の関数としての、任意の公知のメタデータ(例えば輝度、色域など)であり得る。メタデータの第1のセットは、フレーム単位で生成され得る。一実施形態において、そのシーンについてのメタデータの第1のセットとは異なる、シーン不変的なメタデータを生成してもよい。シーン不変的なメタデータは、シーン中における所望の特徴部を監視することによって生成され、その所望の特徴部を許容可能な範囲の値に保つために用いられ得る。これにより、映像データのレンダリングに際して、目立ちかつ場合によっては邪魔になる視覚的アーチファクトを回避することを助け得る。
一実施形態において、映像データストリームにおいてシーン不変的なメタデータを用いる方法であり、前記方法は、映像データストリームをシーンの集合に分割し、前記シーンの集合内の第1のシーンに関連付けられた第1のメタデータを生成し、シーン不変的なメタデータを生成し、前記シーン不変的なメタデータを前記第1のシーンに関連付ける。
別の実施形態において、シーン不変的なメタデータを映像データに用いるシステムであり、前記システムは、プロセッサと、前記プロセッサに対応付けられたメモリとを有し、前記メモリはプロセッサ読み取り可能な命令を含んでおり、前記プロセッサが前記プロセッサ読み取り可能な命令を読みだすことにより、以下の命令を前記プロセッサに実行させる。すなわち、シーンの集合を含む映像データストリームを受け取ることと、前記シーンの集合について、前記シーンの集合に関連する第1のメタデータを生成することと、シーン不変的なメタデータのセットを生成することと、少なくとも1つのシーンについて、シーン不変的なメタデータを前記少なくとも1つのシーンに関連付けることである。
さらに別の実施形態において、ビデオプロセッサは、プロセッサと、前記プロセッサに対応付けられたメモリとを有し、前記メモリはさらにプロセッサ読み取り可能な命令を含んでおり、前記プロセッサが前記プロセッサ読み取り可能な命令を読みだすことにより、以下の命令を前記プロセッサに実行させる。すなわち、シーンの集合を含む入力映像データストリームを受け取ることと、少なくとも1つのシーンに関連付けられたメタデータの第1のセットを受け取ることと、あるシーンカットは前記入力映像データストリームの実質的に次のフレームであるという標示(indication)を受け取ることと、シーン不変的なメタデータを受け取ることと、前記シーン不変的なメタデータを、前記入力映像データストリームの実質的に次のフレームに関連付けることである。
本システムのその他の特徴および利点が、以下に詳細な説明において、本願に添付する図面とともに読まれることにより示される。
図1は、本発明の原理により構成された映像パイプラインシステムの、環境およびアーキテクチャの一実施形態を示す。 図2Aは、本願の目的に適し得る、映像パイプラインフローチャートの2つの実施形態を示す。 図2Bは、本願の目的に適し得る、映像パイプラインフローチャートの2つの実施形態を示す。 図3は、ある一例のターゲットディスプレイのディスプレイ管理において起こり得る映像処理の、高次フロー図の一実施形態である。 図4は、1つの映像ファイルに対する、シーン不変的なメタデータの生成および関連付けのための映像処理の、一実施形態である。 図5は、映像パイプラインにおける、シーンチェンジの予告通知を含むフローチャートの、一実施形態である。 図6は、シーンに区分けされた映像ファイルの一例および、シーンチェンジの標示を含むあるシーン内の1フレームを示す。
実施形態例を、図面の中でそれぞれ言及したものに示す。本願において開示する実施形態および図面は、例示的なものであり、限定的ではないと見なされることを意図している。
本願において、「構成要素」、「システム」、「インターフェース」などの語は、コンピュータに関連するもの(ハードウェア、ソフトウェア(例えば実行中の)および/またはファームウェアであっても)を指すことが意図される。例えば、ある構成要素は、プロセッサ上で走っているプロセス、プロセッサ、オブジェクト、実行可能コード(executable)、プログラムおよび/またはコンピュータであり得る。例示として、サーバー上で走っているアプリケーションもまたそのサーバーも、構成要素たり得る。1つのプロセス中には1つ以上の構成要素が存在し得る。また、1つの構成要素は、1つのコンピュータ上に局在してもよく、および/または2つ以上のコンピュータ間に分散されていてもよい。また1つの構成要素が、通信に関連するもの(ハードウェア、ソフトウェア(例えば実行中の)および/またはファームウェアであっても)に言及することも意図され、これは通信を支配するのに十分な有線または無線のハードウェアを構成し得る。
以下の説明において、当業者に完全な理解を提供するために、具体的な詳細を説明する。しかし、開示が不用意に不明瞭になることを避けるため、周知の事項は図示または説明していない場合がある。従って、説明および図面は、例示的な意味でとらえられるべきであり、限定的にとらえられるべきではない。
序説
時間的安定性を得るため(例えば、ちらつき、脈動、フェーディングなどがないように)、また、ターゲットディスプレイ上での再生映像における邪魔になる可能性のある視覚的アーチファクトを緩和するために、映像データに関連付けられるメタデータは、概して時間的に安定であることが望ましいといえる。これはいくつかの実施形態においては、一シーンの持続期間にわたってメタデータの安定性を図ることにより、実現される。そのようなメタデータは、各シーンカットにおいて変化することが許されてもよい。そのような場合、コンテンツに適応したメタデータの変化は、視聴者にとって目立たないものであり得る。
単なる一例として、表示直前に、映像/画像データメタデータをフレーム単位で推測することが可能である。ただしこれは、ある1つのシーンの見た目において(場合によっては1つのシーンの最中に)、不快で目立つ変化を起こし得る。
本願のいくつかの実施形態として、映像データに関連するおよび/または関連付けられたメタデータを、生成またはその他作成するシステムおよび方法を、本明細書において記載する。本明細書においてより詳しく説明されるように、本願の多くの実施形態において、この関連付けられたメタデータはシーン単位で生成され得る。そのようなメタデータは、映像データストリームのフロントエンド、または映像データストリームのその他任意の適切な部分に作成され得る。映画館やホーム視聴環境やテレビ会議であるかによらず、またどこで映像データが視聴および/または享受されるかによらず、映像データは、映像データのユーザー/消費者/視聴者に送信および/または送られ得る。
多くのメタデータ生成および/またはメタデータ使用技術が、同一出願人に係る以下の特許および/または特許出願に記載されている。
(1)Messmerの2013年3月28日公開の、「TONE AND GAMUT MAPPING METHODS AND APPARATUS」の名称を有する米国特許出願第20130076763号、
(2)Messmerらの2013年6月27日公開の、「DATA TRANSMISSION USING OUT−OF−GAMUT COLOR COORDINATES」の名称を有する米国特許出願第20130162666号、
(3)Longhurstらの2013年6月6日公開の、「METADATA FOR USE IN COLOR GRADING」の名称を有する米国特許出願第20130141647号、および
(4)Messmerらの2012年12月13日公開の、「VIDEO DELIVERY AND CONTROL BY OVERWRITING VIDEO DATA」の名称を有する米国特許出願第20120315011号。
上記すべてについて、その開示全体を本願において参考のため援用する。
図1、2Aおよび2Bは、本願のシステムおよび/または方法を適用し得る、いくつかの環境システム(それぞれ100、200、206)を全体的に示す。これらのシステムは、エンドツーエンドの映像生成/送信/視聴映像パイプラインの可能性を表しており、例えば、映像が撮影され、シーン単位のメタデータが抽出されて映像ストリームに入れられて配信され、ターゲットディスプレイに送られて視聴される。
図1において、システム100(またはその一部)は、本明細書に記載される方法の1つ以上を実行するように構成され得る。システム100の構成要素は、ソフトウェア、ファームウェア、ハードウェアおよび/またはその組み合わせとして実現され得る。システム100は、映像キャプチャサブシステム102、ポストプロダクションサブシステム103、および表示サブシステム104を含む。映像データのストリーム123(より具体的には、映像ストリームパイプライン中の異なる点を123−1、123−2、123−3としている)は、映像キャプチャサブシステム102によって生成され、ポストプロダクションサブシステム103に供給されて処理および編集を受ける。映像データ123の編集の過程において、映像イメージは、ポストプロダクションサブシステム103のリファレンスディスプレイ111上で表示および視聴され得る。編集された映像データ123は、表示サブシステム104(配信媒体125を介し、エンコーダ127Aおよびデコーダ127Bを通る)に供給されて、さらなる処理を受け表示される。サブシステム102、103および104(そしてエンコーダ127A)の各々は、映像データ123中のメタデータ225を符号化するように構成され得る。下流のサブシステムは、上流機器から映像データ123を受け取り、その中に埋め込まれたメタデータ225を復号化するように構成され得る。メタデータ225は、下流のサブシステム(例えばサブシステム103および104)によって、映像データ123の処理および/または表示をガイドするために用いられ得る。メタデータ225は、ディスプレイ特性パラメータ120とともに、表示サブシステム104のディスプレイ118上での映像再生を、表示サブシステム104が制御および/またはガイドするために用いられ得る。
図1に示すように、サブシステム102、103および104はそれぞれ、プロセッサ106、108および116ならびに、各プロセッサがアクセス可能なプログラムメモリ107、109および117を有していてもよい。各プロセッサ(他所にも記載)は、中央処理装置(CPU)、1つ以上のマイクロプロセッサや1つ以上のフィールドプログラマブルゲートアレイ(FPGA)、あるいはその任意の組み合わせや、またはその他の本明細書記載のように機能することが可能な、ハードウェアおよび/またはソフトウェアを包含する適切な処理装置(単数または複数)を有し得る。各サブシステムにおいて、プロセッサは、プログラムメモリに格納されたソフトウェアによって与えられる命令を実行する。ソフトウェアは、本明細書に記載のメタデータ生成、符号化、復号化、および処理ステップを実行するためのルーチンを含み得る。例えば、以下を行うルーチンである。
(1)メタデータ225を生成する、またはメタデータ225のパラメータを受け取ること、
(2)映像データ123中のメタデータ225を、そのような映像データが下流機器に伝えられる前に、符号化すること、
(3)上流機器から受け取った映像データ123から、メタデータ225を復号化すること、
(4)映像データの処理および/または表示をガイドするために、メタデータ225を処理および適用すること、
(5)画像および/または映像データ123に基づいて、メタデータ225を符号化する方法を選択すること、
(6)および/またはその他。
システム100は、サブシステム102、103および104がアクセス可能なリポジトリ110を有していてもよい。リポジトリ110は、メタデータ定義112のライブラリ(これらは例えば、メタデータのエンコーダおよびデコーダに、どのようにしてメタデータを生成および/または読み出しするかを知らせる)および、予約語114のリスト(例えば保護されている画素値、あるいは予約されたメタデータワード)を含み得る。メタデータ定義112のライブラリは、メタデータの生成、符号化および/または処理の際に、サブシステム102、103および104によってアクセスされ得る。メタデータ225を符号化または復号化するに際して、符号化/復号化されたメタデータビットに対して予約語114を比較することにより、メタデータストリームに挿入しようとしている(または挿入された)ガードビットのシーケンスを識別することができ、これにより、予約語の伝達を防ぎ得る。図1に例示した実施形態では共有されたリポジトリ110を示しているが、他の実施形態において、サブシステム102、103および104のそれぞれが、そのサブシステムによりアクセスされることが可能な記憶媒体に格納された、ローカルリポジトリ110を備えてもよい。
図2Aは、特定の実施形態における映像供給パイプライン200を通るデータの流れを示す、フローチャートである。映像供給パイプライン200は、図1の映像供給パイプライン100に示したものと同様な段を含んでいる。映像供給パイプライン200の1つ以上の段において、メタデータ225を生成し、下流の段で使用されるために映像データ123のストリームに埋め込んでもよい。メタデータ225は映像データ123とともに、映像供給パイプライン200を介して送信され、下流機器による映像データの処理をガイドし、および/またはブロック210の表示サブシステムにおける映像再生をガイドするために用いられ得る。ブロック206において映像データ123(埋め込まれたメタデータ225を含む)は、当該タイプの映像コンテンツ供給に適したシステム、装置および方法(例えば衛星、ケーブルまたはハイデフィニションネットワークを介したテレビ放送や、IPまたは無線ネットワークを介したマルチメディアのストリーミング、DVDその他の記憶媒体からの再生など)を用いて、表示サブシステムに供給され得る。
図2Aの実施形態において、ブロック202でカメラメタデータ225Aを生成し、映像データ123−1に埋め込み得る。カメラメタデータ225Aは、カメラ設定おび映像フレームの撮影環境に基づいて生成され得る。カメラメタデータ225Aは例えば、映像フレームの撮影中におけるカメラ設定のスナップショットを与えるような、カメラパラメータを含んでいてもよい。そのようなカメラパラメータは、絞り(f値)、レンズ、シャッタースピード、感度(ISO規格値)などを含み得る。これらのカメラパラメータを用いて、映像供給パイプライン200における後のステップ、例えばブロック204のポストプロダクション編集でのカラー調整(例えばカラータイミング)やブロック210の表示構成など、をガイドすることができる。
ブロック204において、ポストプロダクションメタデータ225Bを生成し、映像データ123−2に埋め込む。ポストプロダクションメタデータ225Bは、リファレンスディスプレイおよび環境メタデータ225B1と、ソース映像コンテンツ特性定義メタデータ225B2とを含み得る。ポストプロダクションメタデータ225Bは、ブロック210の表示構成などの、映像供給パイプライン200における後のステップをガイドするために用いられ得る。
リファレンスディスプレイおよび環境メタデータ225B1は、ブロック204のポストプロダクション編集で用いられる、リファレンスディスプレイ構成およびスタジオまたは視聴環境を記述していてもよい。例えば、ブロック204のポストプロダクション編集において映像データ123を表示するために用いられるリファレンスディスプレイに関して、リファレンスディスプレイおよび環境メタデータ225B1は、以下のパラメータを含み得る。
(1)微細な解像度における、リファレンスディスプレイのトーンおよび色域範囲を記述する、3D色域マッピング、
(2)リファレンスディスプレイのトーンおよび色域範囲を定義する、(3D色域マッピングを推測するために用い得る)縮小したパラメータセット、
(3)各クロミナンスチャンネルについて、リファレンスディスプレイのトーンレスポンスを記述する、システムのトーンレスポンスパラメータ、
(4)画面サイズ、
(5)および/またはその他
リファレンスディスプレイおよび環境メタデータ225B1はまた、ブロック204のポストプロダクション編集において、リファレンスディスプレイ上で映像コンテンツがカラータイミングを取られたまたは編集されたスタジオ環境を記述する、パラメータを含んでいてもよい。そのようなパラメータは、周囲輝度および周囲色温度を含み得る。
ソース映像コンテンツ特性定義メタデータ225B2は、以下を識別または提供し得る情報を含む、ポストプロダクション編集された映像コンテンツを記述していてもよい。
(1)トーンマッピング(例えば、ディスプレイにおけるトーン拡張をガイドするために用いられ得る、カスタマイズされたトーンマッピングパラメータまたは曲線)および色域マッピング(例えば、ディスプレイにおける色域拡張をガイドするために用いられ得る、カスタマイズされた色域マッピングパラメータなど)、
(2)シーンにおいて重要と考えられる最低黒レベルのレベル(例えば車の下の影など)、
(3)あるシーンの最も重要な部分に対応するレベル(例えば俳優の顔など)、
(4)シーンにおいて重要と考えられる最高白レベルのレベル(例えば電球の中心など)、
(5)シーンにおける最大色度の色(例えばネオンライトなど)、
(6)画像内の光源、または画像内の反射体または発光体の位置マップ、
(7)映像ソースコンテンツの色域、
(8)画像中の、わざとリファレンスディスプレイの色域の外にカラータイミングされている領域、
(9)ビデオプロセッサによる表示前の処理中や表示構成中に変更されるべきでない、保護されているカラー、
(10)画像を輝度または色域的に特徴付ける画像ヒストグラム(例えばこのような情報は、下流機器がトーンおよび色域マッピングを整えるために平均輝度を決定するために用いられ得る)、
(11)以前の映像フレームからの統計またはヒステリシスが既に有効ではないことを下流機器に警告する、シーンチェンジまたはリセットフラグ、
(12)動いている物体を識別し映像コンテンツを特徴付ける、モーションマップ(下流機器は、これを光源位置マップとともに用いてトーンおよび色域マッピングをガイドし得る)、
(13)カラータイミングされているコンテンツのソースの標示(例えばカメラから直接、あるいはポストプロダクション編集)、
(14)デコーダ/テレビその他のディスプレイなどの下流機器を制御するために用い得る、ディレクターの制作意図設定であって、例えばそのような設定は、ディスプレイが特定のモードで動作する能力を提供する、表示モード制御(例えば、鮮やか、シネマ、スタンダード、プロフェッショナルなど)・適切な色域またはトーンマッピングなどを決定するために用いられ得る、コンテンツタイプ(例えばアニメーション、ドラマ、スポーツ、ゲームなど)を含む、
(15)および/またはその他。
ブロック206において、映像データ123−2は表示サブシステムに供給される。図2Bに示されるように供給パイプライン206は、衛星、ケーブルまたはハイデフィニションネットワーク、IPまたは無線ネットワーク、あるいはDVDその他の記憶媒体などの映像配信媒体125を介して、映像データ123の配信、放送または送信を行わせるための、エンコーダ段127Aを有し得る。媒体125を介して配信された映像データ123を復号化するためのデコーダ段127Bが、ブロック206のディスプレイ側に設けられ得る。デコーダ段127Bは、例えばセットトップボックスや、表示サブシステム内のデコーダによって実現されてもよい。ブロック206および/または208において、視聴環境メタデータ225Cおよび/またはその他のメタデータ225を、映像データ123に埋め込み得る。視聴環境メタデータ225Cは例えば、以下のものを含み得る。
レファレンスモニタのトーンマッピングまたは色域曲線、あるいは基準環境の周囲輝度を与える、Advanced Video Coding(AVC)VDRエンコーダデータ。この情報の少なくとも一部分は、ビデオプロセッサによって、表示特性(例えばディスプレイのExtended Display Identification Data(EDID)を読みだすことにより)および表示サブシステムの環境を知ることにより決定されてもよい。いくつかの実施形態において、この情報の少なくとも一部は、映像データのポストプロダクション処理中においてスタジオにて決定されてもよい。
表示サブシステムのディスプレイが存在している環境を記述するパラメータ。このようなパラメータは例えば、周囲輝度および/またはトーンあるいは色温度を含み得る。
視聴環境メタデータ225Cは、ブロック208における映像データの処理および/またはブロック210における表示構成をガイドするために用いられ得る。
表示サブシステムは、ブロック208において入力映像データ123−3を処理するためのビデオプロセッサを備える。表示サブシステムのビデオプロセッサは、映像データ123から抽出したメタデータ225(例えばメタデータ225A)および/または表示サブシステムのディスプレイに関する既知の表示特性に基づいて、映像データ123−3に対し信号処理を行い得る。映像データ123は、ディスプレイ特性定義パラメータ226および/またはメタデータ225に従って、ディスプレイに対し処理および調節され得る。
ブロック206および/または208、あるいは映像供給パイプライン200中のその他の段において映像データ123に埋め込まれ得るその他のメタデータ225は、例えば以下のような管理メタデータ225D(配信権利などを管理するための)である。
(1)映像コンテンツがどこで生成されたか、配信されたか、改変されたかなどを示す透かしデータ、
(2)検索またはインデックス化のための映像コンテンツの記述を提供する、フィンガープリント化データ、
(3)誰が映像コンテンツを所有するかおよび/または誰がそれに対するアクセスを有するかを示す、保護データ、
(4)および/またはその他。
視聴環境メタデータ225Cは少なくとも部分的に、表示サブシステムのディスプレイに関連付けられたディスプレイ特性定義パラメータ206に基づいて生成され得る。いくつかの実施形態において、視聴環境メタデータ225C、ソース映像コンテンツ特性定義メタデータ225B2および/または管理メタデータ225Dは、エンコーダ段127A、デコーダ段127Bおよび/またはブロック208のビデオプロセッサにおける、映像データ103の分析によって作成または提供されてもよい。
ブロック210において、表示サブシステムのディスプレイ上で表示構成を行い得る。表示構成のための適切なパラメータは、ディスプレイ特性定義パラメータ226および/またはメタデータ225、例えばカメラメタデータ225A、ポストプロダクションメタデータ225B(リファレンスディスプレイおよび環境メタデータ225B1およびソース映像コンテンツ特性定義メタデータ225B2を含む)および視聴環境メタデータ225Cなどに基づいて、決定し得る。これらのパラメータに従ってディスプレイが構成される。映像データ123を、ディスプレイに出力する。
ブロック208の映像データ123の処理およびブロック210の表示構成に用いられるメタデータ225は、その適用の前にメタデータ225が表示サブシステム(ビデオプロセッサおよびディスプレイを含む)によって受け取られるように、映像データストリームにおいて供給される。いくつかの実施形態において、メタデータ225は、メタデータ225が適用されるフレームの少なくとも1つ前の映像フレームにおいて表示サブシステムに受け取られるように、供給される。特定のいくつかの実施形態において、メタデータ225は1映像フレーム前に供給され、ブロック208および/または210におけるメタデータ225の適用は、入力映像ストリームにおいて新しい映像フレームが検出されることによってトリガされてもよい。
シーン単位の「不変的な」メタデータ
前述したように、映像ファイル中のメタデータは、シーン単位で取得することが望ましい場合があり得る。本明細書に記載されるように、本願のいくつかの実施形態においては、シーン単位でメタデータを取得(例えば輝度、色域その他に基づき)してもよい。特に一実施形態においては、同一および/または同様なシーンにわたって適用され得るような、「不変的な」メタデータのセットを提供してもよい。
一実施形態において、各シーンはグローバルシーンメタデータに関連付けられ得る。グローバルシーンメタデータとは、1シーン内のフレーム依存的な特性(例えば各フレーム内の最小、最大、および中間の輝度値など)に応じて生成され得る。同様な特性を有するシーンは、同じメタデータを共有することをまた強制され得るため、表示中においてそれらは同じルック・アンド・フィールを保つ。別の実施形態において、受信側はまた「予告通知メタデータ」を受け取る。これは例えばすなわち、未来のシーン用のメタデータであり、DM処理に関連するパラメータを受信側は前もって準備することができるようになる。
「不変的な」シーンメタデータの概念の理解のために、以下の説明を単なる解説として述べるが、これは本願の範囲を限定するものではない。数個のシーンにわたる間、色および明るさを安定に保つことが望まれる場合がある。一例として、ある「シーン」において二人の俳優がいるが、映像フレームのシーケンスの中で、カメラはまず一方の俳優に、それから他方の俳優へと言うようにカットを向けていくとする。例えば、1つのセットにおける二人の俳優の間の長い会話などの場合である。これは演劇的には1つの「シーン」を構成するものであるが、2つの異なるカメラカットが、視聴者にとって目立ちかつ邪魔であるような色および/または輝度のシフトを引き起こし得る。いくつかの実施形態においては、例えば、シーン全体の安定した見た目を得るために、各カットにつき異なるメタデータを有することも可能であり得る。
別の一例として、ある「シーン」において一人の俳優がいるがその俳優は動き回っており、カメラがその俳優を追うことを考える。やはりこれは演劇的には1つのシーンであり得るが、視聴者にとって目立つおよび/または邪魔な輝度および/または色のシフトが起こり得る。さらに別の一例として、ディレクターは、数フレームの期間のうちにあるシーンがその輝度を減少(おそらくはゼロまで)し、その一方で別のシーンが低い(例えばゼロの)輝度から開始して最大輝度に至るような、「ディゾルブ」(または「クロスフェード」)手法を利用し得る。そのようなディゾルブまたはクロスフェードは、画面上の俳優に対するフラッシュバックを表現したり、または他の目的で用いられることがある。
これらの状況は、ディレクターが撮影された映像のポストプロダクション処理を行っているような場合に、当てはまり得る。そのようなディレクターは、例えば5000ニトに達するような輝度を有するプロフェッショナルグレードのモニタ上で、映像をカラーグレーディングまたは輝度マッピングしているかもしれない。しかし、動画は、よりずっと低い輝度を有する家庭用ビデオ機器または他の何らかのターゲットディスプレイ)で視聴されるかもしれない。このことを事前に分かっていれば、ディレクターまたはその他のコンテンツの制作者は、視聴者によるコンテンツ体験を改善する機会が得られることになる。
これら数個の例(およびここで述べていない他の例)に基づけば、視聴者の視点からは(映像コンテンツ制作者/ディレクターの視点ではないとしても)、メタデータをシーン単位で適用すること、および/または、ある1つのシーンおよび/またはフレームの1シーケンスに対していつ「不変的な」メタデータを適用するか(これらは、現シーン/フレームに対して別の違った、おそらくはフレームベースの、メタデータを用いていたかもしれない)を決定するプロセスを実施することが、望ましいと考えてよい。
ホームビデオ的な状況において、家庭のディスプレイに対し、映像データの「最善な」(あるいは「より良い」)マッピングを提供しようとするディスプレイ管理(Display Management(DM))プロセッサが存在している場合が、しばしばある。DMは、利用可能な表示映像データから、ターゲットディスプレイに対して良好な輝度マッチングを提供するために、往々にしてダイナミックレンジマッピングを提供する。ダイナミックレンジマッピングは、マッピングを可能にするために、輝度統計に基づいたメタデータ、例えば、最大輝度、算術平均輝度および/または最小輝度を用い得る。
同一出願人に係るいくつかの特許出願に、ディスプレイ管理(DM)システムおよび手法が開示されており、本願のシステムおよび方法において有用であり得る。すなわち、
(1)Gishらの2011年8月11日公開の、「COMPATIBLE COMPRESSION OF HIGH DYNAMIC RANGE, VISUAL DYNAMIC RANGE, AND WIDE COLOR GAMUT VIDEO」の名称を有する米国特許出願第20110194618号、
(2)Longhurstの2012年9月13日公開の、「INTERPOLATION OF COLOR GAMUT FOR DISPLAY ON TARGET DISPLAY」の名称を有する米国特許出願第20120229495号、
(3)Messmerの2012年12月20日公開の、「VIDEO DISPLAY CONTROL USING EMBEDDED METADATA」の名称を有する米国特許出願第20120321273号、および
(4)Seetzenらの2013年2月14日公開の、「DISPLAY MANAGEMENT METHODS AND APPARATUS」の名称を有する米国特許出願第20130038790号である。
上記すべてについて、その開示全体を本願において参考のため援用する
不変的なシーンメタデータの一実施形態
図3に、本願の高次ブロックフロー図の一実施形態を示す。映像パイプライン300は、符号化されたビットストリーム301を受け取る。符号化されたビットストリーム301はさらに、映像/画像データを、何らかの使用可能なフォーマットの形のメタデータ(例えばフレーム単位、シーン単位、および輝度統計に基づくメタデータ、カラーマッピングメタデータその他を含む)とともに、含み得る。
この符号化ビットストリーム301は、デコーダ302によって受け取られ得る。デコーダ302は、パーサー304をさらに含んでいてもよい。デコーダ302は、暗号化、圧縮またはその他当該分野において公知の任意の方法で符号化されている、入力ビットストリームを復号化する。復号化された後、入力ビットストリームはパーサー304によってパースされ得る。パーサー304は、映像/画像データからメタデータを吐き出し得る。
抽出された映像/画像データは、その関連付けられたメタデータとともに、中間ビットストリーム303として送り出される。ビットストリーム303はまた、本明細書においてさらに説明されるように、下流のプロセッサ(単数または複数)に対してどのメタデータを適用するかなどを知らせる、1つ以上のフラグ(またはその他の何らかの標示、信号など)305を含んでいてもよい。
中間ビットストリーム303および/または任意のフラグ305は、ディスプレイ管理(DM)モジュール306によって受け取られ得る。DMモジュール306は、最後の画像/映像データがターゲットディスプレイ308に送られる前に、任意の所望の画像/映像マッピングを適用してもよい。ターゲットディスプレイ308は、画像および/または映像データを視聴者に表示し得る、任意の適切な機器であり得る。単なる例として、そのようなターゲットディスプレイ308は、HDテレビジョン、ムービープロジェクター、デスクトップモニタ、ラップトップ、タブレット、スマート機器などであってもよい。
前述のように、本願のいくつかの実施形態は、シーン単位のメタデータ(例えば可能性として「不変的な」シーンメタデータのセットである)を計算および/または導出することを包含し得る。不変的なシーンメタデータを用い得るタイミングにおいて(その他の利用可能なメタデータ(シーンベースであるかフレームベースであるかを問わず)に代わるものとして)、パイプラインはそのような不変的なシーンメタデータを適切に用いることができ、このことにより、視聴者にとって目立つおよび/または邪魔なアーチファクトの可能性を緩和する。
単なる一例として、暗い洞窟の中のシーンを考える。画像は、洞窟の暗いディテールをすべて示しているかもしれない。しかし、もしカメラがパンして洞窟の開口部(明るい)を向いたならば、適応的なマッピングにより画像をこれに応じて調節すればよい。例えば、新しいより明るい画素に対応するためには、洞窟の壁の暗いディテールを下げればよい。シーン不変的なメタデータの生成および使用により、シーン全体についてマッピングを最適化し得る(例えばシーンの途中において、目立つ変化が無いようにする)。
図4は、不変的なシーンメタデータ処理の高次フローチャート400の一実施形態である。402において、映像データはシーンの集合に分割され得る。このように映像をシーンの集合へ分割および/または区分けすることは、いくつかの方法で達成することができる。まず、区分けは人間のユーザー、例えばディレクター、動画編集者、ポストプロダクションの誰か、などによって行われてもよい。例えば、一実施形態において、編集リスト(Edit Decision List(EDL))からシーンカットが既に分かっているかもしれない。EDLは、いくつかの異なるショットから映画を制作するために用いられ得る。ある一実施形態において、EDLを抽出して、それを用いてシーンの範囲を規定してもよい。このようにすれば、追加的な労力は少なくて済むか、全く必要ない。さらに、ユーザーは自動的に決定された(または抽出された)シーンカットを上書きすることもできる。
あるいは、シーン区分けの識別は、映像データをフレーム単位で分析することによりそのような決定を行い得るビデオプロセッサによって、自動的に行ってもよい。例えば、もし輝度データ、カラーデータまたはその他の画像データ尺度について、測定可能なほどの大きな変動がフレーム間に存在した場合は、ビデオプロセッサはこの差異が2つのシーンの境界を示しているものと決定してよい。このような自動決定は、先読みまたはマルチパス処理によって高められることができる。すなわち、数個のフレームを分析し、画像データ尺度に関して初期的な差異が見いだされれば、もしその尺度がその後多くのフレームにおいて実質的にこの初期的な差異に従っているならば、シーンチェンジが起こった可能性が高いとしてもよい。
本願の目的において、映像データ中におけるシーンは、任意の公知の方法で識別することができる。404においてメタデータを、シーン単位で算出、測定またはその他抽出し得る。単なる一例として、もしあるシーンを構成するフレームが50枚あるならば、シーン全体について輝度データを測定および抽出すればよい。最小輝度、算術平均および/または平均輝度および最大輝度などのシーンメタデータを計算し得る。その他の画像/映像尺度もまた同様に測定および/または抽出することによって、他のシーンベースのメタデータを形成することができる。
以下は、映像ストリーム中においてシーン不変的なメタデータを生成することの、一実施形態である。
(1)MIN、MID、およびMAX輝度を、1シーン内の各フレームについて算出する。そしてその結果をそのシーン全体についてまとめる。
a.MINについては、1シーン内の全フレームの全最小値のうち最小値を取る。
b.MIDについては、1シーン内の全フレームの全中間値のうち中間(平均)値を取る。
c.MAXについては、1シーン内の全フレームの全最大値のうち最大値を取る。
同様な統計を、例えば色域データなどの他の映像/画像尺度についても導出し得ることが、理解される。別の実施形態において、他のシーン依存のメタデータ、例えばシーン内の画像データに対してどの程度のシャープニングまたはスムージングを適用するかなど、を生成することも可能である。
406において、あるシーンについての「不変的な」メタデータのセットを算出し得る。不変的なメタデータは、そのメタデータの用途によっては、先に算出されたシーンベース(またはフレームベース)のメタデータと異なっていてもよい。シーン不変的なメタデータは例えば、目立つおよび/または邪魔な映像データの変化を生んでしまう可能性のあるような(例えば以前に算出されたシーンベースのメタデータを用いてそのシーンを視聴のためにレンダリングしたとしても)、何らかの監視された特徴部、側面、および/または尺度に従って、1つのシーンについて算出および/または生成され得る。例えば、1人の俳優が異なる背景にわたって空間的および時間的に移動すると(例えば1カット中において暗く閉ざされた部屋から明るい戸外の太陽に照らされた設定に移る場合)、俳優の顔その他の肌色トーンのカラーあるいは色合いに関して、目立つおよび/または邪魔な変化が生まれ得る。いくつかの実施形態において、監視された特徴部、側面、および/または尺度に従いもし2つのシーンが知覚的に同様であると考えられるならば、第2のシーンに対するメタデータを、第1のシーン(例えば第2のシーンとは異なる)について算出されたメタデータで置き換えてもよい。第2のシーンは、第1のシーンの後でも前でもよい。
他の特徴部、側面および/または尺度もまた可能である。例えば肌色トーン、光る特徴部/物体、暗い特徴部/物体、カラー特徴部/物体などである。そのような変化は、不変的なシーンメタデータを用いることによって緩和することができる。シーン不変的なメタデータは、1シーンにわたって監視されている特徴部、側面および/または尺度が、許容可能な値の範囲に戻されおよび/または保たれるよう、算出および/または生成され得る。408におけるプロセスは、この不変的なシーンメタデータを、以前にそのシーンと関連付けられていたかあるいは関連付けられていなかったかもしれない任意の他のメタデータに対し、関連付けおよび/または代用し得る。この不変的なシーンメタデータの関連付けおよび/または代用は、例えばそのような特徴部、側面および/または尺度を許容可能な範囲の外に出ることを許してしまうようなメタデータが他に存在するときに、これらの特徴部、側面および/または尺度を許容可能な範囲まで戻すために、用いられ得る。特徴部、側面および/または尺度の許容可能な値の範囲は、手動で(例えばディレクターおよび/または動画編集者によって)決定されるか、あるいは画像処理/レンダリングおよび/または動画編集に関する何らかのルールおよび/または自助学習に従って、決定され得る。
図4に述べる処理は、映像/画像パイプラインの多くの異なるポイントで起こり得ることが、理解される。例えば、映像をシーンに区分けすることは、人間によってポストプロダクションにおいてなされるか、パイプライン中の別のどこかでプロセッサによってなされ得る。またその後のシーンベースのメタデータの算出および/または抽出は、ポストプロダクションまたはパイプライン中の別のどこかでなされ得る。同様に、「不変的な」シーンメタデータの関連付けは、ポストプロダクション中か、あるいは、さらに下流、例えばDMその他のビデオプロセッサによって、最後の映像/画像データをターゲットディスプレイへレンダリング用に送る前に、なされ得る。
その他の実施形態
いくつかの実施形態においては、最大性能を達成するため、マッピング動作は画像コンテンツ依存であってもよい。そのような画像依存的マッピングは、ソースコンテンツから生成されるメタデータによって、制御され得る。時間的安定性を得るため(例えば、ちらつき、脈動、フェーディングなどがないように)、メタデータは概して時間的に安定であることが望ましいといえる。一実施形態においてこれは、一シーンの持続期間にわたってメタデータの安定性を図ることにより支配され得る。メタデータは、各シーンカットにおいて変化させてもよい。そのような場合、コンテンツに適応したメタデータの急激な変化は、視聴者にとって目立たないかもしれない。
一実施形態において、シーン不変的なメタデータを生成するステップは、以下を含み得る。
(1)映像データ中におけるシーンカットの位置を取得する。一実施形態において、これは編集リスト(EDL)から導出され得る。または、これは人間によって手動入力されるか、あるいはプロセッサにより自動的に検出されてもよい。
(2)シーン中のフレームについて、メタデータを算出および/または生成する。すなわち、
a.随意に画像をダウンサンプリング(これは、処理を高速化する傾向にあり、もし数個の外れ画素値があったとしてもその効果を最小にする)
b.画像を所望の色空間(例えばIPT−PQ)に変換
c.画像の最小値を算出(例えばIチャンネル)
d.画像の最大値を算出(例えばIチャンネル)
e.画像の算術平均値を算出(例えばIチャンネル)。
(3)フレームごとの結果をシーンごとの結果にまとめる、すなわち
a.フレームの最小値のそれぞれの、最小値を算出
b.フレームの最大値のそれぞれの、最大値を算出
c.フレームの算術平均のそれぞれの、算術平均を算出。
(4)メタデータを、シーン、あるいはシーン内の各フレームに関連付ける。
上述の実施形態には変形例が可能であり、それらが本願の範囲と見なされることが、理解される。例えば、ステップ(2)においてシーンの各フレームを分析する代わりに、単一の代表的なフレームを選択してメタデータを算出および/または生成し、これをシーン全体に対して関連付けてもよい。
さらに、クロスフェードの両側におけるシーンに対するメタデータを示した後、中間のフレームを補間することにより、クロスフェードに対応してもよい。そのような補間は、両側において線形またはコサインその他の同様な関数を介した漸近線であってもよい。
ステップ(4)の後、メタデータは、正しい映像フレームと適切に同期させながら、符号化されたビットストリームに挿入され得る。メタデータは、規則的に繰り返されることにより、ストリームにランダムに入れられてもよい。
さらに別の実施形態において、予め算出された値をメタデータに含めることにより、復号化された映像を所望の色空間(例えばIPT−PQ)に変換することを助けることが可能である。これは、変換はしばしば固定小数点プロセッサを有する機器上でなされ、そのような機器は除算や指数などのある種の演算が不得意であり得るため、望ましいことがある。予め算出された値を用いそれらをメタデータストリーム中に埋め込むことが、有利であり得る。
シーン不変化されたメタデータの復号化/「予告通知」メタデータ
映像デコーダにおいて、ある新しいシーンの第1番目のフレームと同じフレームにおいて、新しいシーンメタデータが到着してもよい。または、メタデータは、そのシーンの第1番目のフレームよりも前に到着することにより、映像の処理への適用に間に合うように、メタデータを復号化および解釈する時間を稼いでもよい。ビットストリーム送信におけるシーン不変化されたメタデータのロバスト性を改善するために、この「予告通知メタデータ」や他の手法が望ましい場合があり得る。以下のような改良が可能であるが、これらは個別の改良としてもよく、またはいくつかの改良が組み合わせられてもよい。
(1)同一シーン内において、毎フレームにつきメタデータを繰り返す
(2)メタデータ本体中、実質的に次のフレームにおいて起こるシーンカットのインジケータ/フラグを追加する
(3)メタデータ本体中、現フレームにおいて起こるシーンカットのインジケータ/フラグを追加する
(4)次のフレームのメタデータが、現フレームのメタデータと実質的に同一である(または実質的に異なる)ことを示すインジケータ/フラグを追加する、および/または
(5)エラーチェック(例えばCRC32など)のためのデータ完全性フィールドを、メタデータ本体に追加する。
図5は、そのような500の予告通知メタデータフローチャートの一実施形態を示す。502において、システム/パイプラインは、メタデータをシーンごとに算出および/または生成し得る。このメタデータ(不変的なシーンメタデータまたはその他)は、504において映像データビットストリーム中のシーンと関連付けられ得る。そしてシステム/パイプラインは506において、新しいシーンの実際の第1番目のフレームよりも所望の数の(例えば1つ以上の)フレームだけ前に、差し迫っているシーンチェンジの標示を前もって追加してもよい。この標示および/またはフラグは、ビットストリームの一部を構成していて、DM(またはパイプライン内の他の適切なプロセッサ)がこれを通知されてもよい。508においてシステムは、シーンチェンジよりも前もってパラメータおよび/またはマッピングをインストールする時間を、DM(または他の適切なプロセッサ)に与えてもよい。この追加的な時間によりシステムは、映像コンテンツの視聴者にとって邪魔であり得る目立つアーチファクトを回避する機会を得る。
これは、シーンカットの位置に前もってはアクセスし得ない、従来のメタデータ不変化方法に対しての改良となり得る。例えば、シーンカットが前もってわかっていないと、リアルタイムで映像データを分析することか、メタデータを時間とともにスムーズに変化させることにより、メタデータを推測することになる。これはちらつき、脈動、フェーディングなどの画像アーチファクトを発生させ得る。別の実施形態において、メタデータをソースにおいて(例えば映像圧縮の前に)算出することにより、能力のより低いコンシューマー機器において、必要とされる演算すなわちコストを減らすことが可能である。
図6は、複数のシーン(シーン1からシーンN)に区分けされ、さらにこれらが複数のフレーム(例えばフレーム602a)を含むような、映像データ600の一例を示す。シーン1のフレーム602mは、そのフレームに関連付けられた予告通知フラグを有する。このことにより、次に続くシーン2をよりよくレンダリングするように、パラメータおよび/またはマッピングを設定する時間をDMが持つことができる。
本発明の1つ以上の実施形態の詳細な説明を、添付の図面とともに読まれることにより本発明の原理を例示するよう、提示した。本発明をそのような実施形態に関連して説明したが、本発明はいかなる実施形態にも限定されないことが、理解される。本発明の範囲は請求項によってのみ限定され、本発明は多数の代替物、改変、および均等物を包含している。本発明の完全な理解を提供するために、多数の具体的な詳細を本説明において述べた。これらの詳細は例示目的で提供したのであり、本発明は請求項に基づいて、これら具体的な詳細のうちのいくつかまたは全てが無しでも、実施し得る。明瞭さのため、本発明に関連する技術分野において公知である技術的題材は詳細に説明しないことによって、本発明が不用意に不明瞭になることを避けた。



  1. 映像データストリームにおいてシーン不変的なメタデータを用いる方法であって、
    前記映像データストリームをシーンの集合に分割し、
    前記シーンの集合内の第1のシーンに関連付けられた第1のメタデータを生成し、
    シーン不変的なメタデータを生成し、
    前記シーン不変的なメタデータを前記第1のシーンに関連付ける、方法。

  2. 前記映像データストリームをシーンの集合に分割する工程はさらに、
    編集リスト(edit decision list)からシーンカットの位置を導出することを包含する、請求項1に記載の方法。

  3. 前記編集リストから前記シーンカットの位置を導出する工程は、
    前記シーンカットの位置を、プロセッサによって自動的に導出することを包含する、請求項2に記載の方法。

  4. 前記編集リストから前記シーンカットの位置を導出する工程は、
    前記シーンカットの位置を手動で導出することを包含する、請求項2に記載の方法。

  5. 前記シーンの集合内の第1のシーンに関連付けられた第1のメタデータを生成する工程は、
    1つのシーン中の各フレームについてMIN、MID、およびMAX輝度を算出することと、
    前記シーンについてMIN、MID、およびMAX輝度を算出すること
    をさらに包含する、請求項1に記載の方法。

  6. 前記シーン不変的なメタデータを生成する工程は、
    1つのシーン内の特徴部を監視して、前記シーンについての前記シーン不変的なメタデータを決定すること
    をさらに包含する、請求項1に記載の方法。

  7. 前記シーン不変的なメタデータを生成する工程は、
    1つのシーン内の前記監視される特徴部が許容可能な値の範囲内に保たれるように、シーン不変的なメタデータを算出すること
    をさらに包含する、請求項6に記載の方法。

  8. 前記監視される特徴部は、肌色トーン、光る特徴部、暗い特徴部およびカラー特徴部からなる群より選択される1つである、請求項7に記載の方法。

  9. 前記シーン不変的なメタデータを前記第1のシーンに関連付ける工程は、
    シーン不変的なメタデータを前記第1のシーンに関連付けることであって、前記シーン不変的なメタデータは、前記第1のシーンについて生成された前記第1のメタデータとは異なること、
    をさらに包含する、請求項8に記載の方法。

  10. 前記シーン不変的なメタデータを前記第1のシーンに関連付ける工程は、
    あるシーン不変的なメタデータが、前記第1のシーン内の前記監視される特徴部を許容可能な範囲の値に保つならば、そのシーン不変的なメタデータを前記第1のシーンに関連付けること
    をさらに包含する、請求項8に記載の方法。

  11. 前記シーン不変的なメタデータを前記第1のシーンに関連付ける工程は、
    前記第1のシーン内のすべてのフレームについて前記メタデータを繰り返すこと
    をさらに包含する、請求項1に記載の方法。

  12. 前記シーン不変的なメタデータを前記第1のシーンに関連付ける工程は、
    シーンカットの標示を、実質的に次のフレームに追加すること
    をさらに包含する、請求項1に記載の方法。

  13. 前記シーン不変的なメタデータを前記第1のシーンに関連付ける工程は、
    シーンカットの標示を現フレームに追加すること
    をさらに包含する、請求項1に記載の方法。

  14. 前記シーン不変的なメタデータを前記第1のシーンに関連付ける工程は、
    次のフレームのメタデータは、現フレームのメタデータと実質的に同一であるという標示を追加すること
    をさらに包含する、請求項1に記載の方法。

  15. 前記シーン不変的なメタデータを前記第1のシーンに関連付ける工程は、
    次のフレームのメタデータは、現フレームのメタデータと実質的に異なるという標示を追加すること
    をさらに包含する、請求項1に記載の方法。

  16. 前記シーン不変的なメタデータを前記第1のシーンに関連付ける工程は、
    エラーチェックのためのデータ完全性フィールドを、前記メタデータに追加すること
    をさらに包含する、請求項1に記載の方法。

  17. シーン不変的なメタデータを映像データに対し用いるシステムであって、
    プロセッサと、
    前記プロセッサに対応付けられたメモリであって、前記メモリはさらにプロセッサ読み取り可能な命令を含んでおり、前記プロセッサが前記プロセッサ読み取り可能な命令を読みだすことにより、以下の命令を前記プロセッサに実行させる、メモリとを備える、システム:
    シーンの集合を含む映像データストリームを受け取ること、
    前記シーンの集合内の第1のシーンに関連付けられた第1のメタデータを生成すること、
    シーン不変的なメタデータを生成すること、および
    前記シーン不変的なメタデータを前記第1のシーンに関連付けること。

  18. 前記シーンの集合内の第1のシーンに関連付けられた第1のメタデータを生成する命令は、
    1つのシーン中の各フレームについてMIN、MID、およびMAX輝度を算出すること、および
    前記シーンについてMIN、MID、およびMAX輝度を算出すること
    をさらに包含する、請求項17に記載のシステム。

  19. 前記シーン不変的なメタデータを生成する命令は、
    1つのシーン内の特徴部を監視して前記シーンについての前記シーン不変的なメタデータを決定すること.
    をさらに包含する、請求項17に記載のシステム。

  20. 前記シーン不変的なメタデータを生成する命令は、
    1つのシーン内の前記監視される特徴部が許容可能な値の範囲内に保たれるように、シーン不変的なメタデータを算出すること
    をさらに包含する、請求項19に記載のシステム。

  21. 前記監視される特徴部は、肌色トーン、光る特徴部、暗い特徴部およびカラー特徴部からなる群より選択される1つである、請求項20に記載のシステム。

  22. プロセッサと、
    前記プロセッサに対応付けられたメモリであって、前記メモリはさらにプロセッサ読み取り可能な命令を含んでおり、前記プロセッサが前記プロセッサ読み取り可能な命令を読みだすことにより、以下の命令を前記プロセッサに実行させる、メモリとを備える、ビデオプロセッサ:
    シーンの集合を含む入力映像データストリームを受け取ること、
    少なくとも1つのシーンに関連付けられたメタデータの第1のセットを受け取ること、
    あるシーンカットは前記入力映像データストリームの実質的に次のフレームであることの標示を受け取ることと、
    シーン不変的なメタデータを受け取ること、および
    前記シーン不変的なメタデータを、前記入力映像データストリームの実質的に次のフレームに関連付けること。

  23. 前記シーン不変的なメタデータは、1つのシーン内において監視される特徴部を許容可能な値の範囲に保つことに基づいている、請求項22に記載のビデオプロセッサ。

  24. 前記監視される特徴部は、肌色トーン、光る特徴部、暗い特徴部およびカラー特徴部からなる群より選択される1つである、請求項23に記載のビデオプロセッサ。

 

 

Patent trol of patentswamp
類似の特許
本発明に係る熱画像動的記録装置は、連続的に撮影することにより熱画像データフレームを取得する撮影部と、被写体情報を選択する選択部と、動的記録指示に応答して、選択された被写体情報に基づいて、当該選択された被写体情報と関連する情報と、連続的に記録された赤外線データフレームとを関連付けて記録し、赤外線データフレームは取得された熱画像データフレームおよび/または取得された熱画像データフレームに対して所定の処理を行った後に取得されるデータである記録部と、使用者により標記操作を行う操作部と、を含み、記録部は、操作により生じる標記指示に応答して、標記した赤外線データフレームと未標記の赤外線データフレームとを、互いに区別可能な方式により記録する。
【選択図】図1
本開示は、カメラを使用して撮影されたビデオコンテンツのアイテムを再生するための方法に関する。撮影の際に、カメラに適用されるコマンドにより、シーケンスから構成されたビデオコンテンツのアイテムが構築され強化される。再生のために、ビデオコンテンツはシーケンスに分割される。カメラに適用されるコマンドは、シーケンスごとに抽出され、このシーケンスに関連付けられた少なくとも1つのハプティックアクチュエータの制御パラメータを計算することを可能にする。次いで、ビデオコンテンツのシーケンスを再生する際、少なくとも1つの制御パラメータによって少なくとも1つのハプティックアクチュエータを制御する。このようにして、観察者は、再生中にビデオドキュメントの認識を強化することを可能にする刺激を認識する。強化されたコンテンツを再生することができるプレーヤは、カメラに適用されるコマンドからシーケンスのセットの映写効果を決定する。ついで、この効果に関連付けられたハプティックメタファが、このシーケンスのセットに適用される。
本発明は、ビデオ再生方法、装置、およびシステムを開示する。この方法は、元の再生画像を少なくとも2つの対象領域に分割するステップと、少なくとも2つの対象領域の中で、トリガイベントが発生する第1の対象領域を決定するステップと、第1の対象領域の中に表示される第1のビデオ画像の復号データを取得するステップと、第1のビデオ画像の復号データを、再生のための指定された再生ウィンドウに描画するステップとを有している。本発明の実施形態によるビデオ再生方法、装置、およびシステムを用いて、元の再生画像は複数の対象領域に分割され、トリガイベントが発生する対象領域の中の画像は別に表示される。従って、一態様では、ユーザは、対象領域の中でより明確な画像を観察することができ、他の態様では、ユーザは、同時に複数の対象領域の画像を追跡することができ、これによりユーザ経験を大幅に向上させる。
【課題】対象物の音声および/または動画を記録し、対象物の記録を出力するように構成されたレコーダと、当該レコーダと関連付けられた非接触センサとを備えるシステムを提供する。
【解決手段】非接触センサ102は、レコーダ104と実質的に同じ視点からおよびレコーダと同時に、対象物の動きおよび/または振動を測定するように構成および配置される。システムは、非接触センサによって測定された対象物の動きおよび/または振動を、触覚データストリームへと変換する制御装置110とを備える。触覚データストリームは、レコーダによって記録された対象物の記録と共に再生されるべく触覚表示装置130へと送信され、測定された動きおよび/または振動に対応する触覚効果が、記録と同期して触覚表示装置のユーザに提供される。
【選択図】図1A
一般に、本開示は、ビジュアル・キュー検出に基づく閲覧者の反応推定によるビデオ・インデクシング・システムのための方法及びシステムを提供する。本方法は、ユーザにより生成されたビジュアル・キューを検出する検出ステップであって、ビジュアル・キューは、ユーザがビデオを閲覧したことに応じて生成される、検出ステップと、ビジュアル・キューをユーザに関連付けられた感情空間にマッピングするステップと、マッピングに基づいてユーザの感情事象を推定するステップと、メタデータによりビデオをインデクシングするインデクシング・ステップであって、メタデータは、推定された感情事象及び推定された感情事象に関連付けられたタイミング・データを含む、インデクシング・ステップと、を含み得る。本方法は、ビデオ・インデクスに基づく、ビデオの要約、分割、及び検索をさらに含み得る。
アクション動画の自動デジタルキュレーション、注釈、及びタグ付けのための方法及びシステムは、処理システムにおいて、gpsを、及びいくつかの実施形態においては、慣性データを、スポーツアクティビティ中、ユーザーによって支持されるセンサーベースデバイスから受信する。処理システムは、gpsデータと慣性データがある場合にはこれを処理して、少なくとも一つの例えばスポーツ事象を特定し、そしてパフォーマンスデータベース内のスポーツマン事象を特定するデータを格納する。ビデオカメラからの動画データは動画データベースに格納され、その動画データは場所、時間及び動画のフレームに関連付けられた方向の情報を含む。動画レコード内のタイムコードデータはパフォーマンスレコード内のタイムコードデータと同期され、事象を特定するデータは前記動画データを自動的に選択、注釈、タグ付けまたは編集するために使用される。
本発明は、移動端末における情報レコーディング方法及び装置に関し、前記方法は、移動端末の加速度を検出するステップと、前記加速度が予め設定された加速度閾値に達するか否かを判断するステップと、前記加速度が予め設定された加速度閾値に達する場合、移動端末のレコーディング機能を起動して情報のレコーディングを行うステップとを含む。本発明によって、移動端末の限られている筐体の面に特別なボタンを追加して設けることなく、レコーディング機能の迅速な起動を実現でき、タッチスクリーンの移動端末に簡単に適用できる。ユーザにとって、レコーディング機能を起動したい場合、移動端末を激しく揺するだけで自動的にレコーディング機能を起動でき、ユーザがユーザインターフェースで係るソフトウェアを探して起動等の操作を行う必要が無く、操作の迅速性を確保する。
【選択図】図1
2層マルチストランド金属コード(10)は、‐螺旋状に巻かれたK(Kは2以上)本の内側ストランド(TI)で構成された金属ケーブル(10)の内側層(C1)と、‐金属ケーブル(10)の内側層(C1)回りに螺旋状に巻かれたL(Lは2以上)本の外側ストランド(TE)で構成された金属ケーブル(10)の不飽和外側層(C2)とを有する。各内側及び外側ストランド(TI,TE)は、‐2本の内側ワイヤ(F1)で構成されたストランド(TI,TE)の内側層(12)と、‐ストランド(TI,TE)の内側層(12)回りに螺旋状に巻かれたN本の外側ワイヤ(F2)で構成されたストランド(TI,TE)の外側層(16)とを有する。
2層マルチストランド金属コード(10)を製造する方法では、‐ストランド(TI,TE)の外側層(16)を構成するN本のワイヤをストランド(TI,TE)の内側層(12)を構成する2本のワイヤ回りに螺旋状に巻いてストランド(TI,TE)を形成し、‐金属コード(10)の不飽和外側層(C2)を構成する、事前に形成されたL(>1本)の外側ストランド(TE)を、金属コード(10)の内側層(C1)を構成する、事前に形成されたK(>1本)の内側ストランド(TI)回りに螺旋状に巻き、‐巻きコード(TI,TE)の過剰加撚を実施し、‐過剰加撚済みコード(10)を釣り合わすステップを実施してコード(10)中の残留トルクをゼロにし、‐釣り合わされた過剰加撚済みコード(10)の解撚ステップを実施する。
生成された画像において使われている符号化された値と、いかなる特定の画像とも独立に定義される基準値との間の対応関係を含むシーン基準のメタデータが、生成される画像についての画像メタデータの一部として提供されてもよい。下流の画像処理装置または画像レンダリング装置は、画像処理またはレンダリング動作を実行するためにシーン基準のメタデータを使ってもよい。入力画像の符号化された値が対応する出力画像において変更されるときは、シーン基準のメタデータは、出力画像において使用される新しい符号値を用いて更新されてもよい。基準値は、基準色値または基準グレーレベルを指す。符号化された値は、一つまたは複数の画像のピクセルまたはサブピクセルにおいて符号化されている色値またはグレーレベルを表わす。
To top