ビデオ情報のスケーラブルコーディングのためのデバイスおよび方法

 

ビデオ情報をコーディングするように構成された装置は、メモリと、メモリと通信しているプロセッサとを含む。メモリは、参照レイヤとエンハンスメントレイヤとに関連付けられたビデオ情報を記憶するように構成され、参照レイヤは参照レイヤ(RL)コーデックに関連付けられ、エンハンスメントレイヤはエンハンスメントレイヤ(EL)コーデックに関連付けられる。プロセッサは、参照レイヤに関連付けられたRLコーデックが特定のタイプのコーデックであるかどうかを決定することと、RLコーデックが特定のタイプのコーデックであると決定したことに応答して、ビデオビットストリーム中で、参照レイヤの動き情報がエンハンスメントレイヤをコーディングするために使用され得ないという指示を処理することと、を行うように構成される。プロセッサはビデオ情報を符号化または復号し得る。

 

 

[0001]本開示は、ビデオコーディングおよび圧縮の分野に関し、詳細には、スケーラブルビデオコーディング(SVC:scalable video coding)、マルチビュービデオコーディング(MVC:multiview video coding)、または3Dビデオコーディング(3DV)に関する。
[0002]デジタルビデオ機能は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末(PDA)、ラップトップまたはデスクトップコンピュータ、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲームデバイス、ビデオゲームコンソール、セルラー電話または衛星無線電話、ビデオ遠隔会議デバイスなどを含む、広範囲にわたるデバイスに組み込まれ得る。デジタルビデオデバイスは、MPEG−2、MPEG−4、ITU−T H.263、ITU−T H.264/MPEG−4,Part10,アドバンストビデオコーディング(AVC:Advanced Video Coding)、現在開発中の高効率ビデオコーディング(HEVC:High Efficiency Video Coding)規格によって定義された規格、およびそのような規格の拡張に記載されているビデオ圧縮技法など、ビデオ圧縮技法を実装する。ビデオデバイスは、そのようなビデオコーディング技法を実装することによって、デジタルビデオ情報をより効率的に送信、受信、符号化、復号、および/または記憶し得る。
[0003]ビデオ圧縮技法は、ビデオシーケンスに固有の冗長性を低減または除去するために空間的(イントラピクチャ(intra-picture))予測および/または時間的(ピクチャ間(inter-picture))予測を実行する。ブロックベースのビデオコーディングの場合、ビデオスライス(たとえば、ビデオフレーム、ビデオフレームの一部分など)が、ツリーブロック、コーディングユニット(CU:coding unit)および/またはコーディングノードと呼ばれることもあるビデオブロックに区分され得る。ピクチャのイントラコード化(I)スライス中のビデオブロックは、同じピクチャ中の隣接するブロック内の参照サンプルに対する空間的予測を使用して符号化される。ピクチャのインターコード化(PまたはB)スライス中のビデオブロックは、同じピクチャ中の隣接するブロック中の参照サンプルに対する空間的予測、または他の参照ピクチャ中の参照サンプルに対する時間的予測を使用し得る。ピクチャはフレームと呼ばれることがあり、参照ピクチャは参照フレームと呼ばれることがある。
[0004]空間的予測または時間的予測は、コーディングされるべきブロックに関する予測ブロックを生じる。残差データは、コーディングされるべき元のブロックと予測ブロックとの間のピクセル差分を表す。インターコード化ブロックは、予測ブロックを形成する参照サンプルのブロックを指す動きベクトルと、コード化ブロックと予測ブロックとの間の差分を示す残差データとに従って符号化される。イントラコード化ブロックは、イントラコーディングモードと残差データとに従って符号化される。さらなる圧縮のために、残差データは、ピクセル領域から変換領域に変換されて、残差変換係数が得られ得、その残差変換係数は、次いで量子化され得る。量子化変換係数は、最初は2次元アレイで構成され、変換係数の1次元ベクトルを生成するために走査され得、なお一層の圧縮を達成するために、エントロピー符号化が適用され得る。
[0005]スケーラブルビデオコーディング(SVC)は、参照レイヤ(RL:reference layer)と呼ばれることがあるベースレイヤ(BL:base layer)と、1つまたは複数のスケーラブルエンハンスメントレイヤ(EL:enhancement layer)とが使用されるビデオコーディングを指す。SVCでは、ベースレイヤは、ベースレベルの品質でビデオデータを搬送することができる。1つまたは複数のエンハンスメントレイヤは、たとえば、より高い空間的レベル、時間的レベル、および/または信号対雑音(SNR:signal-to-noise)レベルをサポートするために追加のビデオデータを搬送することができる。エンハンスメントレイヤは、前に符号化されたレイヤに対して定義され得る。たとえば、最下位レイヤはBLとして働き得、最上位レイヤはELとして働き得る。中間レイヤは、ELまたはRLのいずれか、あるいはその両方として働き得る。たとえば、中間にあるレイヤは、ベースレイヤまたは介在エンハンスメントレイヤ(intervening enhancement layer)など、それの下のレイヤのためのELであり、同時に、それの上の1つまたは複数のエンハンスメントレイヤのためのRLとして働き得る。同様に、HEVC規格のマルチビューまたは3D拡張では、複数のビューがあり得、1つのビューの情報は、別のビューの情報(たとえば、動き推定、動きベクトル予測および/または他の冗長)をコーディング(たとえば、符号化または復号)するために利用され得る。
[0006]SVCでは、エンハンスメントレイヤ中の現在ブロックは、参照レイヤから導出された情報を使用してコーディング(たとえば、符号化または復号)され得る。たとえば、エンハンスメントレイヤ中の現在ブロックは、参照レイヤ中のコロケートされたブロックの情報(たとえば、テクスチャ情報または動き情報)を使用してコーディングされ得る(本開示で使用する「コロケートされる(co-located)」という用語は、現在ブロック、たとえば、現在コーディングされているブロックと同じ画像に対応する、別のレイヤ中のブロックを指すことがある)。いくつかの実装形態では、特定の参照レイヤがエンハンスメントレイヤをコーディングするために使用されるかどうかが、フラグまたはシンタックス要素としてシグナリングされ得る。フラグまたはシンタックス要素が、特定の参照レイヤがエンハンスメントレイヤをコーディングするために使用されることを示す場合、特定の参照ピクチャ中のどんな種類の情報がエンハンスメントレイヤをコーディングするために使用されるか、すなわち、テクスチャ(ピクセル)情報、動き情報、またはその両方、を示すために、別のフラグまたはシンタックス要素がさらにシグナリングされ得る。
[0007]場合によっては、参照レイヤ中の情報の一部分が、エンハンスメントレイヤをコーディングする際に使用するために利用可能でないことがある。たとえば、いくつかの実装形態では、参照レイヤが非HEVCコーデックを使用してコーディングされる場合、参照レイヤの動き情報は、エンハンスメントレイヤをコーディングするためにHEVCコーデックにとって利用可能でないことがある。そのような場合、エンハンスメントレイヤは、依然として参照レイヤのテクスチャ情報を使用してコーディングされ得るが、参照レイヤの動き情報は、エンハンスメントレイヤをコーディングするために使用され得ない。
[0008]参照レイヤをコーディングするために使用されるコーデックのタイプへの、参照レイヤ中のいくつかのタイプの情報の利用可能性のこの依存を活用することによって、どんなタイプの情報が参照レイヤから導出されるかを決定するために実行される処理の一部が省略され得(たとえば、情報が利用不可能である場合、その情報がエンハンスメントレイヤをコーディングするために使用されるかどうかをチェックする必要がない)、したがって、コーディング効率が改善され、および/または計算の複雑さが低減されることになる。
[0009]本開示のシステム、方法およびデバイスは、それぞれいくつかの発明的態様を有し、それらのうちの単一の態様が、本明細書で開示する望ましい属性を単独で担当するとは限らない。
[0010]一態様では、ビデオ情報をコーディングするように構成された装置は、メモリと、メモリと通信しているプロセッサとを含む。メモリは、参照レイヤとエンハンスメントレイヤとに関連付けられたビデオ情報を記憶するように構成され、参照レイヤは参照レイヤ(RL)コーデックに関連付けられ、エンハンスメントレイヤはエンハンスメントレイヤ(EL)コーデックに関連付けられる。プロセッサは、参照レイヤに関連付けられたRLコーデックが特定のタイプのコーデックであるかどうかを決定することと、RLコーデックが特定のタイプのコーデックであると決定したことに応答して、ビデオビットストリーム中で、参照レイヤの動き情報がエンハンスメントレイヤをコーディングするために使用され得ないという指示を処理することと、を行うように構成される。プロセッサはビデオ情報を符号化または復号し得る。
[0011]一態様では、ビデオ情報をコーディング(たとえば、符号化または復号)する方法は、参照レイヤに関連付けられた参照レイヤ(RL)コーデックが特定のタイプのコーデックであるかどうかを決定することと、RLコーデックが特定のタイプのコーデックであると決定したことに応答して、ビデオビットストリーム中で、参照レイヤの動き情報がエンハンスメントレイヤ(EL)コーデックに関連付けられたエンハンスメントレイヤをコーディングするために使用され得ないという指示を処理することと、を備える。
[0012]一態様では、非一時的コンピュータ可読媒体は、実行されたとき、装置にプロセスを実行させるコードを備える。プロセスは、参照レイヤとエンハンスメントレイヤとに関連付けられたビデオ情報を記憶することと、参照レイヤが参照レイヤ(RL)コーデックに関連付けられ、エンハンスメントレイヤがエンハンスメントレイヤ(EL)コーデックに関連付けられ、参照レイヤに関連付けられたRLコーデックが特定のタイプのコーデックであるかどうかを決定することと、RLコーデックが特定のタイプのコーデックであると決定したことに応答して、ビデオビットストリーム中で、参照レイヤの動き情報がエンハンスメントレイヤをコーディングするために使用され得ないという指示を処理することと、を含む。
[0013]一態様では、ビデオ情報をコーディングするように構成されたビデオコーディングデバイスは、参照レイヤとエンハンスメントレイヤとに関連付けられたビデオ情報を記憶するための手段と、参照レイヤが参照レイヤ(RL)コーデックに関連付けられ、エンハンスメントレイヤがエンハンスメントレイヤ(EL)コーデックに関連付けられ、参照レイヤに関連付けられたRLコーデックが特定のタイプのコーデックであるかどうかを決定するための手段と、RLコーデックが特定のタイプのコーデックであると決定したことに応答して、ビデオビットストリーム中で、参照レイヤの動き情報がエンハンスメントレイヤをコーディングするために使用され得ないという指示を処理するための手段と、を備える。
[0014]図1Aは、本開示で説明する態様による技法を利用し得る例示的なビデオ符号化および復号システムを示すブロック図である。 [0015]図1Bは、本開示で説明する態様による技法を実行し得る別の例示的なビデオ符号化および復号システムを示すブロック図である。 [0016]図2Aは、本開示で説明する態様による技法を実装し得るビデオエンコーダの一例を示すブロック図である。 [0017]図2Bは、本開示で説明する態様による技法を実装し得るビデオエンコーダの一例を示すブロック図である。 [0018]図3Aは、本開示で説明する態様による技法を実装し得るビデオデコーダの一例を示すブロック図である。 [0019]図3Bは、本開示で説明する態様による技法を実装し得るビデオデコーダの一例を示すブロック図である。 [0020]図4は、本開示の一実施形態による、ビデオ情報をコーディングする方法を示すフローチャートを示す。 [0021]図5は、本開示の別の実施形態による、ビデオ情報をコーディングする方法を示すフローチャートを示す。
[0022]本明細書で説明するいくつかの実施形態は、HEVC(高効率ビデオコーディング)など、アドバンストビデオコーデックのコンテキストにおけるスケーラブルビデオコーディングのためのレイヤ間予測に関する。より詳細には、本開示は、HEVCのスケーラブルビデオコーディング(SVC)拡張におけるレイヤ間予測の性能の改善のためのシステムおよび方法に関する。
[0023]以下の説明では、いくつかの実施形態に関係するH.264/AVC技法について説明し、HEVC規格および関係する技法についても説明する。いくつかの実施形態について、HEVCおよび/またはH.264規格のコンテキストにおいて本明細書で説明するが、本明細書で開示するシステムおよび方法が任意の好適なビデオコーディング規格に適用可能であり得ることを、当業者は諒解されよう。たとえば、本明細書で開示する実施形態は、以下の規格、すなわち、ITU−T H.261、ISO/IEC MPEG−1 Visual、ITU−T H.262またはISO/IEC MPEG−2 Visual、ITU−T H.263、ISO/IEC MPEG−4 Visual、およびそれのスケーラブルビデオコーディング(SVC)拡張とマルチビュービデオコーディング(MVC)拡張とを含む、(ISO/IEC MPEG−4 AVCとしても知られる)ITU−T H.264のうちの1つまたは複数に適用可能であり得る。
[0024]HEVCは、概して、多くの点で、前のビデオコーディング規格のフレームワークに従う。HEVCにおける予測のユニットは、いくつかの前のビデオコーディング規格におけるユニット(たとえば、マクロブロック)とは異なる。事実上、マクロブロックの概念は、いくつかの前のビデオコーディング規格において理解されているように、HEVC中に存在しない。マクロブロックは、考えられる利益の中でも、高いフレキシビリティを与え得る、4分木方式に基づく階層構造と置き換えられ得る。たとえば、HEVC方式内で、3つのタイプのブロック、コーディングユニット(CU)、予測ユニット(PU:Prediction Unit)、および変換ユニット(TU:Transform Unit)が定義される。CUは領域スプリッティング(region splitting)の基本ユニットを指し得る。CUはマクロブロックの概念に類似すると見なされ得るが、それは、最大サイズを制限せず、コンテンツ適応性を改善するために4つの等しいサイズのCUへの再帰的スプリッティングを可能にし得る。PUはインター/イントラ予測の基本ユニットと見なされ得、それは、不規則な画像パターンを効果的にコーディングするために、単一のPU中に複数の任意の形状区分を含んでいることがある。TUは変換の基本ユニットと見なされ得る。それは、PUとは無関係に定義され得るが、それのサイズは、TUが属するCUに制限され得る。3つの異なる概念へのブロック構造のこの分離は、各々がそれの役割に従って最適化されることを可能にし得、それによりコーディング効率が改善され得る。
[0025]単に説明の目的で、本明細書で開示するいくつかの実施形態は、ただ2つのレイヤ(たとえば、ベースレイヤなどの下位レイヤ(a lower layer)、およびエンハンスメントレイヤなどの上位レイヤ(a higher layer))を含む例を用いて説明する。そのような例は、複数のベースレイヤおよび/またはエンハンスメントレイヤを含む構成に適用可能であり得ることを理解されたい。さらに、説明を簡単にするために、以下の開示は、いくつかの実施形態に関して「フレーム」または「ブロック」という用語を含む。ただし、これらの用語は限定的なものではない。たとえば、以下で説明する技法は、ブロック(たとえば、CU、PU、TU、マクロブロックなど)、スライス、フレームなど、任意の好適なビデオユニットとともに使用され得る。
ビデオコーディング規格
[0026]ビデオ画像、TV画像、静止画像、あるいはビデオレコーダまたはコンピュータによって生成された画像など、デジタル画像は、水平ラインおよび垂直ラインで構成されたピクセルまたはサンプルからなり得る。単一の画像中のピクセルの数は一般に数万個である。各ピクセルは、一般に、ルミナンス情報とクロミナンス情報とを含んでいる。圧縮なしに、画像エンコーダから画像デコーダに搬送されるべき情報の量は、リアルタイム画像送信を不可能にするほど非常に大きい。送信されるべき情報の量を低減するために、JPEG、MPEGおよびH.263規格など、いくつかの異なる圧縮方法が開発された。
[0027]ビデオコーディング規格は、ITU−T H.261と、ISO/IEC MPEG−1 Visualと、ITU−T H.262またはISO/IEC MPEG−2 Visualと、ITU−T H.263と、ISO/IEC MPEG−4 Visualと、それのスケーラブルビデオコーディング(SVC)およびマルチビュービデオコーディング(MVC)拡張を含む(ISO/IEC MPEG−4 AVCとしても知られる)ITU−T H.264とを含む。
[0028]さらに、新しいビデオコーディング規格、すなわち、高効率ビデオコーディング(HEVC)が、ITU−Tビデオコーディングエキスパートグループ(VCEG:Video Coding Experts Group)とISO/IECモーションピクチャエキスパートグループ(MPEG:Motion Picture Experts Group)とのジョイントコラボレーションチームオンビデオコーディング(JCT−VC:Joint Collaboration Team on Video Coding)によって開発されている。HEVCドラフト10についての完全引用は、文書JCTVC−L1003、Brossら、「High Efficiency Video Coding (HEVC) Text Specification Draft 10」、ITU−T SG16 WP3およびISO/IEC JTC1/SC29/WG11のジョイントコラボレーティブチームオンビデオコーディング(JCT−VC:Joint Collaborative Team on Video Coding)、第12回会合:ジュネーブ、スイス、2013年1月14日〜2013年1月23日である。HEVCのマルチビュー拡張、すなわち、MV−HEVC、およびSHVCと称されるHEVCのスケーラブル拡張も、それぞれJCT−3V(ITU−T/ISO/IECジョイントコラボレーティブチームオン3Dビデオコーディング拡張開発)およびJCT−VCによって開発されている。
[0029]添付の図面を参照しながら新規のシステム、装置、および方法の様々な態様について以下でより十分に説明する。ただし、本開示は、多くの異なる形態で実施され得、本開示全体にわたって提示する任意の特定の構造または機能に限定されるものと解釈されるべきではない。むしろ、これらの態様は、本開示が周到で完全になり、本開示の範囲を当業者に十分に伝えるために与えるものである。本明細書の教示に基づいて、本開示の範囲は、本開示の他の態様とは無関係に実装されるにせよ、本開示の他の態様と組み合わせて実装されるにせよ、本明細書で開示する新規のシステム、装置、および方法のいかなる態様をもカバーするものであることを、当業者なら諒解されたい。たとえば、本明細書に記載される態様をいくつ使用しても、装置は実装され得、または方法は実施され得る。さらに、本開示の範囲は、本明細書に記載する本開示の様々な態様に加えてまたはそれらの態様以外に、他の構造、機能、または構造および機能を使用して実施されるそのような装置または方法をカバーするものとする。本明細書で開示するどの態様も請求項の1つまたは複数の要素によって実施され得ることを理解されたい。
[0030]本明細書では特定の態様について説明するが、これらの態様の多くの変形および置換は本開示の範囲内に入る。好適な態様のいくつかの利益および利点について説明するが、本開示の範囲は特定の利益、使用、または目的に限定されるものではない。むしろ、本開示の態様は、様々なワイヤレス技術、システム構成、ネットワーク、および伝送プロトコルに広く適用可能であるものとし、それらのいくつかを例として、図および好適な態様についての以下の説明において示す。発明を実施するための形態および図面は、本開示を限定するものではなく説明するものにすぎず、本開示の範囲は添付の特許請求の範囲およびそれの均等物によって定義される。
[0031]添付の図面は例を示している。添付の図面中の参照番号によって示される要素は、以下の説明における同様の参照番号によって示される要素に対応する。本開示では、序数語(たとえば、「第1の」、「第2の」、「第3の」など)で始まる名前を有する要素は、必ずしもそれらの要素が特定の順序を有することを暗示するとは限らない。むしろ、そのような序数語は、同じまたは同様のタイプの異なる要素を指すために使用されるにすぎない。
ビデオコーディングシステム
[0032]図1Aは、本開示で説明する態様による技法を利用し得る例示的なビデオコーディングシステム10を示すブロック図である。本明細書で使用し説明する「ビデオコーダ」という用語は、総称的にビデオエンコーダとビデオデコーダの両方を指す。本開示では、「ビデオコーディング」または「コーディング」という用語は、ビデオ符号化とビデオ復号とを総称的に指すことがある。
[0033]図1Aに示されているように、ビデオコーディングシステム10は、宛先モジュール14によって後で復号されるべき符号化されたビデオデータを生成するソースモジュール12を含む。図1Aの例では、ソースモジュール12と宛先モジュール14とは別々のデバイス上にあり、詳細には、ソースモジュール12はソースデバイスの一部であり、宛先モジュール14は宛先デバイスの一部である。ただし、ソースモジュール12および宛先モジュール14は、図1Bの例に示されているように、同じデバイス上にあるかまたはそれの一部であり得ることに留意されたい。
[0034]もう一度図1Aを参照すると、ソースモジュール12および宛先モジュール14は、デスクトップコンピュータ、ノートブック(たとえば、ラップトップ)コンピュータ、タブレットコンピュータ、セットトップボックス、いわゆる「スマート」フォンなどの電話ハンドセット、いわゆる「スマート」パッド、テレビジョン、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲームコンソール、ビデオストリーミングデバイスなどを含む、広範囲にわたるデバイスのいずれかを備え得る。場合によっては、ソースモジュール12および宛先モジュール14はワイヤレス通信のために装備され得る。
[0035]宛先モジュール14は、リンク16を介して、復号されるべき符号化されたビデオデータを受信し得る。リンク16は、ソースモジュール12から宛先モジュール14に符号化されたビデオデータを移動することが可能な任意のタイプの媒体またはデバイスを備え得る。図1Aの例では、リンク16は、ソースモジュール12が符号化されたビデオデータをリアルタイムで宛先モジュール14に直接送信することを可能にするための通信媒体を備え得る。符号化されたビデオデータは、ワイヤレス通信プロトコルなどの通信規格に従って変調され、宛先モジュール14に送信され得る。通信媒体は、無線周波数(RF)スペクトルあるいは1つまたは複数の物理伝送線路など、任意のワイヤレスまたはワイヤード通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、またはインターネットなどのグローバルネットワークなど、パケットベースのネットワークの一部を形成し得る。通信媒体は、ルータ、スイッチ、基地局、またはソースモジュール12から宛先モジュール14への通信を可能にするために有用であり得る任意の他の機器を含み得る。
[0036]代替的に、符号化されたデータは出力インターフェース22から随意のストレージデバイス31に出力され得る。同様に、符号化されたデータは入力インターフェース28によってストレージデバイス31からアクセスされ得る。ストレージデバイス31は、ハードドライブ、フラッシュメモリ、揮発性または不揮発性メモリ、あるいは符号化されたビデオデータを記憶するための任意の他の好適なデジタル記憶媒体など、様々な分散されたまたはローカルにアクセスされるデータ記憶媒体のいずれかを含み得る。さらなる一例では、ストレージデバイス31は、ソースモジュール12によって生成された符号化されたビデオを保持し得るファイルサーバまたは別の中間ストレージデバイスに対応し得る。宛先モジュール14は、ストリーミングまたはダウンロードを介してストレージデバイス31から記憶されたビデオデータにアクセスし得る。ファイルサーバは、符号化されたビデオデータを記憶し、その符号化されたビデオデータを宛先モジュール14に送信することが可能な任意のタイプのサーバであり得る。例示的なファイルサーバとしては、(たとえば、ウェブサイトのための)ウェブサーバ、FTPサーバ、ネットワーク接続ストレージ(NAS)デバイス、またはローカルディスクドライブを含む。宛先モジュール14は、インターネット接続を含む任意の標準データ接続を通して符号化されたビデオデータにアクセスし得る。これは、ファイルサーバ上に記憶された符号化されたビデオデータにアクセスするのに好適であるワイヤレスチャネル(たとえば、Wi−Fi(登録商標)接続)、ワイヤード接続(たとえば、DSL、ケーブルモデムなど)、またはその両方の組合せを含み得る。ストレージデバイス31からの符号化されたビデオデータの送信は、ストリーミング送信、ダウンロード送信、またはその両方の組合せであり得る。
[0037]本開示の技法はワイヤレス適用例または設定に限定されない。本技法は、オーバージエアテレビジョン放送、ケーブルテレビジョン送信、衛星テレビジョン送信、たとえばインターネットを介したストリーミングビデオ送信(たとえば、動的適応ストリーミングオーバーHTTP(DASH:dynamic adaptive streaming over HTTP)など)、データ記憶媒体に記憶するためのデジタルビデオの符号化、データ記憶媒体に記憶されたデジタルビデオの復号、または他の適用例など、様々なマルチメディア適用例のいずれかをサポートするビデオコーディングに適用され得る。いくつかの例では、ビデオコーディングシステム10は、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、および/またはビデオテレフォニーなどの適用例をサポートするために、一方向または二方向ビデオ送信をサポートするように構成され得る。
[0038]図1Aの例では、ソースモジュール12は、ビデオソース18と、ビデオエンコーダ20と、出力インターフェース22とを含む。場合によっては、出力インターフェース22は、変調器/復調器(モデム)および/または送信機を含み得る。ソースモジュール12において、ビデオソース18は、ビデオキャプチャデバイス、たとえばビデオカメラ、以前にキャプチャされたビデオを含んでいるビデオアーカイブ、ビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェース、および/またはソースビデオとしてコンピュータグラフィックスデータを生成するためのコンピュータグラフィックスシステムなどのソース、あるいはそのようなソースの組合せを含み得る。一例として、ビデオソース18がビデオカメラである場合、ソースモジュール12および宛先モジュール14は、図1Bの例に示されているように、いわゆるカメラフォンまたはビデオフォンを形成し得る。ただし、本開示で説明する技法は、概してビデオコーディングに適用可能であり得、ワイヤレスおよび/またはワイヤード適用例に適用され得る。
[0039]キャプチャされたビデオ、以前にキャプチャされたビデオ、またはコンピュータ生成されたビデオは、ビデオエンコーダ20によって符号化され得る。符号化されたビデオデータは、ソースモジュール12の出力インターフェース22を介して宛先モジュール14に直接送信され得る。符号化されたビデオデータはまた(または代替的に)、復号および/または再生のための宛先モジュール14または他のデバイスによる後のアクセスのためにストレージデバイス31上に記憶され得る。
[0040]図1Aの例では、宛先モジュール14は、入力インターフェース28と、ビデオデコーダ30と、ディスプレイデバイス32とを含む。場合によっては、入力インターフェース28は受信機および/またはモデムを含み得る。宛先モジュール14の入力インターフェース28は、リンク16を介して符号化されたビデオデータを受信し得る。リンク16を介して通信された、またはストレージデバイス31上に提供された符号化されたビデオデータは、ビデオデータを復号する際に、ビデオデコーダ30などのビデオデコーダが使用するための、ビデオエンコーダ20によって生成された様々なシンタックス要素を含み得る。そのようなシンタックス要素は、通信媒体上で送信された、記憶媒体上に記憶された、またはファイルサーバ記憶された符号化されたビデオデータに含まれ得る。
[0041]ディスプレイデバイス32は、宛先モジュール14と一体化されるかまたはその外部にあり得る。いくつかの例では、宛先モジュール14は、一体型ディスプレイデバイスを含み、また、外部のディスプレイデバイスとインターフェースするように構成され得る。他の例では、宛先モジュール14はディスプレイデバイスであり得る。概して、ディスプレイデバイス32は、復号されたビデオデータをユーザに対して表示し、液晶ディスプレイ(LCD)、プラズマディスプレイ、有機発光ダイオード(OLED)ディスプレイ、または別のタイプのディスプレイデバイスなど、様々なディスプレイデバイスのいずれかを備え得る。
[0042]関係する態様では、図1Bは例示的なビデオ符号化および復号システム10’を示し、ここにおいて、ソースモジュール12および宛先モジュール14はデバイスまたはユーザデバイス11上にあるかまたはそれの一部である。デバイス11は、「スマート」フォンなどの電話ハンドセットであり得る。デバイス11は、ソースモジュール12および宛先モジュール14と動作可能に通信している随意のコントローラ/プロセッサモジュール13を含み得る。図1Bのシステム10’は、ビデオエンコーダ20と出力インターフェース22との間のビデオ処理ユニット21をさらに含み得る。いくつかの実装形態では、図1Bに示されているように、ビデオ処理ユニット21は別個のユニットであるが、他の実装形態では、ビデオ処理ユニット21は、ビデオエンコーダ20および/またはプロセッサ/コントローラモジュール13の一部分として実装され得る。システム10’はまた、ビデオシーケンス中の関心があるオブジェクトを追跡することができる随意のトラッカ29を含み得る。追跡されるべきオブジェクトまたは関心は、本開示の1つまたは複数の態様に関して説明する技法によってセグメント化され得る。関係する態様では、トラッキングは、単独でまたはトラッカ29とともに、ディスプレイデバイス32によって実行され得る。図1Bのシステム10’およびそれの構成要素は、場合によっては図1Aのシステム10およびそれの構成要素と同様である。
[0043]ビデオエンコーダ20およびビデオデコーダ30は、現在開発中の高効率ビデオコーディング(HEVC)規格など、ビデオ圧縮規格に従って動作し得、HEVCテストモデル(HM)に準拠し得る。代替的に、ビデオエンコーダ20およびビデオデコーダ30は、代替的にMPEG−4,Part10,アドバンストビデオコーディング(AVC)と呼ばれるITU−T H.264規格など、他のプロプライエタリ規格または業界規格、あるいはそのような規格の拡張に従って動作し得る。ただし、本開示の技法は、いかなる特定のコーディング規格にも限定されない。ビデオ圧縮規格の他の例としてはMPEG−2およびITU−T H.263がある。
[0044]図1Aおよび図1Bの例には示されていないが、ビデオエンコーダ20およびビデオデコーダ30は、それぞれオーディオエンコーダおよびデコーダと統合され得、共通のデータストリームまたは別個のデータストリーム中のオーディオとビデオの両方の符号化を処理するために、適切なMUX−DEMUXユニット、または他のハードウェアおよびソフトウェアを含み得る。適用可能な場合、いくつかの例では、MUX−DEMUXユニットは、ITU H.223マルチプレクサプロトコル、またはユーザデータグラムプロトコル(UDP)などの他のプロトコルに準拠し得る。
[0045]ビデオエンコーダ20およびビデオデコーダ30はそれぞれ、1つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェアなど、様々な好適なエンコーダ回路のいずれか、またはそれらの任意の組合せとして実装され得る。本技法が部分的にソフトウェアで実装されるとき、デバイスは、ソフトウェアのための命令を好適な非一時的コンピュータ可読媒体に記憶し、本開示の技法を実行するために1つまたは複数のプロセッサを使用してハードウェアでその命令を実行し得る。ビデオエンコーダ20およびビデオデコーダ30の各々は1つまたは複数のエンコーダまたはデコーダ中に含まれ得、そのいずれかが、それぞれのデバイスにおいて複合エンコーダ/デコーダ(コーデック)の一部として統合され得る。
ビデオコーディングプロセス
[0046]上記で手短に述べたように、ビデオエンコーダ20はビデオデータを符号化する。ビデオデータは1つまたは複数のピクチャを備え得る。ピクチャの各々は、ビデオの一部を形成する静止画像である。いくつかの事例では、ピクチャはビデオ「フレーム」と呼ばれることがある。ビデオエンコーダ20がビデオデータを符号化するとき、ビデオエンコーダ20はビットストリームを生成し得る。ビットストリームは、ビデオデータのコード化表現を形成するビットのシーケンスを含み得る。ビットストリームはコード化ピクチャと関連データとを含み得る。コード化ピクチャはピクチャのコード化表現である。
[0047]ビットストリームを生成するために、ビデオエンコーダ20は、ビデオデータ中の各ピクチャに対して符号化演算を実行し得る。ビデオエンコーダ20がピクチャに対して符号化演算を実行するとき、ビデオエンコーダ20は、一連のコード化ピクチャと関連データとを生成し得る。関連データは、ビデオパラメータセット(VPS:video parameter set)と、シーケンスパラメータセットと、ピクチャパラメータセットと、適応パラメータセットと、他のシンタックス構造とを含み得る。シーケンスパラメータセット(SPS:sequence parameter set)は、ピクチャの0個以上のシーケンスに適用可能なパラメータを含んでいることがある。ピクチャパラメータセット(PPS:picture parameter set)は、0個以上のピクチャに適用可能なパラメータを含み得る。適応パラメータセット(APS:adaptation parameter set)は、0個以上のピクチャに適用可能なパラメータを含み得る。APS中のパラメータは、PPS中のパラメータよりも変化する可能性が高いパラメータであり得る。
[0048]コード化ピクチャを生成するために、ビデオエンコーダ20は、ピクチャを等しいサイズのビデオブロックに区分し得る。ビデオブロックはサンプルの2次元アレイであり得る。ビデオブロックの各々はツリーブロックに関連付けられる。いくつかの事例では、ツリーブロックは、最大コーディングユニット(LCU:largest coding unit)と呼ばれることがある。HEVCのツリーブロックは、H.264/AVCなど、以前の規格のマクロブロックに広い意味で類似し得る。しかしながら、ツリーブロックは、必ずしも特定のサイズに限定されるとは限らず、1つまたは複数のコーディングユニット(CU)を含み得る。ビデオエンコーダ20は、4分木区分(quadtree partitioning)を使用して、ツリーブロックのビデオブロックを、CUに関連付けられたビデオブロックに区分し得、したがって「ツリーブロック」という名前がある。
[0049]いくつかの例では、ビデオエンコーダ20はピクチャを複数のスライスに区分し得る。スライスの各々は整数個のCUを含み得る。いくつかの事例では、スライスは整数個のツリーブロックを備える。他の事例では、スライスの境界はツリーブロック内にあり得る。
[0050]ピクチャに対して符号化演算を実行することの一部として、ビデオエンコーダ20は、ピクチャの各スライスに対して符号化演算を実行し得る。ビデオエンコーダ20がスライスに対して符号化演算を実行するとき、ビデオエンコーダ20は、スライスに関連付けられた符号化データを生成し得る。スライスに関連付けられた符号化データは「コード化スライス」と呼ばれることがある。
[0051]コード化スライスを生成するために、ビデオエンコーダ20は、スライス中の各ツリーブロックに対して符号化演算を実行し得る。ビデオエンコーダ20がツリーブロックに対して符号化演算を実行するとき、ビデオエンコーダ20はコード化ツリーブロックを生成し得る。コード化ツリーブロックは、ツリーブロックの符号化バージョンを表すデータを備え得る。
[0052]ビデオエンコーダ20がコード化スライスを生成するとき、ビデオエンコーダ20は、ラスタ走査順序に従って、スライス中のツリーブロックに対して符号化演算を実行し得る(たとえば、そのツリーブロックを符号化し得る)。たとえば、ビデオエンコーダ20は、スライス中のツリーブロックの一番上の行にわたって左から右に進み、次いでツリーブロックの次の下の行にわたって左から右に進み、以下同様に進む順序で、ビデオエンコーダ20がスライス中のツリーブロックの各々を符号化するまで、スライスのツリーブロックを符号化し得る。
[0053]ラスタ走査順序に従ってツリーブロックを符号化した結果として、所与のツリーブロックの上および左のツリーブロックは符号化されていることがあるが、所与のツリーブロックの下および右のツリーブロックはまだ符号化されていない。したがって、ビデオエンコーダ20は、所与のツリーブロックを符号化するとき、所与のツリーブロックの上および左のツリーブロックを符号化することによって生成された情報にアクセスすることが可能であり得る。しかしながら、ビデオエンコーダ20は、所与のツリーブロックを符号化するとき、所与のツリーブロックの下および右のツリーブロックを符号化することによって生成された情報にアクセスすることができないことがある。
[0054]コード化ツリーブロックを生成するために、ビデオエンコーダ20は、ツリーブロックのビデオブロックに対して4分木区分を再帰的に実行して、ビデオブロックを徐々により小さいビデオブロックに分割し得る。より小さいビデオブロックの各々は異なるCUに関連付けられ得る。たとえば、ビデオエンコーダ20は、ツリーブロックのビデオブロックを4つの等しいサイズのサブブロックに区分し、サブブロックのうちの1つまたは複数を、4つの等しいサイズのサブサブブロックに区分し得、以下同様である。区分されたCUは、それのビデオブロックが、他のCUに関連付けられたビデオブロックに区分された、CUであり得る。区分されていないCUは、それのビデオブロックが、他のCUに関連付けられたビデオブロックに区分されていない、CUであり得る。
[0055]ビットストリーム中の1つまたは複数のシンタックス要素は、ビデオエンコーダ20がツリーブロックのビデオブロックを区分し得る最大の回数を示し得る。CUのビデオブロックは形状が正方形であり得る。CUのビデオブロックのサイズ(たとえば、CUのサイズ)は、8×8ピクセルから、最大64×64以上のピクセルをもつツリーブロックのビデオブロックのサイズ(たとえば、ツリーブロックのサイズ)までに及び得る。
[0056]ビデオエンコーダ20は、z走査順序に従って、ツリーブロックの各CUに対して符号化演算を実行し得る(たとえば、各CUを符号化し得る)。言い換えれば、ビデオエンコーダ20は、左上のCUと、右上のCUと、左下のCUと、次いで右下のCUとを、その順序で符号化し得る。ビデオエンコーダ20が、区分されたCUに対して符号化演算を実行するとき、ビデオエンコーダ20は、z走査順序に従って、区分されたCUのビデオブロックのサブブロックに関連付けられたCUを符号化し得る。言い換えれば、ビデオエンコーダ20は、左上のサブブロックに関連付けられたCUと、右上のサブブロックに関連付けられたCUと、左下のサブブロックに関連付けられたCUと、次いで右下のサブブロックに関連付けられたCUとを、その順序で符号化し得る。
[0057]z走査順序に従ってツリーブロックのCUを符号化した結果として、所与のCUの上、左上、右上、左、および左下のCUは符号化されていることがある。所与のCUの下および右のCUはまだ符号化されていない。したがって、ビデオエンコーダ20は、所与のCUを符号化するとき、所与のCUに隣接するいくつかのCUを符号化することによって生成された情報にアクセスすることが可能であり得る。しかしながら、ビデオエンコーダ20は、所与のCUを符号化するとき、所与のCUに隣接する他のCUを符号化することによって生成された情報にアクセスすることができないことがある。
[0058]ビデオエンコーダ20が、区分されていないCUを符号化するとき、ビデオエンコーダ20は、CUのために1つまたは複数の予測ユニット(PU)を生成し得る。CUのPUの各々は、CUのビデオブロック内の異なるビデオブロックに関連付けられ得る。ビデオエンコーダ20は、CUの各PUのための予測ビデオブロックを生成し得る。PUの予測ビデオブロックはサンプルのブロックであり得る。ビデオエンコーダ20は、イントラ予測またはインター予測を使用して、PUのための予測ビデオブロックを生成し得る。
[0059]ビデオエンコーダ20がイントラ予測を使用してPUの予測ビデオブロックを生成するとき、ビデオエンコーダ20は、PUに関連付けられたピクチャの復号サンプルに基づいて、PUの予測ビデオブロックを生成し得る。ビデオエンコーダ20がイントラ予測を使用してCUのPUの予測ビデオブロックを生成する場合、CUはイントラ予測されたCUである。ビデオエンコーダ20がインター予測を使用してPUの予測ビデオブロックを生成するとき、ビデオエンコーダ20は、PUに関連付けられたピクチャ以外の1つまたは複数のピクチャの復号サンプルに基づいて、PUの予測ビデオブロックを生成し得る。ビデオエンコーダ20がインター予測を使用してCUのPUの予測ビデオブロックを生成する場合、CUはインター予測されたCUである。
[0060]さらに、ビデオエンコーダ20がインター予測を使用してPUのための予測ビデオブロックを生成するとき、ビデオエンコーダ20はPUの動き情報を生成し得る。PUの動き情報は、PUの1つまたは複数の参照ブロックを示し得る。PUの各参照ブロックは参照ピクチャ内のビデオブロックであり得る。参照ピクチャはPUに関連付けられたピクチャ以外のピクチャであり得る。いくつかの事例では、PUの参照ブロックはPUの「参照サンプル」と呼ばれることもある。ビデオエンコーダ20は、PUの参照ブロックに基づいて、PUのための予測ビデオブロックを生成し得る。
[0061]ビデオエンコーダ20がCUの1つまたは複数のPUのための予測ビデオブロックを生成した後、ビデオエンコーダ20は、CUのPUのための予測ビデオブロックに基づいて、CUの残差データを生成し得る。CUの残差データは、CUのPUのための予測ビデオブロック中のサンプルと、CUの元のビデオブロック中のサンプルとの間の差を示し得る。
[0062]さらに、区分されていないCUに対して符号化演算を実行することの一部として、ビデオエンコーダ20は、CUの残差データに対して再帰的な4分木区分を実行して、CUの残差データを、CUの変換ユニット(TU)に関連付けられた残差データの1つまたは複数のブロック(たとえば、残差ビデオブロック)に区分し得る。CUの各TUは異なる残差ビデオブロックに関連付けられ得る。
[0063]ビデオエンコーダ20は、TUに関連付けられた変換係数ブロック(たとえば、変換係数のブロック)を生成するために、TUに関連付けられた残差ビデオブロックに1つまたは複数の変換を適用し得る。概念的に、変換係数ブロックは変換係数の2次元(2D)行列であり得る。
[0064]変換係数ブロックを生成した後、ビデオエンコーダ20は、変換係数ブロックに対して量子化プロセスを実行し得る。量子化は、概して、変換係数を表すために使用されるデータの量をできるだけ低減するために変換係数が量子化され、さらなる圧縮を実現する処理を指す。量子化プロセスは、変換係数の一部または全部に関連付けられたビット深度を低減し得る。たとえば、量子化中にnビットの変換係数がmビットの変換係数に切り捨てられることがあり、ここで、nはmよりも大きい。
[0065]ビデオエンコーダ20は、各CUを量子化パラメータ(QP:quantization parameter)値に関連付け得る。CUに関連付けられたQP値は、ビデオエンコーダ20が、CUに関連付けられた変換係数ブロックをどのように量子化するかを決定し得る。ビデオエンコーダ20は、CUに関連付けられたQP値を調整することによって、CUに関連付けられた変換係数ブロックに適用される量子化の程度を調整し得る。
[0066]ビデオエンコーダ20が変換係数ブロックを量子化した後、ビデオエンコーダ20は、量子化された変換係数ブロック中で変換係数を表すシンタックス要素のセットを生成し得る。ビデオエンコーダ20は、これらのシンタックス要素のうちのいくつかに、コンテキスト適応型バイナリ算術コーディング(CABAC:Context Adaptive Binary Arithmetic Coding)演算などのエントロピー符号化演算を適用し得る。コンテンツ適応型可変長コーディング(CAVLC:content adaptive variable length coding)、確率間隔区分エントロピー(PIPE:probability interval partitioning entropy)コーディング、または他のバイナリ算術コーディングなど、他のエントロピーコーディング技法も使用され得る。
[0067]ビデオエンコーダ20によって生成されるビットストリームは、一連のネットワークアブストラクションレイヤ(NAL:Network Abstraction Layer)ユニットを含み得る。NALユニットの各々は、NALユニット中のデータのタイプの指示と、データを含んでいるバイトとを含んでいるシンタックス構造であり得る。たとえば、NALユニットは、ビデオパラメータセット、シーケンスパラメータセット、ピクチャパラメータセット、コード化スライス、補足エンハンスメント情報(SEI:supplemental enhancement information)、アクセスユニット区切り文字、フィラーデータ、または別のタイプのデータを表すデータを含み得る。NALユニット中のデータは様々なシンタックス構造を含み得る。
[0068]ビデオデコーダ30は、ビデオエンコーダ20によって生成されたビットストリームを受信し得る。ビットストリームは、ビデオエンコーダ20によって符号化されたビデオデータのコード化表現を含み得る。ビデオデコーダ30がビットストリームを受信するとき、ビデオデコーダ30は、ビットストリームに対してパース演算を実行し得る。ビデオデコーダ30がパース演算を実行するとき、ビデオデコーダ30は、ビットストリームからシンタックス要素を抽出し得る。ビデオデコーダ30は、ビットストリームから抽出されたシンタックス要素に基づいて、ビデオデータのピクチャを再構成し得る。シンタックス要素に基づいてビデオデータを再構成するためのプロセスは、一般に、シンタックス要素を生成するためにビデオエンコーダ20によって実行されるプロセスとは逆であり得る。
[0069]ビデオデコーダ30がCUに関連付けられたシンタックス要素を抽出した後、ビデオデコーダ30は、シンタックス要素に基づいて、CUのPUのための予測ビデオブロックを生成し得る。さらに、ビデオデコーダ30は、CUのTUに関連付けられた変換係数ブロックを逆量子化し得る。ビデオデコーダ30は、変換係数ブロックに対して逆変換を実行して、CUのTUに関連付けられた残差ビデオブロックを再構成し得る。予測ビデオブロックを生成し、残差ビデオブロックを再構成した後、ビデオデコーダ30は、予測ビデオブロックと残差ビデオブロックとに基づいて、CUのビデオブロックを再構成し得る。このようにして、ビデオデコーダ30は、ビットストリーム中のシンタックス要素に基づいて、CUのビデオブロックを再構成し得る。
ビデオエンコーダ
[0070]図2Aは、本開示で説明する態様による技法を実装し得るビデオエンコーダの一例を示すブロック図である。ビデオエンコーダ20は、HEVCの場合など、ビデオフレームの単一のレイヤを処理するように構成され得る。さらに、ビデオエンコーダ20は、本開示の技法のいずれかまたはすべてを実行するように構成され得る。一例として、予測処理ユニット100は、本開示で説明する技法のいずれかまたはすべてを実行するように構成され得る。別の実施形態では、ビデオエンコーダ20は、本開示で説明する技法のいずれかまたはすべてを実行するように構成された随意のレイヤ間予測ユニット128を含む。他の実施形態では、レイヤ間予測は予測処理ユニット100(たとえば、インター予測ユニット121および/またはイントラ予測ユニット126)によって実行され得、その場合、レイヤ間予測ユニット128は省略され得る。ただし、本開示の態様はそのように限定されない。いくつかの例では、本開示で説明する技法は、ビデオエンコーダ20の様々な構成要素間で共有され得る。いくつかの例では、追加または代替として、プロセッサ(図示せず)が、本開示で説明する技法のいずれかまたはすべてを実行するように構成され得る。
[0071]説明の目的で、本開示では、HEVCコーディングのコンテキストにおいてビデオエンコーダ20について説明する。しかしながら、本開示の技法は、他のコーディング規格または方法にも適用可能であり得る。図2Aに示された例はシングルレイヤコーデックのためのものである。しかしながら、図2Bに関してさらに説明するように、ビデオエンコーダ20の一部または全部はマルチレイヤコーデックの処理のために複製され得る。
[0072]ビデオエンコーダ20は、ビデオスライス内のビデオブロックのイントラコーディングおよびインターコーディングを実行し得る。イントラコーディングは、所与のビデオフレームまたはピクチャ内のビデオの空間的冗長性を低減または除去するために空間的予測に依拠する。インターコーディングは、ビデオシーケンスの隣接するフレームまたはピクチャ内のビデオにおける時間的冗長性を低減または除去するために時間的予測に依拠する。イントラモード(Iモード)は、いくつかの空間ベースのコーディングモードのいずれかを指し得る。単方向予測(Pモード)または双方向予測(Bモード)などのインターモードは、いくつかの時間ベースのコーディングモードのいずれかを指し得る。
[0073]図2Aの例では、ビデオエンコーダ20は複数の機能構成要素を含む。ビデオエンコーダ20の機能構成要素は、予測処理ユニット100と、残差生成ユニット102と、変換処理ユニット104と、量子化ユニット106と、逆量子化ユニット108と、逆変換ユニット110と、再構成ユニット112と、フィルタユニット113と、復号ピクチャバッファ114と、エントロピー符号化ユニット116とを含む。予測処理ユニット100は、インター予測ユニット121と、動き推定ユニット122と、動き補償ユニット124と、イントラ予測ユニット126と、レイヤ間予測ユニット128とを含む。他の例では、ビデオエンコーダ20は、より多数の、より少数の、または異なる機能構成要素を含み得る。さらに、動き推定ユニット122と動き補償ユニット124とは、高度に統合され得るが、図2Aの例では、説明の目的で別々に表されている。
[0074]ビデオエンコーダ20はビデオデータを受信し得る。ビデオエンコーダ20は、様々なソースからビデオデータを受信し得る。たとえば、ビデオエンコーダ20は、(たとえば、図1Aまたは図1Bに示された)ビデオソース18、または別のソースからビデオデータを受信し得る。ビデオデータは一連のピクチャを表し得る。ビデオデータを符号化するために、ビデオエンコーダ20は、ピクチャの各々に対して符号化演算を実行し得る。ピクチャに対して符号化演算を実行することの一部として、ビデオエンコーダ20は、ピクチャの各スライスに対して符号化演算を実行し得る。スライスに対して符号化演算を実行することの一部として、ビデオエンコーダ20は、スライス中のツリーブロックに対して符号化演算を実行し得る。
[0075]ツリーブロックに対して符号化演算を実行することの一部として、予測処理ユニット100は、ツリーブロックのビデオブロックに対して4分木区分を実行して、ビデオブロックを徐々により小さいビデオブロックに分割し得る。より小さいビデオブロックの各々は、異なるCUに関連付けられ得る。たとえば、予測処理ユニット100は、ツリーブロックのビデオブロックを4つの等しいサイズのサブブロックに区分し、サブブロックの1つまたは複数を、4つの等しいサイズのサブサブブロックに区分し得、以下同様である。
[0076]CUに関連付けられたビデオブロックのサイズは、8×8サンプルから、最大64×64以上のサンプルをもつツリーブロックのサイズまでに及び得る。本開示では、「N×N(NxN)」および「N×N(N by N)」は、垂直寸法および水平寸法に関するビデオブロックのサンプル寸法、たとえば、16×16(16x16)サンプルまたは16×16(16 by 16)サンプルを指すために互換的に使用され得る。概して、16×16ビデオブロックは、垂直方向に16個のサンプルを有し(y=16)、水平方向に16個のサンプルを有する(x=16)。同様に、N×Nブロックは、概して、垂直方向にN個のサンプルを有し、水平方向にN個のサンプルを有し、ここで、Nは非負整数値を表す。
[0077]さらに、ツリーブロックに対して符号化演算を実行することの一部として、予測処理ユニット100は、ツリーブロック用の階層的な4分木データ構造を生成し得る。たとえば、ツリーブロックは、4分木データ構造のルートノードに対応し得る。予測処理ユニット100が、ツリーブロックのビデオブロックを4つのサブブロックに区分する場合、ルートノードは、4分木データ構造中に4つの子ノードを有する。子ノードの各々は、サブブロックのうちの1つに関連付けられたCUに対応する。予測処理ユニット100が、サブブロックのうちの1つを4つのサブサブブロックに区分する場合、サブブロックに関連付けられたCUに対応するノードは、サブサブブロックのうちの1つに関連付けられたCUに各々が対応する、4つの子ノードを有し得る。
[0078]4分木データ構造の各ノードは、対応するツリーブロックまたはCUのシンタックスデータ(たとえば、シンタックス要素)を含み得る。たとえば、4分木の中のノードは、そのノードに対応するCUのビデオブロックが4つのサブブロックに区分される(たとえば、スプリットされる)かどうかを示すスプリットフラグを含み得る。CUのためのシンタックス要素は、再帰的に定義され得、CUのビデオブロックがサブブロックにスプリットされるかどうかに依存し得る。それのビデオブロックが区分されていないCUは、4分木データ構造におけるリーフノードに対応し得る。コード化ツリーブロックは、対応するツリーブロック用の4分木データ構造に基づくデータを含み得る。
[0079]ビデオエンコーダ20は、ツリーブロックの区分されていない各CUに対して符号化演算を実行し得る。ビデオエンコーダ20が、区分されていないCUに対して符号化演算を実行するとき、ビデオエンコーダ20は、区分されていないCUの符号化表現を表すデータを生成する。
[0080]CUに対して符号化演算を実行することの一部として、予測処理ユニット100は、CUの1つまたは複数のPUの中で、CUのビデオブロックを区分し得る。ビデオエンコーダ20およびビデオデコーダ30は、様々なPUサイズをサポートし得る。特定のCUのサイズが2N×2Nであると仮定すると、ビデオエンコーダ20およびビデオデコーダ30は、2N×2NまたはN×NのPUサイズと、2N×2N、2N×N、N×2N、N×N、2N×nU、nL×2N、nR×2N、または同様の対称PUサイズでのインター予測とをサポートし得る。ビデオエンコーダ20およびビデオデコーダ30は、2N×nU、2N×nD、nL×2N、およびnR×2NのPUサイズに対する非対称区分をもサポートし得る。いくつかの例では、予測処理ユニット100は、CUのビデオブロックの辺に直角に接触しない境界に沿って、CUのPUの間でCUのビデオブロックを区分するように、幾何学的な区分を実行し得る。
[0081]インター予測ユニット121はCUの各PUに対してインター予測を実行し得る。インター予測は時間的圧縮を実現し得る。PUに対してインター予測を実行するために、動き推定ユニット122はPUの動き情報を生成し得る。動き補償ユニット124は、動き情報と、CUに関連付けられたピクチャ以外のピクチャ(たとえば、参照ピクチャ)の復号サンプルと基づくPUのための予測ビデオブロックを生成し得る。本開示では、動き補償ユニット124によって生成された予測ビデオブロックは、インター予測ビデオブロックと呼ばれることがある。
[0082]スライスは、Iスライス、Pスライス、またはBスライスであり得る。動き推定ユニット122および動き補償ユニット124は、PUがIスライス中にあるか、Pスライス中にあるか、Bスライス中にあるかに応じて、CUのPUに対して異なる演算を実行し得る。Iスライス中では、すべてのPUがイントラ予測される。したがって、PUがIスライス中にある場合、動き推定ユニット122および動き補償ユニット124は、PUに対してインター予測を実行しない。
[0083]PUがPスライス中にある場合、PUを含んでいるピクチャは、「リスト0」と呼ばれる参照ピクチャのリストに関連付けられる。リスト0中の参照ピクチャの各々は、他のピクチャのインター予測に使用され得るサンプルを含んでいる。動き推定ユニット122が、Pスライス中のPUに関して動き推定演算を実行するとき、動き推定ユニット122は、PUのための参照ブロックについて、リスト0中の参照ピクチャを探索し得る。PUの参照ブロックは、PUのビデオブロック中のサンプルに最も密接に対応するサンプルのセット、たとえば、サンプルのブロックであり得る。動き推定ユニット122は、様々なメトリクスを使用して、参照ピクチャ中のサンプルのセットがどの程度密接にPUのビデオブロック中のサンプルに対応するかを決定し得る。たとえば、動き推定ユニット122は、絶対差分和(SAD:sum of absolute difference)、2乗差分和(SSD:sum of square difference)、または他の差分メトリックによって、参照ピクチャ中のサンプルのセットがどの程度密接にPUのビデオブロック中のサンプルに対応するかを決定し得る。
[0084]Pスライス中のPUの参照ブロックを識別した後、動き推定ユニット122は、参照ブロックを含んでいる、リスト0中の参照ピクチャを示す参照インデックスと、PUと参照ブロックとの間の空間的変位を示す動きベクトルとを生成し得る。様々な例において、動き推定ユニット122は動きベクトルを異なる精度に生成し得る。たとえば、動き推定ユニット122は、1/4サンプル精度、1/8サンプル精度、または他の分数のサンプル精度で動きベクトルを生成し得る。分数のサンプル精度の場合、参照ブロック値は、参照ピクチャ中の整数位置のサンプル値から補間され得る。動き推定ユニット122は、PUの動き情報として、参照インデックスと動きベクトルとを出力し得る。動き補償ユニット124は、PUの動き情報によって識別された参照ブロックに基づいて、PUの予測ビデオブロックを生成し得る。
[0085]PUがBスライス中にある場合、PUを含んでいるピクチャは、「リスト0」および「リスト1」と呼ばれる参照ピクチャの2つのリストに関連付けられ得る。いくつかの例では、Bスライスを含んでいるピクチャは、リスト0とリスト1の組合せである、リストの組合せに関連付けられ得る。
[0086]さらに、PUがBスライス中にある場合、動き推定ユニット122は、PUについての単方向予測または双方向予測を実行し得る。動き推定ユニット122が、PUについての単方向予測を実行するとき、動き推定ユニット122は、PUのための参照ブロックについて、リスト0またはリスト1の参照ピクチャを探索し得る。動き推定ユニット122は、次いで、参照ブロックを含んでいる、リスト0またはリスト1中の参照ピクチャを示す参照インデックスと、PUと参照ブロックとの間の空間的変位を示す動きベクトルとを生成し得る。動き推定ユニット122は、PUの動き情報として、参照インデックスと、予測方向インジケータと、動きベクトルとを出力し得る。予測方向インジケータは、参照インデックスが、リスト0中の参照ピクチャを示すか、リスト1中の参照ピクチャを示すかを示し得る。動き補償ユニット124は、PUの動き情報によって示された参照ブロックに基づいて、PUの予測ビデオブロックを生成し得る。
[0087]動き推定ユニット122が、PUについての双方向予測を実行するとき、動き推定ユニット122は、PUのための参照ブロックについて、リスト0中の参照ピクチャを探索し得、また、PUのための別の参照ブロックについて、リスト1中の参照ピクチャを探索し得る。動き推定ユニット122は、次いで、参照ブロックを含んでいる、リスト0およびリスト1中の参照ピクチャを示す参照インデックスと、参照ブロックとPUの間の空間的変位を示す動きベクトルとを生成し得る。動き推定ユニット122は、PUの動き情報としてPUの参照インデックスと動きベクトルとを出力し得る。動き補償ユニット124は、PUの動き情報によって示された参照ブロックに基づいて、PUの予測ビデオブロックを生成し得る。
[0088]いくつかの例では、動き推定ユニット122は、PUの動き情報のフルセットをエントロピー符号化ユニット116に出力しない。そうではなく、動き推定ユニット122は、別のPUの動き情報を参照して、PUの動き情報をシグナリングし得る。たとえば、動き推定ユニット122は、PUの動き情報が、隣接するPUの動き情報と十分に類似していると決定し得る。この例では、動き推定ユニット122は、PUに関連付けられたシンタックス構造において、PUが隣接するPUと同じ動き情報を有することをビデオデコーダ30に示す値を示し得る。別の例では、動き推定ユニット122は、PUに関連付けられたシンタックス構造において、隣接するPUと動きベクトル差分(MVD:motion vector difference)とを識別し得る。動きベクトル差分は、PUの動きベクトルと、示される隣接するPUの動きベクトルとの間の差分を示す。ビデオデコーダ30は、示される隣接するPUの動きベクトルと、動きベクトル差分とを使用して、PUの動きベクトルを決定し得る。第2のPUの動き情報をシグナリングするときに第1のPUの動き情報を参照することによって、ビデオエンコーダ20は、より少数のビットを使用して、第2のPUの動き情報をシグナリングすることが可能であり得る。
[0089]図4および図5に関して以下でさらに説明するように、予測処理ユニット100は、図4および図5に示されている方法を実行することによってPU(または任意の他の参照レイヤブロックおよび/またはエンハンスメントレイヤブロックまたはビデオユニット)をコーディング(たとえば、符号化または復号)するように構成され得る。たとえば、(たとえば、動き推定ユニット122および/または動き補償ユニット124を介した)インター予測ユニット121、イントラ予測ユニット126、またはレイヤ間予測ユニット128は、一緒にまたは別々に、図4および図5に示されている方法を実行するように構成され得る。
[0090]CUに対して符号化演算を実行することの一部として、イントラ予測ユニット126は、CUのPUに対してイントラ予測を実行し得る。イントラ予測は空間的圧縮を実現し得る。イントラ予測ユニット126がPUに対してイントラ予測を実行するとき、イントラ予測ユニット126は、同じピクチャ中の他のPUの復号サンプルに基づいて、PUの予測データを生成し得る。PUの予測データは、予測ビデオブロックと様々なシンタックス要素とを含み得る。イントラ予測ユニット126は、Iスライス、Pスライス、およびBスライス中のPUに対してイントラ予測を実行し得る。
[0091]PUに対してイントラ予測を実行するために、イントラ予測ユニット126は、複数のイントラ予測モードを使用して、PUの予測データの複数のセットを生成し得る。イントラ予測ユニット126が、イントラ予測モードを使用してPUに関する予測データのセットを生成するとき、イントラ予測ユニット126は、イントラ予測モードに関連付けられた方向および/または勾配で、隣接するPUのビデオブロックからPUのビデオブロックにわたって、サンプルを延ばし得る。隣接するPUは、PU、CU、およびツリーブロックについて左から右、上から下の符号化順序を仮定すると、PUの上、右上、左上、または左にあり得る。イントラ予測ユニット126は、PUのサイズに応じて、様々な数のイントラ予測モード、たとえば、33個の方向性イントラ予測モードを使用し得る。
[0092]予測処理ユニット100は、PUについての、動き補償ユニット124によって生成された予測データ、またはPUについての、イントラ予測ユニット126によって生成された予測データの中から、PUの予測データを選択し得る。いくつかの例では、予測処理ユニット100は、予測データのセットのレート/ひずみメトリックに基づいて、PUのための予測データを選択する。
[0093]予測処理ユニット100が、イントラ予測ユニット126によって生成された予測データを選択する場合、予測処理ユニット100は、PUの予測データを生成するために使用されたイントラ予測モード、たとえば、選択されたイントラ予測モードをシグナリングし得る。予測処理ユニット100は、選択されたイントラ予測モードを様々な方法でシグナリングし得る。たとえば、選択されたイントラ予測モードは、隣接するPUのイントラ予測モードと同じであることがあり得る。言い換えれば、隣接するPUのイントラ予測モードは現在のPUに対して最確モード(most probable mode)であり得る。したがって、予測処理ユニット100は、選択されたイントラ予測モードが隣接するPUのイントラ予測モードと同じであることを示すための、シンタックス要素を生成し得る。
[0094]上記で説明したように、ビデオエンコーダ20はレイヤ間予測ユニット128を含み得る。レイヤ間予測ユニット128は、SVCにおいて利用可能である1つまたは複数の異なるレイヤ(たとえば、ベースレイヤまたは参照レイヤ)を使用して現在ブロック(たとえば、EL中の現在ブロック)を予測するように構成される。そのような予測はレイヤ間予測と呼ばれることがある。レイヤ間予測ユニット128は、レイヤ間冗長性を低減するために予測方法を利用し、それによって、コーディング効率を改善し、計算リソース要件を低減する。レイヤ間予測のいくつかの例としては、レイヤ間イントラ予測、レイヤ間動き予測、およびレイヤ間残差予測がある。レイヤ間イントラ予測は、ベースレイヤ中のコロケートブロックの再構成を使用してエンハンスメントレイヤ中の現在ブロックを予測する。レイヤ間動き予測は、ベースレイヤの動き情報を使用してエンハンスメントレイヤ中の動作を予測する。レイヤ間残差予測は、ベースレイヤの残差を使用してエンハンスメントレイヤの残差を予測する。レイヤ間予測方式の各々について、より詳細に以下で説明する。
[0095]予測処理ユニット100がCUのPUの予測データを選択した後、残差生成ユニット102は、CUのビデオブロックからCUのPUの予測ビデオブロックを差し引くこと(たとえば、マイナス符号によって示される)によって、CUの残差データを生成し得る。CUの残差データは、CUのビデオブロック中のサンプルの異なるサンプル成分に対応する、2D残差ビデオブロックを含み得る。たとえば、残差データは、CUのPUの予測ビデオブロック中のサンプルのルミナンス成分と、CUの元のビデオブロック中のサンプルのルミナンス成分との間の差分に対応する、残差ビデオブロックを含み得る。さらに、CUの残差データは、CUのPUの予測ビデオブロック中のサンプルのクロミナンス成分と、CUの元のビデオブロック中のサンプルのクロミナンス成分との間の差分に対応する、残差ビデオブロックを含み得る。
[0096]予測処理ユニット100は、4分木区分を実行して、CUの残差ビデオブロックをサブブロックに区分し得る。各分割されていない残差ビデオブロックは、CUの異なるTUに関連付けられ得る。CUのTUに関連付けられた残差ビデオブロックのサイズおよび位置は、CUのPUに関連付けられたビデオブロックのサイズおよび位置に基づくことも基づかないこともある。「残差4分木」(RQT:residual quad tree)として知られる4分木構造は、残差ビデオブロックの各々に関連付けられたノードを含み得る。CUのTUはRQTのリーフノードに対応し得る。
[0097]変換処理ユニット104は、TUに関連付けられた残差ビデオブロックに1つまたは複数の変換を適用することによって、CUの各TUのための1つまたは複数の変換係数ブロックを生成し得る。変換係数ブロックの各々は、変換係数の2D行列であり得る。変換処理ユニット104は、TUに関連付けられた残差ビデオブロックに様々な変換を適用し得る。たとえば、変換処理ユニット104は、離散コサイン変換(DCT)、方向性変換、または概念的に同様の変換を、TUに関連付けられた残差ビデオブロックに適用し得る。
[0098]変換処理ユニット104が、TUに関連付けられた変換係数ブロックを生成した後、量子化ユニット106は、変換係数ブロック中の変換係数を量子化し得る。量子化ユニット106は、CUに関連付けられたQP値に基づいて、CUのTUに関連付けられた変換係数ブロックを量子化し得る。
[0099]ビデオエンコーダ20は、様々な方法でQP値をCUに関連付け得る。たとえば、ビデオエンコーダ20は、CUに関連付けられたツリーブロックに対してレートひずみ分析を実行し得る。レートひずみ分析では、ビデオエンコーダ20は、ツリーブロックに対して符号化演算を複数回実行することによって、ツリーブロックの複数のコード化表現を生成し得る。ビデオエンコーダ20がツリーブロックの異なる符号化表現を生成するとき、ビデオエンコーダ20は、異なるQP値をCUに関連付け得る。ビデオエンコーダ20は、最小のビットレートおよびひずみメトリックを有するツリーブロックのコード化表現で所与のQP値がCUに関連付けられるとき、所与のQP値がCUに関連付けられることをシグナリングし得る。
[00100]逆量子化ユニット108および逆変換ユニット110は、それぞれ、変換係数ブロックに逆量子化と逆変換とを適用して、変換係数ブロックから残差ビデオブロックを再構成し得る。再構成ユニット112は、再構成された残差ビデオブロックを、予測処理ユニット100によって生成された1つまたは複数の予測ビデオブロックからの対応するサンプルに追加して、TUに関連付けられた再構成されたビデオブロックを生成し得る。このようにCUの各TUのためのビデオブロックを再構成することによって、ビデオエンコーダ20は、CUのビデオブロックを再構成し得る。
[00101]再構成ユニット112がCUのビデオブロックを再構成した後、フィルタユニット113は、CUに関連付けられたビデオブロックにおけるブロッキングアーティファクトを低減するためにデブロッキング演算を実行し得る。1つまたは複数のデブロッキング演算を実行した後、フィルタユニット113は、復号ピクチャバッファ114にCUの再構成されたビデオブロックを記憶し得る。動き推定ユニット122および動き補償ユニット124は、再構成されたビデオブロックを含んでいる参照ピクチャを使用して、後続ピクチャのPUに対してインター予測を実行し得る。さらに、イントラ予測ユニット126は、復号ピクチャバッファ114中の再構成されたビデオブロックを使用して、CUと同じピクチャの中の他のPUに対してイントラ予測を実行し得る。
[00102]エントロピー符号化ユニット116は、ビデオエンコーダ20の他の機能構成要素からデータを受信し得る。たとえば、エントロピー符号化ユニット116は、量子化ユニット106から変換係数ブロックを受信し得、予測処理ユニット100からシンタックス要素を受信し得る。エントロピー符号化ユニット116がデータを受信するとき、エントロピー符号化ユニット116は、1つまたは複数のエントロピー符号化演算を実行して、エントロピー符号化されたデータを生成し得る。たとえば、ビデオエンコーダ20は、コンテキスト適応型可変長コーディング(CAVLC)演算、CABAC演算、変数間(V2V:variable-to-variable)レングスコーディング演算、シンタックスベースコンテキスト適応型バイナリ算術コーディング(SBAC:syntax-based context-adaptive binary arithmetic coding)演算、確率間隔区分エントロピー(PIPE)コーディング演算、または別のタイプのエントロピー符号化演算をデータに対して実行し得る。エントロピー符号化ユニット116は、エントロピー符号化されたデータを含むビットストリームを出力し得る。
[00103]データに対してエントロピー符号化演算を実行することの一部として、エントロピー符号化ユニット116は、コンテキストモデルを選択し得る。エントロピー符号化ユニット116がCABAC演算を実行している場合、コンテキストモデルは、特定の値を有する特定のビンの確率の推定値を示し得る。CABACのコンテキストでは、「ビン」という用語は、シンタックス要素の2値化されたバージョンのビットを指すために使用される。
マルチレイヤビデオエンコーダ
[00104]図2Bは、本開示で説明する態様による技法を実装し得るマルチレイヤビデオエンコーダ23の一例を示すブロック図である。ビデオエンコーダ23は、SHVCおよびマルチビューコーディングの場合など、マルチレイヤビデオフレームを処理するように構成され得る。さらに、ビデオエンコーダ23は、本開示の技法のいずれかまたはすべてを実行するように構成され得る。
[00105]ビデオエンコーダ23はビデオエンコーダ20Aとビデオエンコーダ20Bとを含み、それらの各々はビデオエンコーダ20として構成され得、ビデオエンコーダ20に関して上記で説明した機能を実行し得る。さらに、参照番号の再利用によって示されるように、ビデオエンコーダ20Aおよび20Bは、ビデオエンコーダ20としてシステムとサブシステムとのうちの少なくともいくつかを含み得る。ビデオエンコーダ23は、2つのビデオエンコーダ20Aおよび20Bを含むものとして示されているが、ビデオエンコーダ23は、そのようなものとして限定されず、任意の数のビデオエンコーダ20レイヤを含み得る。いくつかの実施形態では、ビデオエンコーダ23はアクセスユニット中の各ピクチャまたはフレームについてビデオエンコーダ20を含み得る。たとえば、5つのピクチャを含むアクセスユニットは、5つのエンコーダレイヤを含むビデオエンコーダによって処理または符号化され得る。いくつかの実施形態では、ビデオエンコーダ23は、アクセスユニット中のフレームよりも多くのエンコーダレイヤを含み得る。いくつかのそのような場合では、ビデオエンコーダレイヤのいくつかは、いくつかのアクセスユニットを処理するときに非アクティブであり得る。
[00106]ビデオエンコーダ20Aおよび20Bに加えて、ビデオエンコーダ23はリサンプリングユニット90を含み得る。リサンプリングユニット90は、場合によっては、たとえば、エンハンスメントレイヤを作成するために、受信されたビデオフレームのベースレイヤをアップサンプリングし得る。リサンプリングユニット90は、フレームの受信されたベースレイヤに関連付けられた特定の情報をアップサンプリングするが、他の情報をアップサンプリングしないことがある。たとえば、リサンプリングユニット90は、ベースレイヤの空間的サイズまたはピクセルの数をアップサンプリングし得るが、スライスの数またはピクチャ順序カウントは一定のままであり得る。場合によっては、リサンプリングユニット90は、受信されたビデオを処理しないことがあるか、および/または随意であり得る。たとえば、場合によっては、予測処理ユニット100がアップサンプリングを実行し得る。いくつかの実施形態では、リサンプリングユニット90は、レイヤをアップサンプリングすることと、スライス境界ルールおよび/またはラスタ走査ルールのセットに準拠するために1つまたは複数のスライスを再編成、再定義、変更、または調整することとを行うように構成される。アクセスユニット中のベースレイヤまたは下位レイヤをアップサンプリングするものとして主に説明したが、場合によっては、リサンプリングユニット90はレイヤをダウンサンプリングし得る。たとえば、ビデオのストリーミング中に帯域幅が減少した場合、フレームは、アップサンプリングされるのではなく、ダウンサンプリングされ得る。
[00107]リサンプリングユニット90は、下位レイヤエンコーダ(たとえば、ビデオエンコーダ20A)の復号ピクチャバッファ114からピクチャまたはフレーム(またはピクチャに関連付けられたピクチャ情報)を受信し、ピクチャ(または受信されたピクチャ情報)をアップサンプリングするように構成され得る。このアップサンプリングされたピクチャは、次いで、下位レイヤエンコーダと同じアクセスユニット中のピクチャを符号化するように構成された上位レイヤエンコーダ(たとえば、ビデオエンコーダ20B)の予測処理ユニット100に与えられ得る。場合によっては、上位レイヤエンコーダは、下位レイヤエンコーダから削除された1つのレイヤである。他の場合には、図2Bのレイヤ0ビデオエンコーダとレイヤ1エンコーダとの間に1つまたは複数の上位レイヤエンコーダがあり得る。
[00108]場合によっては、リサンプリングユニット90は省略またはバイパスされ得る。そのような場合、ビデオエンコーダ20Aの復号ピクチャバッファ114からのピクチャは、直接、または少なくともリサンプリングユニット90に与えられることなしに、ビデオエンコーダ20Bの予測処理ユニット100に与えられ得る。たとえば、ビデオエンコーダ20Bに与えられたビデオデータと、ビデオエンコーダ20Aの復号ピクチャバッファ114からの参照ピクチャとが同じサイズまたは解像度である場合、参照ピクチャは、リサンプリングなしにビデオエンコーダ20Bに与えられ得る。
[00109]いくつかの実施形態では、ビデオエンコーダ23は、ビデオエンコーダ20Aにビデオデータを提供する前に、ダウンサンプリングユニット94を使用して下位レイヤエンコーダに提供されるべきビデオデータをダウンサンプリングする。代替的に、ダウンサンプリングユニット94は、ビデオデータをアップサンプリングまたはダウンサンプリングすることが可能なリサンプリングユニット90であり得る。また他の実施形態では、ダウンサンプリングユニット94は省略され得る。
[00110]図2Bに示されているように、ビデオエンコーダ23は、マルチプレクサ98、またはmuxをさらに含み得る。mux98は、ビデオエンコーダ23から合成ビットストリームを出力することができる。合成ビットストリームは、ビデオエンコーダ20Aおよび20Bの各々からビットストリームを取ることと、所与の時間において出力されるビットストリームを交替することとによって、作成され得る。場合によっては、2つの(または、3つ以上のビデオエンコーダレイヤの場合には、より多くの)ビットストリームからのビットが一度に1ビットずつ交替され得るが、多くの場合、ビットストリームは別様に合成され得る。たとえば、出力ビットストリームは、選択されたビットストリームを一度に1ブロックずつ交替することによって作成され得る。別の例では、出力ビットストリームは、ビデオエンコーダ20Aおよび20Bの各々から非1:1比のブロック(a non-1:1 ratio of blocks)を出力することによって作成され得る。たとえば、ビデオエンコーダ20Aから出力された各ブロックについて、2つのブロックがビデオエンコーダ20Bから出力され得る。いくつかの実施形態では、mux98からの出力ストリームはプリプログラムされ得る。他の実施形態では、mux98は、ソースモジュール12を含むソースデバイス上のプロセッサからなど、ビデオエンコーダ23の外部のシステムから受信された制御信号に基づいて、ビデオエンコーダ20A、20Bからのビットストリームを合成し得る。制御信号は、ビデオソース18からのビデオの解像度またはビットレートに基づいて、リンク16の帯域幅に基づいて、ユーザに関連付けられたサブスクリプション(a subscription)(たとえば、有料サブスクリプション対無料サブスクリプション)に基づいて、またはビデオエンコーダ23から望まれる解像度出力を決定するための任意の他のファクタに基づいて生成され得る。
ビデオデコーダ
[00111]図3Aは、本開示で説明する態様による技法を実装し得るビデオデコーダの一例を示すブロック図である。ビデオデコーダ30は、HEVCの場合など、ビデオフレームの単一のレイヤを処理するように構成され得る。さらに、ビデオデコーダ30は、本開示の技法のいずれかまたはすべてを実行するように構成され得る。一例として、動き補償ユニット162および/またはイントラ予測ユニット164は、本開示で説明する技法のいずれかまたはすべてを実行するように構成され得る。一実施形態では、ビデオデコーダ30は、場合によっては、本開示で説明する技法のいずれかまたはすべてを実行するように構成されたレイヤ間予測ユニット166を含み得る。他の実施形態では、レイヤ間予測は予測処理ユニット152(たとえば、動き補償ユニット162および/またはイントラ予測ユニット164)によって実行され得、その場合、レイヤ間予測ユニット166は省略され得る。ただし、本開示の態様はそのように限定されない。いくつかの例では、本開示で説明する技法は、ビデオデコーダ30の様々な構成要素間で共有され得る。いくつかの例では、追加または代替として、プロセッサ(図示せず)が、本開示で説明する技法のいずれかまたはすべてを実行するように構成され得る。
[00112]説明の目的で、本開示では、HEVCコーディングのコンテキストにおいてビデオデコーダ30について説明する。しかしながら、本開示の技法は、他のコーディング規格または方法にも適用可能であり得る。図3Aに示された例はシングルレイヤコーデックのためのものである。しかしながら、図3Bに関してさらに説明するように、ビデオデコーダ30の一部または全部はマルチレイヤコーデックの処理のために複製され得る。
[00113]図3Aの例では、ビデオデコーダ30は複数の機能構成要素を含む。ビデオデコーダ30の機能構成要素は、エントロピー復号ユニット150と、予測処理ユニット152と、逆量子化ユニット154と、逆変換ユニット156と、再構成ユニット158と、フィルタユニット159と、復号ピクチャバッファ160とを含む。予測処理ユニット152は、動き補償ユニット162と、イントラ予測ユニット164と、レイヤ間予測ユニット166とを含む。いくつかの例では、ビデオデコーダ30は、図2Aのビデオエンコーダ20に関して説明された符号化経路とは全般に逆の復号経路を実行し得る。他の例では、ビデオデコーダ30は、より多数の、より少数の、または異なる機能構成要素を含み得る。
[00114]ビデオデコーダ30は、符号化ビデオデータを備えるビットストリームを受信し得る。ビットストリームは複数のシンタックス要素を含み得る。ビデオデコーダ30がビットストリームを受信したとき、エントロピー復号ユニット150は、ビットストリームに対してパース演算を実行し得る。ビットストリームに対してパース演算を実行した結果として、エントロピー復号ユニット150は、ビットストリームからシンタックス要素を抽出し得る。パース演算を実行することの一部として、エントロピー復号ユニット150は、ビットストリーム中のエントロピー符号化されたシンタックス要素をエントロピー復号し得る。予測処理ユニット152、逆量子化ユニット154、逆変換ユニット156、再構成ユニット158、およびフィルタユニット159は、ビットストリームから抽出されたシンタックス要素に基づいて、復号ビデオデータを生成する再構成演算を実行し得る。
[00115]上記で説明したように、ビットストリームは、一連のNALユニットを備え得る。ビットストリームのNALユニットは、ビデオパラメータセット、シーケンスパラメータセットNALユニット、ピクチャパラメータセットNALユニット、SEI NALユニットなどを含み得る。ビットストリームに対してパース演算を実行することの一部として、エントロピー復号ユニット150は、シーケンスパラメータセットNALユニットからのシーケンスパラメータセット、ピクチャパラメータセットNALユニットからのピクチャパラメータセット、SEI NALユニットからのSEIデータなどを抽出しエントロピー復号する、パース演算を実行し得る。
[00116]さらに、ビットストリームのNALユニットはコード化スライスNALユニットを含み得る。ビットストリームに対してパース演算を実行することの一部として、エントロピー復号ユニット150は、コード化スライスNALユニットからコード化スライスを抽出しエントロピー復号する、パース演算を実行し得る。コーディングされたスライスの各々は、スライスヘッダとスライスデータとを含み得る。スライスヘッダは、スライスに関するシンタックス要素を含んでいることがある。スライスヘッダ中のシンタックス要素は、スライスを含んでいるピクチャに関連付けられたピクチャパラメータセットを識別するシンタックス要素を含み得る。エントロピー復号ユニット150は、コード化されたスライスヘッダ中のシンタックス要素に対して、CABAC復号演算などのエントロピー復号演算を実行して、スライスヘッダを再構成し得る。
[00117]コード化スライスのNALユニットからスライスデータを抽出することの一部として、エントロピー復号ユニット150は、スライスデータ中のコード化CUからシンタックス要素を抽出するパース演算を実行し得る。抽出されたシンタックス要素は、変換係数ブロックに関連付けられたシンタックス要素を含み得る。エントロピー復号ユニット150は、次いで、シンタックス要素のうちのいくつかに対してCABAC復号演算を実行し得る。
[00118]エントロピー復号ユニット150が区分されていないCUに対してパース演算を実行した後、ビデオデコーダ30は、区分されていないCUに対して再構成演算を実行し得る。区分されていないCUに対して再構成演算を実行するために、ビデオデコーダ30はCUの各TUに対して再構成演算を実行し得る。CUの各TUについて再構成演算を実行することによって、ビデオデコーダ30は、CUに関連付けられた残差ビデオブロックを再構成し得る。
[00119]TUに対して再構成演算を実行することの一部として、逆量子化ユニット154は、TUに関連付けられた変換係数ブロックを逆量子化(inverse quantize)、たとえば、逆量子化(de-quantize)し得る。逆量子化ユニット154は、HEVC用に提案された、またはH.264復号規格によって定義された逆量子化プロセスと同様の方式で、変換係数ブロックを逆量子化し得る。逆量子化ユニット154は、量子化の程度を決定し、同様に、逆量子化ユニット154が適用すべき逆量子化の程度を決定するために、変換係数ブロックのCUのためにビデオエンコーダ20によって計算される量子化パラメータQPを使用し得る。
[00120]逆量子化ユニット154が変換係数ブロックを逆量子化した後、逆変換ユニット156は、変換係数ブロックに関連付けられたTUのための残差ビデオブロックを生成し得る。逆変換ユニット156は、TUのための残差ビデオブロックを生成するために、変換係数ブロックに逆変換を適用し得る。たとえば、逆変換ユニット156は、変換係数ブロックに、逆DCT、逆整数変換、逆カルーネンレーベ変換(KLT:Karhunen-Loeve transform)、逆回転変換、逆方向変換、または別の逆変換を適用し得る。いくつかの例では、逆変換ユニット156は、ビデオエンコーダ20からのシグナリングに基づいて、変換係数ブロックに適用すべき逆変換を決定し得る。そのような例では、逆変換ユニット156は、変換係数ブロックに関連付けられたツリーブロックの4分木のルートノードにおいてシグナリングされた変換に基づいて、逆変換を決定し得る。他の例では、逆変換ユニット156は、ブロックサイズ、コーディングモードなど、1つまたは複数のコーディング特性から逆変換を推論し得る。いくつかの例では、逆変換ユニット156はカスケード逆変換を適用し得る。
[00121]いくつかの例では、動き補償ユニット162は、補間フィルタに基づく補間を実行することによって、PUの予測ビデオブロックを改良し得る。サブサンプル精度をもつ動き補償のために使用されるべき補間フィルタのための識別子が、シンタックス要素中に含まれ得る。動き補償ユニット162は、PUの予測ビデオブロックの生成中にビデオエンコーダ20によって使用された同じ補間フィルタを使用して、参照ブロックのサブ整数サンプルについての補間値を計算し得る。動き補償ユニット162は、受信されたシンタックス情報に従って、ビデオエンコーダ20によって使用された補間フィルタを決定し、その補間フィルタを使用して予測ビデオブロックを生成し得る。
[00122]図4および図5に関して以下でさらに説明するように、予測処理ユニット152は、図4および図5に示されている方法を実行することによってPU(または任意の他の参照レイヤブロックおよび/またはエンハンスメントレイヤブロックまたはビデオユニット)をコーディング(たとえば、符号化または復号)し得る。たとえば、動き補償ユニット162、イントラ予測ユニット164、またはレイヤ間予測ユニット166は、一緒にまたは別々に、図4および図5に示されている方法を実行するように構成され得る。
[00123]PUが、イントラ予測を使用して符号化される場合、イントラ予測ユニット164は、PUのための予測ビデオブロックを生成するためにイントラ予測を実行し得る。たとえば、イントラ予測ユニット164は、ビットストリーム中のシンタックス要素に基づいて、PUのためのイントラ予測モードを決定し得る。ビットストリームは、PUのイントラ予測モードを決定するためにイントラ予測ユニット164が使用し得るシンタックス要素を含み得る。
[00124]いくつかの事例では、シンタックス要素は、イントラ予測ユニット164が別のPUのイントラ予測モードを使用して現在のPUのイントラ予測モードを決定すべきであることを示し得る。たとえば、現在のPUのイントラ予測モードは隣接するPUのイントラ予測モードと同じであることがあり得る。言い換えれば、隣接するPUのイントラ予測モードは、現在のPUに対して最確モードであり得る。したがって、この例では、ビットストリームは、PUのイントラ予測モードが隣接するPUのイントラ予測モードと同じであることを示す、小さいシンタックス要素を含み得る。イントラ予測ユニット164は、次いで、イントラ予測モードを使用して、空間的に隣接するPUのビデオブロックに基づいて、PUに関する予測データ(たとえば、予測サンプル)を生成し得る。
[00125]上記で説明したように、ビデオデコーダ30もレイヤ間予測ユニット166を含み得る。レイヤ間予測ユニット166は、SVCにおいて利用可能である1つまたは複数の異なるレイヤ(たとえば、ベースレイヤまたは参照レイヤ)を使用して現在ブロック(たとえば、EL中の現在ブロック)を予測するように構成される。そのような予測はレイヤ間予測と呼ばれることがある。レイヤ間予測ユニット166は、レイヤ間冗長性を低減するために予測方法を利用し、それによって、コーディング効率を改善し、計算リソース要件を低減する。レイヤ間予測のいくつかの例としては、レイヤ間イントラ予測、レイヤ間動き予測、およびレイヤ間残差予測がある。レイヤ間イントラ予測は、ベースレイヤ中のコロケートブロックの再構成を使用してエンハンスメントレイヤ中の現在ブロックを予測する。レイヤ間動き予測は、ベースレイヤの動き情報を使用してエンハンスメントレイヤ中の動作を予測する。レイヤ間残差予測は、ベースレイヤの残差を使用してエンハンスメントレイヤの残差を予測する。レイヤ間予測方式の各々について、より詳細に以下で説明する。
[00126]再構成ユニット158は、適用可能なとき、CUのTUに関連付けられた残差ビデオブロックとCUのPUの予測ビデオブロックとを使用して、たとえば、イントラ予測データまたはインター予測データのいずれかを使用して、CUのビデオブロックを再構成し得る。したがって、ビデオデコーダ30は、ビットストリーム中のシンタックス要素に基づいて、予測ビデオブロックと残差ビデオブロックとを生成し得、予測ビデオブロックと残差ビデオブロックとに基づいて、ビデオブロックを生成し得る。
[00127]再構成ユニット158がCUのビデオブロックを再構成した後、フィルタユニット159は、CUに関連付けられたブロッキングアーティファクトを低減するためにデブロッキング演算を実行し得る。フィルタユニット159が、CUに関連付けられたブロッキングアーティファクトを低減するためにデブロッキング演算を実行した後、ビデオデコーダ30はCUのビデオブロックを復号されたピクチャバッファ160に記憶し得る。復号されたピクチャバッファ160は、後続の動き補償、イントラ予測、および図1Aまたは図1Bのディスプレイデバイス32などのディスプレイデバイス上での提示のために、参照ピクチャを提供し得る。たとえば、ビデオデコーダ30は、復号ピクチャバッファ160中のビデオブロックに基づいて、他のCUのPUに対してイントラ予測演算またはインター予測演算を実行し得る。
マルチレイヤデコーダ
[00128]図3Bは、本開示で説明する態様による技法を実装し得るマルチレイヤビデオデコーダ33の一例を示すブロック図である。ビデオデコーダ33は、SHVCおよびマルチビューコーディングの場合など、マルチレイヤビデオフレームを処理するように構成され得る。さらに、ビデオデコーダ33は、本開示の技法のいずれかまたはすべてを実行するように構成され得る。
[00129]ビデオデコーダ33はビデオデコーダ30Aとビデオデコーダ30Bとを含み、それらの各々はビデオデコーダ30として構成され得、ビデオデコーダ30に関して上記で説明した機能を実行し得る。さらに、参照番号の再利用によって示されるように、ビデオデコーダ30Aおよび30Bは、ビデオデコーダ30としてシステムとサブシステムとのうちの少なくともいくつかを含み得る。ビデオデコーダ33は、2つのビデオデコーダ30Aおよび30Bを含むものとして示されているが、ビデオデコーダ33は、そのようなものとして限定されず、任意の数のビデオデコーダ30レイヤを含み得る。いくつかの実施形態では、ビデオデコーダ33はアクセスユニット中の各ピクチャまたはフレームについてビデオデコーダ30を含み得る。たとえば、5つのピクチャを含むアクセスユニットは、5つのデコーダレイヤを含むビデオデコーダによって処理または復号され得る。いくつかの実施形態では、ビデオデコーダ33は、アクセスユニット中のフレームよりも多くのデコーダレイヤを含み得る。いくつかのそのような場合では、ビデオデコーダレイヤのいくつかは、いくつかのアクセスユニットを処理するときに非アクティブであり得る。
[00130]ビデオデコーダ30Aおよび30Bに加えて、ビデオデコーダ33はアップサンプリングユニット92を含み得る。いくつかの実施形態では、アップサンプリングユニット92は、フレームまたはアクセスユニットのための参照ピクチャリストに追加されるべきエンハンストレイヤを作成するために、受信されたビデオフレームのベースレイヤをアップサンプリングし得る。このエンハンストレイヤは復号ピクチャバッファ160に記憶され得る。いくつかの実施形態では、アップサンプリングユニット92は、図2Aのリサンプリングユニット90に関して説明した実施形態の一部または全部を含むことができる。いくつかの実施形態では、アップサンプリングユニット92は、レイヤをアップサンプリングすることと、スライス境界ルールおよび/またはラスタ走査ルールのセットに準拠するために1つまたは複数のスライスを再編成、再定義、変更、または調整することとを行うように構成される。場合によっては、アップサンプリングユニット92は、受信されたビデオフレームのレイヤをアップサンプリングおよび/またはダウンサンプリングするように構成されたリサンプリングユニットであり得る。
[00131]アップサンプリングユニット92は、下位レイヤデコーダ(たとえば、ビデオデコーダ30A)の復号ピクチャバッファ160からピクチャまたはフレーム(またはピクチャに関連付けられたピクチャ情報)を受信し、ピクチャ(または受信されたピクチャ情報)をアップサンプリングするように構成され得る。このアップサンプリングされたピクチャは、次いで、下位レイヤデコーダと同じアクセスユニット中のピクチャを復号するように構成された上位レイヤデコーダ(たとえば、ビデオデコーダ30B)の予測処理ユニット152に与えられ得る。場合によっては、上位レイヤデコーダは、下位レイヤデコーダから削除された1つのレイヤである。他の場合には、図3Bのレイヤ0ビデオデコーダとレイヤ1デコーダとの間に1つまたは複数の上位レイヤデコーダがあり得る。
[00132]場合によっては、アップサンプリングユニット92は省略またはバイパスされ得る。そのような場合、ビデオデコーダ30Aの復号ピクチャバッファ160からのピクチャは、直接、または少なくともアップサンプリングユニット92に与えられることなしに、ビデオデコーダ30Bの予測処理ユニット152に与えられ得る。たとえば、ビデオデコーダ30Bに与えられたビデオデータと、ビデオデコーダ30Aの復号ピクチャバッファ160からの参照ピクチャとが同じサイズまたは解像度である場合、参照ピクチャは、アップサンプリングなしにビデオデコーダ30Bに与えられ得る。さらに、いくつかの実施形態では、アップサンプリングユニット92は、ビデオデコーダ30Aの復号ピクチャバッファ160から受信された参照ピクチャをアップサンプリングまたはダウンサンプリングするように構成されたリサンプリングユニット90であり得る。
[00133]図3Bに示されているように、ビデオデコーダ33は、デマルチプレクサ99、またはdemuxをさらに含み得る。demux99は符号化ビデオビットストリームを複数のビットストリームにスプリットすることができ、demux99によって出力された各ビットストリームは異なるビデオデコーダ30Aおよび30Bに与えられる。複数のビットストリームは、ビットストリームを受信することによって作成され得、ビデオデコーダ30Aおよび30Bの各々は、所与の時間においてビットストリームの一部分を受信する。場合によっては、demux99において受信されるビットストリームからのビットは、ビデオデコーダの各々(たとえば、図3Bの例ではビデオデコーダ30Aおよび30B)の間で一度に1ビットずつ交替され得るが、多くの場合、ビットストリームは別様に分割される。たとえば、ビットストリームは、一度に1ブロックずつビットストリームを受信するビデオデコーダを交替することによって分割され得る。別の例では、ビットストリームは、非1:1比のブロックによって、ビデオデコーダ30Aおよび30Bの各々に分割され得る。たとえば、ビデオデコーダ30Aに提供される各ブロックについて、2つのブロックがビデオデコーダ30Bに提供され得る。いくつかの実施形態では、demux99によるビットストリームの分割はプリプログラムされ得る。他の実施形態では、demux99は、宛先モジュール14を含む宛先デバイス上のプロセッサからなど、ビデオデコーダ33の外部のシステムから受信された制御信号に基づいてビットストリームを分割し得る。制御信号は、入力インターフェース28からのビデオの解像度またはビットレートに基づいて、リンク16の帯域幅に基づいて、ユーザに関連付けられたサブスクリプション(たとえば、有料サブスクリプション対無料サブスクリプション)に基づいて、またはビデオデコーダ33によって取得可能な解像度を決定するための任意の他のファクタに基づいて生成され得る。
直接依存性フラグ
[00134]いくつかの例示的な実装形態(たとえば、MV−HEVCおよびSHVC)では、特定のレイヤについて、どの1つまたは複数のレイヤが特定のレイヤのレイヤ間予測のために使用され得るかを指定する、direct_dependency_flagと呼ばれるシンタックス要素がある。一実施形態では、direct_dependency_flagは、ビデオデータのあるレイヤがビデオデータの別のレイヤに基づいて(またはそれに依存して)コーディングされるかどうかを指定する2次元アレイである。そのような2次元アレイは値direct_dependency_flag[i][j]の形態をとり得、ここで、iは、コーディングされるべきレイヤ(たとえば、現在のレイヤ)に対応し、jは、参照されるべきレイヤ(たとえば、参照レイヤ)に対応する。この例では、参照レイヤが現在のレイヤの直接参照レイヤでない場合、direct_dependency_flagは0であり得、参照レイヤが現在のレイヤの直接参照レイヤである場合、direct_dependency_flagは1であり得る。一実施形態では、direct_dependency_flagが省略されるかまたは未定義である場合、値は0であると推論される。別の実施形態では、direct_dependency_flagが省略されるかまたは未定義である場合、値は1であると推論される。一実施形態では、レイヤAがレイヤBの直接参照レイヤである場合、それは、レイヤBが、レイヤA中に含まれる情報に少なくとも部分的に基づいてコーディングされ得ることを意味する。別の実施形態では、レイヤAがレイヤBの直接参照レイヤである場合、それは、レイヤBが、レイヤA中に含まれる情報に少なくとも部分的に基づいてコーディングされることを意味する。いくつかの実施形態では、より小さいレイヤIDを有するすべてのレイヤ(たとえば、下位レイヤ)は特定のレイヤの直接参照レイヤである。他の実施形態では、下位レイヤのうちのいくつかのみが特定のレイヤの直接参照レイヤであり得る。たとえば、エンコーダは、計算の複雑さを低減するために、下位レイヤのうちのいくつかのみを特定のレイヤの直接依存性レイヤとして選定し得る。適用可能なコーディング方式(たとえば、HEVC)は、特定のレイヤがいくつの直接参照レイヤを有し得るかに関する限界を有することがある(たとえば、空間的スケーラビリティの場合、1つ以下の参照レイヤ)。一実施形態では、direct_dependency_flagフラグは、ビデオパラメータセット(VPS)中でシグナリングされ、コード化ビデオシーケンス(CVS:coded video sequence)全体に適用される。
直接依存性タイプ
[00135]現在のレイヤをコーディングするために使用される情報は、参照レイヤのテクスチャ情報(たとえば、ピクセル値)、参照レイヤの動き情報(たとえば、動きベクトル、参照インデックス、予測方向など)を含み得る。ただし、現在のレイヤをコーディングするために使用され得る参照レイヤの情報は、本明細書で説明するものに限定されず、参照レイヤ中に含まれるまたはそれの一部である何らかの情報であり得る。
[00136]いくつかの実装形態では、1つまたは複数の追加のフラグまたはシンタックス要素が、現在のレイヤをコーディングするために参照レイヤから導出またはインポートされる情報の1つまたは複数のタイプを示すために使用され得る。たとえば、いくつかの実施形態では、参照レイヤは、レイヤ間動き予測、レイヤ間テクスチャ予測、またはその両方のために使用され得る。一実施形態では、そのようなフラグまたはシンタックス要素は「direct_dependency_type」と呼ばれることがある。
[00137]一実施形態では、direct_dependency_typeは、どのタイプのレイヤ間予測が、参照レイヤを使用して現在のレイヤをコーディングするために使用されるかを指定する2次元アレイである。そのような2次元アレイは値direct_dependency_type[i][j]の形態をとり得、ここで、iは、現在のレイヤ(たとえば、コーディングされるべきレイヤ)に対応し、jは、参照レイヤ(たとえば、参照されるべきレイヤ)に対応する。この例では、0のdirect_dependency_type値はレイヤ間サンプル予測のみを示し得、1はレイヤ間動き予測のみを示し得、2はレイヤ間サンプル予測とレイヤ間動き予測の両方を示し得る。いくつかの実施形態では、3(または他の値)のdirect_dependency_type値は、依存性がないことを示し得る。各direct_dependency_type値が異なるタイプのレイヤ間予測にどのように割り当てられるかまたはマッピングされるかは、他の実装形態では異なり得、本開示は、異なるタイプのレイヤ間予測へのdirect_dependency_type値の特定の割り当てまたはマッピングに限定されない。一実施形態では、direct_dependency_typeシンタックス要素は、ビデオパラメータセット(VPS)中でシグナリングされ、コード化ビデオシーケンス(CVS)全体に適用される。
直接依存性タイプから導出される他の情報
[00138]いくつかの実装形態では、direct_dependency_type[i][j]は、変数NumSamplePredRefLayers[i]、NumMotionPredRefLayers[i]、SamplePredEnabledFlag[i][j]、MotionPredEnabledFlag[i][j]、NumDirectRefLayers[i]、RefLayerId[i][j]、MotionPredRefLayerId[i][j]、およびSamplePredRefLayerId[i][j]を導出するために使用される。一実施形態では、NumSamplePredRefLayersは、レイヤ間サンプル予測のために使用され得る参照レイヤの数を示し得、NumMotionPredRefLayersは、レイヤ間動き予測のために使用され得るレイヤの数を示し得、SamplePredEnabledFlagは、レイヤ間サンプル予測が、参照レイヤのサンプル情報を使用して現在のレイヤがコーディングされ得るように有効化されるかどうかを示し得、MotionPredEnabledFlagは、レイヤ間サンプル予測が、参照レイヤの動き情報を使用して現在のレイヤがコーディングされ得るように有効化されるかどうかを示し得、NumDirectRefLayersは、現在のレイヤが有する直接参照レイヤの数を示し得、RefLayerIdは参照レイヤのレイヤIDを示し得、MotionPredRefLayerIdは、レイヤ間動き予測がそれのために有効化される参照レイヤのレイヤIDを示し得、SamplePredRefLayerIdは、レイヤ間サンプル予測がそれのために有効化される参照レイヤのレイヤIDを示し得る。いくつかの実施形態では、direct_dependency_type[i][j]は、いくつかのビットストリーム適合制約に適合するために、両端値を含む0〜2の範囲内の値を有し得る。direct_dependency_type[i][j]の値は、両端値を含む0〜2の範囲内にあり得るが、いくつかの実施形態では、デコーダは、両端値を含む3〜232−2の範囲内のdirect_dependency_type[i][j]の値がシンタックス中に出現することを可能にし得る。いくつかの実装形態では、エンコーダは、2よりも大きいdirect_dependency_type値を指定しないことがあるが、デコーダは、2よりも大きい値をパースする(parse)ように構成され得る。いくつかの実装形態では、2よりも大きいdirect_dependency_type値は、直接依存性がないことを示し得る。いくつかの実装形態では、direct_dependency_typeシンタックス要素の長さは、direct_dep_type_len_minus2+2であり得る。たとえば、この値は、direct_dependency_typeシンタックス要素の長さが2であるので、いくつかの既存のコーディング方式(たとえば、HEVC)では2に等しい。現在知られているかまたは将来開発される他の実装形態は、コード化ビデオデータの他の態様および特性を示すために、2よりも大きい値を使用し得る。
[00139]例示的な一実装形態では、変数NumSamplePredRefLayers[i]、NumMotionPredRefLayers[i]、SamplePredEnabledFlag[i][j]、MotionPredEnabledFlag[i][j]、NumDirectRefLayers[i]、RefLayerId[i][j]、MotionPredRefLayerId[i][j]、およびSamplePredRefLayerId[i][j]は、以下のように導出される。

参照レイヤコーデック
[00140]いくつかの既存のコーディング方式では、参照レイヤコーデックは、HEVCまたはH.264/AVC、または一般的な非HEVCコーデックであり得る。さらに、使用されるべきコーデックを示すパラメータセット中のフラグがあり得る。たとえば、ビデオパラメータセット(VPS)中のフラグは、参照レイヤをコーディングするためにHEVCコーデックが使用されるのか非HEVC(たとえば、AVC)コーデックが使用されるのかを示し得る。一例では、フラグavc_base_layer_flagは、参照レイヤコーデックが、勧告(Recommendation)ITU−T H.264|国際規格ISO/IEC14496−10に従うビデオコーディング規格に適合することを示す、1に等しい値を有し得、代替的に、参照レイヤコーデックがHEVC仕様に適合することを示す、0に等しい値を有し得る。したがって、エンハンスメントレイヤを符号化または復号するように構成されたコーディングデバイスは、参照レイヤに関してAVCコーデックが使用されるのかHEVCコーデックが使用されるのか(または何らかの他の非HEVCコーデックが使用されるのか)に関する情報を有し得る。
参照レイヤコーデックタイプおよび動き情報利用可能性
[00141]いくつかの参照レイヤコーディング方式(たとえば、AVC)では、動き情報は、1つまたは複数のエンハンスメントレイヤをコーディングするために利用可能でないことがある。たとえば、参照レイヤコーダ(たとえば、エンコーダまたはデコーダ)は、(たとえば、表示のために)テクスチャ(たとえば、ピクセル値)情報のみを出力し得、参照レイヤをコーディングするために使用される動き情報を出力しないことがある。そのような場合、動き情報は、エンハンスメントレイヤコーデックによってアクセス可能でないことがあり、したがって、エンハンスメントレイヤをコーディングするために使用されないことがある。
[00142]いくつかの実施形態では、そのような利用不可能な情報へのアクセスを制限するために、そのような情報の使用を示し得るシンタックス要素は、そのような指示を提供することを制限され得る。たとえば、シンタックス要素が無制限であり、そのような情報の使用を示すことを可能にされる場合、コーダ(たとえば、エンコーダまたはデコーダ)は、(たとえば、参照された動き情報が、上記で説明したように利用可能でない場合)ビットストリームのある部分を符号化または復号することが可能でないことがある。
[00143]参照レイヤによって使用されるコーディング方式への、レイヤ間予測のための動き情報の利用可能性の依存を活用することによって、いくつかのレイヤ間の直接依存性タイプを決定するための追加の処理が省略され、したがって、コーディング効率が改善され、および/または計算の複雑さが低減されることになる。
[00144]一実施形態では、エンハンスメントレイヤをコーディングするために使用され得るレイヤ間予測方法は、参照レイヤコーデックが特定のコーディング方式に適合するかどうかに依存し得る。特定のコーディング方式は、参照レイヤ中の情報の一部分が利用可能でないことがあるかどうかを示し得る任意の所定のコーディング方式であり得る。一例では、特定のコーディング方式はAVCである。そのような例では、エンハンスメントレイヤをコーディングするために使用されるレイヤ間予測方法は、参照レイヤコーデックがAVC(または非HEVCコーディング方式)に適合するかどうかに依存し得る。たとえば、コーダは、上記で説明したコーデック情報を使用して、どのコーデックが参照レイヤをコーディングするために使用されるかをチェックし得、参照レイヤコーデックがHEVC以外のコーディング方式に適合する場合、コーダ(たとえば、エンコーダまたはデコーダ)は、エンハンスメントレイヤをコーディングするときにレイヤ間動き予測の使用を無効化し得る。一方、参照レイヤコーデックがHEVCに適合する場合、コーダ(たとえば、エンコーダまたはデコーダ)は、エンハンスメントレイヤをコーディングするときにレイヤ間動き予測の使用を有効化し得る。
H.264/AVC適合ベースレイヤに関する他の情報
[00145]いくつかの実装形態では、1のavc_base_layer_flag値は、参照ピクチャリスト構成のための勧告ITU−T H.264|ISO/IEC14496−10復号プロセスを使用して参照レイヤが復号されるとき、出力参照ピクチャリストrefPicList0(および、適用可能なとき、refPicList1)が、コード化ピクチャ(たとえば、参照ピクチャリストがそれに関連付けられるピクチャ)の時間的IDよりも大きい時間的IDを有するピクチャを含んでいないことを示す。いくつかの実装形態では、入力としてtemporal_idのための任意の値を用いて、勧告ITUT H.264|ISO/IEC14496−10サブクローズG.8.8.1において指定されているようにサブビットストリーム抽出プロセスを使用して導出され得る、勧告ITU−T H.264|ISO/IEC14496−10適合ベースレイヤのすべてのサブビットストリームはCVSのセットを生じ、各CVSは、勧告ITUT H.264|ISO/IEC14496−10アネックスA、G、およびHにおいて指定されたプロファイルのうちの1つまたは複数に適合するものとする。
レイヤ間予測タイプのコーデック依存シグナリングの実装形態
[00146]上記で説明したように、レイヤ間動き予測(または他の予測モード)の使用を示すために使用されるフラグまたはシンタックス要素の値は、たとえば、avc_base_layer_flagまたは他のシンタックス要素によって指定されるか、またはいくつかのあるシンタックス要素から導出され得る、参照レイヤ(またはベースレイヤ)をコーディングするために使用されるコーデックに依存することができる。一実施形態では、ベースレイヤは、最も小さいレイヤIDをもつレイヤである。別の実施形態では、ベースレイヤは、0のレイヤIDを有するレイヤである。いくつかの実施形態では、レイヤ間動き予測は、AVC参照レイヤについて無効化される。他の実施形態では、レイヤ間動き予測は、非HEVC参照レイヤについて無効化される。レイヤ間動き予測の無効化は、以下で説明するように実装され得る。
実施形態#1
[00147]一実施形態では、direct_dependency_typeは、任意の非HEVC参照レイヤについて0に等しい値をとる。別の実施形態では、direct_dependency_typeは、AVC参照レイヤについて0に等しい値をとる。この特徴は、direct_dependency_typeシンタックス要素に対するビットストリーム制約として実装され得る。たとえば、適合ビットストリームでは、0のレイヤIDを有するレイヤ(たとえば、ベースレイヤ)に関するdirect_dependency_typeは、avc_base_layer_flagが1に等しい場合、0に等しいものとする。別の例では、適合ビットストリームは、avc_base_layer_flagが1に等しい場合、0のレイヤIDを有するレイヤ(たとえば、ベースレイヤ)のためのレイヤ間動き予測を指定するシンタックス要素を含んでいないものとする。
実施形態#2
[00148]一実施形態では、非HEVC(たとえば、AVC)コーディング方式でコーディングされる参照レイヤについて、direct_dependency_typeは、avc_base_layer_flagが1に等しい場合にレイヤ間サンプル予測のみを有効化することによって、条件付きでシグナリングされる。レイヤ間サンプル予測は非HEVCコード化(たとえば、AVCコード化)レイヤのための唯一の利用可能なレイヤ間予測であるので、avc_base_layer_flagが1に等しい場合、direct_dependency_typeシグナリングは省略され得、direct_dependency_typeの値は、(たとえば、唯一のレイヤ間サンプル予測が使用されることを示す)0であると推論され得る。
[00149]direct_dependency_typeシグナリングの省略が、イタリック体にされた部分において実装される、例示的なシンタックスを以下に示す。

[00150]いくつかの実装形態では、direct_dependency_typeを推論すること(たとえば、0の値が推論されるべきとき)がdirect_dependency_typeのセマンティクスに追加される。たとえば、direct_dependency_typeがあるレイヤについて存在しない場合、direct_dependency_typeはそのレイヤについて0であると推論される。代替的に、direct_dependency_typeがあるレイヤについて存在しない場合、avc_base_layer_flagが1に等しければ、direct_dependency_typeはそのレイヤについて0であると推論される。上記で説明したあるレイヤは、0のレイヤIDを有するベースレイヤであり得る。別の実施形態では、あるレイヤは、非0レイヤIDを有する参照レイヤであり得る。
他のシンタックス要素
[00151]本開示では、レイヤ間予測のタイプを示すdirect_dependency_typeシンタックス要素が、様々な実施形態を説明するために使用されるが、同じ技法および機構が、レイヤ間予測タイプを指定することができる他のシンタックス要素に適用および拡張され得る。
[00152]本開示では、avc_base_layer_flagシンタックス要素が、ベースレイヤのコーデック方式を示すために、またはベースレイヤが非HEVCコーデック方式でコーディングされることを示すために使用される。しかしながら、他のシンタックス要素および機構が、参照レイヤコーデック方式またはベースレイヤコーデック方式を指定するためにシグナリングまたは処理され得る。
[00153]本明細書で説明する技法および機構は、動き情報の利用可能性または利用不可能性をシグナリングすることに限定されず、本開示で説明するものと同様の他の技法および機構が、テクスチャ情報またはレイヤ間予測(または予測一般)のための他のタイプの情報の利用可能性または利用不可能性を示すために使用され得る。
例示的なフローチャート#1
[00154]図4は、本開示の一実施形態による、ビデオ情報をコーディングするための方法400を示すフローチャートである。図4に示されたステップは、エンコーダ(たとえば、図2Aまたは図2Bに示されているビデオエンコーダ)、デコーダ(たとえば、図3Aまたは図3Bに示されているビデオデコーダ)、または任意の他の構成要素によって実行され得る。便宜上、方法400は、エンコーダ、デコーダまたは別の構成要素であり得る、コーダによって実行されるものとして説明する。
[00155]方法400はブロック401において開始する。ブロック405において、コーダは、参照レイヤコーデックが特定のタイプのコーデックであるかどうかを決定する。一実施形態では、参照レイヤコーデックは、参照レイヤをコーディングするために使用されるコーデックのタイプを指定する。別の実施形態では、参照レイヤコーデックは、それが適合するコーディング方式のタイプを指定する。一例では、特定のタイプのコーデックはAVCコーデックを含む。別の例では、特定のタイプのコーデックは非HEVCコーデックを含む。コーダが、参照レイヤコーデックが特定のタイプのコーデックでないと決定した場合、コーダは、ブロック410においてレイヤ間動き予測を有効化する。一例では、レイヤ間動き予測を有効化することは、参照レイヤの動き情報を使用して現在のレイヤを実際にコーディングすることを備え得る。別の例では、レイヤ間動き予測を有効化することは、レイヤ間動き予測を無効化するのを控えることを備え得、参照レイヤの動き情報が現在のレイヤをコーディングするために実際に使用されることを意味しないことがある。コーダが、ブロック405において、参照レイヤコーデックが特定のタイプのコーデックであると決定した場合、コーダは、ブロック415においてレイヤ間動き予測を無効化する。一例では、レイヤ間動き予測を無効化することは、参照レイヤの動き情報が現在のレイヤをコーディングするために使用されることを可能にしないことを備え得る。別の実施形態では、レイヤ間動き予測を無効化することは、参照レイヤの動き情報を使用せずに現在のレイヤをコーディングすることを備え得る。方法400はブロック420において終了する。
[00156]上記で説明したように、図2Aのビデオエンコーダ20、図2Bのビデオエンコーダ21、図3Aのビデオデコーダ30、または図3Bのビデオデコーダ31のうちの1つまたは複数の構成要素(たとえば、レイヤ間予測ユニット128および/またはレイヤ間予測ユニット166)は、参照レイヤコーデックが特定のタイプのコーデックであるかどうかを決定すること、レイヤ間動き予測を有効化すること、およびレイヤ間動き予測を無効化することなど、本開示で説明する技法のいずれかを実装するために使用され得る。
例示的なフローチャート#2
[00157]図5は、本開示の一実施形態による、ビデオ情報をコーディングするための方法500を示すフローチャートである。図5に示されたステップは、エンコーダ(たとえば、図2Aまたは図2Bに示されているビデオエンコーダ)、デコーダ(たとえば、図3Aまたは図3Bに示されているビデオデコーダ)、または任意の他の構成要素によって実行され得る。便宜上、方法500は、エンコーダ、デコーダまたは別の構成要素であり得る、コーダによって実行されるものとして説明する。
[00158]方法500はブロック501において開始する。ブロック505において、コーダは、参照レイヤコーデックが特定のタイプのコーデックであるかどうかを決定する。コーダがブロック505において決定を行う方法は、図4のブロック405においてコーダによって採用された方法と同様であり得る。コーダが、参照レイヤコーデックが特定のタイプのコーデックでないと決定した場合、方法500はブロック520において終了する。一方、コーダが、参照レイヤコーデックが特定のタイプのコーデックであると決定した場合、コーダは、ブロック510において、参照レイヤの動き情報がエンハンスメントレイヤをコーディングするために使用され得ないという指示を処理する。一実施形態では、参照レイヤの動き情報がエンハンスメントレイヤをコーディングするために使用され得ないという指示を処理することは、参照レイヤの動き情報がエンハンスメントレイヤをコーディングするために使用され得ないことを示す1つまたは複数のシンタックス要素またはフラグをシグナリングまたは受信することを備える。別の実施形態では、参照レイヤの動き情報がエンハンスメントレイヤをコーディングするために使用され得ないという指示を処理することは、エンハンスメントレイヤをコーディングするために使用され得る参照レイヤの情報がテクスチャ情報に制限されることを示す1つまたは複数のシンタックス要素またはフラグをシグナリングまたは受信することを備える。別の実施形態では、参照レイヤの動き情報がエンハンスメントレイヤをコーディングするために使用され得ないという指示を処理することは、参照レイヤがエンハンスメントレイヤの直接参照レイヤであるかどうかを示すフラグまたはシンタックス要素を処理するのを控えることを備える。別の実施形態では、参照レイヤの動き情報がエンハンスメントレイヤをコーディングするために使用され得ないという指示を処理することは、参照レイヤとエンハンスメントレイヤとの間の依存性タイプを示すフラグまたはシンタックス要素を処理するのを控えることを備える。別の実施形態では、予測タイプの指示はビットストリーム中でシグナリングされず、予測タイプは、利用可能なまたは既存のフラグ、シンタックス要素、または情報から導出(またはそれに基づいて決定)される。たとえば、コーダは、ベースレイヤが非HEVCコーデック方式(たとえば、AVC)でコーディングされる場合、ベースレイヤのテクスチャ情報のみがレイヤ間予測のために使用されるべきであると決定し得る。ブロック515において、コーダは、(たとえば、参照レイヤの動き情報がエンハンスメントレイヤをコーディングするために使用され得ないという指示を処理したことに応答して)参照レイヤの動き情報を使用せずにエンハンスメントレイヤをコーディングする。方法500はブロック520において終了する。
[00159]上記で説明したように、図2Aのビデオエンコーダ20、図2Bのビデオエンコーダ21、図3Aのビデオデコーダ30、または図3Bのビデオデコーダ31のうちの1つまたは複数の構成要素(たとえば、レイヤ間予測ユニット128および/またはレイヤ間予測ユニット166)は、参照レイヤコーデックが特定のタイプのコーデックであるかどうかを決定すること、参照レイヤの動き情報がエンハンスメントレイヤをコーディングするために使用され得ないという指示を処理すること、参照レイヤの動き情報を使用せずにエンハンスメントレイヤをコーディングすることなど、本開示で説明する技法のいずれかを実装するために使用され得る。
[00160]方法500では、図5に示されたブロックのうちの1つまたは複数は削除される(たとえば、実行されない)ことがあり、および/または方法が実行される順序は入れ替えられることがある。たとえば、ブロック515が図5に示されているが、エンハンスメントレイヤを実際にコーディングすることは、方法500の一部である必要はなく、したがって方法500から省略される。したがって、本開示の実施形態は、図5に示された例にまたはそれによって限定されず、他の変形形態が、本開示の趣旨から逸脱することなく実装され得る。
他の考慮事項
[00161]本明細書で開示する情報および信号は、多種多様な技術および技法のいずれかを使用して表され得る。たとえば、上記の説明全体にわたって言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、およびチップは、電圧、電流、電磁波、磁界または磁性粒子、光場または光学粒子、あるいはそれらの任意の組合せによって表され得る。
[00162]本明細書で開示する実施形態に関して説明した様々な例示的な論理ブロック、モジュール、回路、およびアルゴリズムステップは、電子ハードウェア、コンピュータソフトウェア、またはその両方の組合せとして実装され得る。ハードウェアとソフトウェアのこの互換性を明確に示すために、様々な例示的な構成要素、ブロック、モジュール、回路、およびステップについて、上記では概してそれらの機能に関して説明した。そのような機能をハードウェアとして実装するか、ソフトウェアとして実装するかは、特定の適用例および全体的なシステムに課される設計制約に依存する。当業者は、説明した機能を特定の適用例ごとに様々な方法で実装し得るが、そのような実装の決定は、本発明の範囲からの逸脱を生じるものと解釈されるべきではない。
[00163]本明細書で説明した技法は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。そのような技法は、汎用コンピュータ、ワイヤレス通信デバイスハンドセット、またはワイヤレス通信デバイスハンドセットおよび他のデバイスにおける適用例を含む複数の用途を有する集積回路デバイスなど、様々なデバイスのいずれかにおいて実装され得る。モジュールまたは構成要素として説明した特徴は、集積論理デバイスに一緒に、または個別であるが相互運用可能な論理デバイスとして別々に実装され得る。ソフトウェアで実装した場合、本技法は、実行されたとき、上記で説明した方法のうちの1つまたは複数を実行する命令を含むプログラムコードを備えるコンピュータ可読データ記憶媒体によって、少なくとも部分的に実現され得る。コンピュータ可読データ記憶媒体は、パッケージング材料を含むことがあるコンピュータプログラム製品の一部を形成し得る。コンピュータ可読媒体は、同期型ダイナミックランダムアクセスメモリ(SDRAM)などのランダムアクセスメモリ(RAM)、読取り専用メモリ(ROM)、不揮発性ランダムアクセスメモリ(NVRAM)、電気消去可能プログラマブル読取り専用メモリ(EEPROM(登録商標))、フラッシュメモリ、磁気または光学データ記憶媒体など、メモリまたはデータ記憶媒体を備え得る。本技法は、追加または代替として、伝搬信号または電波など、命令またはデータ構造の形態でプログラムコードを搬送または伝達し、コンピュータによってアクセスされ、読み取られ、および/または実行され得るコンピュータ可読通信媒体によって、少なくとも部分的に実現され得る。
[00164]プログラムコードは、1つまたは複数のデジタル信号プロセッサ(DSP)、汎用マイクロプロセッサ、特定用途向け集積回路(ASIC)、フィールドプログラマブルロジックアレイ(FPGA)、または他の等価の集積回路またはディスクリート論理回路など、1つまたは複数のプロセッサを含み得るプロセッサによって実行され得る。そのようなプロセッサは、本開示で説明する技法のいずれかを実行するように構成され得る。汎用プロセッサはマイクロプロセッサであり得るが、代替として、プロセッサは、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、または状態機械であり得る。プロセッサは、コンピューティングデバイスの組合せ、たとえば、DSPとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、DSPコアと連携する1つまたは複数のマイクロプロセッサ、あるいは任意の他のそのような構成として実装され得る。したがって、本明細書で使用する「プロセッサ」という用語は、上記の構造、上記の構造の任意の組合せ、または本明細書で説明した技法の実装に好適な他の構造または装置のいずれかを指す。さらに、いくつかの態様では、本明細書で説明した機能は、符号化および復号のために構成された専用のソフトウェアモジュールまたはハードウェアモジュール内に提供されるか、あるいは複合ビデオエンコーダ/デコーダ(コーデック)に組み込まれ得る。また、本技法は、1つまたは複数の回路または論理要素において完全に実装され得る。
[00165]本開示の技法は、ワイヤレスハンドセット、集積回路(IC)またはICのセット(たとえば、チップセット)を含む、多種多様なデバイスまたは装置において実装され得る。本開示では、開示する技法を実行するために構成されたデバイスの機能的態様を強調するために様々な構成要素、モジュール、またはユニットについて説明したが、それらの構成要素、モジュール、またはユニットは、必ずしも異なるハードウェアユニットによる実現を必要とするとは限らない。むしろ、上記で説明したように、様々なユニットが、好適なソフトウェアおよび/またはファームウェアとともに、上記で説明した1つまたは複数のプロセッサを含めて、コーデックハードウェアユニットにおいて組み合わせられるか、または相互動作可能なハードウェアユニットの集合によって与えられ得る。
[00166]本発明の様々な実施形態について説明した。これらおよび他の実施形態は以下の特許請求の範囲内に入る。
[00166]本発明の様々な実施形態について説明した。これらおよび他の実施形態は以下
の特許請求の範囲内に入る。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
[C1] ビデオ情報をコーディングするように構成された装置であって、前記装置は、
参照レイヤとエンハンスメントレイヤとに関連付けられたビデオ情報を記憶するように構成されたメモリと、前記参照レイヤが参照レイヤ(RL)コーデックに関連付けられ、前記エンハンスメントレイヤがエンハンスメントレイヤ(EL)コーデックに関連付けられ、
前記メモリと通信しているプロセッサと
を備え、前記プロセッサは、
前記参照レイヤに関連付けられた前記RLコーデックが特定のタイプのコーデックであるかどうかを決定することと、
前記RLコーデックが特定のタイプのコーデックであると決定したことに応答して、ビデオビットストリーム中で、前記参照レイヤの動き情報が前記エンハンスメントレイヤをコーディングするために使用され得ないという指示を処理することと
を行うように構成された、装置。
[C2] 前記プロセッサは、前記参照レイヤに関連付けられた前記RLコーデックが、前記エンハンスメントレイヤに関連付けられた第2のコーデックと異なるかどうかを決定することによって、前記参照レイヤに関連付けられた前記RLコーデックが特定のタイプのコーデックであるかどうかを決定するように構成された、C1に記載の装置。
[C3] 前記プロセッサは、前記RLコーデックが特定のタイプのコーデックであるかどうかを示すフラグまたはシンタックス要素の値を決定することによって、前記参照レイヤに関連付けられた前記RLコーデックが前記特定のタイプのコーデックであるかどうかを決定するように構成された、C1に記載の装置。
[C4] 前記プロセッサは、前記ビデオビットストリーム中で、前記参照レイヤの動き情報が前記エンハンスメントレイヤをコーディングするために使用され得ないという前記指示をシグナリングするのを控えることと、前記RLコーデックが非HEVCコーデックであるかどうかに基づいて前記指示を決定することと、を行うようにさらに構成された、C1に記載の装置。
[C5] 前記プロセッサは、前記ビデオビットストリーム中で、前記参照レイヤの動き情報が前記エンハンスメントレイヤをコーディングするために使用され得ないという前記指示をシグナリングするのを控えることと、前記RLコーデックがAVCコーデックであるかどうかに基づいて前記指示を決定することと、を行うようにさらに構成された、C1に記載の装置。
[C6] 前記プロセッサは、前記RLコーデックが前記特定のタイプのコーデックであると決定したことに応答して、前記ビデオビットストリーム中で、前記参照レイヤの動き情報が前記エンハンスメントレイヤをコーディングするために使用され得ないことを示す1つまたは複数のシンタックス要素またはフラグをシグナリングまたは受信することによって、前記参照レイヤの動き情報が前記エンハンスメントレイヤをコーディングするために使用され得ないという前記指示を処理するように構成された、C1に記載の装置。
[C7] 前記プロセッサは、前記ビデオビットストリーム中で追加のフラグまたはシンタックス要素をシグナリングまたは受信することなしに、前記RLコーデックが非HEVCコーデックであるかどうかに基づいて、前記参照レイヤの動き情報が前記エンハンスメントレイヤをコーディングするために使用され得ないと決定することによって、前記参照レイヤの動き情報が前記エンハンスメントレイヤをコーディングするために使用され得ないという前記指示を処理するように構成された、C1に記載の装置。
[C8] 前記プロセッサは、前記エンハンスメントレイヤをコーディングするために使用され得る前記参照レイヤの情報がテクスチャ情報に制限されることを示す1つまたは複数のシンタックス要素またはフラグをシグナリングまたは受信することによって、前記参照レイヤの動き情報が前記エンハンスメントレイヤをコーディングするために使用され得ないという前記指示を処理するように構成された、C1に記載の装置。
[C9] 前記プロセッサは、前記参照レイヤが前記エンハンスメントレイヤの直接参照レイヤであるかどうかを示すフラグまたはシンタックス要素を処理するのを控えることによって、前記参照レイヤの動き情報が前記エンハンスメントレイヤをコーディングするために使用され得ないという前記指示を処理するように構成された、C1に記載の装置。
[C10] 前記プロセッサは、前記参照レイヤと前記エンハンスメントレイヤとの間の依存性タイプを示すフラグまたはシンタックス要素を処理するのを控えることによって、前記参照レイヤの動き情報が前記エンハンスメントレイヤをコーディングするために使用され得ないという前記指示を処理するように構成された、C1に記載の装置。
[C11] 前記特定のコーデックが非HEVCコーデックを備える、C1に記載の装置。
[C12] 前記特定のコーデックがAVCコーデックを備える、C1に記載の装置。
[C13] 前記RLコーデックがAVCコーデックを備え、前記ELコーデックがHEVCコーデックを備える、C1に記載の装置。
[C14] 前記装置がエンコーダを備え、ここにおいて、前記プロセッサが、前記ビデオビットストリーム中で前記ビデオ情報を符号化するようにさらに構成された、C1に記載の装置。
[C15] 前記装置がデコーダを備え、ここにおいて、前記プロセッサが、前記ビデオビットストリーム中で前記ビデオ情報を復号するようにさらに構成された、C1に記載の装置。
[C16] 前記装置が、コンピュータと、ノートブックと、ラップトップと、コンピュータと、タブレットコンピュータと、セットトップボックスと、電話ハンドセットと、スマートフォンと、スマートパッドと、テレビジョンと、カメラと、ディスプレイデバイスと、デジタルメディアプレーヤと、ビデオゲームコンソールと、車内コンピュータとのうちの1つまたは複数からなるグループから選択されるデバイスを備える、C1に記載の装置。
[C17] ビデオ情報をコーディングする方法であって、前記方法は、
参照レイヤに関連付けられた参照レイヤ(RL)コーデックが特定のタイプのコーデックであるかどうかを決定することと、
前記RLコーデックが特定のタイプのコーデックであると決定したことに応答して、ビデオビットストリーム中で、前記参照レイヤの動き情報がエンハンスメントレイヤ(EL)コーデックに関連付けられたエンハンスメントレイヤをコーディングするために使用され得ないという指示を処理することと
を備える、方法。
[C18] 前記参照レイヤに関連付けられた前記RLコーデックが特定のタイプのコーデックであるかどうかを決定することは、前記参照レイヤに関連付けられた前記RLコーデックが、前記エンハンスメントレイヤに関連付けられた第2のコーデックと異なるかどうかを決定することを備える、C17に記載の方法。
[C19] 前記参照レイヤに関連付けられた前記RLコーデックが特定のタイプのコーデックであるかどうかを決定することは、前記RLコーデックが前記特定のタイプのコーデックであるかどうかを示すフラグまたはシンタックス要素の値を決定することを備える、C17に記載の方法。
[C20] 前記ビデオビットストリーム中で、前記参照レイヤの動き情報が前記エンハンスメントレイヤをコーディングするために使用され得ないという前記指示をシグナリングするのを控えることと、前記RLコーデックが非HEVCコーデックであるかどうかに基づいて前記指示を決定することと、をさらに備える、C17に記載の方法。
[C21] 前記ビデオビットストリーム中で、前記参照レイヤの動き情報が前記エンハンスメントレイヤをコーディングするために使用され得ないという前記指示をシグナリングするのを控えることと、前記RLコーデックがAVCコーデックであるかどうかに基づいて前記指示を決定することと、をさらに備える、C17に記載の方法。
[C22] 前記参照レイヤの動き情報が前記エンハンスメントレイヤをコーディングするために使用され得ないという前記指示を処理することは、前記RLコーデックが前記特定のタイプのコーデックであると決定したことに応答して、前記ビデオビットストリーム中で、前記参照レイヤの動き情報が前記エンハンスメントレイヤをコーディングするために使用され得ないことを示す1つまたは複数のシンタックス要素またはフラグをシグナリングまたは受信することを備える、C17に記載の方法。
[C23] 前記参照レイヤの動き情報が前記エンハンスメントレイヤをコーディングするために使用され得ないという前記指示を処理することは、前記ビデオビットストリーム中で追加のフラグまたはシンタックス要素をシグナリングまたは受信することなしに、前記RLコーデックが非HEVCコーデックであるかどうかに基づいて、前記参照レイヤの動き情報が前記エンハンスメントレイヤをコーディングするために使用され得ないと決定することを備える、C17に記載の方法。
[C24] 前記参照レイヤの動き情報が前記エンハンスメントレイヤをコーディングするために使用され得ないという前記指示を処理することは、前記ビデオビットストリーム中で、前記エンハンスメントレイヤをコーディングするために使用され得る前記参照レイヤの情報がテクスチャ情報に制限されることを示す1つまたは複数のシンタックス要素またはフラグをシグナリングまたは受信することを備える、C17に記載の方法。
[C25] 前記参照レイヤの動き情報が前記エンハンスメントレイヤをコーディングするために使用され得ないという前記指示を処理することは、前記参照レイヤが前記エンハンスメントレイヤの直接参照レイヤであるかどうかを示すフラグまたはシンタックス要素を処理するのを控えることを備える、C17に記載の方法。
[C26] 前記参照レイヤの動き情報が前記エンハンスメントレイヤをコーディングするために使用され得ないという前記指示を処理することは、前記参照レイヤと前記エンハンスメントレイヤとの間の依存性タイプを示すフラグまたはシンタックス要素を処理するのを控えることを備える、C17に記載の方法。
[C27] 実行されたとき、
参照レイヤとエンハンスメントレイヤとに関連付けられたビデオ情報を記憶することと、前記参照レイヤが参照レイヤ(RL)コーデックに関連付けられ、前記エンハンスメントレイヤがエンハンスメントレイヤ(EL)コーデックに関連付けられ、
前記参照レイヤに関連付けられた前記RLコーデックが特定のタイプのコーデックであるかどうかを決定することと、
前記RLコーデックが特定のタイプのコーデックであると決定したことに応答して、ビデオビットストリーム中で、前記参照レイヤの動き情報が前記エンハンスメントレイヤをコーディングするために使用され得ないという指示を処理することと
を備えるプロセスを装置に実行させるコードを備える、非一時的コンピュータ可読媒体。
[C28] 前記参照レイヤの動き情報が前記エンハンスメントレイヤをコーディングするために使用され得ないという前記指示を処理することは、前記ビデオビットストリーム中で追加のフラグまたはシンタックス要素をシグナリングまたは受信することなしに、前記RLコーデックが非HEVCコーデックであるかどうかに基づいて、前記参照レイヤの動き情報が前記エンハンスメントレイヤをコーディングするために使用され得ないと決定することを備える、C27に記載のコンピュータ可読媒体。
[C29] ビデオ情報をコーディングするように構成されたビデオコーディングデバイスであって、前記ビデオコーディングデバイスは、
参照レイヤとエンハンスメントレイヤとに関連付けられたビデオ情報を記憶するための手段と、前記参照レイヤが参照レイヤ(RL)コーデックに関連付けられ、前記エンハンスメントレイヤがエンハンスメントレイヤ(EL)コーデックに関連付けられ、
前記参照レイヤに関連付けられた前記RLコーデックが特定のタイプのコーデックであるかどうかを決定するための手段と、
前記RLコーデックが特定のタイプのコーデックであると決定したことに応答して、ビデオビットストリーム中で、前記参照レイヤの動き情報が前記エンハンスメントレイヤをコーディングするために使用され得ないという指示を処理するための手段と
を備える、ビデオコーディングデバイス。
[C30] 前記参照レイヤの動き情報が前記エンハンスメントレイヤをコーディングするために使用され得ないという前記指示を処理するための前記手段は、前記ビデオビットストリーム中で追加のフラグまたはシンタックス要素をシグナリングまたは受信することなしに、前記RLコーデックが非HEVCコーデックであるかどうかに基づいて、前記参照レイヤの動き情報が前記エンハンスメントレイヤをコーディングするために使用され得ないと決定するための手段を備える、C29に記載のビデオコーディングデバイス。





  1. ビデオ情報をコーディングするように構成された装置であって、前記装置は、
    参照レイヤとエンハンスメントレイヤとに関連付けられたビデオ情報を記憶するように構成されたメモリと、前記参照レイヤが参照レイヤ(RL)コーデックに関連付けられ、前記エンハンスメントレイヤがエンハンスメントレイヤ(EL)コーデックに関連付けられ、
    前記メモリと通信しているプロセッサと
    を備え、前記プロセッサは、
    前記参照レイヤに関連付けられた前記RLコーデックが特定のタイプのコーデックであるかどうかを決定することと、
    前記RLコーデックが特定のタイプのコーデックであると決定したことに応答して、ビデオビットストリーム中で、前記参照レイヤの動き情報が前記エンハンスメントレイヤをコーディングするために使用され得ないという指示を処理することと
    を行うように構成された、装置。

  2. 前記プロセッサは、前記参照レイヤに関連付けられた前記RLコーデックが、前記エンハンスメントレイヤに関連付けられた第2のコーデックと異なるかどうかを決定することによって、前記参照レイヤに関連付けられた前記RLコーデックが特定のタイプのコーデックであるかどうかを決定するように構成された、請求項1に記載の装置。

  3. 前記プロセッサは、前記RLコーデックが特定のタイプのコーデックであるかどうかを示すフラグまたはシンタックス要素の値を決定することによって、前記参照レイヤに関連付けられた前記RLコーデックが前記特定のタイプのコーデックであるかどうかを決定するように構成された、請求項1に記載の装置。

  4. 前記プロセッサは、前記ビデオビットストリーム中で、前記参照レイヤの動き情報が前記エンハンスメントレイヤをコーディングするために使用され得ないという前記指示をシグナリングするのを控えることと、前記RLコーデックが非HEVCコーデックであるかどうかに基づいて前記指示を決定することと、を行うようにさらに構成された、請求項1に記載の装置。

  5. 前記プロセッサは、前記ビデオビットストリーム中で、前記参照レイヤの動き情報が前記エンハンスメントレイヤをコーディングするために使用され得ないという前記指示をシグナリングするのを控えることと、前記RLコーデックがAVCコーデックであるかどうかに基づいて前記指示を決定することと、を行うようにさらに構成された、請求項1に記載の装置。

  6. 前記プロセッサは、前記RLコーデックが前記特定のタイプのコーデックであると決定したことに応答して、前記ビデオビットストリーム中で、前記参照レイヤの動き情報が前記エンハンスメントレイヤをコーディングするために使用され得ないことを示す1つまたは複数のシンタックス要素またはフラグをシグナリングまたは受信することによって、前記参照レイヤの動き情報が前記エンハンスメントレイヤをコーディングするために使用され得ないという前記指示を処理するように構成された、請求項1に記載の装置。

  7. 前記プロセッサは、前記ビデオビットストリーム中で追加のフラグまたはシンタックス要素をシグナリングまたは受信することなしに、前記RLコーデックが非HEVCコーデックであるかどうかに基づいて、前記参照レイヤの動き情報が前記エンハンスメントレイヤをコーディングするために使用され得ないと決定することによって、前記参照レイヤの動き情報が前記エンハンスメントレイヤをコーディングするために使用され得ないという前記指示を処理するように構成された、請求項1に記載の装置。

  8. 前記プロセッサは、前記エンハンスメントレイヤをコーディングするために使用され得る前記参照レイヤの情報がテクスチャ情報に制限されることを示す1つまたは複数のシンタックス要素またはフラグをシグナリングまたは受信することによって、前記参照レイヤの動き情報が前記エンハンスメントレイヤをコーディングするために使用され得ないという前記指示を処理するように構成された、請求項1に記載の装置。

  9. 前記プロセッサは、前記参照レイヤが前記エンハンスメントレイヤの直接参照レイヤであるかどうかを示すフラグまたはシンタックス要素を処理するのを控えることによって、前記参照レイヤの動き情報が前記エンハンスメントレイヤをコーディングするために使用され得ないという前記指示を処理するように構成された、請求項1に記載の装置。

  10. 前記プロセッサは、前記参照レイヤと前記エンハンスメントレイヤとの間の依存性タイプを示すフラグまたはシンタックス要素を処理するのを控えることによって、前記参照レイヤの動き情報が前記エンハンスメントレイヤをコーディングするために使用され得ないという前記指示を処理するように構成された、請求項1に記載の装置。

  11. 前記特定のコーデックが非HEVCコーデックを備える、請求項1に記載の装置。

  12. 前記特定のコーデックがAVCコーデックを備える、請求項1に記載の装置。

  13. 前記RLコーデックがAVCコーデックを備え、前記ELコーデックがHEVCコーデックを備える、請求項1に記載の装置。

  14. 前記装置がエンコーダを備え、ここにおいて、前記プロセッサが、前記ビデオビットストリーム中で前記ビデオ情報を符号化するようにさらに構成された、請求項1に記載の装置。

  15. 前記装置がデコーダを備え、ここにおいて、前記プロセッサが、前記ビデオビットストリーム中で前記ビデオ情報を復号するようにさらに構成された、請求項1に記載の装置。

  16. 前記装置が、コンピュータと、ノートブックと、ラップトップと、コンピュータと、タブレットコンピュータと、セットトップボックスと、電話ハンドセットと、スマートフォンと、スマートパッドと、テレビジョンと、カメラと、ディスプレイデバイスと、デジタルメディアプレーヤと、ビデオゲームコンソールと、車内コンピュータとのうちの1つまたは複数からなるグループから選択されるデバイスを備える、請求項1に記載の装置。

  17. ビデオ情報をコーディングする方法であって、前記方法は、
    参照レイヤに関連付けられた参照レイヤ(RL)コーデックが特定のタイプのコーデックであるかどうかを決定することと、
    前記RLコーデックが特定のタイプのコーデックであると決定したことに応答して、ビデオビットストリーム中で、前記参照レイヤの動き情報がエンハンスメントレイヤ(EL)コーデックに関連付けられたエンハンスメントレイヤをコーディングするために使用され得ないという指示を処理することと
    を備える、方法。

  18. 前記参照レイヤに関連付けられた前記RLコーデックが特定のタイプのコーデックであるかどうかを決定することは、前記参照レイヤに関連付けられた前記RLコーデックが、前記エンハンスメントレイヤに関連付けられた第2のコーデックと異なるかどうかを決定することを備える、請求項17に記載の方法。

  19. 前記参照レイヤに関連付けられた前記RLコーデックが特定のタイプのコーデックであるかどうかを決定することは、前記RLコーデックが前記特定のタイプのコーデックであるかどうかを示すフラグまたはシンタックス要素の値を決定することを備える、請求項17に記載の方法。

  20. 前記ビデオビットストリーム中で、前記参照レイヤの動き情報が前記エンハンスメントレイヤをコーディングするために使用され得ないという前記指示をシグナリングするのを控えることと、前記RLコーデックが非HEVCコーデックであるかどうかに基づいて前記指示を決定することと、をさらに備える、請求項17に記載の方法。

  21. 前記ビデオビットストリーム中で、前記参照レイヤの動き情報が前記エンハンスメントレイヤをコーディングするために使用され得ないという前記指示をシグナリングするのを控えることと、前記RLコーデックがAVCコーデックであるかどうかに基づいて前記指示を決定することと、をさらに備える、請求項17に記載の方法。

  22. 前記参照レイヤの動き情報が前記エンハンスメントレイヤをコーディングするために使用され得ないという前記指示を処理することは、前記RLコーデックが前記特定のタイプのコーデックであると決定したことに応答して、前記ビデオビットストリーム中で、前記参照レイヤの動き情報が前記エンハンスメントレイヤをコーディングするために使用され得ないことを示す1つまたは複数のシンタックス要素またはフラグをシグナリングまたは受信することを備える、請求項17に記載の方法。

  23. 前記参照レイヤの動き情報が前記エンハンスメントレイヤをコーディングするために使用され得ないという前記指示を処理することは、前記ビデオビットストリーム中で追加のフラグまたはシンタックス要素をシグナリングまたは受信することなしに、前記RLコーデックが非HEVCコーデックであるかどうかに基づいて、前記参照レイヤの動き情報が前記エンハンスメントレイヤをコーディングするために使用され得ないと決定することを備える、請求項17に記載の方法。

  24. 前記参照レイヤの動き情報が前記エンハンスメントレイヤをコーディングするために使用され得ないという前記指示を処理することは、前記ビデオビットストリーム中で、前記エンハンスメントレイヤをコーディングするために使用され得る前記参照レイヤの情報がテクスチャ情報に制限されることを示す1つまたは複数のシンタックス要素またはフラグをシグナリングまたは受信することを備える、請求項17に記載の方法。

  25. 前記参照レイヤの動き情報が前記エンハンスメントレイヤをコーディングするために使用され得ないという前記指示を処理することは、前記参照レイヤが前記エンハンスメントレイヤの直接参照レイヤであるかどうかを示すフラグまたはシンタックス要素を処理するのを控えることを備える、請求項17に記載の方法。

  26. 前記参照レイヤの動き情報が前記エンハンスメントレイヤをコーディングするために使用され得ないという前記指示を処理することは、前記参照レイヤと前記エンハンスメントレイヤとの間の依存性タイプを示すフラグまたはシンタックス要素を処理するのを控えることを備える、請求項17に記載の方法。

  27. 実行されたとき、
    参照レイヤとエンハンスメントレイヤとに関連付けられたビデオ情報を記憶することと、前記参照レイヤが参照レイヤ(RL)コーデックに関連付けられ、前記エンハンスメントレイヤがエンハンスメントレイヤ(EL)コーデックに関連付けられ、
    前記参照レイヤに関連付けられた前記RLコーデックが特定のタイプのコーデックであるかどうかを決定することと、
    前記RLコーデックが特定のタイプのコーデックであると決定したことに応答して、ビデオビットストリーム中で、前記参照レイヤの動き情報が前記エンハンスメントレイヤをコーディングするために使用され得ないという指示を処理することと
    を備えるプロセスを装置に実行させるコードを備える、非一時的コンピュータ可読媒体。

  28. 前記参照レイヤの動き情報が前記エンハンスメントレイヤをコーディングするために使用され得ないという前記指示を処理することは、前記ビデオビットストリーム中で追加のフラグまたはシンタックス要素をシグナリングまたは受信することなしに、前記RLコーデックが非HEVCコーデックであるかどうかに基づいて、前記参照レイヤの動き情報が前記エンハンスメントレイヤをコーディングするために使用され得ないと決定することを備える、請求項27に記載のコンピュータ可読媒体。

  29. ビデオ情報をコーディングするように構成されたビデオコーディングデバイスであって、前記ビデオコーディングデバイスは、
    参照レイヤとエンハンスメントレイヤとに関連付けられたビデオ情報を記憶するための手段と、前記参照レイヤが参照レイヤ(RL)コーデックに関連付けられ、前記エンハンスメントレイヤがエンハンスメントレイヤ(EL)コーデックに関連付けられ、
    前記参照レイヤに関連付けられた前記RLコーデックが特定のタイプのコーデックであるかどうかを決定するための手段と、
    前記RLコーデックが特定のタイプのコーデックであると決定したことに応答して、ビデオビットストリーム中で、前記参照レイヤの動き情報が前記エンハンスメントレイヤをコーディングするために使用され得ないという指示を処理するための手段と
    を備える、ビデオコーディングデバイス。

  30. 前記参照レイヤの動き情報が前記エンハンスメントレイヤをコーディングするために使用され得ないという前記指示を処理するための前記手段は、前記ビデオビットストリーム中で追加のフラグまたはシンタックス要素をシグナリングまたは受信することなしに、前記RLコーデックが非HEVCコーデックであるかどうかに基づいて、前記参照レイヤの動き情報が前記エンハンスメントレイヤをコーディングするために使用され得ないと決定するための手段を備える、請求項29に記載のビデオコーディングデバイス。

 

 

Patent trol of patentswamp
類似の特許
復号ピクチャバッファ(DPB)を複数のサブDPBに区分することと、マルチレイヤビデオコーディングプロセスの1つまたは複数のオペレーションポイントのための複数のサブDPBのためのサブDPBサイズの少なくとも1つの指示を受信することと、少なくとも1つの指示に基づいて複数のサブDPBのためのメモリスペースを割り振ることとを備えるビデオデータを復号する方法。
【選択図】図9
ビデオ処理デバイスは、ビデオデータを記憶するメモリと、アクセスユニットの第1のピクチャを備える第1のネットワークアブストラクションレイヤ(NAL)ユニットを受信することと、第1のNALユニットがイントラランダムアクセスポイント(IRAP)ピクチャを備えると決定したことに応答して、および、いかなる関連するリーディングピクチャも有しない瞬時復号リフレッシュ(IDR)ピクチャの存在を示す第1のNALユニットのためのNALユニットタイプに応答して、別のIRAPピクチャを備えるアクセスユニットの第2のNALユニットについて、いかなる関連するリーディングピクチャも有しないIDRピクチャの存在を示すNALユニットタイプとなるべき第2のNALユニットのためのNALユニットタイプを決定することと、第2のNALユニットのためのNALユニットタイプに基づいて、第1のNALユニットと第2のNALユニットとを処理することとを行うように構成された1つまたは複数のプロセッサとを含む。
ビデオ情報をコーディングするように構成された装置は、メモリユニットと、メモリユニットと通信しているプロセッサとを含む。メモリユニットは、現在レイヤとエンハンスメントレイヤとに関連付けられたビデオ情報を記憶するように構成され、現在レイヤは現在ピクチャを有する。プロセッサは、エンハンスメントレイヤからの情報を使用して現在レイヤがコーディングされ得るかどうかを決定することと、エンハンスメントレイヤが、現在ピクチャに対応するエンハンスメントレイヤピクチャを有するかどうかを決定することと、エンハンスメントレイヤからの情報を使用して現在レイヤがコーディングされ得、エンハンスメントレイヤが、現在ピクチャに対応するエンハンスメントレイヤピクチャを有すると決定したことに応答して、エンハンスメントレイヤピクチャに基づいて現在ピクチャをコーディングすることとを行うように構成される。プロセッサはビデオ情報を符号化または復号し得る。
【選択図】図4
特定の態様によるビデオ情報を符号化するための装置は、メモリとコンピューティングハードウェアとを含む。メモリは、ビデオ情報を記憶するように構成されている。コンピューティングハードウェアは、シグナリングするための1つまたは複数のビュー識別子のビット深度を決定するように構成されており、ここにおいて、1つまたは複数のビュー識別子のそれぞれは符号化されるべきレイヤに関連付けられている。コンピューティングハードウェアは、ビットストリーム内で1つまたは複数のビュー識別子のビット深度をシグナリングするようにさらに構成されている。
パケット損失に起因してマイナスの影響を受ける(正しく受信される)パケットの数は、パケット配列の1つ以上の失われたパケットの実行の各々のために、パケットのシーケンスのパケット内の誤り耐性および識別することを提供して、それを解析することによって低減され得ることが、本出願の知見である。1つ以上の失われたパケットのそれぞれの実行の後のパケットのシーケンス内のパケットは、ビデオデータストリームのタイルのいずれかの始まりをもたらし、また、並行してスライスをもたらす。そして、パケットのシーケンスのパケットのいずれかに含まれるスライスヘッダは、失われていない。特に、誤り耐性のデータを送信するためのサイド情報オーバーヘッドは、パケット損失に悪影響を及ぼすパケットの減少に比べて比較的低いものである。
【選択図】図1
本発明は、クライアントの装置に対してストリーミングされるパーティション化されたタイムドメディアデータをカプセル化することに関し、前記パーティション化されたタイムドメディアデータは、タイムドサンプルを備え、前記タイムドサンプルの各々は複数のサブサンプルを備える。サブサンプルの少なくとも一部が一つのサブサンプルのグループに属するように、少なくとも1つのグループを形成するようにサブサンプルのいくつかをグループ化した後、同一グループの少なくとも2つのサブサンプルがタイムドサンプルの1つの複数のサブサンプルの中から選択され、選択されたサブサンプルを備える少なくとも1つのトラックが作成される。次に、前記少なくとも1つの作成されたトラックに対して、前記少なくとも1つのトラックを作成するように選択された前記サブサンプルの各々に対して、1つのサブトラックボックスが作成され、前記作成されたサブトラックボックスの少なくとも1つは、選択されたサブサンプルに共通の定義およびプロパティを備える。前記作成されたトラックの各々は、少なくとも1つのメディアファイル内で独立してカプセル化される。
【選択図】 図15
多層ビデオ信号の層に対して最低1つの特徴(例えば、個々の層に対して、個々の層が相互層予測を介して直接に関連する依存層の標示など)の信号、または、前述の第2相互依存構文構造の信号が説明される。最大構文要素は、多層ビデオ信号のパケットの拡張層IDフィールドの最大限に使われた値を示すために、多層ビデオ信号内で信号で伝えられる。例えば、最大構文要素の範囲は、多層ビデオ信号のいくつかの部分を横切って拡張している、多層ビデオ信号の予め決められた部分である。従って、多層ビデオ信号の相対的に大きい予め決められた部分に対して、拡張層IDフィールドによって信号化できる可能な値の可能なドメインの実際に消費された部分についての知識を得ることは、多層ビデオ信号を受信するデコーダやネットワーク要素などの装置に対して適当である。最低1つの特徴が、ベース層IDフィールド値と拡張層IDフィールド値とのそれぞれの結合に対して信号で伝えられる必要はないけれども、むしろ、最大限に仮定された値に基づいて決定された層の最大値のための最低1つの特徴を信号で伝えることは重要である。従って、最低1つの特徴は、層IDを持つ層のために送信/信号することは必要でない。その拡張層IDは、多層ビデオ信号の予め決められた部分内で起こらない。これを越えて、別の実施の形態に従って、最大限に仮定された値の知識は、個々の部分の層IDを信号で伝えるためのサイド情報オーバーヘッドを減らすために、すなわち、多層ビデオ信号のパケット内の拡張層IDフィールドを信号で伝えるために必要なビットを減らすために使用される。
【選択図】図11
多層データストリームの層間の相互層依存の信号化が説明される。一方の相互層依存の潜在的な多様性の非常に集中的な制限と他方の相互層依存の非常に複雑な信号との間の良好な妥協案は、ベース層IDによって表現できる異なる値のペア間に相互依存を示している第1相互依存構文構造と、多層データストリームの部分が関連する層に索引を付ける拡張層ID、又は、ベース層IDおよび拡張層IDによって表現できる異なる値のペア間の相互依存を標示している第2相互依存構文構造との方法によって、相互層依存を説明することによって見つけられる。この概念に従って、強調が、一方の信号化できる相互層依存の増大した多様性と他方の相互層依存を信号で伝えるための減少したサイド情報オーバーヘッドとの間にシフトされる。例えば、共通のベース層IDを持つ層のセットは、それぞれ、「クラスタ」と呼ぶ。同じ第2相互依存構文構造が、全てのクラスタ内の相互依存と第1相互依存構文構造を介して互いに関連した全てのクラスタ間の相互依存とを調節するために別々に使用される。代わりに、第2相互依存構文構造の2つの実例が、一方のクラスタ内の層の相互依存と他方の異なるクラスタの層間の相互依存とを説明するために用いられる。増大した多様性または減少したサイド情報オーバーヘッドに置かれた強調とは無関係に、概念を信号で伝えている相互依存は、信号オーバーヘッドを低く保持することを生じる。
【選択図】図3
【課題】ビデオ符号化のサンプル適応オフセット処理の方法を提供する。
【解決手段】ビデオ符号化システムにおける再構成ピクチャのパフォーマンスを改善する修正されたSAO処理の方法を提供する。一実施態様において、SAO−サインスレショルドが導入されて、現在の再構成画素と隣接再構成画素間の差異のサインを決定する。負のSAO−サインスレショルドより大きく、正のSAO−サインスレショルドより小さい差分値の範囲が割り当てられて、0のサイン値を有する。別の態様において、SAO−オフセット値は、SAO−ビット−シフト値を、SAO−オフセット絶対値に左方移動させることによる結果により、SAO−オフセットサインを増加させることにより生成される。さらに別の実施態様において、SAO−オフセット絶対値は、トランケーティドライス(TR)コードにより符号化され、最大TR値は構文要素により示される。
【選択図】 図9
ビデオデータをコーディングする方法は、ビデオ情報の1つまたは複数のレイヤを受け取ることを含む。各レイヤは、少なくとも1つのピクチャを含むことができる。この方法は、1つまたは複数のレイヤの少なくとも1つのピクチャに関連付けられたアクティブ参照レイヤピクチャの個数を決定することを含むことができる。この方法は、1つまたは複数のレイヤのうちの少なくとも1つに関連付けられた直接参照レイヤの個数を決定することをさらに含むことができる。直接参照レイヤの個数がアクティブ参照レイヤピクチャの個数と等しいことに基づいて、この方法は、ビデオパラメータセット(VPS)、シーケンスパラメータセット(SPS)、またはピクチャパラメータセット(PPS)のうちの少なくとも1つに関連付けられた任意のビデオスライス内でレイヤ間参照ピクチャ情報をさらにシグナリングすることを控えることをさらに含むことができる。それに加えてまたはその代わりに、直接参照レイヤの個数がアクティブ参照レイヤピクチャの個数と等しいことに基づいて、この方法は、ビデオパラメータセット(VPS)、シーケンスパラメータセット(SPS)、またはピクチャパラメータセット(PPS)のうちの少なくとも1つに関連付けられた任意のビデオスライスに関するすべての直接参照レイヤピクチャをレイヤ間参照ピクチャセットに追加することを含むことができる。
To top