イントラランダムアクセスポイントピクチャの改善されたレイヤ間整列

 

ビデオ処理デバイスは、ビデオデータを記憶するメモリと、アクセスユニットの第1のピクチャを備える第1のネットワークアブストラクションレイヤ(NAL)ユニットを受信することと、第1のNALユニットがイントラランダムアクセスポイント(IRAP)ピクチャを備えると決定したことに応答して、および、いかなる関連するリーディングピクチャも有しない瞬時復号リフレッシュ(IDR)ピクチャの存在を示す第1のNALユニットのためのNALユニットタイプに応答して、別のIRAPピクチャを備えるアクセスユニットの第2のNALユニットについて、いかなる関連するリーディングピクチャも有しないIDRピクチャの存在を示すNALユニットタイプとなるべき第2のNALユニットのためのNALユニットタイプを決定することと、第2のNALユニットのためのNALユニットタイプに基づいて、第1のNALユニットと第2のNALユニットとを処理することとを行うように構成された1つまたは複数のプロセッサとを含む。

 

 

[0001]本出願は、その内容全体が参照により本明細書に組み込まれる、2013年7月15日に出願された米国仮出願第61/846,583号の利益を主張する。
[0002]本開示は、ビデオ処理に関する。
[0003]デジタルビデオ機能は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末(PDA)、ラップトップまたはデスクトップコンピュータ、タブレットコンピュータ、電子ブックリーダ、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲームデバイス、ビデオゲームコンソール、セルラーまたは衛星無線電話、いわゆる「スマートフォン」、ビデオ遠隔会議デバイス、ビデオストリーミングデバイスなどを含む、広範囲にわたるデバイスに組み込まれ得る。デジタルビデオデバイスは、MPEG−2、MPEG−4、ITU−T H.263、ITU−T H.264/MPEG−4、Part 10、アドバンストビデオコーディング(AVC:Advanced Video Coding)、現在開発中の高効率ビデオコーディング(HEVC:High Efficiency Video Coding)規格によって定義された規格、およびそのような規格の拡張に記載されているビデオ圧縮技法など、ビデオ圧縮技法を実装する。これらのビデオデバイスは、そのようなビデオ圧縮技法を実装することによって、デジタルビデオ情報のより効率的な送信、受信、符号化、復号、および/または記憶を行い得る。
[0004]ビデオ圧縮技法は、ビデオシーケンスに固有の冗長性を低減または除去するために空間的(イントラピクチャ)予測および/または時間的(インターピクチャ)予測を実行する。ブロックベースのビデオコーディングでは、ビデオスライス(すなわち、ビデオフレームまたはビデオフレームの一部分)がビデオブロックに区分され得、これらのビデオブロックは、ツリーブロック、コーディングユニット(CU)および/またはコーディングノードと呼ばれることもある。ピクチャのイントラコード化(I)スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間的予測を使用して符号化される。ピクチャのインターコード化(PまたはB)スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間的予測、または他の参照ピクチャ中の参照サンプルに対する時間的予測を使用することができる。ピクチャはフレームと呼ばれることがあり、参照ピクチャは参照フレームと呼ばれることがある。
[0005]空間的予測または時間的予測は、コーディングされるべきブロックのための予測ブロックを生じる。残差データは、コーディングされるべき元のブロックと予測ブロックとの間のピクセル差分を表す。インターコード化ブロックは、予測ブロックを形成する参照サンプルのブロックを指す動きベクトルと、コーディングされたブロックと予測ブロックとの間の差分を示す残差データとに従って符号化される。イントラコード化ブロックは、イントラコーディングモードと残差データとに従って符号化される。さらなる圧縮のために、残差データは、ピクセル領域から変換領域に変換されて、残差変換係数が得られ得、その残差変換係数は、次いで量子化され得る。量子化変換係数は、最初は2次元アレイで構成され、変換係数の1次元ベクトルを生成するために走査され得、なお一層の圧縮を達成するために、エントロピーコーディングが適用され得る。
[0006]本開示は、マルチレイヤビデオコーディングにおけるイントラランダムアクセスポイント(IRAP)ピクチャのレイヤ間整列のための要件に関する様々な考えられる改善について説明する。本開示の技法は、ビデオエンコーダ、ビデオデコーダ、メディアアウェアネットワーク要素(MANE)、トランスコーディングデバイスなどの様々なタイプのビデオ処理デバイスと、他のタイプのビデオ処理デバイスとによって実施され得る。
[0007]1つの例によれば、ビデオデータを処理する方法は、アクセスユニットの第1のピクチャを備える第1のネットワークアブストラクションレイヤ(NAL)ユニットを受信することと、第1のNALユニットがイントラランダムアクセスポイント(IRAP)ピクチャを備えると決定したことに応答して、および、いかなる関連するリーディングピクチャも有しない瞬時復号リフレッシュ(IDR)ピクチャの存在を示す第1のNALユニットのためのNALユニットタイプに応答して、いかなる関連するリーディングピクチャも有しないIDRピクチャの存在を示すNALユニットタイプとなるべき第2のNALユニットのためのNALユニットタイプを決定することと、ここにおいて、アクセスユニットの第2のNALユニットは別のIRAPピクチャを備える、第2のNALユニットのためのNALユニットタイプに基づいて、第1のNALユニットと第2のNALユニットとを処理することとを含む。
[0008]別の例によれば、ビデオデータを処理する方法は、アクセスユニットの第1のピクチャを備える第1のネットワークアブストラクションレイヤ(NAL)ユニットを処理することと、第1のNALユニットがイントラランダムアクセスポイント(IRAP)ピクチャを備えると決定したことに応答して、および、いかなる関連するリーディングピクチャも有しない瞬時復号リフレッシュ(IDR)ピクチャの存在を示す第1のNALユニットのためのNALユニットタイプに応答して、別のIRAPピクチャを備えるアクセスユニットの第2のNALユニットについて、第2のNALユニットのためのNALユニットタイプをいかなる関連するリーディングピクチャも有しないIDRピクチャの存在を示すNALユニットタイプに設定することと、第1のNALユニットのためのNALユニットタイプと第2のNALユニットのためのNALユニットタイプとに基づいて、第1のNALユニットと第2のNALユニットとを処理することとを含む。
[0009]別の例によれば、ビデオ処理デバイスは、ビデオデータを記憶するメモリと、アクセスユニットの第1のピクチャを備える第1のネットワークアブストラクションレイヤ(NAL)ユニットを受信することと、第1のNALユニットがイントラランダムアクセスポイント(IRAP)ピクチャを備えると決定したことに応答して、および、いかなる関連するリーディングピクチャも有しない瞬時復号リフレッシュ(IDR)ピクチャの存在を示す第1のNALユニットのためのNALユニットタイプに応答して、いかなる関連するリーディングピクチャも有しないIDRピクチャの存在を示すNALユニットタイプとなるべき第2のNALユニットのためのNALユニットタイプを決定することと、ここにおいて、アクセスユニットの第2のNALユニットは別のIRAPピクチャを備える、第2のNALユニットのためのNALユニットタイプに基づいて、第1のNALユニットと第2のNALユニットとを処理することとを行うように構成された1つまたは複数のプロセッサとを含む。
[0010]別の例によれば、ビデオ処理デバイスは、ビデオデータを記憶するメモリと、アクセスユニットの第1のピクチャを備える第1のネットワークアブストラクションレイヤ(NAL)ユニットを処理することと、第1のNALユニットがイントラランダムアクセスポイント(IRAP)ピクチャを備えると決定したことに応答して、および、いかなる関連するリーディングピクチャも有しない瞬時復号リフレッシュ(IDR)ピクチャの存在を示す第1のNALユニットのためのNALユニットタイプに応答して、別のIRAPピクチャを備えるアクセスユニットの第2のNALユニットについて、第2のNALユニットのためのNALユニットタイプをいかなる関連するリーディングピクチャも有しないIDRピクチャの存在を示すNALユニットタイプに設定することと、第1のNALユニットのためのNALユニットタイプと第2のNALユニットのためのNALユニットタイプとに基づいて、第1のNALユニットと第2のNALユニットとを処理することとを行うように構成された1つまたは複数のプロセッサとを含む。
[0011]別の例によれば、コンピュータ可読記憶媒体は、1つまたは複数のプロセッサによって実行されたとき、1つまたは複数のプロセッサに、アクセスユニットの第1のピクチャを備える第1のネットワークアブストラクションレイヤ(NAL)ユニットを受信することと、第1のNALユニットがイントラランダムアクセスポイント(IRAP)ピクチャを備えると決定したことに応答して、および、いかなる関連するリーディングピクチャも有しない瞬時復号リフレッシュ(IDR)ピクチャの存在を示す第1のNALユニットのためのNALユニットタイプに応答して、別のIRAPピクチャを備えるアクセスユニットの第2のNALユニットについて、いかなる関連するリーディングピクチャも有しないIDRピクチャの存在を示すNALユニットタイプとなるべき第2のNALユニットのためのNALユニットタイプを決定することと、第2のNALユニットのためのNALユニットタイプに基づいて、第1のNALユニットと第2のNALユニットとを処理することとを行わせる命令を記憶する。
[0012]別の例によれば、ビデオデータを処理するための装置は、アクセスユニットの第1のピクチャを備える第1のネットワークアブストラクションレイヤ(NAL)ユニットを受信するための手段と、第1のNALユニットがイントラランダムアクセスポイント(IRAP)ピクチャを備えると決定したことに応答して、および、いかなる関連するリーディングピクチャも有しない瞬時復号リフレッシュ(IDR)ピクチャの存在を示す第1のNALユニットのためのNALユニットタイプに応答して、別のIRAPピクチャを備えるアクセスユニットの第2のNALユニットについて、いかなる関連するリーディングピクチャも有しないIDRピクチャの存在を示すNALユニットタイプとなるべき第2のNALユニットのためのNALユニットタイプを決定するための手段と、第2のNALユニットのためのNALユニットタイプに基づいて、第1のNALユニットと第2のNALユニットとを処理するための手段とを含む。
[0013]1つまたは複数の例の詳細が、添付の図面および以下の説明に記載されている。他の特徴、目的、および利点は、説明および図面から、ならびに特許請求の範囲から明らかになろう。
[0014]本開示で説明する技法を利用し得る例示的なビデオ符号化および復号システムを示すブロック図。 [0015]本開示で説明する技法を実装し得る例示的なビデオエンコーダを示すブロック図。 [0016]本開示で説明する技法を実装し得る例示的なビデオデコーダを示すブロック図。 [0017]ネットワークの一部を形成するデバイスの例示的なセットを示すブロック図。 [0018]本開示の技法によるビデオデータを処理する方法の一例を示すフローチャート。 [0019]本開示の技法によるビデオデータを処理する方法の一例を示すフローチャート。
[0020]本開示は、マルチレイヤビデオコーディングにおけるイントラランダムアクセスポイント(IRAP)ピクチャのレイヤ間整列のための要件に関する様々な改善について説明する。マルチレイヤビデオコーディングは、たとえば、マルチビュービデオコーディングと、スケーラブルビデオコーディングと、3次元(3D)ビデオコーディングとを含む。以下でより詳細に説明するように、本開示の技法は、あるビットストリームから別のビットストリームに移動する(たとえば、チャネルを切り替える)か、またはビットストリーム中のあるポイントからビットストリーム中の別のポイントにジャンプするときのビューアのビューイングエクスペリエンスを改善し得る。
[0021]本開示は、ビデオデータを処理することに言及する。ビデオデータを処理することは、ビデオデータを符号化することおよび復号することを指し得るが、処理することは、必ずしも完全な符号化または復号プロセスを含むとは限らない、ビデオデータに対して実行される他の動作も指し得る。いくつかの例では、処理することは、ビットストリームからサブビットストリームを形成するためにビデオデータをパースすることを備え得るか、またはビデオデータを宛先デバイスにルーティングする目的でビデオデータをパースすることを含み得る。処理は、ビデオエンコーダ、ビデオデコーダ、トランスコーディングデバイス、メディアアウェアネットワーク要素(MANE)またはビデオ処理のために使用される別のデバイスによって実行され得る
[0022]レイヤ間IRAPピクチャ整列のための既存の方法は、いくつかの考えられる欠点を有する。1つの例として、既存の方法は一般に、ランダムアクセススキップリーディング(RASL:random access skipped leading)ピクチャとランダムアクセス復号可能リーディング(RADL:random access decodable leading)ピクチャの両方を含んでいる1つのアクセスユニットを有することが可能である場合、うまく動作しない。しかしながら、いくつかはウィズ関連するRASLピクチャを有し、いくつかは関連するRASLピクチャを有しないが関連するRADLピクチャを有する、いくつかのブロークンリンクアクセス(BLA)ピクチャの混合が望ましい場合がある状況がある。
[0023]別の例として、リーディングピクチャと非リーディングピクチャの両方を含んでいるアクセスユニットを認めることが望ましくない場合がある。したがって、2つの異なるタイプの瞬時復号リフレッシュ(IDR)ピクチャの混合は許容されるべきではない。別の例として、場合によっては、クリーンランダムアクセス(CRA:clean random access)ピクチャとBLAピクチャの混合を可能にすることが有益である場合がある。
[0024]1つまたは複数の例では、本開示はHEVC WD10で定義された用語および専門用語の多くを使用する。HEVC WD10によれば、ネットワークアブストラクションレイヤ(NAL)ユニットは次のように定義されている。
ネットワークアブストラクションレイヤ(NAL)ユニット:後続のデータのタイプの指示と、必要に応じてエミュレーション防止バイトが点在しているRBSP[ローバイトシーケンスペイロード(raw byte sequence payload)]の形態でそのデータを含んでいるバイトとを含んでいるシンタックス構造。
[0025]HEVC WD10によれば、アクセスユニットは次のように定義されている。
アクセスユニット:指定された分類規則に従って互いに関連付けられ、復号順序で連続しており、ちょうど1つのコード化ピクチャを含んでいる、NALユニットのセット。
注1−コード化ピクチャのVCL NALユニットを含んでいることに加えて、アクセスユニットは非VCL NALユニットも含んでいる場合がある。アクセスユニットの復号は常に、復号ピクチャをもたらす。
[0026]マルチレイヤビデオコーディングでは、アクセスユニットの定義は、すべてのビデオピクチャと、場合によっては、同じ時間インスタンスに対応する3Dビデオコーディングのための深度マップとを含むように拡張され得る。
[0027]HEVC WD10によれば、IRAPピクチャは次のように定義されている。
イントラランダムアクセスポイント(IRAP)ピクチャ:各VCL NALユニットが両端値を含む16から23の範囲内のnal_unit_typeを有するコード化ピクチャ。
注7−IRAPピクチャはIスライスのみを含んでおり、BLAピクチャ、CRAピクチャまたはIDRピクチャであり得る。復号順序におけるビットストリーム中の第1のピクチャは、IRAPピクチャでなければならない。必要なパラメータセットが、アクティブ化されることが必要なときに利用可能であるという条件で、復号順序におけるIRAPピクチャおよびすべての後続の非RASLピクチャは、復号順序においてIRAPピクチャに先行するいかなるピクチャの復号プロセスも実行することなしに、正確に復号され得る。IRAPピクチャではないIスライスのみを含んでいるピクチャがビットストリーム中にあり得る。
[0028]HEVC WD 10によれば、RASLピクチャは次のように定義されている。
ランダムアクセススキップリーディング(RASL)ピクチャ:各VCL NALユニットがRASL_RまたはRASL_Nに等しいnal_unit_typeを有するコード化ピクチャ。
注15−すべてのRASLピクチャは、関連するBLAまたはCRAピクチャのリーディングピクチャである。関連するIRAPピクチャが1に等しいNoRaslOutputFlagを有するとき、RASLピクチャはビットストリーム中に存在しないピクチャへの参照を含んでいることがあるので、RASLピクチャは出力されず、正しく復号可能でないことがある。RASLピクチャは、非RASLピクチャの復号プロセスのための参照ピクチャとして使用されない。存在するとき、すべてのRASLピクチャは、復号順序において、同じ関連するIRAPピクチャのすべての末尾ピクチャに先行する。
[0029]HEVC WD 10によれば、RADLピクチャは次のように定義されている。
ランダムアクセス復号可能リーディング(RADL)ピクチャ:各VCL NALユニットがRADL_RまたはRADL_Nに等しいnal_unit_typeを有するコード化ピクチャ。
注14−すべてのRADLピクチャは、リーディングピクチャである。RADLピクチャは、同じ関連するIRAPピクチャの末尾ピクチャの復号プロセスのための参照ピクチャとして使用されない。存在するとき、すべてのRADLピクチャは、復号順序において、同じ関連するIRAPピクチャのすべての末尾ピクチャに先行する。
[0030]HEVC WD10によれば、IDRピクチャは次のように定義されている。
瞬時復号リフレッシュ(IDR)ピクチャ:各VCL NALユニットがIDR_W_RADLまたはIDR_N_LPに等しいnal_unit_typeを有するIRAPピクチャ。
注6−IDRピクチャはIスライスのみを含んでおり、復号順序においてビットストリーム中の第1のピクチャであり得るか、またはビットストリーム中の後で現れ得る。各IDRピクチャは、復号順序においてCVSの第1のピクチャである。各VCL NALユニットがIDR_W_RADLに等しいnal_unit_typeを有するIDRピクチャのとき、IDRピクチャは関連するRADLピクチャを有し得る。各VCL NALユニットがIDR_N_LPに等しいnal_unit_typeを有するIDRピクチャのとき、IDRピクチャはいかなる関連するリーディングピクチャも有しない。IDRピクチャは、関連するRASLピクチャを有しない。
[0031]HEVC WD10によれば、CRAピクチャは次のように定義されている。
クリーンランダムアクセス(CRA)ピクチャ:各VCL NALユニットがCRA_NUTに等しいnal_unit_typeを有するIRAPピクチャ。
注4−CRAピクチャはIスライスのみを含んでおり、復号順序においてビットストリーム中の第1のピクチャであり得るか、またはビットストリーム中の後で現れ得る。CRAピクチャは、関連するRADLまたはRASLピクチャを有し得る。CRAピクチャが1に等しいNoRaslOutputFlagを有するとき、ビットストリーム中に存在しないピクチャへの参照を含んでいることがあるので、関連するRASLピクチャはデコーダによって出力されず、これは、これらのピクチャが復号可能でないことがあるからである。
[0032]HEVC WD 10によれば、BLAピクチャは次のように定義されている。
ブロークンリンクアクセス(BLA)ピクチャ:各VCL NALユニットがBLA_W_LP、BLA_W_RADL、またはBLA_N_LPに等しいnal_unit_typeを有するIRAPピクチャ。
注2−BLAピクチャはIスライスのみを含んでおり、復号順序においてビットストリーム中の第1のピクチャであり得るか、またはビットストリーム中の後で現れ得る。各BLAピクチャは、新しいCVSを開始し、復号プロセスに対してIDRピクチャと同じ効果を有する。ただし、BLAピクチャは、空でない参照ピクチャセットを指定するシンタックス要素を含んでいる。各VCL NALユニットがBLA_W_LPに等しいnal_unit_typeを有するBLAピクチャのとき、RASLピクチャはビットストリーム中に存在しないピクチャへの参照を含んでいることがあるので、BLAピクチャは、デコーダによって出力されず、復号可能でないことがある関連するRASLピクチャを有し得る。各VCL NALユニットがBLA_W_LPに等しいnal_unit_typeを有するBLAピクチャのとき、BLAピクチャも復号されるように指定される関連するRADLピクチャを有し得る。各VCL NALユニットがBLA_W_RADLに等しいnal_unit_typeを有するBLAピクチャのとき、BLAピクチャは関連するRASLピクチャを有しないが、復号されるように指定される関連するRADLピクチャを有し得る。各VCL NALユニットがBLA_N_LPに等しいnal_unit_typeを有するBLAピクチャのとき、BLAピクチャはいかなる関連するリーディングピクチャも有しない。
[0033]HEVC WD10によれば、シンタックス要素nal_unit_typeの値は、以下に転載された表7−1に指定されるように、NALユニットに含まれているローバイトシーケンスペイロード(RBSP)データ構造のタイプを指定する。

注3−CRAピクチャは、ビットストリーム中に存在する関連するRASLピクチャまたはRADLピクチャを有し得る。
注4−BLA_W_LPに等しいnal_unit_typeを有するBLAピクチャは、ビットストリーム中に存在する関連するRASLピクチャまたはRADLピクチャを有し得る。BLA_W_RADLに等しいnal_unit_typeを有するBLAピクチャは、ビットストリーム中に存在する関連するRASLピクチャを有しないが、ビットストリーム中に関連するRADLピクチャを有し得る。BLA_N_LPに等しいnal_unit_typeを有するBLAピクチャは、ビットストリーム中に存在する関連するリーディングピクチャを有しない。
注5−IDR_N_LPに等しいnal_unit_typeを有するIDRピクチャは、ビットストリーム中に存在する関連するリーディングピクチャを有しない。IDR_W_RADLに等しいnal_unit_typeを有するIDRピクチャは、ビットストリーム中に存在する関連するRASLピクチャを有しないが、ビットストリーム中に関連するRADLピクチャを有し得る。
[0034]上記の表7−1を参照すると、NALユニットタイプIDR_W_RADLを有するNALユニットは、関連するRADLピクチャを有するIDRピクチャのための1つまたは複数のスライスセグメントを含む。NALユニットタイプIDR_N_LPを有するNALユニットは、いかなる関連するリーディングピクチャも有しないIDRピクチャのための1つまたは複数のスライスセグメントを含む。NALユニットタイプBLA_N_LPを有するNALユニットは、関連するリーディングピクチャを有しないBLAピクチャのための1つまたは複数のスライスセグメントを含む。NALユニットタイプBLA_W_LPを有するNALユニットは、関連するリーディングピクチャを有するBLAピクチャのための1つまたは複数のスライスセグメントを含む。NALユニットタイプIDR_W_RADLを有するNALユニットは、関連するRADLピクチャを有しないIDRピクチャのための1つまたは複数のスライスセグメントを含む。NALユニットタイプCRA_NUTを有するNALユニットは、CRAピクチャの各VCL NALユニットがCRAピクチャのコード化スライスセグメントを備えるCRAピクチャのための1つまたは複数のスライスセグメントを含む。
[0035]本開示は、上記で説明した欠点のうちの1つまたは複数に潜在的に対処する。特に、1つまたは複数の例では、本開示の技法は、レイヤ間IRAPピクチャ整列に以下の制限のうちの1つまたは複数を課すことがある。
1)アクセスユニット中の1つのIRAPピクチャがIDR_N_LPに等しいnal_unit_typeを有するとき、同じアクセスユニット中の任意の他のIRAPピクチャはIDR_N_LPに等しいnal_unit_typeを有するものとする。
2)アクセスユニット中の1つのIRAPピクチャがIDR_W_RADLに等しいnal_unit_typeを有するとき、同じアクセスユニット中の任意の他のIRAPピクチャはIDR_W_RADLに等しいnal_unit_typeを有するものとする。
3)アクセスユニット中の1つのIRAPピクチャがBLA_N_LPに等しいnal_unit_typeを有するとき、同じアクセスユニット中の任意の他のIRAPピクチャはBLA_N_LPまたはCRA_NUTに等しいnal_unit_typeを有するものとする。
4)アクセスユニット中の1つのIRAPピクチャがBLA_W_LPまたはBLA_W_RADLに等しいnal_unit_typeを有するとき、同じアクセスユニット中の任意の他のIRAPピクチャはBLA_W_LP、BLA_W_RADL、またはCRA_NUTに等しいnal_unit_typeを有するものとする。
注:アクセスユニット中の1つのIRAPピクチャがCRA_NUTに等しいnal_unit_typeを有するとき、同じアクセスユニット中の任意の他のIRAPピクチャはCRA_NUT、BLA_W_LP、BLA_W_RADL、またはBLA_N_LPに等しいnal_unit_typeを有しなければならない。
[0036]代替的に、他の例では、下位レイヤにBLA_N_LPを有し、上位レイヤにCRA_NUTを有することが許可されないように、前の段落における上記の項目3および4は次のように変更され得る。
3)アクセスユニット中の1つのIRAPピクチャがBLA_N_LPに等しいnal_unit_typeを有し、layerIdに等しいnuh_layer_idを有するとき、layerId未満のnuh_layer_idを有する同じアクセスユニット中の任意の他のIRAPピクチャはBLA_N_LPまたはCRA_NUTに等しいnal_unit_typeを有するものとする。
4)アクセスユニット中の1つのIRAPピクチャがBLA_W_LPまたはBLA_W_RADLに等しいnal_unit_typeを有し、layerIdに等しいnuh_layer_idを有するとき、layerId未満のnuh_layer_idを有する同じアクセスユニット中の任意の他のIRAPピクチャはBLA_W_LP、BLA_W_RADL、またはCRA_NUTに等しいnal_unit_typeを有するものとする。
[0037]代替的に、さらに他の例では、下位レイヤにBLA_N_LPを有し、上位レイヤにCRA_NUTを有することが許可されないように、前の段落における上記の項目3および4は次のように変更され得る。
3)アクセスユニット中の1つのIRAPピクチャがBLA_N_LPに等しいnal_unit_typeを有し、layerIdAに等しいnuh_layer_idを有するとき、layerIdBに等しいnuh_layer_idを有する同じアクセスユニット中の任意の他のIRAPピクチャはBLA_N_LPまたはCRA_NUTに等しいnal_unit_typeを有するものとし、ただし、layerIdBはlayerIdA未満であり、direct_dependency_flag[LayerIdxInVps[layerIdA]][LayerIdxInVps[layerIdB]]は1に等しい。
4)アクセスユニット中の1つのIRAPピクチャがBLA_W_LPまたはBLA_W_RADLに等しいnal_unit_typeを有し、layerIdAに等しいnuh_layer_idを有するとき、layerIdBに等しいnuh_layer_idを有する同じアクセスユニット中の任意の他のIRAPピクチャはBLA_W_LP、BLA_W_RADL、またはCRA_NUTに等しいnal_unit_typeを有するものとし、ただし、layerIdBはlayerIdA未満であり、direct_dependency_flag[LayerIdxInVps[layerIdA]][LayerIdxInVps[layerIdB]]は1に等しい。
[0038]MV−HEVC Draft Text 3によれば、direct_dependency_flagは次のように定義されている。
0に等しいdirect_dependency_flag[i][j]は、インデックスjを有するレイヤがインデックスiを有するレイヤのための直接参照レイヤではないことを指定する。1に等しいdirect_dependency_flag[i][j]は、インデックスjを有するレイヤがインデックスiを有するレイヤのための直接参照レイヤであり得ることを指定する。direct_dependency_flag[i][j]は、iおよびjについて0からvps_max_layers_minus1の範囲内に存在しないとき、0に等しいと推論される。
[0039]代替的に、レイヤ間IRAPピクチャ整列に対する以下の制限が実施され得る。
1)アクセスユニット中の1つのIRAPピクチャがBLA_W_LP、BLA_W_RADL、またはBLA_N_LPに等しいnal_unit_typeを有するとき、同じアクセスユニット中の任意の他のIRAPピクチャはBLA_W_LP、BLA_W_RADL、またはBLA_N_LPに等しいnal_unit_typeを有するものとする。
2)アクセスユニット中の1つのIRAPピクチャがIDR_W_RADLまたはIDR_N_LPに等しいnal_unit_typeを有するとき、同じアクセスユニット中の任意の他のIRAPピクチャはIDR_W_RADLまたはIDR_N_LPに等しいnal_unit_typeを有するものとする。
3)アクセスユニット中の1つのIRAPピクチャがCRA_NUTに等しいnal_unit_typeを有するとき、同じアクセスユニット中の任意の他のIRAPピクチャはCRA_NUTに等しいnal_unit_typeを有するものとする。
[0040]HEVC WD 10によれば、CRAピクチャは、ビットストリーム中に存在する関連するRASLまたはRADLピクチャを有し得る。BLA_W_LPに等しいnal_unit_typeを有するBLAピクチャは、ビットストリーム中に存在する関連するRASLまたはRADLピクチャを有し得る。BLA_W_RADLに等しいnal_unit_typeを有するBLAピクチャは、ビットストリーム中に存在する関連するRASLピクチャを有しないが、ビットストリーム中に関連するRADLピクチャを有し得る。BLA_N_LPに等しいnal_unit_typeを有するBLAピクチャは、ビットストリーム中に存在する関連するリーディングピクチャを有しない。IDR_N_LPに等しいnal_unit_typeを有するIDRピクチャは、ビットストリーム中に存在する関連するリーディングピクチャを有しない。IDR_W_RADLに等しいnal_unit_typeを有するIDRピクチャは、ビットストリーム中に存在する関連するRASLピクチャを有しないが、ビットストリーム中に関連するRADLピクチャを有し得る。
[0041]HEVC WD 10によれば、レイヤ、レイヤ識別子リスト、およびレイヤセットは次のように定義されている。
レイヤ:すべてが特定の値のnuh_layer_idを有するVCL NALユニットと、関連する非VCL NALユニットとのセット、または階層的関係を有する構文的構造のセットの1つ。
注8−コンテキストに応じて、第1のレイヤ概念または第2のレイヤ概念のいずれかが適用される。第1のレイヤ概念はスケーラブルレイヤとも呼ばれ、ここにおいて、レイヤは空間スケーラブルレイヤ、品質スケーラブルレイヤ、ビューなどであり得る。スケーラブルレイヤの時間的な真のサブセット、すなわちサブレイヤは、レイヤと呼ばれない。第2のレイヤ概念はコーディングレイヤとも呼ばれ、ここにおいて、上位レイヤは下位レイヤを含んでおり、コーディングレイヤはCVS、ピクチャ、スライス、スライスセグメント、およびコーディングツリーユニットレイヤである。
レイヤ識別子リスト:レイヤセットまたは動作点に関連付けられ、サブビットストリーム抽出プロセスへの入力として使用され得るnuh_layer_id値のリスト。
レイヤセット:別のビットストリームと、6に等しい最も高いターゲットTemporalIdと、入力としてレイヤセットに関連付けられたレイヤ識別子リストに等しいターゲットレイヤ識別子リストとを用いたサブビットストリーム抽出プロセスの動作によって別のビットストリームから作成された、ビットストリーム内で表されるレイヤのセット。
[0042]HEVC規格の将来のスケーラブルまたは3Dビデオコーディング拡張では、シンタックス要素nuh_layer_idは、コード化ビデオシーケンス(CVS)中に存在し得る追加のレイヤを識別するために使用され得ることが予想される。レイヤは、たとえば、空間スケーラブルレイヤ、品質スケーラブルレイヤ、テクスチャビュー、深度ビュー、または何らかの他のタイプのレイヤであり得る。
[0043]以下でより詳細に説明するように、上記で紹介したレイヤ間IRAPピクチャ整列に対する制限は、ビデオデータを符号化するときにビデオエンコーダによって実施され得る。これらの制限は、ビデオデコーダまたはMANEなどの他のビデオ処理デバイスに知られている場合、後続のNALユニットについての特定の情報を推論し、推論された情報に基づいて処理決定を行うために、ビデオデコーダまたはMANEによって使用され得る。たとえば、推論された情報に基づいて、ビデオデコーダまたはMANEは、特定のNALユニットが到着する前にそれらのNALユニットについての処理決定を行うことが可能であり得、このことは復号およびルーティングの性能を改善し得る。加えて、特定の情報を推論することができることは、そのような情報をシグナリングするために必要とされるビットを潜在的に低減または除去し得る。
[0044]図1は、本開示で説明する技法を利用し得る例示的なビデオ符号化および復号システム10を示すブロック図である。図1に示すように、システム10は、宛先デバイス14によって後で復号されるべき符号化ビデオデータを生成するソースデバイス12を含む。ソースデバイス12および宛先デバイス14は、デスクトップコンピュータ、ノートブック(すなわち、ラップトップ)コンピュータ、タブレットコンピュータ、セットトップボックス、いわゆる「スマート」フォンなどの電話ハンドセット、いわゆる「スマート」パッド、テレビジョン、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲームコンソール、ビデオストリーミングデバイスなどを含む、広範囲にわたるデバイスのいずれかを備え得る。場合によっては、ソースデバイス12および宛先デバイス14は、ワイヤレス通信に対応し得る。
[0045]宛先デバイス14は、リンク16を介して復号されるべき符号化ビデオデータを受信し得る。リンク16は、ソースデバイス12から宛先デバイス14に符号化ビデオデータを移動することが可能な任意のタイプの媒体またはデバイスを備え得る。一例では、リンク16は、ソースデバイス12が、符号化ビデオデータをリアルタイムで宛先デバイス14に直接送信することを可能にするための通信媒体を備え得る。符号化ビデオデータは、ワイヤレス通信プロトコルなどの通信規格に従って変調され、宛先デバイス14に送信され得る。通信媒体は、無線周波(RF)スペクトルあるいは1つまたは複数の物理伝送線路など、任意のワイヤレスまたはワイヤード通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワークなどのパケットベースのネットワーク、またはインターネットなどのグローバルネットワークの一部を形成し得る。通信媒体は、ルータ、スイッチ、基地局、またはソースデバイス12から宛先デバイス14への通信を容易にするために有用であり得る、任意の他の機器を含み得る。
[0046]代替的に、符号化データは、出力インターフェース22からストレージデバイス17に出力され得る。同様に、符号化データは、入力インターフェースによってストレージデバイス17からアクセスされ得る。ストレージデバイス17は、ハードドライブ、Blu−ray(登録商標)ディスク、DVD、CD−ROM、フラッシュメモリ、揮発性もしくは不揮発性メモリ、または符号化ビデオデータを記憶するための任意の他の適切なデジタル記憶媒体など、様々な分散したまたはローカルでアクセスされるデータ記憶媒体のいずれかを含み得る。さらなる一例では、ストレージデバイス17は、ソースデバイス12によって生成された符号化ビデオを保持することができるファイルサーバまたは別の中間ストレージデバイスに対応し得る。宛先デバイス14は、ストリーミングまたはダウンロードを介して、ストレージデバイス17から、記憶されたビデオデータにアクセスし得る。ファイルサーバは、符号化ビデオデータを記憶し、その符号化ビデオデータを宛先デバイス14に送信することが可能な任意のタイプのサーバとすることができる。例示的なファイルサーバとしては、(たとえば、ウェブサイト用の)ウェブサーバ、FTPサーバ、ネットワーク接続ストレージ(NAS)デバイス、またはローカルディスクドライブがある。宛先デバイス14は、インターネット接続を含む任意の標準的なデータ接続を通じて、符号化ビデオデータにアクセスし得る。これは、ワイヤレスチャネル(たとえば、Wi−Fi(登録商標)接続)、ワイヤード接続(たとえば、DSL、ケーブルモデムなど)、または、ファイルサーバに記憶されている符号化ビデオデータにアクセスするのに適した、それらの両方の組合せを含み得る。ストレージデバイス17からの符号化ビデオデータの送信は、ストリーミング送信、ダウンロード送信、または両方の組合せであり得る。
[0047]本開示の技法は、必ずしもワイヤレス適用例または設定に限定されるとは限らない。本技法は、オーバージエアテレビジョン放送、ケーブルテレビジョン送信、衛星テレビジョン送信、たとえばインターネットを介したストリーミングビデオ送信、データ記憶媒体に記憶するためのデジタルビデオの符号化、データ記憶媒体に記憶されたデジタルビデオの復号、または他の適用例などの、様々なマルチメディア適用例のいずれかをサポートするビデオコーディングに適用され得る。いくつかの例では、システム10は、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティングおよび/またはビデオテレフォニーなどの適用例をサポートするために、一方向または二方向のビデオ伝送をサポートするように構成され得る。
[0048]図1の例では、ソースデバイス12は、ビデオソース18と、ビデオエンコーダ20と、出力インターフェース22とを含む。場合によっては、出力インターフェース22は変調器/復調器(モデム)および/または送信機を含み得る。ソースデバイス12において、ビデオソース18は、たとえばビデオカメラなどのビデオキャプチャデバイス、以前にキャプチャされたビデオを含んでいるビデオアーカイブ、ビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェース、および/またはソースビデオとしてコンピュータグラフィックスデータを生成するためのコンピュータグラフィックスシステムなどのソース、あるいはそのようなソースの組合せを含み得る。一例として、ビデオソース18がビデオカメラである場合、ソースデバイス12および宛先デバイス14は、いわゆるカメラフォンまたはビデオフォンを形成し得る。ただし、本開示で説明する技法は、概してビデオコーディングに適用可能であり得、ワイヤレスおよび/またはワイヤード適用例に適用され得る。
[0049]キャプチャされたビデオ、プリキャプチャされたビデオ、またはコンピュータにより生成されたビデオは、ビデオエンコーダ20によって符号化され得る。符号化ビデオデータは、ソースデバイス12の出力インターフェース22を介して宛先デバイス14に直接送信され得る。符号化ビデオデータは、さらに(または代替的に)、復号および/または再生のための宛先デバイス14または他のデバイスによる後のアクセスのためにストレージデバイス17上に記憶され得る。
[0050]宛先デバイス14は、入力インターフェース28と、ビデオデコーダ30と、ディスプレイデバイス32とを含む。場合によっては、入力インターフェース28は、受信機および/またはモデムを含み得る。宛先デバイス14の入力インターフェース28は、リンク16を介して符号化ビデオデータを受信する。リンク16を介して通信され、またはストレージデバイス17上に提供された符号化ビデオデータは、ビデオデータを復号する際にビデオデコーダ30などのビデオデコーダが使用するための、ビデオエンコーダ20によって生成された様々なシンタックス要素を含み得る。そのようなシンタックス要素は、通信媒体上で送信され、記憶媒体上に記憶される符号化ビデオデータとともに含まれ得、またはファイルサーバを記憶した。
[0051]ディスプレイデバイス32は、宛先デバイス14と一体であってよく、またはその外部にあり得る。いくつかの例では、宛先デバイス14は、集積ディスプレイデバイスを含むことができ、また、外部ディスプレイデバイスとインターフェースするように構成され得る。他の例では、宛先デバイス14はディスプレイデバイスであり得る。概して、ディスプレイデバイス32は、復号ビデオデータをユーザに対して表示し、液晶ディスプレイ(LCD)、プラズマディスプレイ、有機発光ダイオード(OLED)ディスプレイ、または別のタイプのディスプレイデバイスなど、様々なディスプレイデバイスのいずれかを備え得る。
[0052]ビデオエンコーダ20およびビデオデコーダ30は、現在開発中の高効率ビデオコーディング(HEVC)規格などのビデオ圧縮規格に従って動作することができ、HEVCテストモデル(HM)に準拠することができる。代替的に、ビデオエンコーダ20およびビデオデコーダ30は、代替的にMPEG−4、Part 10と呼ばれるITU−T H.264規格、アドバンストビデオコーディング(AVC)、またはそのような規格の拡張などの、他の独自の規格または業界規格に従って動作し得る。ただし、本開示の技法は、いかなる特定のコーディング規格にも限定されない。ビデオ圧縮規格の他の例としては、MPEG−2およびITU−T H.263がある。
[0053]ビデオエンコーダ20およびビデオデコーダ30によって使用され得るビデオコーディング規格は、ITU−T H.261と、ISO/IEC MPEG−1 Visualと、ITU−T H.262またはISO/IEC MPEG−2 Visualと、ITU−T H.263と、ISO/IEC MPEG−4 Visualと、それのスケーラブルビデオコーディング(SVC)およびマルチビュービデオコーディング(MVC)拡張を含む(ISO/IEC MPEG−4 AVCとしても知られる)ITU−T H.264とを含む。
[0054]最近、新しいビデオコーディング規格、すなわち高効率ビデオコーディング(HEVC)の設計が、ITU−T Video Coding Experts Group(VCEG)とISO/IEC Motion Picture Experts Group(MPEG)とのJoint Collaboration Team on Video Coding(JCT−VC)によって確定された。「HEVCワーキングドラフト10」または「WD10」と呼ばれるHEVC規格の最近のドラフトは、文書JCTVC−L1003v34、Brossら、「High efficiency video coding (HEVC) text specification draft 10 (for FDIS & Last Call)」、ITU−T SG16 WP3とISO/IEC JTC1/SC29/WG11とのJoint Collaborative Team on Video Coding(JCT−VC)、第12回会合:ジュネーブ、スイス、2013年1月14〜23日に記載されており、この文書は、2014年7月11日現在、http://phenix.int−evry.fr/jct/doc_end_user/documents/12_Geneva/wg11/JCTVC−L1003−v34.zipからダウンロード可能である。
[0055]HEVC規格のさらに別のドラフトは、本明細書で「WD10改訂」と呼ばれ、Brossら、「Editors’ proposed corrections to HEVC version 1」、ITU−T SG16 WP3とISO/IEC JTC1/SC29/WG11とのJoint Collaborative Team on Video Coding(JCT−VC)、第13回会合、仁川、韓国、2013年4月に記載されており、この文書は、2014年7月11日現在、http://phenix.int−evry.fr/jct/doc_end_user/documents/13_Incheon/wg11/JCTVC−M0432−v3.zipから入手可能である。これら両方の内容全体は参照により組み込まれる。
[0056]その内容全体が参照により組み込まれる、HEVCのマルチビュー拡張、すなわち、MV−HEVCも、JCT−3Vによって開発されている。以下で、MV−HEVC WD4の最近のワーキングドラフト(WD)はhttp://phenix.it−sudparis.eu/jct2/doc_end_user/documents/4_Incheon/wg 11/JCT3V−D1004−v4.zipから入手可能である。その内容全体が参照により組み込まれる、SHVCという名前のHEVCのスケーラブル拡張も、JCT−VCによって開発されている。以下でSHVC WD2と呼ばれる、SHVCの最近のワーキングドラフト(WD)は、http://phenix.it−sudparis.eu/jct/doc_end_user/documents/13_Incheon/wg11/JCTVC−M1008−v3.zipから入手可能である。その内容全体が参照により組み込まれる、JCT3V−M0266(http://phenix.int−evry.fr/jct/doc_end_user/documents/13_Incheon/wg11/JCTVC−M0266−v2.zip)は、IRAPピクチャのレイヤ間整列に関する議論といくつかの提案される制約とを含む。
[0057]図1には示されていないが、いくつかの態様では、ビデオエンコーダ20およびビデオデコーダ30は、それぞれオーディオエンコーダおよびデコーダと統合され得、共通のデータストリームまたは別個のデータストリーム中のオーディオとビデオの両方の符号化を処理するために、適切なMUX−DEMUXユニット、または他のハードウェアおよびソフトウェアを含み得る。適用可能な場合、いくつかの例では、MUX−DEMUXユニットは、ITU H.223マルチプレクサプロトコル、またはユーザデータグラムプロトコル(UDP)などの他のプロトコルに準拠し得る。
[0058]ビデオエンコーダ20およびビデオデコーダ30はそれぞれ、1つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェア、またはそれらの任意の組合せなどの、様々な適切なエンコーダ回路のいずれかとして実装され得る。技法が部分的にソフトウェアで実装される場合、デバイスは、ソフトウェアのための命令を、適切な非一時的コンピュータ可読媒体に記憶し、本開示の技法を実行するための1つまたは複数のプロセッサを使用して、ハードウェアで命令を実行し得る。ビデオエンコーダ20およびビデオデコーダ30の各々は、1つまたは複数のエンコーダまたはデコーダに含まれ得、そのいずれかは、組み合わされたエンコーダ/デコーダ(コーデック)の一部として、それぞれのデバイスに統合され得る。
[0059]JCT−VCは、HEVC規格の開発に取り組んでいる。HEVC規格化の取り組みは、HEVCテストモデル(HM)と呼ばれるビデオコーディングデバイスの発展的モデルに基づく。HMは、たとえば、ITU−T H.264/AVCに従う既存のデバイスに対して、ビデオコーディングデバイスのいくつかの追加の能力を仮定する。たとえば、H.264は、9つのイントラ予測符号化モードを提供するが、HMは、33ものイントラ予測符号化モードを提供し得る。
[0060]概して、HMの作業モデルは、ビデオフレームまたはピクチャが、ルーマサンプルとクロマサンプルの両方を含むツリーブロックまたは最大コーディングユニット(LCU)のシーケンスに分割され得ることを記述する。ツリーブロックは、H.264規格のマクロブロックと同様の目的を有する。スライスは、コーディング順序でいくつかの連続するツリーブロックを含む。ビデオフレームまたはピクチャは、1つまたは複数のスライスに区分され得る。各ツリーブロックは、4分木に従って、コーディングユニット(CU)に分割され得る。たとえば、4分木のルートノードとしてのツリーブロックは、4つの子ノードに分割される場合があり、各子ノードは、次に、親ノードとなり、別の4つの子ノードに分割される場合がある。4分木のリーフノードとしての、最終的な、分割されていない子ノードは、コーディングノード、すなわち、コード化ビデオブロックを備える。コード化ビットストリームに関連付けられたシンタックスデータは、ツリーブロックが分割され得る最大回数を定義し得、コーディングノードの最小サイズをも定義し得る。
[0061]CUは、コーディングノードと、コーディングノードに関連付けられた予測ユニット(PU)および変換ユニット(TU)とを含む。CUのサイズは、コーディングノードのサイズに対応し、形状が正方形でなければならない。CUのサイズは、8×8ピクセルから最大64×64以上のピクセルを有するツリーブロックのサイズまでに及び得る。各CUは、1つまたは複数のPUと、1つまたは複数のTUとを含み得る。CUに関連付けられたシンタックスデータは、たとえば、CUを1つまたは複数のPUに区分することを記述し得る。区分モードは、CUが、スキップモード符号化もしくはダイレクトモード符号化されるか、イントラ予測モード符号化されるか、またはインター予測モード符号化されるかによって異なり得る。PUは、形状が非正方形になるように区分され得る。CUに関連付けられたシンタックスデータは、たとえば、4分木に従って、CUを1つまたは複数のTUに区分することも記述し得る。TUは、形状が正方形または非正方形であり得る。
[0062]HEVC規格は、異なるCUに対して異なり得る、TUに従う変換を可能にする。TUは、一般に、区分されたLCUについて定義された所与のCU内のPUのサイズに基づいてサイズ決定されるが、常にそうであるとは限らない。TUは、一般に、PUと同じサイズであるか、またはPUよりも小さい。いくつかの例では、CUに対応する残差サンプルは、「残差4分木」(RQT:residual quad tree)として知られる4分木構造を使用して、より小さいユニットに再分割され得る。RQTのリーフノードは変換ユニット(TU)と呼ばれることがある。TUに関連付けられたピクセル差分値は、変換されて変換係数が生成され得、その変換係数は量子化され得る。
[0063]概して、PUは、予測プロセスに関係するデータを含む。たとえば、PUがイントラモード符号化されるとき、PUは、PUについてのイントラ予測モードを記述するデータを含み得る。別の例として、PUがインターモード符号化されるとき、PUは、PUのための動きベクトルを定義するデータを含み得る。PUのための動きベクトルを定義するデータは、たとえば、動きベクトルの水平の構成要素、動きベクトルの垂直の構成要素、動きベクトルのための解像度(たとえば、4分の1ピクセルの精度または8分の1ピクセルの精度)、動きベクトルが指す先の参照ピクチャ、および/または動きベクトルのための参照ピクチャリスト(たとえば、リスト0、リスト1、またはリストC)を記述し得る。
[0064]概して、TUは、変換プロセスと量子化プロセスとのために使用される。1つまたは複数のPUを有する所与のCUは、1つまたは複数の変換ユニット(TU)を含む場合もある。予測の後に、ビデオエンコーダ20は、PUに対応する残差値を計算し得る。残差値は、エントロピーコーディングのためのシリアル化変換係数(serialized transform coefficient)を生成するために、TUを使用して変換係数に変換され、量子化され、走査され得るピクセル差分値を備える。本開示では、一般に、CUのコーディングノードを指すために「ビデオブロック」という用語を使用する。いくつかの特定の場合において、本開示では、コーディングノードならびにPUおよびTUを含む、ツリーブロック、すなわち、LCUまたはCUを指す「ビデオブロック」という用語をも使用し得る。
[0065]ビデオシーケンスは、一般に、一連のビデオフレームまたはピクチャを含む。ピクチャグループ(GOP)は、概して、ビデオピクチャのうちの一連の1つまたは複数を備える。GOPは、GOP中に含まれるいくつかのピクチャを記述するシンタックスデータを、GOPのヘッダ中、ピクチャのうちの1つまたは複数のヘッダ中、または他の場所に含み得る。ピクチャの各スライスは、それぞれのスライスのための符号化モードを記述するスライスシンタックスデータを含み得る。ビデオエンコーダ20は、一般に、ビデオデータを符号化するために、個々のビデオスライス内のビデオブロックに対して動作する。ビデオブロックは、CU内のコーディングノードに対応し得る。ビデオブロックは、固定サイズまたは可変サイズを有し得、規定のコーディング規格に応じてサイズが異なり得る。
[0066]一例として、HMは、様々なPUサイズでの予測をサポートする。特定のCUのサイズが2N×2Nであると仮定すると、HMは、2N×2NまたはN×NのPUサイズでのイントラ予測をサポートし、2N×2N、2N×N、N×2N、またはN×Nの対称的なPUサイズでのインター予測をサポートする。HMはまた、2N×nU、2N×nD、nL×2N、およびnR×2NのPUサイズでのインター予測のための非対称区分をサポートする。非対称区分では、CUの一方向は区分されないが、他の方向は25%と75%とに区分される。25%の区分に対応するCUの部分は、「n」とその後ろに付く「Up」、「Down」、「Left」、または「Right」という指示によって示される。したがって、たとえば、「2N×nU」は、上部で2N×0.5NのPU、および下部で2N×1.5NのPUに水平に区分される2N×2NのCUを指す。
[0067]本開示では、「N×N」および「N by N」は、垂直および水平の寸法の観点からビデオブロックのピクセル寸法を参照するために、たとえば、16×16ピクセルまたは16by16ピクセルのように、互換的に使用され得る。概して、16×16ブロックは、垂直方向に16ピクセル(y=16)、および水平方向に16ピクセル(x=16)を有する。同様に、N×Nブロックは、概して、垂直方向にNピクセル、および水平方向にNピクセルを有し、ここでNは、非負の整数値を表す。ブロックのピクセルは、行および列に配列され得る。その上、ブロックは、必ずしも、水平方向において垂直方向と同じ数のピクセルを有する必要があるとは限らない。たとえば、ブロックはN×Mピクセルを備えてよく、ここで、Mは必ずしもNに等しいとは限らない。
[0068]CUのPUを使用したイントラ予測コーディングまたはインター予測コーディングの後に、ビデオエンコーダ20は、CUのTUのための残差データを計算し得る。PUは、(ピクセル領域とも呼ばれる)空間領域においてピクセルデータを備え得、TUは、変換、たとえば、残差ビデオデータへの離散コサイン変換(DCT)、整数変換、ウェーブレット変換、または概念的に同様の変換の適用後に、変換領域において係数を備え得る。残差データは、符号化されていないピクチャのピクセルと、PUに対応する予測値との間のピクセル差分に対応し得る。ビデオエンコーダ20は、CUに対する残差データを含むTUを形成し、次いで、CUのための変換係数を生成するためにTUを変換し得る。
[0069]変換係数を生成するための任意の変換の後で、ビデオエンコーダ20は、変換係数の量子化を実行し得る。量子化は、概して、係数を表すために使用されるデータの量をできるだけ低減するために変換係数が量子化され、さらなる圧縮を行うプロセスを指す。量子化プロセスは、係数の一部または全部に関連付けられたビット深度を低減し得る。たとえば、量子化中にnビット値をmビット値に切り捨てることができ、ここで、nはmよりも大きい。
[0070]いくつかの例では、ビデオエンコーダ20は、量子化変換係数を走査して、エントロピー符号化され得る直列化されたベクトルを生成するために、所定の走査順序を利用することができる。他の例では、ビデオエンコーダ20は、適応走査を実行し得る。量子化変換係数を走査して1次元ベクトルを形成した後に、ビデオエンコーダ20は、たとえば、コンテキスト適応型可変長コーディング(CAVLC:context-adaptive variable length coding)、コンテキスト適応型バイナリ算術コーディング(CABAC:context-adaptive binary arithmetic coding)、シンタックスベースコンテキスト適応型バイナリ算術コーディング(SBAC:syntax-based context-adaptive binary arithmetic coding)、確率間隔区分エントロピー(PIPE:Probability Interval Partitioning Entropy)コーディング、または別のエントロピー符号化方法に従って1次元ベクトルをエントロピー符号化し得る。ビデオエンコーダ20はまた、ビデオデータを復号する際にビデオデコーダ30が使用するための、符号化ビデオデータに関連付けられたシンタックス要素をエントロピー符号化し得る。
[0071]CABACを実行するために、ビデオエンコーダ20は、送信されるべきシンボルに、コンテキストモデル内のコンテキストを割り当て得る。コンテキストは、たとえば、シンボルの隣接値が0ではないかどうかに関係し得る。CAVLCを実行するために、ビデオエンコーダ20は、送信されるべきシンボルに対する可変長符号を選択し得る。VLCの中の符号語は、比較的短い符号が優勢シンボルに対応し、より長い符号が劣勢シンボルに対応するように、構成され得る。このようにして、VLCの使用は、たとえば、送信されるべき各シンボルのために等長符号語を使用するよりも、ビット節約を達成し得る。確率決定は、シンボルに割り当てられたコンテキストに基づき得る。
[0072]本開示の1つの技法によれば、デバイス(たとえば、ビデオエンコーダ20、ビデオデコーダ30、またはネットワークデバイス)は、いかなる関連するリーディングピクチャも有しないIDRピクチャ(たとえば、IDR_N_LP)の存在を示すNALユニットタイプを有するアクセスユニット中のIRAPピクチャを備えるNALユニットに応答して、デバイスが、いかなる関連するリーディングピクチャも有しないIDRピクチャ(たとえば、IDR_N_LP)の存在を示すNALユニットタイプを有するために、同じアクセスユニット中の他のIRAPピクチャを備える追加のNALユニットを処理するように、ビデオデータを処理し得る。
[0073]本開示の別の技法によれば、デバイス(たとえば、ビデオエンコーダ20、ビデオデコーダ30、またはネットワークデバイス)は、関連するRADLピクチャを有するIDRピクチャ(たとえば、IDR_W_RADL)の存在を示すNALユニットタイプを有するアクセスユニット中のIRAPピクチャを備えるNALユニットに応答して、デバイスズが、関連するRADLピクチャを有するIDRピクチャ(たとえば、IDR_W_RADL)の存在を示すNALユニットタイプを有するために、同じアクセスユニット中の他のIRAPピクチャを備える追加のNALユニットを処理するように、ビデオデータを処理し得る。
[0074]本開示の別の技法によれば、デバイス(たとえば、ビデオエンコーダ20、ビデオデコーダ30、またはネットワークデバイス)は、関連するリーディングピクチャを有しないBLAピクチャ(たとえば、BLA_N_LP)の存在を示すNALユニットタイプを有するアクセスユニット中のIRAPピクチャを備えるNALユニットに応答して、デバイスが、関連するリーディングピクチャを有しないBLAピクチャ(たとえば、BLA_N_LP)およびCRAピクチャの各VCL NALユニットがCRAピクチャのコード化スライスセグメントを備えるCRAピクチャ(たとえば、CRA_NUT)のうちの1つの存在を示すためのNALユニットタイプを有するために、同じアクセスユニット中のIRAPピクチャを備える追加のNALユニットを処理し得るように、ビデオデータを処理し得る。デバイスはまた、同じアクセスユニット中の追加のNALユニットがNALユニットのレイヤID値未満のレイヤID値を有する制限を実施するように構成され得る。デバイスはまた、NALユニットがレイヤ識別(ID)値を有し、同じアクセスユニット中の追加のNALユニットがNALユニットのレイヤID値未満のレイヤID値を有し、直接依存フラグが、NALユニットのレイヤが追加のNALユニットのレイヤのための直接参照レイヤとして働くことが可能であることを示す値に等しく設定される制限ザットを実施するように構成され得る。
[0075]本開示の別の技法によれば、デバイス(たとえば、ビデオエンコーダ20、ビデオデコーダ30、またはネットワークデバイス)は、復号可能リーディングピクチャを有するBLAピクチャ(たとえば、BLA_W_LP)および関連するRADLピクチャを有するBLAピクチャ(たとえば、BLA_W_RADL)のうちの1つの存在を示すNALユニットタイプを有するアクセスユニット中のIRAPピクチャを備えるNALユニットに応答して、デバイスが、復号可能リーディングピクチャを有するBLAピクチャ(たとえば、BLA_W_LP)、関連するRADLピクチャを有するBLAピクチャ、CRAピクチャの各ビデオコーディングレイヤ(VCL)NALユニットがCRAピクチャのコード化スライスセグメントを備えるCRAピクチャ(たとえば、CRA_NUT)のうちの1つの存在を示すNALユニットタイプを有するために、アクセスユニット中のIRAPピクチャを備える追加のNALユニットを処理するように、ビデオデータを処理し得る。デバイスはまた、NALユニットがレイヤ識別(ID)値を有し、ここにおいて、同じアクセスユニット中の追加のNALユニットがNALユニットのレイヤID値未満のレイヤID値を有する制限を実施するように構成され得る。デバイスはまた、NALユニットがレイヤ識別(ID)値を有し、ここにおいて、同じアクセスユニット中の追加のNALユニットがNALユニットのレイヤID値未満のレイヤID値を有し、直接依存フラグが、NALユニットのレイヤが追加のNALユニットのレイヤのための直接参照レイヤとして働くことが可能であることを示す値に等しく設定される制限を実施するように構成され得る。
[0076]本開示の別の技法によれば、デバイス(たとえば、ビデオエンコーダ20、ビデオデコーダ30、またはネットワークデバイス)は、復号可能リーディングピクチャを有するBLAピクチャ(たとえば、BLA_W_LP)、関連するRADLピクチャを有するBLAピクチャ(たとえば、BLA_W_RADL)、および関連するリーディングピクチャを有しないBLAピクチャ(たとえば、BLA_N_LP)のうちの1つに等しいNALユニットタイプを有するアクセスユニット中のIRAPピクチャを備えるNALユニットに応答して、デバイスが、復号可能リーディングピクチャを有するBLAピクチャ(たとえば、BLA_W_LP)、関連するRADLピクチャを有するBLAピクチャ(たとえば、BLA_W_RADL)、および関連するリーディングピクチャを有しないBLAピクチャ(たとえば、BLA_N_LP)のうちの1つに等しいNALユニットタイプの存在を示すNALユニットタイプを有するために、アクセスユニット中のIRAPピクチャを備える追加のNALユニットを処理するように、ビデオデータを処理し得る。
[0077]本開示の別の技法によれば、デバイス(たとえば、ビデオエンコーダ20、ビデオデコーダ30、またはネットワークデバイス)は、関連するRADLピクチャを有するIDRピクチャ(たとえば、IDR_W_RADL)および関連する復号可能リーディングピクチャを有しないIDRピクチャ(たとえば、IDR_N_LP)のうちの1つの存在を示すためのNALユニットタイプを有するアクセスユニット中のIRAPピクチャを備えるNALユニットに応答して、デバイスが、関連するRADLピクチャを有するIDRピクチャ(たとえば、IDR_W_RADL)および関連する復号可能リーディングピクチャを有しないIDRピクチャ(たとえば、IDR_N_LP)のうちの1つの存在を示すためのの存在を示すNALユニットタイプを有するために、アクセスユニット中のIRAPピクチャを備える追加のNALユニットを処理するように、ビデオデータを処理し得る。
[0078]本開示の別の技法によれば、デバイス(たとえば、ビデオエンコーダ20、ビデオデコーダ30、またはネットワークデバイス)は、CRAピクチャの各ビデオコーディングレイヤ(VCL)NALユニットがCRAピクチャのコード化スライスセグメントを備えるCRAピクチャ(たとえば、CRA_NUT)の存在を示すNALユニットタイプを有するアクセスユニット中のIRAPピクチャを備えるNALユニットに応答して、デバイスが、CRAピクチャの各ビデオコーディングレイヤ(VCL)NALユニットがCRAピクチャのコード化スライスセグメントを備えるCRAピクチャ(たとえば、CRA_NUT)の存在を示すNALユニットタイプの存在を示すNALユニットタイプを有するために、アクセスユニット中にIRAPピクチャを備える追加のNALユニットを処理するように、ビデオデータを処理し得る。
[0079]上記の例では、追加のNALユニットに対して行われる処理のタイプは、その処理を行うデバイスのタイプに依存し得る。たとえば、ビデオエンコーダ20は、本開示で説明する様々な制限のうちの1つまたは複数を実施することによって、追加のNALユニットを処理し得る。一例として、第1のNALユニットのNALユニットタイプに基づいて、ビデオエンコーダ20は、上記で説明したように、後続のNALユニットのためのNALユニットタイプを設定し得る。ビデオデコーダ30は、特定のNALユニットについての特定の情報を推論するために上記の制限を利用し得る。1つの例として、第1のNALユニットがある特定のタイプであることをビデオデコーダ30が知っている場合、後続のNALユニットがある特定のタイプであるか、またはある特定のグループに制限されると推論することが可能であり得、その情報に基づいて、メモリをより良く割り振り、復号ピクチャバッファをより良く管理し、後続のNALユニットをより効率的に処理し、計算効率を得ることなどが可能であり得る。別の例として、MANEがある特定のタイプのNALユニット(たとえば、IDR_N_LP)を受信した場合、MANEは(アクセスユニット中のすべてのNALユニットを受信する前に)復号順序におけるすべての先のアクセスユニットが出力順序においても先であることを推論し得る。この情報に基づいて、MANEは、アクセスユニットから開始するストリームを送ることによって、アクセス要求により迅速に応答することが可能であり得る。
[0080]本開示の別の技法によれば、ビデオエンコーダ20は、アクセスユニットの第1のピクチャを備える第1のNALユニットを処理し得、第1のNALユニットがIRAPピクチャを備えると決定したことに応答して、および、いかなる関連するリーディングピクチャも有しないIDRピクチャ(たとえば、IDR_N_LP)の存在を示す第1のNALユニットのためのNALユニットタイプに応答して、別のIRAPピクチャを含んでいるアクセスユニットの第2のNALユニットについて、第2のNALユニットのためのNALユニットタイプをいかなる関連するリーディングピクチャも有しないIDRピクチャ(たとえば、IDR_N_LP)の存在を示すNALユニットタイプに設定すること。次いで、ビデオエンコーダ20は、第1のNALユニットと第2のNALユニットとを送信することができる。加えて、第1のNALユニットがIRAPピクチャを含んでいると決定したことに応答して、および、いかなる関連するリーディングピクチャも有しないIDRピクチャ(たとえば、IDR_N_LP)の存在を示す第1のNALユニットのためのNALユニットタイプに応答して、IRAPピクチャを備えるアクセスユニットのすべてのビデオコーディングレイヤ(VCL)NALユニットについて、ビデオエンコーダ20は、NALユニットのためのNALユニットタイプをいかなる関連するリーディングピクチャも有しないIDRピクチャ(たとえば、IDR_N_LP)の存在を示すNALユニットタイプに設定し得る。
[0081]本開示の別の技法によれば、ビデオデコーダ30は、アクセスユニットの第1のピクチャを備える第1のNALユニットを受信し得、第1のNALユニットがIRAPピクチャを備えると決定したことに応答して、および、いかなる関連するリーディングピクチャも有しないIDRピクチャ(たとえば、IDR_N_LP)の存在を示す第1のNALユニットのためのNALユニットタイプに応答して、別のIRAPピクチャを備えるアクセスユニットの第2のNALユニットについて、ビデオデコーダ30は、いかなる関連するリーディングピクチャも有しないIDRピクチャ(たとえば、IDR_N_LP)の存在を示すNALユニットタイプとなるべき第2のNALユニットのためのNALユニットタイプを決定し得る。ビデオデコーダ30は、決定されたNALユニットタイプに基づいて、第1のNALユニットと第2のNALユニットとを復号し得る。
[0082]図2は、本開示で説明する技法を実装し得る例示的なビデオエンコーダ20を示すブロック図である。ビデオエンコーダ20は、ビデオを後処理エンティティ27に出力するように構成され得る。後処理エンティティ27は、MANEまたはスプライシング/編集デバイスなどの、ビデオエンコーダ20からの符号化ビデオデータを処理し得るビデオエンティティの一例を表すように意図されている。場合によっては、後処理エンティティはネットワークエンティティの一例であってもよい。一部のビデオ符号化システムにおいて、後処理エンティティ27およびビデオエンコーダ20は別個のデバイスの部分であってもよく、他の事例では、後処理エンティティ27に関連して説明される機能は、ビデオエンコーダ20を備える同じデバイスによって実行されてもよい。
[0083]ビデオエンコーダ20は、ビデオスライス内のビデオブロックのイントラコーディングとインターコーディングとを実行し得る。イントラコーディングは、所与のビデオフレームまたはピクチャ内のビデオの空間的冗長性を低減または除去するために、空間的予測に依拠する。インターコーディングは、ビデオシーケンスの隣接するフレーム内またはピクチャ内のビデオの時間的冗長性を低減または除去するために、時間的予測に依拠する。イントラモード(Iモード)は、いくつかの空間ベースの圧縮モードのいずれかを指すことがある。単方向予測(Pモード)または双方向予測(Bモード)などのインターモードは、いくつかの時間ベースの圧縮モードのいずれかを指すことがある。
[0084]図2の例では、ビデオエンコーダ20は、ビデオデータメモリ33と、区分ユニット35と、予測処理ユニット41と、フィルタユニット63と、復号ピクチャバッファ64と、加算器50と、変換処理ユニット52と、量子化ユニット54と、エントロピー符号化ユニット56とを含む。予測処理ユニット41は、動き推定ユニット42と、動き補償ユニット44と、イントラ予測処理ユニット46とを含む。ビデオブロック再構成のために、ビデオエンコーダ20はまた、逆量子化ユニット58と、逆変換処理ユニット60と、加算器62とを含む。フィルタユニット63は、デブロッキングフィルタ、適応ループフィルタ(ALF)、およびサンプル適応オフセット(SAO)フィルタなど、1つまたは複数のループフィルタを表すように意図されている。図2では、フィルタユニット63はループ内フィルタであるものとして示されているが、他の構成では、フィルタユニット63はループ後フィルタとして実装され得る。
[0085]ビデオデータメモリ33は、ビデオエンコーダ20の構成要素によって符号化されるべきビデオデータを記憶し得る。ビデオデータメモリ33に記憶されたビデオデータは、たとえば、ビデオソース18から取得され得る。復号ピクチャバッファ64は、たとえば、イントラコーディングモードまたはインターコーディングモードでビデオエンコーダ20によってビデオデータを符号化する際に使用するための、参照ビデオデータを記憶する参照ピクチャメモリであり得る。ビデオデータメモリ33および復号ピクチャバッファ64は、同期DRAM(SDRAM)、磁気抵抗RAM(MRAM)、抵抗RAM(RRAM(登録商標))、または他のタイプのメモリデバイスを含む、ダイナミックランダムアクセスメモリ(DRAM)など、様々なメモリデバイスのいずれかによって形成され得る。ビデオデータメモリ33および復号ピクチャバッファ64は、同じメモリデバイスまたは別個のメモリデバイスによって提供され得る。様々な例では、ビデオデータメモリ33は、ビデオエンコーダ20の他の構成要素とともにオンチップであるか、またはそれらの構成要素に対してオフチップであり得る。
[0086]図2に示すように、ビデオエンコーダ20はビデオデータメモリ33においてビデオデータを受信し、区分ユニット35はデータをビデオブロックに区分する。この区分はまた、たとえば、LCUおよびCUの4分木構造に従って、スライス、タイル、または他のより大きいユニットへの区分、ならびにビデオブロック区分も含み得る。ビデオエンコーダ20は、概して、符号化されるべきビデオスライス内のビデオブロックを符号化する構成要素を示している。スライスは、複数のビデオブロックに(および、場合によっては、タイルと呼ばれるビデオブロックのセットに)分割され得る。予測処理ユニット41は、現在ビデオブロックに関して、エラー結果(たとえば、コーディングレートおよび歪みレベル)に基づいて、複数のイントラコーディングモードのうちの1つまたは複数のインターコーディングモードのうちの1つなど、複数の可能なコーディングモードのうちの1つを選択し得る。予測処理ユニット41は、得られたイントラコード化ブロックまたはインターコード化ブロックを、残差ブロックデータを生成するために加算器50に与え、参照ピクチャとして使用するための符号化ブロックを再構成するために加算器62に与え得る。
[0087]予測処理ユニット41内のイントラ予測処理ユニット46は、空間圧縮を行うために、コーディングされるべき現在ブロックと同じフレームまたはスライス中の1つまたは複数の隣接ブロックに対する現在ビデオブロックのイントラ予測コーディングを実行し得る。予測処理ユニット41内の動き推定ユニット42および動き補償ユニット44は、時間圧縮を行うために、1つまたは複数の参照ピクチャ中の1つまたは複数の予測ブロックに対する現在ビデオブロックのインター予測コーディングを実行する。
[0088]動き推定ユニット42は、ビデオシーケンスの所定のパターンに従ってビデオスライスのためのインター予測モードを決定するように構成され得る。所定のパターンは、シーケンス中のビデオスライスをPスライス、BスライスまたはGPBスライスに指定し得る。動き推定ユニット42と動き補償ユニット44とは、高度に統合され得るが、概念的な目的のために別々に示してある。動き推定ユニット42によって実行される動き推定は、ビデオブロックの動きを推定する動きベクトルを生成するプロセスである。動きベクトルは、たとえば、参照ピクチャ内の予測ブロックに対する現在ビデオフレームまたはピクチャ内のビデオブロックのPUの変位を示し得る。
[0089]予測ブロックは、絶対値差分和(SAD)、差分2乗和(SSD)、または他の差分尺度によって決定され得るピクセル差分に関して、コーディングされるべきビデオブロックのPUに厳密に一致することがわかるブロックである。いくつかの例では、ビデオエンコーダ20は、復号ピクチャバッファ64に記憶された参照ピクチャのサブ整数ピクセル位置の値を計算し得る。たとえば、ビデオエンコーダ20は、参照ピクチャの、4分の1ピクセル位置、8分の1ピクセル位置、または他の分数のピクセル位置の値を補間し得る。したがって、動き推定ユニット42は、完全なピクセル位置および分数のピクセル位置に対して動き探索を実行し、動きベクトルを分数のピクセル精度で出力し得る。
[0090]動き推定ユニット42は、PUの位置を参照ピクチャの予測ブロックの位置と比較することによって、インターコード化スライス中のビデオブロックのPUに対する動きベクトルを計算する。参照ピクチャは、第1の参照ピクチャリスト(リスト0)または第2の参照ピクチャリスト(リスト1)から選択されてよく、それらの参照ピクチャリストの各々は、復号ピクチャバッファ64に記憶された1つまたは複数の参照ピクチャを識別する。動き推定ユニット42は、計算された動きベクトルをエントロピー符号化ユニット56と動き補償ユニット44とに送る。
[0091]動き補償ユニット44によって実行される動き補償は、動き推定によって決定された動きベクトルに基づいて予測ブロックをフェッチまたは生成すること、場合によってはサブピクセル精度への補間を実行することを伴い得る。現在ビデオブロックのPUのための動きベクトルを受信すると、動き補償ユニット44は、動きベクトルが参照ピクチャリストのうちの1つにおいて指す予測ブロックの位置を特定し得る。ビデオエンコーダ20は、コーディングされている現在ビデオブロックのピクセル値から予測ブロックのピクセル値を減算し、ピクセル差分値を形成することによって残差ビデオブロックを形成する。ピクセル差分値は、ブロックの残差データを形成し、ルーマ差分成分とクロマ差分成分の両方を含み得る。加算器50は、この減算演算を実行する1つまたは複数の構成要素を表す。動き補償ユニット44はまた、ビデオスライスのビデオブロックを復号する際にビデオデコーダ30が使用するための、ビデオブロックとビデオスライスとに関連付けられたシンタックス要素を生成し得る。
[0092]イントラ予測処理ユニット46は、上記で説明したように、動き推定ユニット42と動き補償ユニット44とによって実行されるインター予測の代替として、現在ブロックをイントラ予測し得る。特に、イントラ予測処理ユニット46は、現在ブロックを符号化するために使用すべきイントラ予測モードを決定し得る。いくつかの例では、イントラ予測処理ユニット46は、たとえば、別個の符号化パス中に様々なイントラ予測モードを使用して現在ブロックを符号化し得、イントラ予測処理ユニット46(または、いくつかの例では、モード選択ユニット40)は、使用するために適切なイントラ予測モードを、テストされたモードから選択し得る。たとえば、イントラ予測処理ユニット46は、様々なテストされたイントラ予測モードに対して、レート歪み分析を使用してレート歪みの値を計算し、テストされたモードの中から最良のレート歪み特性を有するイントラ予測モードを選択し得る。レート歪み分析は、概して、符号化ブロックと、符号化ブロックを生成するために符号化された、元の符号化されていないブロックとの間のある量の歪み(すなわち、エラー)、ならびに、符号化ブロックを生成するために使用されるビットレート(すなわち、いくつかのビット)を決定する。イントラ予測処理ユニット46は、様々な符号化ブロックに対する歪みおよびレートから比を計算し、どのイントラ予測モードがブロックに対して最良のレート歪みの値を示すかを決定し得る。
[0093]いずれの場合も、ブロックのイントラ予測モードを選択した後に、イントラ予測処理ユニット46は、ブロックについての選択されたイントラ予測モードを示す情報をエントロピー符号化ユニット56に提供し得る。エントロピー符号化ユニット56は、本開示の技法に従って、選択されたイントラ予測モードを示す情報を符号化し得る。ビデオエンコーダ20は、送信されるビットストリームの中に構成データを含み得、構成データは、コンテキストの各々のために使用する、複数のイントラ予測モードのインデックステーブルおよび複数の修正されたイントラ予測モードのインデックステーブル(符号語マッピングテーブルとも呼ばれる)、様々なブロックに対する符号化コンテキストの定義、ならびに、最も起こりそうなイントラ予測モードの表示、イントラ予測モードのインデックステーブル、および修正されたイントラ予測モードのインデックステーブルを含み得る。
[0094]予測処理ユニット41が、インター予測またはイントラ予測のいずれかを介して、現在ビデオブロックのための予測ブロックを生成した後、ビデオエンコーダ20は、現在ビデオブロックから予測ブロックを減算することによって残差ビデオブロックを形成する。残差ブロック中の残差ビデオデータは、1つまたは複数のTU中に含まれ、変換処理ユニット52に適用され得る。変換処理ユニット52は、離散コサイン変換(DCT)または概念的に同様の変換などの変換を使用して、残差ビデオデータを残差変換係数に変換する。変換処理ユニット52は、残差ビデオデータをピクセル領域から周波数領域などの変換領域に変換し得る。
[0095]変換処理ユニット52は、得られた変換係数を量子化ユニット54に送り得る。量子化ユニット54は、ビットレートをさらに低減するために変換係数を量子化する。量子化プロセスは、係数の一部または全部に関連付けられたビット深度を低減し得る。量子化の程度は、量子化パラメータを調整することによって、修正され得る。いくつかの例では、量子化ユニット54は、次いで、量子化変換係数を含む行列の走査を実行し得る。代替的に、エントロピー符号化ユニット56が、走査を実行し得る。
[0096]量子化の後に、エントロピー符号化ユニット56は、量子化変換係数をエントロピー符号化する。たとえば、エントロピー符号化ユニット56は、コンテキスト適応型可変長コーディング(CAVLC)、コンテキスト適応型バイナリ算術コーディング(CABAC)、シンタックスベースコンテキスト適応型バイナリ算術コーディング(SBAC)、確率間隔区分エントロピー(PIPE)コーディングまたは別のエントロピー符号化方法もしくは技法を実行し得る。エントロピー符号化ユニット56によるエントロピー符号化の後、符号化ビットストリームは、ビデオデコーダ30に送信されるか、またはビデオデコーダ30が後で送信するかもしくは取り出すためにアーカイブされ得る。エントロピー符号化ユニット56はまた、コーディングされている現在ビデオスライスのための動きベクトルと他のシンタックス要素とをエントロピー符号化することができる。
[0097]逆量子化ユニット58および逆変換処理ユニット60は、それぞれ逆量子化および逆変換を適用して、参照ピクチャの参照ブロックとして後で使用するために、ピクセル領域において残差ブロックを再構成する。動き補償ユニット44は、参照ピクチャリストのうちの1つの中の参照ピクチャのうちの1つの予測ブロックに残差ブロックを加算することによって、参照ブロックを計算し得る。動き補償ユニット44はまた、動き推定において使用するためのサブ整数ピクセル値を計算するために、再構成された残差ブロックに1つまたは複数の補間フィルタを適用し得る。加算器62は、復号ピクチャバッファ64に記憶するための参照ブロックを生成するために、再構成された残差ブロックを動き補償ユニット44によって生成された動き補償予測ブロックに加算する。参照ブロックは、後続のビデオフレームまたはピクチャ中のブロックをインター予測するために、動き推定ユニット42および動き補償ユニット44によって参照ブロックとして使用され得る。
[0098]このようにして、図2のビデオエンコーダ20は、レイヤ間IRAPピクチャ整列に対する以下の制限の一部または全部に準拠するビデオデータの符号化ビットストリームを生成するように構成されたビデオエンコーダの一例を表す。
1)アクセスユニット中の1つのIRAPピクチャがIDR_N_LPに等しいnal_unit_typeを有するとき、同じアクセスユニット中の任意の他のIRAPピクチャはIDR_N_LPに等しいnal_unit_typeを有するものとする。
2)アクセスユニット中の1つのIRAPピクチャがIDR_W_RADLに等しいnal_unit_typeを有するとき、同じアクセスユニット中の任意の他のIRAPピクチャはIDR_W_RADLに等しいnal_unit_typeを有するものとする。
3)アクセスユニット中の1つのIRAPピクチャがBLA_N_LPに等しいnal_unit_typeを有するとき、同じアクセスユニット中の任意の他のIRAPピクチャはBLA_N_LPまたはCRA_NUTに等しいnal_unit_typeを有するものとする。
4)アクセスユニット中の1つのIRAPピクチャがBLA_W_LPまたはBLA_W_RADLに等しいnal_unit_typeを有するとき、同じアクセスユニット中の任意の他のIRAPピクチャはBLA_W_LP、BLA_W_RADL、またはCRA_NUTに等しいnal_unit_typeを有するものとする。
注:アクセスユニット中の1つのIRAPピクチャがCRA_NUTに等しいnal_unit_typeを有するとき、同じアクセスユニット中の任意の他のIRAPピクチャはCRA_NUT、BLA_W_LP、BLA_W_RADL、またはBLA_N_LPに等しいnal_unit_typeを有しなければならない。
[0099]代替的に、ビデオエンコーダ20は、下位レイヤにBLA_N_LPを有し、上位レイヤにCRA_NUTを有することが許可されないように、符号化ビットストリームを生成するように構成され得る。したがって、上記の項目3および4は変更され得るツー。
3)アクセスユニット中の1つのIRAPピクチャがBLA_N_LPに等しいnal_unit_typeを有し、layerIdに等しいnuh_layer_idを有するとき、layerId未満のnuh_layer_idを有する同じアクセスユニット中の任意の他のIRAPピクチャはBLA_N_LPまたはCRA_NUTに等しいnal_unit_typeを有するものとする。
4)アクセスユニット中の1つのIRAPピクチャがBLA_W_LPまたはBLA_W_RADLに等しいnal_unit_typeを有し、layerIdに等しいnuh_layer_idを有するとき、layerId未満のnuh_layer_idを有する同じアクセスユニット中の任意の他のIRAPピクチャはBLA_W_LP、BLA_W_RADL、またはCRA_NUTに等しいnal_unit_typeを有するものとする。
[0100]代替的に、ビデオエンコーダ20は、下位レイヤにBLA_N_LPを有し、上位レイヤにCRA_NUTを有することが許可されないように、符号化ビットストリームを生成するように構成され得る。したがって、上記の項目3および4は変更され得るツー。
3)アクセスユニット中の1つのIRAPピクチャがBLA_N_LPに等しいnal_unit_typeを有し、layerIdAに等しいnuh_layer_idを有するとき、layerIdBに等しいnuh_layer_idを有する同じアクセスユニット中の任意の他のIRAPピクチャはBLA_N_LPまたはCRA_NUTに等しいnal_unit_typeを有するものとし、ただし、layerIdBはlayerIdA未満であり、direct_dependency_flag[LayerIdxInVps[layerIdA]][LayerIdxInVps[layerIdB]]は1に等しい。
4)アクセスユニット中の1つのIRAPピクチャがBLA_W_LPまたはBLA_W_RADLに等しいnal_unit_typeを有し、layerIdAに等しいnuh_layer_idを有するとき、layerIdBに等しいnuh_layer_idを有する同じアクセスユニット中の任意の他のIRAPピクチャはBLA_W_LP、BLA_W_RADL、またはCRA_NUTに等しいnal_unit_typeを有するものとし、ただし、layerIdBはlayerIdA未満であり、direct_dependency_flag[LayerIdxInVps[layerIdA]][LayerIdxInVps[layerIdB]]は1に等しい。
[0101]代替的に、ビデオエンコーダ20は、レイヤ間IRAPピクチャ整列に対する以下の制限を実施する符号化ビデオデータのビットストリームを生成するように構成され得る。
1)アクセスユニット中の1つのIRAPピクチャがBLA_W_LP、BLA_W_RADL、またはBLA_N_LPに等しいnal_unit_typeを有するとき、同じアクセスユニット中の任意の他のIRAPピクチャはBLA_W_LP、BLA_W_RADL、またはBLA_N_LPに等しいnal_unit_typeを有するものとする。
2)アクセスユニット中の1つのIRAPピクチャがIDR_W_RADLまたはIDR_N_LPに等しいnal_unit_typeを有するとき、同じアクセスユニット中の任意の他のIRAPピクチャはIDR_W_RADLまたはIDR_N_LPに等しいnal_unit_typeを有するものとする。
3)アクセスユニット中の1つのIRAPピクチャがCRA_NUTに等しいnal_unit_typeを有するとき、同じアクセスユニット中の任意の他のIRAPピクチャはCRA_NUTに等しいnal_unit_typeを有するものとする。
[0102]図3は、本開示で説明する技法を実装し得る例示的なビデオデコーダ30を示すブロック図である。図3の例では、ビデオデコーダ30は、ビデオデータメモリ78と、エントロピー復号ユニット80と、予測処理ユニット81と、逆量子化ユニット86と、逆変換処理ユニット88と、加算器90と、フィルタユニット91と、復号ピクチャバッファ92とを含む。予測処理ユニット81は、動き補償ユニット82と、イントラ予測処理ユニット84とを含む。ビデオデコーダ30は、いくつかの例では、図2からのビデオエンコーダ20に関して説明した符号化パスとは概して逆の復号パスを実行し得る。
[0103]ビデオデータメモリ78は、ビデオエンコーダ30の構成要素によって復号されるべき、符号化ビデオビットストリームなどのビデオデータを記憶し得る。ビデオデータメモリ78に記憶されたビデオデータは、たとえば、コンピュータ可読媒体16から、たとえば、カメラなどのローカルビデオソースから、ビデオデータのワイヤードもしくはワイヤレスネットワーク通信を介して、または物理データ記憶媒体にアクセスすることによって取得され得る。ビデオデータメモリ78は、符号化ビデオビットストリームからの符号化ビデオデータを記憶するコード化ピクチャバッファ(CPB)を形成し得る。復号ピクチャバッファ92は、たとえば、イントラコーディングモードまたはインターコーディングモードでビデオデコーダ30によってビデオデータを復号する際に使用するための、参照ビデオデータを記憶する参照ピクチャメモリであり得る。ビデオデータメモリ78および復号ピクチャバッファ92は、同期DRAM(SDRAM)、磁気抵抗RAM(MRAM)、抵抗RAM(RRAM)、または他のタイプのメモリデバイスを含む、ダイナミックランダムアクセスメモリ(DRAM)など、様々なメモリデバイスのいずれかによって形成され得る。ビデオデータメモリ78および復号ピクチャバッファ92は、同じメモリデバイスまたは別個のメモリデバイスによって提供され得る。様々な例では、ビデオデータメモリ78は、ビデオデコーダ30の他の構成要素とともにオンチップであるか、またはそれらの構成要素に対してオフチップであり得る。
[0104]復号プロセス中に、ビデオデコーダ30は、ビデオデータメモリ78中に、符号化ビデオスライスのビデオブロックおよび関連するシンタックス要素を表す符号化ビデオビットストリームを、ビデオエンコーダ20から受信する。ビデオデコーダ30は、ネットワークエンティティ29から符号化ビデオビットストリームを受信し得る。ネットワークエンティティ29は、たとえば、上記で説明した技法のうちの1つまたは複数を実装するように構成されたサーバ、MANE、ビデオエディタ/スプライサ、または他のそのようなデバイスであり得る。ネットワークエンティティ29はビデオエンコーダ20などのビデオエンコーダを含んでもよく、または含まなくてもよい。本開示で説明する技法のうちのいくつかは、ネットワークエンティティ29が符号化ビデオビットストリームをビデオデコーダ30に送信するのに先立って、ネットワークエンティティ29によって実施され得る。いくつかのビデオ復号システムでは、ネットワークエンティティ29およびビデオデコーダ30は別個のデバイスの部分であり得るが、他の事例では、ネットワークエンティティ29に関して説明した機能は、ビデオデコーダ30を備える同じデバイスによって実行され得る。
[0105]ビデオデコーダ30のエントロピー復号ユニット80は、量子化係数と、動きベクトルと、他のシンタックス要素とを生成するために、ビットストリームをエントロピー復号する。エントロピー復号ユニット80は、動きベクトルと他のシンタックス要素とを予測処理ユニット81に転送する。ビデオデコーダ30は、ビデオスライスレベルおよび/またはビデオブロックレベルでシンタックス要素を受信し得る。
[0106]ビデオスライスがイントラコード化(I)スライスとしてコーディングされるとき、予測処理ユニット81のイントラ予測処理ユニット84は、シグナリングされたイントラ予測モードと、現在フレームまたはピクチャの、前に復号されたブロックからのデータとに基づいて、現在ビデオスライスのビデオブロックのための予測データを生成し得る。ビデオフレームがインターコード化(すなわち、B、PまたはGPB)スライスとしてコーディングされたとき、予測処理ユニット81の動き補償ユニット82は、エントロピー復号ユニット80から受信された動きベクトルおよび他のシンタックス要素に基づいて、現在ビデオスライスのビデオブロックのための予測ブロックを生成する。予測ブロックは、参照ピクチャリストのうちの1つの中の参照ピクチャのうちの1つから生成され得る。ビデオデコーダ30は、復号ピクチャバッファ92に記憶された参照ピクチャに基づくデフォルトの構成技法を使用して参照フレームリストのリスト0およびリスト1を構成し得る。
[0107]動き補償ユニット82は、動きベクトルと他のシンタックス要素とをパースすることによって現在ビデオスライスのビデオブロックについての予測情報を決定し、復号されている現在ビデオブロックのための予測ブロックを生成するために予測情報を使用する。たとえば、動き補償ユニット82は、ビデオスライスのビデオブロックをコーディングするために使用される予測モード(たとえば、イントラまたはインター予測)と、インター予測スライスタイプ(たとえば、Bスライス、Pスライス、またはGPBスライス)と、スライスの参照ピクチャリストのうちの1つまたは複数のための構成情報と、スライスの各インター符号化ビデオブロックのための動きベクトルと、スライスの各インターコード化ビデオブロックのためのインター予測ステータスと、現在ビデオスライス中のビデオブロックを復号するための他の情報とを決定するために、受信されたシンタックス要素のいくつかを使用する。
[0108]動き補償ユニット82はまた、補間フィルタに基づいて、補間を実行し得る。動き補償ユニット82は、ビデオブロックの符号化中にビデオエンコーダ20によって使用された補間フィルタを使用して、参照ブロックのサブ整数ピクセルの補間値を計算し得る。このケースでは、動き補償ユニット82は、受信したシンタックス要素からビデオエンコーダ20で使用された補間フィルタを決定し、補間フィルタを使用して予測ブロックを生成し得る。
[0109]逆量子化ユニット86は、ビットストリーム中で与えられ、エントロピー復号ユニット80によって復号された、量子化変換係数を逆量子化(inverse quantize)、すなわち、逆量子化(de-quantize)する。逆量子化プロセスは、量子化の程度を決定し、同様に、適用されるべき逆量子化の程度を決定するための、ビデオスライス中の各ビデオブロックについてビデオエンコーダ20によって計算される量子化パラメータの使用を含み得る。逆変換処理ユニット88は、ピクセル領域において残差ブロックを生成するために、逆変換、たとえば逆DCT、逆整数変換、または概念的に同様の逆変換プロセスを変換係数に適用する。
[0110]動き補償ユニット82が、動きベクトルおよび他のシンタックス要素に基づいて現在ビデオブロックのための予測ブロックを生成した後、ビデオデコーダ30は、逆変換処理ユニット88からの残差ブロックを動き補償ユニット82によって生成された対応する予測ブロックと加算することによって、復号ビデオブロックを形成する。加算器90は、この加算演算を実行する1つまたは複数の構成要素を表す。所望される場合、ループフィルタ(コーディングループの中とコーディングループの後のいずれかの)も、ピクセル移行を平滑化し、または別様にビデオ品質を向上させるために使用され得る。フィルタユニット91は、デブロッキングフィルタ、適応ループフィルタ(ALF)、およびサンプル適応オフセット(SAO)フィルタなど、1つまたは複数のループフィルタを表すように意図されている。図3では、フィルタユニット91はループ内フィルタであるものとして示されているが、他の構成では、フィルタユニット91はループ後フィルタとして実装され得る。所与のフレームまたはピクチャ中の復号ビデオブロックは、次いで、後続の動き補償のために使用される参照ピクチャを記憶する復号ピクチャバッファ92に記憶される。復号ピクチャバッファ92はまた、図1のディスプレイデバイス32などのディスプレイデバイス上での後の表示のための、復号ビデオを記憶する。
[0111]このようにして、図3のビデオデコーダ30は、レイヤ間IRAPピクチャ整列に対する以下の制限の一部または全部に準拠するビデオデータの符号化ビットストリームを復号するように構成されたビデオデコーダの一例を表す。
1)アクセスユニット中の1つのIRAPピクチャがIDR_N_LPに等しいnal_unit_typeを有するとき、同じアクセスユニット中の任意の他のIRAPピクチャはIDR_N_LPに等しいnal_unit_typeを有するものとする。
2)アクセスユニット中の1つのIRAPピクチャがIDR_W_RADLに等しいnal_unit_typeを有するとき、同じアクセスユニット中の任意の他のIRAPピクチャはIDR_W_RADLに等しいnal_unit_typeを有するものとする。
3)アクセスユニット中の1つのIRAPピクチャがBLA_N_LPに等しいnal_unit_typeを有するとき、同じアクセスユニット中の任意の他のIRAPピクチャはBLA_N_LPまたはCRA_NUTに等しいnal_unit_typeを有するものとする。
4)アクセスユニット中の1つのIRAPピクチャがBLA_W_LPまたはBLA_W_RADLに等しいnal_unit_typeを有するとき、同じアクセスユニット中の任意の他のIRAPピクチャはBLA_W_LP、BLA_W_RADL、またはCRA_NUTに等しいnal_unit_typeを有するものとする。
注:アクセスユニット中の1つのIRAPピクチャがCRA_NUTに等しいnal_unit_typeを有するとき、同じアクセスユニット中の任意の他のIRAPピクチャはCRA_NUT、BLA_W_LP、BLA_W_RADL、またはBLA_N_LPに等しいnal_unit_typeを有しなければならない。
[0112]代替的に、ビデオデコーダ30は、ビットストリーム中で、下位レイヤにBLA_N_LPを有し、上位レイヤにCRA_NUTを有することが許可されないように、ビデオビットストリームを復号するように構成され得る。したがって、上記の項目3および4は次のように変更され得る。
3)アクセスユニット中の1つのIRAPピクチャがBLA_N_LPに等しいnal_unit_typeを有し、layerIdに等しいnuh_layer_idを有するとき、layerId未満のnuh_layer_idを有する同じアクセスユニット中の任意の他のIRAPピクチャはBLA_N_LPまたはCRA_NUTに等しいnal_unit_typeを有するものとする。
4)アクセスユニット中の1つのIRAPピクチャがBLA_W_LPまたはBLA_W_RADLに等しいnal_unit_typeを有し、layerIdに等しいnuh_layer_idを有するとき、layerId未満のnuh_layer_idを有する同じアクセスユニット中の任意の他のIRAPピクチャはBLA_W_LP、BLA_W_RADL、またはCRA_NUTに等しいnal_unit_typeを有するものとする。
[0113]代替的に、ビデオデコーダは、下位レイヤにBLA_N_LPを有し、上位レイヤにCRA_NUTを有することが許可されないように、ビデオビットストリームを復号するように構成され得る。したがって、項目3および4は次のように変更され得る。
3)アクセスユニット中の1つのIRAPピクチャがBLA_N_LPに等しいnal_unit_typeを有し、layerIdAに等しいnuh_layer_idを有するとき、layerIdBに等しいnuh_layer_idを有する同じアクセスユニット中の任意の他のIRAPピクチャはBLA_N_LPまたはCRA_NUTに等しいnal_unit_typeを有するものとし、ただし、layerIdBはlayerIdA未満であり、direct_dependency_flag[LayerIdxInVps[layerIdA]][LayerIdxInVps[layerIdB]]は1に等しい。
4)アクセスユニット中の1つのIRAPピクチャがBLA_W_LPまたはBLA_W_RADLに等しいnal_unit_typeを有し、layerIdAに等しいnuh_layer_idを有するとき、layerIdBに等しいnuh_layer_idを有する同じアクセスユニット中の任意の他のIRAPピクチャはBLA_W_LP、BLA_W_RADL、またはCRA_NUTに等しいnal_unit_typeを有するものとし、ただし、layerIdBはlayerIdA未満であり、direct_dependency_flag[LayerIdxInVps[layerIdA]][LayerIdxInVps[layerIdB]]は1に等しい。
[0114]代替的に、ビデオデコーダ30は、レイヤ間IRAPピクチャ整列に対する以下の制限を含むビデオビットストリームを復号するように構成され得る。
1)アクセスユニット中の1つのIRAPピクチャがBLA_W_LP、BLA_W_RADL、またはBLA_N_LPに等しいnal_unit_typeを有するとき、同じアクセスユニット中の任意の他のIRAPピクチャはBLA_W_LP、BLA_W_RADL、またはBLA_N_LPに等しいnal_unit_typeを有するものとする。
2)アクセスユニット中の1つのIRAPピクチャがIDR_W_RADLまたはIDR_N_LPに等しいnal_unit_typeを有するとき、同じアクセスユニット中の任意の他のIRAPピクチャはIDR_W_RADLまたはIDR_N_LPに等しいnal_unit_typeを有するものとする。
3)アクセスユニット中の1つのIRAPピクチャがCRA_NUTに等しいnal_unit_typeを有するとき、同じアクセスユニット中の任意の他のIRAPピクチャはCRA_NUTに等しいnal_unit_typeを有するものとする。
[0115]図4は、ネットワーク100の一部を形成するデバイスの例示的なセットを示すブロック図である。この例では、ネットワーク100は、ルーティングデバイス104A、104B(ルーティングデバイス104)とトランスコーディングデバイス106とを含む。ルーティングデバイス104およびトランスコーディングデバイス106は、ネットワーク100の一部を形成し得る少数のデバイスを表すことが意図される。スイッチ、ハブ、ゲートウェイ、ファイアウォール、ブリッジ、および他のそのようなデバイスなどの他のネットワークデバイスも、ネットワーク100内に含まれ得る。その上、サーバデバイス102とクライアントデバイス108との間にネットワーク経路に沿って追加のネットワークデバイスが提供され得る。いくつかの例では、サーバデバイス102はソースデバイス12(図1)に対応し得る一方、クライアントデバイス108は宛先デバイス14(図1)に対応し得る。図4のデバイスは、本開示で説明する、ビデオエンコーダ20によって生成されたビデオデータなどのビデオデータを処理するように構成されたデバイスの例を表す。
[0116]概して、ルーティングデバイス104は、ネットワーク100を介してネットワークデータを交換するための1つまたは複数のルーティングプロトコルを実装する。いくつかの例では、ルーティングデバイス104は、プロキシまたはキャッシュ動作を実行するように構成され得る。したがって、いくつかの例では、ルーティングデバイス104はプロキシデバイスと呼ばれ得る。概して、ルーティングデバイス104は、ネットワーク100を介したルートを発見するためにルーティングプロトコルを実行する。そのようなルーティングプロトコルを実行することによって、ルーティングデバイス104Bは、それ自体からルーティングデバイス104Aを介してサーバデバイス102へ至るネットワークルートを発見することができる。
[0117]本開示の技法は、ルーティングデバイス104およびトランスコーディングデバイス106などのネットワークデバイスによって実装され得るが、クライアントデバイス108によっても実装され得る。このように、ルーティングデバイス104、トランスコーディングデバイス106、およびクライアントデバイス108は、本開示の技法を実行するように構成されたデバイスの例を表す。その上、図1のデバイス、ならびに図2に示すビデオエンコーダ20および図3に示すビデオデコーダ30も、本開示の技法を実行するように構成され得る例示的なデバイスである。
[0118]たとえば、サーバデバイス102は、時間レイヤ切替えポイントなどの、ランダムアクセスポイントもしくはストリーム適応ポイント、または他のストリーム適応ポイントの後にくる1つまたは複数のピクチャを符号化するためのビデオエンコーダを含み得る。たとえば、このポイントは、ビットレート、フレームレート(すなわち、時間的レイヤ切替えポイント)、または空間解像度の適応のための切替えポイントであり得る 同様に、クライアントデバイス108は、時間レイヤ切替えポイントなどの、ランダムアクセスポイントまたはストリーム適応ポイントの後にくる1つまたは複数のピクチャを復号し得る。
[0119]図5は、本開示の技法によるビデオデータを処理する(たとえば、復号するまたはルーティングする)方法の一例を示すフローチャートである。図5の技法について、一般的なビデオ処理デバイスに関して説明する。ビデオ処理デバイスは、たとえば、ビデオデコーダ30、ネットワークエンティティ29、ルーティングデバイス104Aおよび104B、またはトランスコーディングデバイス106のいずれかに対応し得る。
[0120]ビデオ処理デバイスは、アクセスユニットの第1のピクチャを含む第1のNALユニットを受信する(150)。第1のNALユニットがIRAPピクチャを含むと決定したことに応答して、および、いかなる関連するリーディングピクチャも有しないIDRピクチャの存在を示す第1のNALユニットのためのNALユニットタイプに応答して、別のIRAPピクチャを備えるアクセスユニットの第2のNALユニットについて、ビデオ処理デバイスズは、いかなる関連するリーディングピクチャも有しないIDRピクチャの存在を示すNALユニットタイプとなるべき第2のNALユニットのためのNALユニットタイプを決定する(152)。ビデオ処理デバイスズは、第2のNALユニットのためのNALユニットタイプに基づいて、第1のNALユニットと第2のNALユニットとを処理する(154)。第2のNALユニットは、たとえば、VCL NALユニットであり得る。図5の技法の別の態様によれば、第1のNALユニットがIRAPピクチャを備えると決定したことに応答して、および、いかなる関連するリーディングピクチャも有しないIDRピクチャの存在を示す第1のNALユニットのためのNALユニットタイプに応答して、IRAPピクチャを備えるアクセスユニットのすべてのVCL NALユニットについて、ビデオ処理デバイスは、NALユニットのためのNALユニットタイプをいかなる関連するリーディングピクチャも有しないIDRピクチャの存在を示すNALユニットタイプに決定し得る。
[0121]図5の例では、ビデオ処理デバイスは、第2のNALユニットをパースする前に、第2のNALユニットのためのNALユニットタイプがいかなる関連するリーディングピクチャも有しないIDRピクチャの存在を示すNALユニットタイプであると推論することによって、いかなる関連するリーディングピクチャも有しないIDRピクチャの存在を示すNALユニットタイプとなるべき第2のNALユニットのためのNALユニットタイプを決定し得る。
[0122]図5の例では、ビデオ処理デバイスは、第2のNALユニットタイプに基づいて、復号ピクチャバッファについての決定を行うことによって、第2のNALユニットのためのNALユニットタイプに基づいて、第1のNALユニットと第2のNALユニットとを処理し得る。たとえば、ビデオ処理デバイスは、特定のピクチャが破棄され得るか、または特定のピクチャが維持される必要があると決定し得る。ビデオ処理デバイスはまた、第2のNALユニットのためのNALユニットタイプに基づいて、メモリを割り振り得る。
[0123]ビデオ処理デバイスズがビデオデコーダを含む例では、ビデオ処理デバイスは、第2のNALユニットのためのNALユニットタイプに基づいて、第1のNALユニットと第2のNALユニットとを復号することによって、第2のNALユニットのためのNALユニットタイプに基づいて、第1のNALユニットと第2のNALユニットとを処理し得る。
[0124]図6は、本開示の技法によるビデオデータを処理する(たとえば、符号化するまたはルーティングする)方法の一例を示すフローチャートである。図6の技法について、一般的なビデオ処理デバイスに関して説明する。ビデオ処理デバイスは、たとえば、ビデオエンコーダ20、ネットワークエンティティ29、ルーティングデバイス104Aおよび104B、またはトランスコーディングデバイス106のいずれかに対応し得る。
[0125]ビデオ処理デバイスは、アクセスユニットの第1のピクチャを備える第1のNALユニットを処理する(160)。第1のNALユニットがIRAPピクチャを備えると決定したことに応答して、および、いかなる関連するリーディングピクチャも有しないIDRピクチャの存在を示す第1のNALユニットのためのNALユニットタイプに応答して、別のIRAPピクチャを備えるアクセスユニットの第2のNALユニットについて、ビデオ処理デバイスは、第2のNALユニットのためのNALユニットタイプをいかなる関連するリーディングピクチャも有しないIDRピクチャの存在を示すNALユニットタイプに設定する(162)。ビデオ処理デバイスは、第1のNALユニットのためのNALユニットタイプと第2のNALユニットのためのNALユニットタイプとに基づいて、第1のNALユニットと第2のNALユニットとを処理する(164)。第2のNALユニットは、たとえば、ビデオコーディングレイヤVCL NALユニットであり得る。いくつかの実装形態では、第1のNALユニットがIRAPピクチャを備えると決定したことに応答して、および、いかなる関連するリーディングピクチャも有しないIDRピクチャの存在を示す第1のNALユニットのためのNALユニットタイプに応答して、IRAPピクチャを備えるアクセスユニットのすべてのビデオコーディングレイヤ(VCL)NALユニットについて、ビデオ処理デバイスは、NALユニットのためのNALユニットタイプをいかなる関連するリーディングピクチャも有しないIDRピクチャの存在を示すNALユニットタイプに設定し得る。
[0126]ビデオ処理デバイスがビデオエンコーダである例では、ビデオ処理デバイスは、第1のNALユニットと第2のNALユニットとを符号化することによって、第1のNALユニットのためのNALユニットタイプと第2のNALユニットのためのNALユニットタイプとに基づいて、第1のNALユニットと第2のNALユニットとを処理し得る。ビデオ処理デバイスがMANEである例では、ビデオ処理デバイスは、第1のNALユニットと第2のNALユニットとを送信することによって、第1のNALユニットのためのNALユニットタイプと第2のNALユニットのためのNALユニットタイプとに基づいて、第1のNALユニットと第2のNALユニットとを処理し得る。
[0127]1つまたは複数の例では、説明された機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアで実装される場合、機能は1つまたは複数の命令またはコードとしてコンピュータ可読媒体上に記憶されるか、またはコンピュータ可読媒体を介して送信され、ハードウェアベースの処理ユニットによって処理され得る。コンピュータ可読媒体は、データ記憶媒体などの有形媒体に対応するコンピュータ可読記憶媒体、または、たとえば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む通信媒体を含み得る。このようにして、コンピュータ可読媒体は概して、(1)非一時的である有形コンピュータ可読記憶媒体または(2)信号もしくは搬送波などの通信媒体に対応し得る。データ記憶媒体は、本開示で説明する技法の実装のために、命令、コードおよび/またはデータ構造を取り出すために1つもしくは複数のコンピュータまたは1つもしくは複数のプロセッサによってアクセスされ得る、任意の利用可能な媒体であり得る。コンピュータプログラム製品は、コンピュータ可読媒体を含み得る。
[0128]限定ではなく例として、そのようなコンピュータ可読記憶媒体は、RAM、ROM、EEPROM(登録商標)、CD−ROMまたは他の光ディスクストレージ、磁気ディスクストレージ、または他の磁気ストレージデバイス、フラッシュメモリ、あるいは、命令またはデータ構造の形態の所望のプログラムコードを記憶するために使用され得、コンピュータによってアクセスされ得る、任意の他の媒体を備え得る。さらに、任意の接続がコンピュータ可読媒体と適切に呼ばれる。たとえば、命令が、同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線(DSL)、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用してウェブサイト、サーバ、または他の遠隔ソースから送信される場合、同軸ケーブル、光ファイバケーブル、ツイストペア、DSL、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。ただし、コンピュータ可読記憶媒体およびデータ記憶媒体は、接続、搬送波、信号、または他の一時的媒体を含まず、代わりに、非一時的な有形記憶媒体を対象とすることを理解されたい。本明細書で使用するディスク(disk)およびディスク(disc)は、コンパクトディスク(CD)と、レーザーディスク(登録商標)と、光ディスクと、デジタル多用途ディスク(DVD)と、フロッピー(登録商標)ディスクと、Blu−rayディスクとを含み、通常、ディスク(disk)は磁気的にデータを再生し、一方ディスク(disc)はレーザーを用いてデータを光学的に再生する。上記の組合せも、コンピュータ可読媒体の範囲内に含まれるべきである。
[0129]命令は、1つまたは複数のデジタル信号プロセッサ(DSP)、汎用マイクロプロセッサ、特定用途向け集積回路(ASIC)、フィールドプログラマブルロジックアレイ(FPGA)、または他の等価な集積回路もしくはディスクリート論理回路などの1つまたは複数のプロセッサによって実行され得る。したがって、本明細書で使用する「プロセッサ」という用語は、前述の構造または本明細書で説明する技法の実装形態に適した任意の他の構造のいずれかを指し得る。加えて、いくつかの態様では、本明細書で説明する機能性は、符号化および復号のために構成され、または組み合わされたコーデックに組み込まれる、専用のハードウェアおよび/またはソフトウェアモジュール内で提供され得る。また、技法は、1つまたは複数の回路または論理要素において完全に実施され得る。
[0130]本開示の技法は、ワイヤレスハンドセット、集積回路(IC)、またはICのセット(たとえば、チップセット)を含む多種多様なデバイスまたは装置において実施され得る。様々な構成要素、モジュール、またはユニットが、開示された技法を実行するように構成されるデバイスの機能的態様を強調するために本開示で説明されているが、必ずしも異なるハードウェアユニットによる実現を必要とするとは限らない。むしろ、上記で説明したように、様々なユニットは、コーデックハードウェアユニットの中で組み合わされ、または、上記で説明した1つまたは複数のプロセッサを含む、適切なソフトウェアおよび/またはファームウェアと一緒に相互作用するハードウェアユニットの集合によって提供され得る。
[0131]様々な例について説明した。これらおよび他の例は、以下の特許請求の範囲の範囲内にある。
[0131]様々な例について説明した。これらおよび他の例は、以下の特許請求の範囲の範囲内にある。
以下に、出願当初の特許請求の範囲に記載された発明を付記する。
[C1]
受信されたビデオデータを処理する方法であって、
アクセスユニットの第1のピクチャを備える第1のネットワークアブストラクションレイヤ(NAL)ユニットを受信することと、
前記第1のNALユニットがイントラランダムアクセスポイント(IRAP)ピクチャを備えると決定したことに応答して、および、前記第1のNALユニットのためのNALユニットタイプがいかなる関連するリーディングピクチャも有しない瞬時復号リフレッシュ(IDR)ピクチャの存在を示すと決定したことに応答して、いかなる関連するリーディングピクチャも有しないIDRピクチャの存在を示すNALユニットタイプとなるべき第2のNALユニットのためのNALユニットタイプを決定することと、ここにおいて、前記アクセスユニットの前記第2のNALユニットは別のIRAPピクチャを備える、
前記第2のNALユニットのための前記NALユニットタイプに基づいて、前記第1のNALユニットと前記第2のNALユニットとを処理することとを備える方法。
[C2]
いかなる関連するリーディングピクチャも有しないIDRピクチャの存在を示すNALユニットタイプとなるべき前記第2のNALユニットのためのNALユニットタイプを決定することが、前記第2のNALユニットをパースする前に、前記第2のNALユニットのための前記NALユニットタイプがいかなる関連するリーディングピクチャも有しないIDRピクチャの存在を示す前記NALユニットタイプであると推論することを備える、C1に記載の方法。
[C3]
前記第2のNALユニットのための前記NALユニットタイプに基づいて、前記第1のNALユニットと前記第2のNALユニットとを処理することが、前記第2のNALユニットタイプに基づいて、復号ピクチャバッファについての決定を行うことを備える、C1に記載の方法。
[C4]
前記第2のNALユニットのための前記NALユニットタイプに基づいて、前記第1のNALユニットと前記第2のNALユニットとを処理することが、前記第2のNALユニットタイプに基づいて、ビデオデコーダのメモリを割り振ることを備える、C1に記載の方法。
[C5]
前記第2のNALユニットがビデオコーディングレイヤ(VCL)NALユニットを備える、C1に記載の方法。
[C6]
前記第1のNALユニットが前記IRAPピクチャを備えると決定したことに応答して、および、いかなる関連するリーディングピクチャも有しない前記IDRピクチャの存在を示す前記第1のNALユニットのための前記NALユニットタイプに応答して、IRAPピクチャを備える前記アクセスユニットのすべてのビデオコーディングレイヤ(VCL)NALユニットについて、前記NALユニットのためのNALユニットタイプをいかなる関連するリーディングピクチャも有しないIDRピクチャの存在を示すNALユニットタイプに決定することをさらに備える、C1に記載の方法。
[C7]
前記第2のNALユニットのための前記NALユニットタイプに基づいて、前記第1のNALユニットと前記第2のNALユニットとを処理することが、前記第2のNALユニットのための前記NALユニットタイプに基づいて、前記第1のNALユニットと前記第2のNALユニットとを復号することを備える、C1に記載の方法。
[C8]
ビデオデータを処理することが、
前記ビデオデータを符号化すること、
前記ビデオデータを復号すること、
前記ビデオデータをパースすること、または
前記ビデオデータをトランスコーディングすることのうちの1つを備える、C1に記載の方法。
[C9]
ビデオデータを処理する方法であって、
アクセスユニットの第1のピクチャを備える第1のネットワークアブストラクションレイヤ(NAL)ユニットを処理することと、
前記第1のNALユニットがイントラランダムアクセスポイント(IRAP)ピクチャを備えると決定したことに応答して、および、いかなる関連するリーディングピクチャも有しない瞬時復号リフレッシュ(IDR)ピクチャの存在を示す前記第1のNALユニットのためのNALユニットタイプに応答して、別のIRAPピクチャを備える前記アクセスユニットの第2のNALユニットについて、前記第2のNALユニットのためのNALユニットタイプをいかなる関連するリーディングピクチャも有しないIDRピクチャの存在を示すNALユニットタイプに設定することと、
前記第1のNALユニットのための前記NALユニットタイプと前記第2のNALユニットのための前記NALユニットタイプとに基づいて、前記第1のNALユニットと前記第2のNALユニットとを処理することとを備える方法。
[C10]
前記第1のNALユニットのための前記NALユニットタイプと前記第2のNALユニットのための前記NALユニットタイプとに基づいて、前記第1のNALユニットと前記第2のNALユニットとを処理することが、前記第1のNALユニットと前記第2のNALユニットとを符号化することを備える、C9に記載の方法。
[C11]
前記第1のNALユニットのための前記NALユニットタイプと前記第2のNALユニットのための前記NALユニットタイプとに基づいて、前記第1のNALユニットと前記第2のNALユニットとを処理することが、前記第1のNALユニットと前記第2のNALユニットとを送信することを備える、C9に記載の方法。
[C12]
前記第2のNALユニットがビデオコーディングレイヤ(VCL)NALユニットを備える、C9に記載の方法。
[C13]
前記第1のNALユニットが前記IRAPピクチャを備えると決定したことに応答して、および、いかなる関連するリーディングピクチャも有しない前記IDRピクチャの存在を示す前記第1のNALユニットのための前記NALユニットタイプに応答して、IRAPピクチャを備える前記アクセスユニットのすべてのビデオコーディングレイヤ(VCL)NALユニットについて、前記NALユニットのためのNALユニットタイプをいかなる関連するリーディングピクチャも有しないIDRピクチャの存在を示すNALユニットタイプに設定することをさらに備える、C9に記載の方法。
[C14]
受信されたビデオデータを処理するためのビデオ処理デバイスであって、
ビデオデータを記憶するメモリと、
アクセスユニットの第1のピクチャを備える第1のネットワークアブストラクションレイヤ(NAL)ユニットを受信することと、
前記第1のNALユニットがイントラランダムアクセスポイント(IRAP)ピクチャを備えると決定したことに応答して、および、前記第1のNALユニットのためのNALユニットタイプがいかなる関連するリーディングピクチャも有しない瞬時復号リフレッシュ(IDR)ピクチャの存在を示すと決定したことに応答して、いかなる関連するリーディングピクチャも有しないIDRピクチャの存在を示すNALユニットタイプとなるべき前記第2のNALユニットのためのNALユニットタイプを決定することと、ここにおいて、前記アクセスユニットの前記第2のNALユニットは別のIRAPピクチャを備える、
前記第2のNALユニットのための前記NALユニットタイプに基づいて、前記第1のNALユニットと前記第2のNALユニットとを処理することと
を行うように構成された1つまたは複数のプロセッサとを備えるビデオ処理デバイス。
[C15]
前記1つまたは複数のプロセッサが、前記第2のNALユニットをパースする前に、前記第2のNALユニットのための前記NALユニットタイプがいかなる関連するリーディングピクチャも有しないIDRピクチャの存在を示す前記NALユニットタイプであると推論することによって、いかなる関連するリーディングピクチャも有しないIDRピクチャの存在を示すNALユニットタイプとなるべき前記第2のNALユニットのためのNALユニットタイプを決定するようにさらに構成される、C14に記載のビデオ処理デバイス。
[C16]
前記1つまたは複数のプロセッサが、前記第2のNALユニットタイプに基づいて、復号ピクチャバッファについての決定を行うことによって、前記第2のNALユニットのための前記NALユニットタイプに基づいて、前記第1のNALユニットと前記第2のNALユニットとを処理する、C14に記載のビデオ処理デバイス。
[C17]
前記1つまたは複数のプロセッサが、前記第2のNALユニットタイプに基づいて、ビデオデコーダのメモリを割り振ることによって、前記第2のNALユニットのための前記NALユニットタイプに基づいて、前記第1のNALユニットと前記第2のNALユニットとを処理する、C14に記載のビデオ処理デバイス。
[C18]
前記第2のNALユニットがビデオコーディングレイヤ(VCL)NALユニットを備える、C14に記載のビデオ処理デバイス。
[C19]
前記1つまたは複数のプロセッサが、前記第1のNALユニットが前記IRAPピクチャを備えると決定したことに応答して、および、いかなる関連するリーディングピクチャも有しない前記IDRピクチャの存在を示す前記第1のNALユニットのための前記NALユニットタイプに応答して、IRAPピクチャを備える前記アクセスユニットのすべてのビデオコーディングレイヤ(VCL)NALユニットについて、前記NALユニットのためのNALユニットタイプをいかなる関連するリーディングピクチャも有しないIDRピクチャの存在を示すNALユニットタイプに決定するようにさらに構成される、C14に記載のビデオ処理デバイス。
[C20]
前記1つまたは複数のプロセッサが、前記第2のNALユニットのための前記NALユニットタイプに基づいて、前記第1のNALユニットと前記第2のNALユニットとを復号することによって、前記第2のNALユニットのための前記NALユニットタイプに基づいて、前記第1のNALユニットと前記第2のNALユニットとを処理する、C14に記載のビデオ処理デバイス。
[C21]
前記ビデオ処理デバイスがビデオエンコーダを備える、C14に記載のビデオ処理デバイス。
[C22]
前記ビデオ処理デバイスがビデオデコーダを備える、C14に記載のビデオ処理デバイス。
[C23]
前記ビデオ処理デバイスがメディアアウェアネットワーク要素(MANE)を備える、C14に記載のビデオ処理デバイス。
[C24]
ビデオデータを処理するためのビデオ処理デバイスであって、
ビデオデータを記憶するメモリと、
アクセスユニットの第1のピクチャを備える第1のネットワークアブストラクションレイヤ(NAL)ユニットを処理することと、
前記第1のNALユニットがイントラランダムアクセスポイント(IRAP)ピクチャを備えると決定したことに応答して、および、いかなる関連するリーディングピクチャも有しない瞬時復号リフレッシュ(IDR)ピクチャの存在を示す前記第1のNALユニットのためのNALユニットタイプに応答して、別のIRAPピクチャを備える前記アクセスユニットの第2のNALユニットについて、前記第2のNALユニットのためのNALユニットタイプをいかなる関連するリーディングピクチャも有しないIDRピクチャの存在を示すNALユニットタイプに設定することと、
前記第1のNALユニットのための前記NALユニットタイプと前記第2のNALユニットのための前記NALユニットタイプとに基づいて、前記第1のNALユニットと前記第2のNALユニットとを処理することと
を行うように構成された1つまたは複数のプロセッサとを備えるビデオ処理デバイス。
[C25]
前記1つまたは複数のプロセッサが、前記第1のNALユニットと前記第2のNALユニットとを符号化することによって、前記第1のNALユニットのための前記NALユニットタイプと前記第2のNALユニットのための前記NALユニットタイプとに基づいて、前記第1のNALユニットと前記第2のNALユニットとを処理する、C24に記載のビデオ処理デバイス。
[C26]
前記1つまたは複数のプロセッサが、前記第1のNALユニットと前記第2のNALユニットとを送信することによって、前記第1のNALユニットのための前記NALユニットタイプと前記第2のNALユニットのための前記NALユニットタイプとに基づいて、前記第1のNALユニットと前記第2のNALユニットとを処理する、C24に記載のビデオ処理デバイス。
[C27]
前記第2のNALユニットがビデオコーディングレイヤ(VCL)NALユニットを備える、C24に記載のビデオ処理デバイス。
[C28]
前記1つまたは複数のプロセッサプロセスが、前記第1のNALユニットが前記IRAPピクチャを備えると決定したことに応答して、および、いかなる関連するリーディングピクチャも有しない前記IDRピクチャの存在を示す前記第1のNALユニットのための前記NALユニットタイプに応答して、IRAPピクチャを備える前記アクセスユニットのすべてのビデオコーディングレイヤ(VCL)NALユニットについて、前記NALユニットのためのNALユニットタイプをいかなる関連するリーディングピクチャも有しないIDRピクチャの存在を示すNALユニットタイプに設定するようにさらに構成される、C24に記載のビデオ処理デバイス。
[C29]
前記ビデオ処理デバイスがビデオエンコーダを備える、C24に記載のビデオ処理デバイス。
[C30]
前記ビデオ処理デバイスがメディアアウェアネットワーク要素(MANE)を備える、C24に記載のビデオ処理デバイス。




  1. 受信されたビデオデータを処理する方法であって、
    アクセスユニットの第1のピクチャを備える第1のネットワークアブストラクションレイヤ(NAL)ユニットを受信することと、
    前記第1のNALユニットがイントラランダムアクセスポイント(IRAP)ピクチャを備えると決定したことに応答して、および、前記第1のNALユニットのためのNALユニットタイプがいかなる関連するリーディングピクチャも有しない瞬時復号リフレッシュ(IDR)ピクチャの存在を示すと決定したことに応答して、いかなる関連するリーディングピクチャも有しないIDRピクチャの存在を示すNALユニットタイプとなるべき第2のNALユニットのためのNALユニットタイプを決定することと、ここにおいて、前記アクセスユニットの前記第2のNALユニットは別のIRAPピクチャを備える、
    前記第2のNALユニットのための前記NALユニットタイプに基づいて、前記第1のNALユニットと前記第2のNALユニットとを処理することと
    を備える方法。

  2. いかなる関連するリーディングピクチャも有しないIDRピクチャの存在を示すNALユニットタイプとなるべき前記第2のNALユニットのためのNALユニットタイプを決定することが、前記第2のNALユニットをパースする前に、前記第2のNALユニットのための前記NALユニットタイプがいかなる関連するリーディングピクチャも有しないIDRピクチャの存在を示す前記NALユニットタイプであると推論することを備える、請求項1に記載の方法。

  3. 前記第2のNALユニットのための前記NALユニットタイプに基づいて、前記第1のNALユニットと前記第2のNALユニットとを処理することが、前記第2のNALユニットタイプに基づいて、復号ピクチャバッファについての決定を行うことを備える、請求項1に記載の方法。

  4. 前記第2のNALユニットのための前記NALユニットタイプに基づいて、前記第1のNALユニットと前記第2のNALユニットとを処理することが、前記第2のNALユニットタイプに基づいて、ビデオデコーダのメモリを割り振ることを備える、請求項1に記載の方法。

  5. 前記第2のNALユニットがビデオコーディングレイヤ(VCL)NALユニットを備える、請求項1に記載の方法。

  6. 前記第1のNALユニットが前記IRAPピクチャを備えると決定したことに応答して、および、いかなる関連するリーディングピクチャも有しない前記IDRピクチャの存在を示す前記第1のNALユニットのための前記NALユニットタイプに応答して、IRAPピクチャを備える前記アクセスユニットのすべてのビデオコーディングレイヤ(VCL)NALユニットについて、前記NALユニットのためのNALユニットタイプをいかなる関連するリーディングピクチャも有しないIDRピクチャの存在を示すNALユニットタイプに決定すること
    をさらに備える、請求項1に記載の方法。

  7. 前記第2のNALユニットのための前記NALユニットタイプに基づいて、前記第1のNALユニットと前記第2のNALユニットとを処理することが、前記第2のNALユニットのための前記NALユニットタイプに基づいて、前記第1のNALユニットと前記第2のNALユニットとを復号することを備える、請求項1に記載の方法。

  8. ビデオデータを処理することが、
    前記ビデオデータを符号化すること、
    前記ビデオデータを復号すること、
    前記ビデオデータをパースすること、または
    前記ビデオデータをトランスコーディングすること
    のうちの1つを備える、請求項1に記載の方法。

  9. ビデオデータを処理する方法であって、
    アクセスユニットの第1のピクチャを備える第1のネットワークアブストラクションレイヤ(NAL)ユニットを処理することと、
    前記第1のNALユニットがイントラランダムアクセスポイント(IRAP)ピクチャを備えると決定したことに応答して、および、いかなる関連するリーディングピクチャも有しない瞬時復号リフレッシュ(IDR)ピクチャの存在を示す前記第1のNALユニットのためのNALユニットタイプに応答して、別のIRAPピクチャを備える前記アクセスユニットの第2のNALユニットについて、前記第2のNALユニットのためのNALユニットタイプをいかなる関連するリーディングピクチャも有しないIDRピクチャの存在を示すNALユニットタイプに設定することと、
    前記第1のNALユニットのための前記NALユニットタイプと前記第2のNALユニットのための前記NALユニットタイプとに基づいて、前記第1のNALユニットと前記第2のNALユニットとを処理することと
    を備える方法。

  10. 前記第1のNALユニットのための前記NALユニットタイプと前記第2のNALユニットのための前記NALユニットタイプとに基づいて、前記第1のNALユニットと前記第2のNALユニットとを処理することが、前記第1のNALユニットと前記第2のNALユニットとを符号化することを備える、請求項9に記載の方法。

  11. 前記第1のNALユニットのための前記NALユニットタイプと前記第2のNALユニットのための前記NALユニットタイプとに基づいて、前記第1のNALユニットと前記第2のNALユニットとを処理することが、前記第1のNALユニットと前記第2のNALユニットとを送信することを備える、請求項9に記載の方法。

  12. 前記第2のNALユニットがビデオコーディングレイヤ(VCL)NALユニットを備える、請求項9に記載の方法。

  13. 前記第1のNALユニットが前記IRAPピクチャを備えると決定したことに応答して、および、いかなる関連するリーディングピクチャも有しない前記IDRピクチャの存在を示す前記第1のNALユニットのための前記NALユニットタイプに応答して、IRAPピクチャを備える前記アクセスユニットのすべてのビデオコーディングレイヤ(VCL)NALユニットについて、前記NALユニットのためのNALユニットタイプをいかなる関連するリーディングピクチャも有しないIDRピクチャの存在を示すNALユニットタイプに設定すること
    をさらに備える、請求項9に記載の方法。

  14. 受信されたビデオデータを処理するためのビデオ処理デバイスであって、
    ビデオデータを記憶するメモリと、
    アクセスユニットの第1のピクチャを備える第1のネットワークアブストラクションレイヤ(NAL)ユニットを受信することと、
    前記第1のNALユニットがイントラランダムアクセスポイント(IRAP)ピクチャを備えると決定したことに応答して、および、前記第1のNALユニットのためのNALユニットタイプがいかなる関連するリーディングピクチャも有しない瞬時復号リフレッシュ(IDR)ピクチャの存在を示すと決定したことに応答して、いかなる関連するリーディングピクチャも有しないIDRピクチャの存在を示すNALユニットタイプとなるべき前記第2のNALユニットのためのNALユニットタイプを決定することと、ここにおいて、前記アクセスユニットの前記第2のNALユニットは別のIRAPピクチャを備える、
    前記第2のNALユニットのための前記NALユニットタイプに基づいて、前記第1のNALユニットと前記第2のNALユニットとを処理することと
    を行うように構成された1つまたは複数のプロセッサと
    を備えるビデオ処理デバイス。

  15. 前記1つまたは複数のプロセッサが、前記第2のNALユニットをパースする前に、前記第2のNALユニットのための前記NALユニットタイプがいかなる関連するリーディングピクチャも有しないIDRピクチャの存在を示す前記NALユニットタイプであると推論することによって、いかなる関連するリーディングピクチャも有しないIDRピクチャの存在を示すNALユニットタイプとなるべき前記第2のNALユニットのためのNALユニットタイプを決定するようにさらに構成される、請求項14に記載のビデオ処理デバイス。

  16. 前記1つまたは複数のプロセッサが、前記第2のNALユニットタイプに基づいて、復号ピクチャバッファについての決定を行うことによって、前記第2のNALユニットのための前記NALユニットタイプに基づいて、前記第1のNALユニットと前記第2のNALユニットとを処理する、請求項14に記載のビデオ処理デバイス。

  17. 前記1つまたは複数のプロセッサが、前記第2のNALユニットタイプに基づいて、ビデオデコーダのメモリを割り振ることによって、前記第2のNALユニットのための前記NALユニットタイプに基づいて、前記第1のNALユニットと前記第2のNALユニットとを処理する、請求項14に記載のビデオ処理デバイス。

  18. 前記第2のNALユニットがビデオコーディングレイヤ(VCL)NALユニットを備える、請求項14に記載のビデオ処理デバイス。

  19. 前記1つまたは複数のプロセッサが、前記第1のNALユニットが前記IRAPピクチャを備えると決定したことに応答して、および、いかなる関連するリーディングピクチャも有しない前記IDRピクチャの存在を示す前記第1のNALユニットのための前記NALユニットタイプに応答して、IRAPピクチャを備える前記アクセスユニットのすべてのビデオコーディングレイヤ(VCL)NALユニットについて、前記NALユニットのためのNALユニットタイプをいかなる関連するリーディングピクチャも有しないIDRピクチャの存在を示すNALユニットタイプに決定するようにさらに構成される、請求項14に記載のビデオ処理デバイス。

  20. 前記1つまたは複数のプロセッサが、前記第2のNALユニットのための前記NALユニットタイプに基づいて、前記第1のNALユニットと前記第2のNALユニットとを復号することによって、前記第2のNALユニットのための前記NALユニットタイプに基づいて、前記第1のNALユニットと前記第2のNALユニットとを処理する、請求項14に記載のビデオ処理デバイス。

  21. 前記ビデオ処理デバイスがビデオエンコーダを備える、請求項14に記載のビデオ処理デバイス。

  22. 前記ビデオ処理デバイスがビデオデコーダを備える、請求項14に記載のビデオ処理デバイス。

  23. 前記ビデオ処理デバイスがメディアアウェアネットワーク要素(MANE)を備える、請求項14に記載のビデオ処理デバイス。

  24. ビデオデータを処理するためのビデオ処理デバイスであって、
    ビデオデータを記憶するメモリと、
    アクセスユニットの第1のピクチャを備える第1のネットワークアブストラクションレイヤ(NAL)ユニットを処理することと、
    前記第1のNALユニットがイントラランダムアクセスポイント(IRAP)ピクチャを備えると決定したことに応答して、および、いかなる関連するリーディングピクチャも有しない瞬時復号リフレッシュ(IDR)ピクチャの存在を示す前記第1のNALユニットのためのNALユニットタイプに応答して、別のIRAPピクチャを備える前記アクセスユニットの第2のNALユニットについて、前記第2のNALユニットのためのNALユニットタイプをいかなる関連するリーディングピクチャも有しないIDRピクチャの存在を示すNALユニットタイプに設定することと、
    前記第1のNALユニットのための前記NALユニットタイプと前記第2のNALユニットのための前記NALユニットタイプとに基づいて、前記第1のNALユニットと前記第2のNALユニットとを処理することと
    を行うように構成された1つまたは複数のプロセッサと
    を備えるビデオ処理デバイス。

  25. 前記1つまたは複数のプロセッサが、前記第1のNALユニットと前記第2のNALユニットとを符号化することによって、前記第1のNALユニットのための前記NALユニットタイプと前記第2のNALユニットのための前記NALユニットタイプとに基づいて、前記第1のNALユニットと前記第2のNALユニットとを処理する、請求項24に記載のビデオ処理デバイス。

  26. 前記1つまたは複数のプロセッサが、前記第1のNALユニットと前記第2のNALユニットとを送信することによって、前記第1のNALユニットのための前記NALユニットタイプと前記第2のNALユニットのための前記NALユニットタイプとに基づいて、前記第1のNALユニットと前記第2のNALユニットとを処理する、請求項24に記載のビデオ処理デバイス。

  27. 前記第2のNALユニットがビデオコーディングレイヤ(VCL)NALユニットを備える、請求項24に記載のビデオ処理デバイス。

  28. 前記1つまたは複数のプロセッサプロセスが、前記第1のNALユニットが前記IRAPピクチャを備えると決定したことに応答して、および、いかなる関連するリーディングピクチャも有しない前記IDRピクチャの存在を示す前記第1のNALユニットのための前記NALユニットタイプに応答して、IRAPピクチャを備える前記アクセスユニットのすべてのビデオコーディングレイヤ(VCL)NALユニットについて、前記NALユニットのためのNALユニットタイプをいかなる関連するリーディングピクチャも有しないIDRピクチャの存在を示すNALユニットタイプに設定するようにさらに構成される、請求項24に記載のビデオ処理デバイス。

  29. 前記ビデオ処理デバイスがビデオエンコーダを備える、請求項24に記載のビデオ処理デバイス。

  30. 前記ビデオ処理デバイスがメディアアウェアネットワーク要素(MANE)を備える、請求項24に記載のビデオ処理デバイス。

 

 

Patent trol of patentswamp
類似の特許
ビデオ情報をコーディングするように構成された装置は、メモリユニットと、メモリユニットと通信しているプロセッサとを含む。メモリユニットは、現在レイヤとエンハンスメントレイヤとに関連付けられたビデオ情報を記憶するように構成され、現在レイヤは現在ピクチャを有する。プロセッサは、エンハンスメントレイヤからの情報を使用して現在レイヤがコーディングされ得るかどうかを決定することと、エンハンスメントレイヤが、現在ピクチャに対応するエンハンスメントレイヤピクチャを有するかどうかを決定することと、エンハンスメントレイヤからの情報を使用して現在レイヤがコーディングされ得、エンハンスメントレイヤが、現在ピクチャに対応するエンハンスメントレイヤピクチャを有すると決定したことに応答して、エンハンスメントレイヤピクチャに基づいて現在ピクチャをコーディングすることとを行うように構成される。プロセッサはビデオ情報を符号化または復号し得る。
【選択図】図4
特定の態様によるビデオ情報を符号化するための装置は、メモリとコンピューティングハードウェアとを含む。メモリは、ビデオ情報を記憶するように構成されている。コンピューティングハードウェアは、シグナリングするための1つまたは複数のビュー識別子のビット深度を決定するように構成されており、ここにおいて、1つまたは複数のビュー識別子のそれぞれは符号化されるべきレイヤに関連付けられている。コンピューティングハードウェアは、ビットストリーム内で1つまたは複数のビュー識別子のビット深度をシグナリングするようにさらに構成されている。
パケット損失に起因してマイナスの影響を受ける(正しく受信される)パケットの数は、パケット配列の1つ以上の失われたパケットの実行の各々のために、パケットのシーケンスのパケット内の誤り耐性および識別することを提供して、それを解析することによって低減され得ることが、本出願の知見である。1つ以上の失われたパケットのそれぞれの実行の後のパケットのシーケンス内のパケットは、ビデオデータストリームのタイルのいずれかの始まりをもたらし、また、並行してスライスをもたらす。そして、パケットのシーケンスのパケットのいずれかに含まれるスライスヘッダは、失われていない。特に、誤り耐性のデータを送信するためのサイド情報オーバーヘッドは、パケット損失に悪影響を及ぼすパケットの減少に比べて比較的低いものである。
【選択図】図1
本発明は、クライアントの装置に対してストリーミングされるパーティション化されたタイムドメディアデータをカプセル化することに関し、前記パーティション化されたタイムドメディアデータは、タイムドサンプルを備え、前記タイムドサンプルの各々は複数のサブサンプルを備える。サブサンプルの少なくとも一部が一つのサブサンプルのグループに属するように、少なくとも1つのグループを形成するようにサブサンプルのいくつかをグループ化した後、同一グループの少なくとも2つのサブサンプルがタイムドサンプルの1つの複数のサブサンプルの中から選択され、選択されたサブサンプルを備える少なくとも1つのトラックが作成される。次に、前記少なくとも1つの作成されたトラックに対して、前記少なくとも1つのトラックを作成するように選択された前記サブサンプルの各々に対して、1つのサブトラックボックスが作成され、前記作成されたサブトラックボックスの少なくとも1つは、選択されたサブサンプルに共通の定義およびプロパティを備える。前記作成されたトラックの各々は、少なくとも1つのメディアファイル内で独立してカプセル化される。
【選択図】 図15
多層ビデオ信号の層に対して最低1つの特徴(例えば、個々の層に対して、個々の層が相互層予測を介して直接に関連する依存層の標示など)の信号、または、前述の第2相互依存構文構造の信号が説明される。最大構文要素は、多層ビデオ信号のパケットの拡張層IDフィールドの最大限に使われた値を示すために、多層ビデオ信号内で信号で伝えられる。例えば、最大構文要素の範囲は、多層ビデオ信号のいくつかの部分を横切って拡張している、多層ビデオ信号の予め決められた部分である。従って、多層ビデオ信号の相対的に大きい予め決められた部分に対して、拡張層IDフィールドによって信号化できる可能な値の可能なドメインの実際に消費された部分についての知識を得ることは、多層ビデオ信号を受信するデコーダやネットワーク要素などの装置に対して適当である。最低1つの特徴が、ベース層IDフィールド値と拡張層IDフィールド値とのそれぞれの結合に対して信号で伝えられる必要はないけれども、むしろ、最大限に仮定された値に基づいて決定された層の最大値のための最低1つの特徴を信号で伝えることは重要である。従って、最低1つの特徴は、層IDを持つ層のために送信/信号することは必要でない。その拡張層IDは、多層ビデオ信号の予め決められた部分内で起こらない。これを越えて、別の実施の形態に従って、最大限に仮定された値の知識は、個々の部分の層IDを信号で伝えるためのサイド情報オーバーヘッドを減らすために、すなわち、多層ビデオ信号のパケット内の拡張層IDフィールドを信号で伝えるために必要なビットを減らすために使用される。
【選択図】図11
多層データストリームの層間の相互層依存の信号化が説明される。一方の相互層依存の潜在的な多様性の非常に集中的な制限と他方の相互層依存の非常に複雑な信号との間の良好な妥協案は、ベース層IDによって表現できる異なる値のペア間に相互依存を示している第1相互依存構文構造と、多層データストリームの部分が関連する層に索引を付ける拡張層ID、又は、ベース層IDおよび拡張層IDによって表現できる異なる値のペア間の相互依存を標示している第2相互依存構文構造との方法によって、相互層依存を説明することによって見つけられる。この概念に従って、強調が、一方の信号化できる相互層依存の増大した多様性と他方の相互層依存を信号で伝えるための減少したサイド情報オーバーヘッドとの間にシフトされる。例えば、共通のベース層IDを持つ層のセットは、それぞれ、「クラスタ」と呼ぶ。同じ第2相互依存構文構造が、全てのクラスタ内の相互依存と第1相互依存構文構造を介して互いに関連した全てのクラスタ間の相互依存とを調節するために別々に使用される。代わりに、第2相互依存構文構造の2つの実例が、一方のクラスタ内の層の相互依存と他方の異なるクラスタの層間の相互依存とを説明するために用いられる。増大した多様性または減少したサイド情報オーバーヘッドに置かれた強調とは無関係に、概念を信号で伝えている相互依存は、信号オーバーヘッドを低く保持することを生じる。
【選択図】図3
【課題】ビデオ符号化のサンプル適応オフセット処理の方法を提供する。
【解決手段】ビデオ符号化システムにおける再構成ピクチャのパフォーマンスを改善する修正されたSAO処理の方法を提供する。一実施態様において、SAO−サインスレショルドが導入されて、現在の再構成画素と隣接再構成画素間の差異のサインを決定する。負のSAO−サインスレショルドより大きく、正のSAO−サインスレショルドより小さい差分値の範囲が割り当てられて、0のサイン値を有する。別の態様において、SAO−オフセット値は、SAO−ビット−シフト値を、SAO−オフセット絶対値に左方移動させることによる結果により、SAO−オフセットサインを増加させることにより生成される。さらに別の実施態様において、SAO−オフセット絶対値は、トランケーティドライス(TR)コードにより符号化され、最大TR値は構文要素により示される。
【選択図】 図9
ビデオデータをコーディングする方法は、ビデオ情報の1つまたは複数のレイヤを受け取ることを含む。各レイヤは、少なくとも1つのピクチャを含むことができる。この方法は、1つまたは複数のレイヤの少なくとも1つのピクチャに関連付けられたアクティブ参照レイヤピクチャの個数を決定することを含むことができる。この方法は、1つまたは複数のレイヤのうちの少なくとも1つに関連付けられた直接参照レイヤの個数を決定することをさらに含むことができる。直接参照レイヤの個数がアクティブ参照レイヤピクチャの個数と等しいことに基づいて、この方法は、ビデオパラメータセット(VPS)、シーケンスパラメータセット(SPS)、またはピクチャパラメータセット(PPS)のうちの少なくとも1つに関連付けられた任意のビデオスライス内でレイヤ間参照ピクチャ情報をさらにシグナリングすることを控えることをさらに含むことができる。それに加えてまたはその代わりに、直接参照レイヤの個数がアクティブ参照レイヤピクチャの個数と等しいことに基づいて、この方法は、ビデオパラメータセット(VPS)、シーケンスパラメータセット(SPS)、またはピクチャパラメータセット(PPS)のうちの少なくとも1つに関連付けられた任意のビデオスライスに関するすべての直接参照レイヤピクチャをレイヤ間参照ピクチャセットに追加することを含むことができる。
例示的なビデオコーディングデバイスは、ビュー間予測された動きベクトル候補(IPMVC)を動きベクトル継承(MVI)候補と比較するように構成され、IPMVCとMVI候補は各々、従属深度ビュー中のビデオデータのブロックと関連付けられ、IPMVCはベース深度ビュー中のビデオデータの対応するブロックから生成される。ビデオコーディングデバイスはさらに、IPMVCがMVI候補と異なることに基づいてIPMVCを統合候補リストに追加すること、または、IPMVCがMVI候補と同一であることに基づいて統合候補リストからIPMVCを除外することの1つを実行するように構成され得る。
ビデオデータに対してデブロックフィルタリングを実行することは、ビデオデータの第1の非ルーマ色成分に対して、第1のデブロックフィルタリングプロセスに基づいてデブロックフィルタリングを実行するか、または第2のデブロックフィルタリングプロセスに基づいてデブロックフィルタリングを実行するかを決定することを含み得る。次に、決定されたデブロックフィルタリングプロセスに従って、第1の非ルーマ色成分に対してデブロックフィルタリングが実行され得る。
To top