画像シーケンスを表すスケーラブル・ストリームを復号する方法及びデバイス、並びに対応する符号化方法及びデバイス

 

ベースレイヤ及び少なくとも1つのエンハンスメントレイヤを有するスケーラブル・ストリームを復号する方法が記載される。方法は、ベースレイヤから少なくとも1つの画像を再構成するステップ(20)と、再構成された少なくとも1つの画像の少なくとも1つの領域を特定する情報の少なくとも1項目を有する復号化されたエンハンスメントデータへと、ブロックのグループに関連するエンハンスメントレイヤの第1部分を復号するステップ(22)と、情報によって特定される再構成された少なくとも1つの画像の領域を処理するステップ(24)と、エンハンスメントレイヤの第2部分からブロックのグループの中の少なくとも1つのブロックについて残差を求めるステップ(26)と、残差から及び処理された領域からグループのブロックを再構成するステップ(28)とを有する。

 

 

本発明は、画像シーケンスのスケーラブル符号化の全般的分野に関する。特に、本発明は、ベースレイヤ及び少なくとも1つのエンハンスメントレイヤを有する画像シーケンスを表すスケーラブル・ストリームを復号する方法にも関する。本発明は、符号化方法及び対応するデバイスにも関する。
スケーラブル符号化方法は、情報が階層的に符号化されることを可能にすることが知られている。それにより、この情報は、異なる分解能(空間スケーラビリティ)及び異なる品質(SNR(Signal to Noise Ratio)スケーラビリティ)で、異なる色域又は色空間(CGS(Colour Gamut Scalability)スケーラビリティ)を有して復号され得る。スケーラブル符号器によって生成されたストリームは、異なるレイヤ、すなわち、ベースレイヤ及び1つ以上のエンハンスメントレイヤに分けられる。そのようなデバイスは、異なる伝送条件(バンド幅、エラー率、等)に、更には、受信デバイスの機能に適応するデータのストリームを生成することができる。スケーラブル符号器は、ベースレイヤにおいては低解像の画像に関するデータの第1部分を、少なくとも1つのエンハンスメントレイヤにおいては高解像の画像(すなわち、水平方向及び/又は垂直方向のピクセルの数において低解像の画像よりもサイズが大きい画像)に関するデータの他の部分を空間的に符号化する。エンハンスメントレイヤにおいて符号化されたデータは、一般に、ベースレイヤからのデータを考慮することによってそのようにされ、それにより、低解像の画像と高解像の画像との間の冗長性が低減されるとともに、符号化費用も削減される。図1を参照して、IBL画像と呼ばれる低解像の画像を符号化し(10)、それらを少なくとも部分的に再構成してそれらを処理し(12)、つまり、IEL画像と呼ばれる高解像の画像のサイズでそれらをサンプリングし直すことが知られる。このようにして再サンプリングされたIBL画像は、IEL画像の符号化(14)を目的としてIEL画像を予測するために使用される。異なるレイヤは、単一のスケーラブル・ストリームSへと場合により多重化され得る(16)。スケーラブル符号化は、空間スケーラブル符号化に制限されない。よって、スケーラブル符号器は、第1色空間において表現される画像に関するデータをベースレイヤにおいて符号化し、第1色空間とは異なる第2色空間において表現される画像に関するデータを少なくとも1つのエンハンスメントレイヤにおいて符号化することが知られる。少なくとも部分的に再構成されたベースレイヤの画像は、次いで、色に関するそれらの特性がエンハンスメントレイヤの画像の色に関する特性と近いように処理される。このようにして処理されたIBL画像は、IEL画像の符号化を目的としてIEL画像を予測するために使用される。
一般に、ベースレイヤの画像は、エンハンスメントレイヤのリファレンス画像バッファ又はDPB(Decoding Picture Buffer;復号化ピクチャバッファ)に記憶される前に、完全に処理される。ベースレイヤの画像の処理は、例えば、それが予測するために使用されるエンハンスメントレイヤの画像の復号化の直前に実行される。そのような解決法は、再構成されたベースレイヤの画像全体の処理を必要とし、これは、計算に関して費用がかかり得る。
変形例に従って、エンハンスメントレイヤのブロックがベースレイヤの画像から再構成される場合に、ブロックの符号化モードがそれを示す。従って、エンハンスメントレイヤのかかるブロックを復号する場合に、このブロックの符号化モードを確認し、関連するブロックを再構成するのに必要な再構成されたベースレイヤの画像の領域のみを処理することが可能である。この場合において、関連するブロックを再構成するのに必要な再構成されたベースレイヤの画像の処理は、ブロックの符号化モードの復号化の直後に実行される。この解決法は、エンハンスメントレイヤの画像を再構成するのに必要なベースレイヤの再構成された画像の領域のみが処理されるので、計算に関して経済的である。しかし、この解決法は、再構成されたベースレイヤの画像を記憶しているバッファへの多数のアクセスと、処理関数の多数の呼び出しとを必要とする。実際に、処理関数は、ベースレイヤ画像に関連して予測されることを示す符号化モード(インターレイヤ・モード)を有するブロックが復号される回数だけ呼び出される。
本発明の目的は、先行技術の欠点のうちの少なくとも1つを解決することである。このために、ベースレイヤ及び少なくとも1つのエンハンスメントレイヤを有するスケーラブル・ストリームを復号する方法が記載される。方法は、
前記ベースレイヤから少なくとも1つの画像を再構成するステップと、
前記再構成された画像の中の処理すべき少なくとも1つの領域を特定する情報の少なくとも1つの項目を有する復号されたエンハンスメントデータへと、ブロックのグループに関連する前記少なくとも1つのエンハンスメントレイヤの第1部分を復号するステップと、
前記情報によって特定される前記再構成された画像の前記少なくとも1つの領域を処理するステップと、
前記少なくとも1つのエンハンスメントレイヤの第2部分から前記ブロックのグループの中の少なくとも1つのブロックについて残差を求めるステップと、
前記残差から及び前記処理された少なくとも1つの領域から前記グループのブロックを再構成するステップと
を有する。
この復号化方法は、有利なことには、処理関数へのアクセスの回数を減らすのみならず、再構成されたベースレイヤの画像の有用な領域のみを処理する。
特定の実施形態に従って、前記再構成された画像の中の処理すべき少なくとも1つの領域を特定する前記情報は、前記ブロックのグループの中のブロックに対応する前記再構成された画像の各ブロックについて当該ブロックが処理されるべきか否かを示すマップである。
変形例に従って、前記再構成された画像の中の処理すべき少なくとも1つの領域を特定する前記情報は、前記ブロックのグループの中の各ブロックについて当該ブロックがその再構成のために前記再構成された画像の処理されたブロックを使用するかどうかを示すマップである。
本発明の特定の特徴に従って、前記ベースレイヤは、前記少なくとも1つのエンハンスメントレイヤよりも下位の他のエンハンスメントレイヤである。
有利なことには、方法は、前記再構成された画像の中の処理すべき少なくとも1つの領域を特定する前記情報がブロックの少なくとも1グループのために符号化されるか否かを示す当該ブロックのグループについての情報の追加項目の前記エンハンスメントレイヤからの復号化ステップを有する。
本発明の特定の特徴に従って、前記ブロックのグループは、画像スライス又は画像である。
本発明の他の態様に従って、復号化方法は、前記再構成された画像の中の処理すべき少なくとも1つの領域を特定する前記情報がブロックのグループのために符号化され得るか否かを示す情報の第1追加項目を前記エンハンスメントレイヤから復号するステップを有する。
本発明の特定の特徴に従って、前記情報の第1追加項目は少なくとも1つの画像について復号され、方法は、前記情報の第1追加項目が、前記再構成された画像の中の処理すべき少なくとも1つの領域を特定する情報の項目が符号化され得ることを示す場合に、ブロックのグループについて、前記再構成された画像の中の処理すべき少なくとも1つの領域を特定する前記情報が当該ブロックのグループのために符号化されるか否かを示す追加情報の第2項目を、前記エンハンスメントレイヤから復号するステップを有する。
ベースレイヤ及び少なくとも1つのエンハンスメントレイヤを有するスケーラブル・ストリームの形で画像のシーケンスを符号化する方法も記載される。符号化方法は、
前記ベースレイヤにおいて少なくとも1つの画像を符号化し、該少なくとも1つの画像を再構成するステップと、
ブロックのグループに関連する前記エンハンスメントレイヤの第1部分においてエンハンスメントデータを符号化するステップであって、該エンハンスメントデータが、前記再構成された画像の中の処理すべき少なくとも1つの領域を特定する情報の項目を有する、ステップと、
前記情報によって特定される前記再構成された画像の前記少なくとも1つの領域を処理するステップと、
前記グループのブロックから及び前記処理された少なくとも1つの領域から前記ブロックのグループの中の少なくとも1つのブロックについて残差を求めるステップと、
前記エンハンスメントレイヤの第2部分において前記残差を符号化するステップと
を有する。
特定の実施形態に従って、前記再構成された画像の中の処理すべき少なくとも1つの領域を特定する前記情報は、前記ブロックのグループの中のブロックに対応する前記再構成された画像の各ブロックについて当該ブロックが処理されるべきか否かを示すマップである。
変形例に従って、前記再構成された画像の中の処理すべき少なくとも1つの領域を特定する前記情報は、前記ブロックのグループの中の各ブロックについて当該ブロックがその再構成のために前記再構成された画像の処理されたブロックを使用するかどうかを示すマップである。
本発明の特定の特徴に従って、前記ベースレイヤは、前記少なくとも1つのエンハンスメントレイヤよりも下位の他のエンハンスメントレイヤである。
有利なことには、方法は、前記再構成された画像の中の処理すべき少なくとも1つの領域を特定する前記情報がブロックの少なくとも1グループのために符号化されるか否かを示す当該ブロックのグループについての情報の追加項目を前記エンハンスメントレイヤにおいて符号化するステップを有する。
変形例として、符号化方法は、前記再構成された画像の中の処理すべき少なくとも1つの領域を特定する前記情報がブロックのグループのために符号化され得るか否かを示す情報の第1追加項目を前記エンハンスメントレイヤにおいて符号化するステップを有する。
本発明の特定の特徴に従って、前記情報の第1追加項目は少なくとも1つの画像について符号化され、当該方法は、前記情報の第1追加項目が、前記再構成された画像の中の処理すべき少なくとも1つの領域を特定する情報の項目が符号化され得ることを示す場合に、ブロックのグループについて、前記再構成された画像の中の処理すべき少なくとも1つの領域を特定する前記情報が当該ブロックのグループのために符号化されるか否かを示す追加情報の第2項目を、前記エンハンスメントレイヤにおいて符号化するステップを有する。
ベースレイヤ及び少なくとも1つのエンハンスメントレイヤを有するスケーラブル・ストリームを復号するよう構成される復号器が記載される。復号器は、
前記ベースレイヤから少なくとも1つの画像を再構成する手段と、
前記再構成された画像の中の処理すべき少なくとも1つの領域を特定する情報の少なくとも1つの項目を有する復号されたエンハンスメントデータへと、ブロックのグループに関連する前記少なくとも1つのエンハンスメントレイヤの第1部分を復号する手段と、
前記情報によって特定される前記再構成された画像の前記少なくとも1つの領域を処理する手段と、
前記少なくとも1つのエンハンスメントレイヤの第2部分から前記ブロックのグループの中の少なくとも1つのブロックについて残差を求める手段と、
前記残差から及び前記処理された少なくとも1つの領域から前記グループのブロックを再構成する手段と
を有する。
復号器は、実施形態の1つに従う復号化方法のステップを実行するよう構成される。
ベースレイヤ及び少なくとも1つのエンハンスメントレイヤを有するスケーラブル・ストリームの形で画像のシーケンスを符号化するよう構成される符号器が記載される。符号器は、
前記ベースレイヤにおいて少なくとも1つの画像を符号化し、該少なくとも1つの画像を再構成する手段と、
ブロックのグループに関連する前記エンハンスメントレイヤの第1部分において、前記再構成された画像の中の処理すべき少なくとも1つの領域を特定する情報の項目を有するエンハンスメントデータを符号化する手段と、
前記情報によって特定される前記再構成された画像の前記少なくとも1つの領域を処理する手段と、
前記グループのブロックから及び前記処理された少なくとも1つの領域から前記ブロックのグループの中の少なくとも1つのブロックについて残差を求める手段と、
前記エンハンスメントレイヤの第2部分において前記残差を符号化する手段と
を有する。
符号器は、記載されている実施形態の1つに従う符号化方法のステップを実行するよう構成される。
ベースレイヤ及び少なくとも1つのエンハンスメントレイヤを有する画像のシーケンスを表す符号化されたデータストリームが記載される。前記ベースレイヤは、該ベースレイヤの少なくとも1つの画像に関するデータを有する。前記エンハンスメントレイヤは、ブロックのグループに関する第1部分において、再構成後に処理すべき前記ベースレイヤの前記画像の少なくとも1つの領域を特定する情報の項目を有するエンハンスメントデータを有し、第2部分において、前記グループの中の少なくとも1つのブロックから及び処理された前記少なくとも1つの領域から求められる残差を表すデータを有する。
コンピュータで実行される場合に実施形態の1つに従う復号化方法のステップを実行するプログラムコード命令を有するコンピュータプログラムプロダクトが記載される。
コンピュータで実行される場合に実施形態の1つに従う符号化方法のステップを実行するプログラムコード命令を有するコンピュータプログラムプロダクトが記載される。
本発明は、添付の図面を参照して、非制限的な実施形態及び有利な実施を用いて説明され、より良く理解されるであろう。
先行技術に従う符号化方法を示す。 本発明の特定の非制限的な実施形態に従う復号化方法を示す。 再構成されたベースレイヤの画像の中の処理すべき少なくとも1つの領域を特定する情報の項目infoを具体的なマップの形で示す。 再構成されたベースレイヤの画像の中の処理すべき少なくとも1つの領域を特定する情報の項目infoを具体的なマップの形で示す。 本発明の実施形態に従うエンハンスメントレイヤの部分を示す。 本発明の別の実施形態に従うエンハンスメントレイヤの部分を示す。 本発明の別の実施形態に従うエンハンスメントレイヤの部分を示す。 本発明の特定の非制限的な実施形態に従う符号化方法を示す。 本発明の特定の非制限的な実施形態に従う復号化デバイスを示す。 本発明の特定の非制限的な実施形態に従う復号化デバイスを示す。 本発明の特定の非制限的な実施形態に従う符号化デバイスを示す。 本発明の特定の非制限的な実施形態に従う符号化デバイスを示す。
本発明は、ベースレイヤ及び少なくとも1つのエンハンスメントレイヤを有する画像シーケンスを表すスケーラブル・ストリームを復号するデバイスに関する。
画像シーケンスは、複数の画像の連続である。各画像は、ピクセル又は画像点を有し、それらの夫々は、画像データの少なくとも1つの項目を関連付けられている。画像データの項目は、例えば、輝度データの項目又はクロミナンスデータの項目である。以降の記載では、符号化方法及び復号化方法は、ピクセルのブロックを参照して記載される。それらの方法は、1つ以上の画像の再構成を夫々符号化することを目的として、画像のいくつかの画像に且つシーケンスのいくつかの画像に適用され得ることが明らかである。スケーラビリティの具体的な場合において、スケーラブル・ストリームは、異なったバージョン、例えば、異なった分解能、異なった色域/色空間、等において、画像シーケンスを表現する。
“モーションデータ”との表現は、最も広い意味で理解されるべきである。それは、動きベクトルと、場合により、リファレンス画像が画像シーケンスにおいて識別されることを可能にするリファレンス画像インデックスとを表す。それは、予測ブロックを決定するために使用される補間タイプを示す情報の項目を更に有することができる。実際に、ブロックBcに関連する動きベクトルが整数座標を有さない場合において、画像データは、予測ブロックを決定するようリファレンス画像Irefにおいて補間されるべきである。あるブロックに関連するモーションデータは、一般に、動き推定方法によって、例えば、ブロック・ペアリングによって、計算される。しかし、本発明は、動きベクトルがブロックと関連付けられることを可能にする方法によって決して制限されない。
“残差データ”との表現は、他のデータの取り出し後に得られるデータを表す。取り出しは、一般に、ソースデータからの予測データのピクセル毎の減算である。しかし、取り出しは、より一般的であり、とりわけ加重減算を有する。“残差データ”との表現は、語“残差”と同義である。
“変換された残差データ”との表現は、変換が適用された残差データを表す。DCT(Discrete Cosine Transform;離散コサイン変換)は、2003年9月にJ. Wiley & Sonsによって公表された、“H.264 and MPEG-4 video compression”と題されたI. E. Richardsonによる文献の第3.4.2.2章に記載されているような変換の一例である。I. E. Richardsonによる文献の第3.4.2.2章に記載されているウェーブレット変換、及びアダマール(Hadamard)変換は、他の例である。そのような変換は、画像データのブロック、例えば、輝度及び/又はクロミナンス残差データを、“変換後データ”とも呼ばれる“変換後データのブロック”、“周波数データブロック”又は“係数のブロック”へと“変換”する。係数のブロックは、一般に、直流係数又はDC係数の名の下で知られている低周波係数と、AC係数の名の下で知られている高周波係数とを有する。
“予測データ”との表現は、他のデータを予測するために使用されるデータを表す。予測ブロック又は予測子は、予測データが関連付けられるピクセルのブロックである。
予測ブロックは、それが予測するブロックが属する画像と同じ画像のブロック若しくは複数のブロックから(空間予測又はイントラ画像予測)、又はそれが予測するブロックが属する画像とは異なる画像の1つのブロック(単方向予測)若しくは複数のブロック(双方向若しくは2回予測予測)から、得られる。スケーラブルの場合において、予測ブロックは、エンハンスメントレイヤのブロックについて、ベースレイヤの画像の少なくとも1つのブロック、例えば、同じ場所にあるブロック(インターレイヤ予測)からも得られる。
“予測モード”との表現は、ブロックが予測される方法を表す。“符号化モード”との表現は、ブロックがストリームにおいて符号化される方法を表す。それは、予測される場合に予測モードを含む。予測モードの中には、空間予測に対応するイントラ(INTRA)モードと、時間予測に対応するインター(INTER)モードと、インターレイヤ予測に対応するインターレイヤ(INTER-LAYER)モードとがある。インターレイヤモードは、ベースレイヤの再構成された画像がエンハンスメントレイヤのリファレンスバッファに記憶される場合にインターモードのように実施され得る点に留意されたい。よって、標準的なインターモードは、リファレンスインデックスの値によって、インターレイヤモードに対応するインターモードと区別される。予測モードは、ブロックが符号化されるよう分割される方法を特定することができる。よって、サイズ16×16のブロックに関連する8×8インター予測モードは、16×16ブロックが4つの8×8ブロックに分割され、時間予測によって予測されることを表す。
“再構成されたデータ”との表現は、残差を予測データとマージした後に得られるデータ(例えば、ピクセル、ブロック)を表す。マージは、一般に、予測データと残差との和である。しかし、マージすることは、より一般的であり、とりわけ加重和を有する。再構成されたブロックは、再構成されたピクセルのブロックである。
現在のブロックの“因果近傍領域”は、現在のブロックのピクセルより前に符号化/再構成されたピクセルを有する当該ブロックの近傍領域を表す。
画像復号化に関連して、語“再構成”及び“復号化”は、同義であるものとして何度も使用される。よって、“再構成されたブロック”は、“復号されたブロック”の用語の下でも指し示される。
語“符号化”は、最も広い意味で解釈されるべきである。符号化は、場合により、画像データの変換の及び/又は量子化を有する。それはまた、エントロピ符号化のみを表すこともできる。
図2は、本発明の特定の非制限的な実施形態に従って、ベースレイヤ及び少なくとも1つのエンハンスメントレイヤを有するスケーラブル・ストリームSの復号化方法を示す。当然に、ベースレイヤ及びエンハンスメントレイヤについて記載される本発明は、異なるレベルの2つのエンハンスメントレイヤに適用されてよく、下位のエンハンスメントレイヤが上位のエンハンスメントレイヤに対してベースレイヤの役割を果たす。
ステップ20の間、ベースレイヤの少なくとも1つの画像IBLは、ベースレイヤから再構成される。このために、ベースレイヤは、エントロピ復号化によって、例えば、CABAC(Context-Adaptive Binary Arithmetic Coding;コンテキスト適応型二値算術符号化)復号化又はCAVLC(Context-Adaptive Variable-Length Coding;コンテキスト適応型可変長符号化)復号化によって、少なくとも部分的に復号される。復号されたデータは、とりわけ、残差を表すデータ、例えば、量子化されたDCT係数、符号化モード、場合によりモーションデータを有する。画像の現在のブロックについての画像IBLの再構成は、そのブロックの符号化モードに従う空間又は時間予測子の取得を有する。予測子は、再構成すべき現在のブロックと同じ画像において(空間予測)、又はリファレンス画像と呼ばれる他の画像において(時間予測)、前もって再構成された画像の部分から得られる。予測子は、現在のブロックを再構成するよう残差に加えられる。残差は、例えば、ベースレイヤのエントロピ復号化の間に得られた残差に関するデータの逆量子化又は逆変換によって、得られる。語“逆”は、復号器における量子化及び変換の動作が符号器において使用されるそれらの動作と逆行することを表すために使用される。変形例に従って、現在のブロックが予測によらずに(例えば、H.264のIPCMイントラモードに従って)符号化される具体的な場合においては、予測子は残差に加えられない。残差は、後者の場合では、再構成された現在のブロックに直接対応する。他の変形例に従って、残差はヌルである。これは、スキップモードと呼ばれる特定の符号化モードに従って符号化される現在のブロックについて特に当てはまる。再構成された現在のブロックは、この場合に予測ブロックである。現在のブロックについて記載される再構成プロセスは、ベースレイヤの画像IBLを再構成するよう繰り返される。当然に、このプロセスは、ベースレイヤの全ての画像を再構成するためにも繰り返され得る。
ステップ22の間、ブロックのグループに関連するエンハンスメントレイヤの第1部分EL1は、復号されたエンハンスメントデータへと復号される。ブロックのグループは、再構成すべきエンハンスメントレイヤの画像に属する。部分EL1は、エントロピ復号化によって、例えば、CABAC復号化によって、復号される。このようにして、復号されたエンハンスメントデータは、再構成すべきエンハンスメントレイヤの画像のブロックのグループに関する情報を有する。ブロックのグループは、例えば、画像又は画像スライスである。例えば、このエンハンスメントデータは、画像スライスヘッダ、PPS(Picture Parameter Set;ピクチャパラメータセット)、又はメッセージSEI(Supplemental Enhancement Information;補足エンハンスメント情報)を復号することによって得られる。語PPS及びSEIは、とりわけ、ビデオ符号化標準規格H.264を記述するISO/IECドキュメント14496−10の夫々第3.107項(定義)及び付録Dにおいて定義されている。実際に、そのような要素は、ブロックのグループに関する情報を含む。しかし、画像スライスは単一のブロックしか含み得ない点に留意されたい。なお、単一ブロックの画像スライスを有する画像を符号化することは、ビットレートに関して非効率的である。各スライスが複数のブロック(例えば、2つのブロック)を含むところのスライス符号化は、共通の情報をまとめて、各ブロックのヘッダにおいて同じ情報を複製することを防ぐ。有利なことには、この符号化されたエンハンスメントデータは、ステップ20で再構成された画像IBLの中の処理すべき少なくとも1つの領域を特定する情報の項目infoを有する。よって、ブロックのグループに関連するエンハンスメントレイヤの第1部分EL1の復号化から、復号器は、再構成された画像IBLの中の処理すべき領域、すなわち、エンハンスメントレイヤの画像の再構成の間に有効に使用される領域の知見を有する。よって、この情報は、エンハンスメントレイヤの画像の再構成の間に使用される、よって、処理されるべき再構成された画像IBLの領域と、使用されない、よって、処理されるべきでない領域とを区別することができる。
この情報infoは、例えば、エンハンスメントレイヤのブロックのグループの中の各ブロックについて、ベースレイヤの対応する領域(例えば、ブロック)が処理されるべきか否かを示すマップの形で、与えられる。再構成された画像IBLの領域は、それが同じ位置にあるならば、すなわち、それが、場合により処理後に、同じ空間位置を画像において占有するならば(空間スケーラビリティの場合)、エンハンスメントレイヤの画像のブロックに対応する。
変形例として、情報infoは、例えば、ブロックのグループの中のあるブロックに対応する再構成された画像IBLの各領域(例えば、ブロック)について、この領域が処理されるべきか否かを示すマップの形で、与えられる。
この情報は、それがベースレイヤ又はエンハンスメントレイヤのいずれに関するものかに関わらず、正則マップの形で、例えば、HEVC標準規格の場合に、各CTU(Coding Tree Unit;符号化ツリーユニット)について、あるいは、図3に示されるように各マクロブロックについて、符号化される。実施形態の変形例に従って、この情報は、非正則マップの形で、例えば、HEVC標準規格の場合に、図4に示されるように各CU(Coding Unit;符号化ユニット)について、符号化される。それらの図において、値0は、再構成された領域IBLが処理されるべきでないことを示し、値1は、それが処理されるべきであることを示す。当然に、反対のものが、慣例により選択されてよい。この情報は、エントロピ復号化、例えば、CAVLC又はCABACによって、復号される。
ステップ24の間、ステップ22において復号された情報infoによって特定される再構成されたベースレイヤの画像の1つ以上の領域は、処理される。処理は、例えば、空間スケーラビリティの場合には領域の再サンプリングであり、CGSスケーラビリティの場合には色変換であり、SNRスケーラビリティの場合にはノイズ低減フィルタリングである。
この解決法は、有利なことには、再構成された画像IBLの有用な領域のみが処理されること、すなわち、エンハンスメントレイヤの画像IELのブロックの再構成において使用されることを可能にする。更には、このようにして処理することによって、ベースレイヤの有用な領域は、ブロックのグループの中のブロックの再構成の前に処理され、よって、ブロックのグループの再構成の間に全てが利用可能である。これは、再構成されたベースレイヤの画像バッファへの頻繁なアクセスと、処理関数に対する多数のアクセスとを回避する。
ステップ26の間、残差は、エンハンスメントレイヤの第2部分EL2からブロックのグループの中の少なくとも1つのブロックについて求められる。変形例に従って、残差は、ブロックのグループの中の各ブロックについて求められる。この第2部分は、残差を表すデータ、例えば、残差が計算される量子化されたDCT係数、又はそれらの残差がヌルであることを示す特定の符号化モード(スキップモード)を有する。このステップは、場合により、残差resを得るよう、第2部分のデータ、例えば、量子化されたDCT係数のエントロピ復号化、逆量子化及び逆変換を有する。この第2部分は、場合によりモーションデータを有する。
ステップ28の間、グループのブロックは、残差resから及び処理された領域から再構成される。このために、グループの各ブロックについて、予測子は、前もって再構成された画像部分から、又は再構成すべきグループの現在のブロックと同じ画像から(空間予測)、又はエンハンスメントレイヤの他の画像から(時間予測)、又は再構成された画像IBLの中の処理された領域から(インターレイヤ予測)、得られる。予測子は、現在のブロックを再構成するよう、現在のブロックの残差に加えられる。変形例に従って、現在のブロックが予測によらずに(例えば、H.264のIPCM符号化モードに従って)符号化される特定の場合では、予測子は現在のブロックの残差に加えられない点に留意されたい。残差は、後者の場合において、再構成された現在のブロックに直接対応する。ブロックのグループにおいて、符号化モードは様々であり得る。いくつかのブロックはIPCMモードに従って空間予測によって符号化され、他のブロックは時間予測により、他はインターレイヤ予測により、他はスキップモードに従う。
特定の実施形態に従って、情報の追加項目は、スケーラブル・ストリームから、もっと正確に言えば、例えば、再構成された画像IBLの中の処理すべき少なくとも1つの領域を特定する情報の項目がブロックのこのグループのために符号化されるか否かを示す画像スライスヘッダの又はPPSのエンハンスメントレイヤから、復号される。この特定の情報を用いると、再構成された画像IBLの中の処理すべき少なくとも1つの領域を特定する情報の項目が符号化されるか否かを、各画像について、又は各画像スライスについて指定することが可能である。
追加情報は、例えば、フラグ、すなわち、バイナリデータである。簡単な実例として、第1PPS1は、再構成された画像IBLの中の処理すべき少なくとも1つの領域を特定する情報の項目が符号化されることを示すFlg1に等しい付加的な値(例えば、1)により復号される。第2PPS2は、再構成された画像IBLの中の処理すべき少なくとも1つの領域を特定する情報の項目が符号化されないことを示すFlg2に等しい付加的な値(例えば、0)により復号される。よって、エンハンスメントレイヤの各画像は、場合により、PPSの一方又は他方を参照することができる。エンハンスメントレイヤの画像IELが第1PPS1を参照する場合は、再構成された画像IBLの中の処理すべき少なくとも1つの領域を特定する情報の項目は、例えば、図5に示されるように、エンハンスメントレイヤの画像の各スライスヘッダにおいて復号される。画像IELがPPS2を参照する場合は、情報の項目infoは存在しない。変形例に従って、このフラグは、各画像スライスヘッダにおいて符号化され得る。その場合に、再構成された画像IBLの中の処理すべき少なくとも1つの領域を特定する情報の項目が符号化されることを値が示すならば、再構成された画像IBLの中の処理すべき少なくとも1つの領域を特定する情報のこの項目は、図6に示されるように、追加情報ストリームにおいてFlgに続く。
図7によって表される他の実施形態に従って、追加情報の第1項目Flg1は、エンハンスメントレイヤから復号され、再構成された画像IBLの中の処理すべき少なくとも1つの領域を特定する情報infoがブロックのグループのために復号され得るか否かを示す。追加情報のこの第1項目Flg1は、例えば、PPSから復号される。例えば、その値が0である場合は、これは、再構成された画像IBLの中の処理すべき少なくとも1つの領域を特定する情報の項目がストリームから復号され得ないことを表す。その値が1である場合は、これは、再構成された画像IBLの中の処理すべき少なくとも1つの領域を特定する情報の項目が復号され得ることを表す。この場合に、追加情報の第2項目Flg2は、例えば、各画像スライスのヘッダにおいて、復号され、ブロックのグループについて、再構成された画像IBLの中の処理すべき少なくとも1つの領域を特定する情報の項目infoがこのブロックのグループのために符号化されるか否かを示す。情報の第2項目が、ブロックのグループについて、再構成された画像IBLの中の処理すべき少なくとも1つの領域を特定する情報の上記の項目が符号化されることを示す場合において、情報のこの項目infoは、ストリームにおいて情報の第2項目に続く。この解決法は、更なる柔軟性を可能にする。
図8は、本発明の特定の非制限的な実施形態に従って、ベースレイヤ及び少なくとも1つのエンハンスメントレイヤを有するスケーラブル・ストリームの形をとる画像シーケンスの符号化方法を示す。復号化方法に関して記載されたのと同じ変形例は、それらが以降で明示的に記載され得ない場合でさえも符号化方法に当てはまる。
ステップ80の間、ベースレイヤの少なくとも1つの画像IBLは、ベースレイヤにおいて符号化される。符号化は、一般に、画像のブロックについて、ブロックの空間又は時間予測と、符号化すべきブロックから予測子を減じることによる残差の取得と、エントロピ符号化前の残差の変換及び量子化とを有する。復号化方法に関して記載された同じ符号化モードが使用されてよく、特に、AVCのIPCM符号化モード及びスキップモードが使用されてよい。例えば符号化モード、場合によりモーションデータといった、他のデータも符号化される。符号化は、ベースレイヤの画像の再構成を有する。実際に、再構成は、次いで、他のデータの予測のために使用され得る。それらのステップは、ビデオ符号化の当業者によく知られており、これ以上詳細には記載されない。プロセスは、シーケンス全体を符号化するために、ベースレイヤの全ての画像について繰り返され得る。
ステップ82の間、エンハンスメントデータは、再構成すべきエンハンスメントレイヤの画像のブロックのグループに関連するエンハンスメントレイヤの第1部分EL1において符号化される。ブロックのグループは、例えば、画像又は画像のスライスである。例えば、このエンハンスメントデータは、画像スライスヘッダにおいて、PPSにおいて、又はSEIメッセージにおいて符号化される。実際に、そのような要素は、ブロックのグループに関する情報を含む。しかし、画像スライスは単一のブロックしか含み得ない点に留意されたい。なお、単一ブロックの画像スライスを有する画像を符号化することは、ビットレートに関して非効率的である。各スライスが複数のブロック(例えば、2つのブロック)を含むところのスライス符号化は、共通の情報をまとめて、各ブロックのヘッダにおいて同じ情報を複製することを防ぐ。有利なことには、この符号化されたエンハンスメントデータは、再構成された画像IBLの中の処理すべき少なくとも1つの領域を特定する情報の項目infoを有する。例えば、この情報は、符号化モードを決める前のステップの間に得られる。実際に、グループのブロックの符号化モードが選択されると直ぐに、例えば、ビットレート歪みタイプ基準を最小限に評価することによって、このマップは構成され得る。実際に、インターレイヤ予測モードに対応するマップの全てのブロックは、処理される再構成されたベースレイヤの画像のブロックに関して予測される。このブロックは、次いで、処理すべき領域に属するものとしてマップにおいて特定されるべきである。よって、ブロックのグループに関連するエンハンスメントレイヤの第1部分EL1の復号化から、復号器は、再構成された画像IBLの中の処理すべき1つ以上の領域、すなわち、エンハンスメントレイヤの画像の再構成の間に有効に使用される領域の知見を有する。よって、この情報は、エンハンスメントレイヤの画像の再構成の間に使用される、よって、処理されるべき再構成された画像IBLの領域と、使用されない、よって、処理されるべきでない領域とを区別することができる。この情報infoは、例えば、エンハンスメントレイヤのブロックのグループの中の各ブロックについて、ベースレイヤの対応する領域(例えば、ブロック)が処理されるべきか否かを示すマップの形で、与えられる。再構成された画像IBLの領域は、それが同じ位置にあるならば、すなわち、それが、場合により処理後に、同じ空間位置を画像において占有するならば(空間スケーラビリティの場合)、エンハンスメントレイヤの画像のブロックに対応する。変形例として、情報infoは、例えば、ブロックのグループの中のあるブロックに対応する再構成された画像IBLの各領域(例えば、ブロック)について、この領域が処理されるべきか否かを示すマップの形で、与えられる。この情報は、それがベースレイヤ又はエンハンスメントレイヤのいずれに関するものかに関わらず、正則マップの形で、例えば、HEVC標準規格の場合に、各CTU(Coding Tree Unit;符号化ツリーユニット)について、あるいは、図3に示されるように各マクロブロックについて、符号化される。実施形態の変形例に従って、この情報は、非正則マップの形で、例えば、HEVC標準規格の場合に、図4に示されるように各CU(Coding Unit;符号化ユニット)について、符号化される。それらの図において、値0は、再構成された領域IBLが処理されるべきでないことを示し、値1は、それが処理されるべきであることを示す。当然に、反対のものが、慣例により選択されてよい。この情報は、エントロピ符号化、例えば、CAVLC又はCABACによって、符号化される。
ステップ84の間、ステップ82で符号化された情報infoによって特定される再構成されたベースレイヤの画像の1つ以上の領域は、処理される。
処理は、例えば、空間スケーラビリティの場合には領域の再サンプリングであり、CGSスケーラビリティの場合には色変換であり、SNRスケーラビリティの場合にはノイズ低減フィルタリングである。
この解決法は、有利なことには、再構成された画像IBLの有用な領域のみが処理されること、すなわち、エンハンスメントレイヤの画像IELのブロックの符号化において使用されることを可能にする。更には、このようにして処理することによって、ベースレイヤの有用な領域は、ブロックのグループの中のブロックの符号化の前に処理され、よって、ブロックのグループの符号化の間に全てが利用可能である。これは、再構成されたベースレイヤの画像バッファへの頻繁なアクセスと、処理関数に対する多数のアクセスとを回避する。
ステップ86の間、残差は、グループのブロックから及び処理された領域からグループの中の少なくとも1つのブロックについて求められる。変形例に従って、残差は、ブロックのグループの中の各ブロックについて求められる。このために、グループの各ブロックについて、予測子は、前もって再構成された画像部分から、又は符号化すべき現在のブロックと同じ画像から(空間予測)、又はエンハンスメントレイヤの他の画像から(時間予測)、又は上記の再構成された画像IBLの中の処理された領域から(インターレイヤ予測)、得られる。予測子は、残差を得るよう、現在のブロックから減じられる。変形例に従って、ブロックが予測によらずに(例えば、H.264のIPCM符号化モードに従って)符号化される特定の場合では、予測子は現在のブロックから減じられる点に留意されたい。残差は、後者の場合において、符号化すべきブロックに直接対応する。スキップモードの場合に、残差はヌルである。それを示すのは、ストリームにおいて符号化されるブロックの符号化モードである。ブロックのグループにおいて、符号化モードは様々であり得る。いくつかのブロックはIPCMモードに従って空間予測によって符号化され、他のブロックは時間予測により、他はインターレイヤ予測により、他はスキップモードに従う。
ステップ88の間、ブロックのグループの中の少なくとも1つのブロックに関連する残差は、エンハンスメントレイヤの第2部分において符号化される。このステップは、場合により、残差のエントロピ符号化の前に、それらの変換及び量子化を有する。
特定の実施形態に従って、図5乃至7において示され且つ復号化方法に関して記載された追加情報が、スケーラブル・ストリームSにおいて符号化される。復号化方法に関して記載された全ての実施形態は、符号化方法に対称的に当てはまる。
本発明は、画像シーケンスを表すスケーラブル・ストリームにも関する。このストリームは、例えば、上述された符号化方法によって生成される。
このスケーラブル・ストリームは、ベースレイヤ及び少なくとも1つのエンハンスメントレイヤを有する。ベースレイヤは、ベースレイヤの少なくとも1つの画像に関するデータを有する。
エンハンスメントレイヤは、ベースレイヤの再構成後に処理すべきベースレイヤの画像の中の少なくとも1つの領域を特定する情報の項目を含むエンハンスメントデータを、ブロックのグループに関連する第1部分EL1において有する。
エンハンスメントレイヤは、ブロックのグループの中の少なくとも1つのブロックについての残差を表すデータを、第2部分EL2において有する。残差は、グループの中の少なくとも1つのブロックから及び処理された領域から求められる。変形例に従って、エンハンスメントレイヤは、ブロックのグループの中のブロックの夫々についての残差を表すデータを、第2部分EL2において有する。このデータは、例えば、残差に関するデータの(例えば、量子化されたDCT係数)、又はそのような残差が決定されることを可能にするデータの符号化モード(例えば、スキップ符号化モード)、場合により、モーションデータを有する。
有利なことには、スケーラブル・ストリームは、図5乃至7において示され且つ復号化方法に関して記載された追加情報を有する。
図9は、本発明の非制限的な実施形態に従う復号化デバイス9を示す。復号化デバイス9は、スケーラブル・ストリームSのベースレイヤBLを復号すること及びベースレイヤの画像を再構成することができる復号化モジュール90を有する。復号化モジュール90は、とりわけ、復号化方法のステップ20を実施するよう構成される。復号化デバイス9は、再構成されたベースレイヤの画像の中の少なくとも1つの領域を処理することができる処理モジュール92を更に有する。処理モジュール92は、とりわけ、復号化方法のステップ24を実施するよう構成される。復号化デバイス9は、スケーラブル・ストリームSのエンハンスメントレイヤELを復号すること及びエンハンスメントレイヤの画像を再構成することができる他の復号化モジュール94を更に有する。復号化モジュール94は、処理モジュール92に情報infoを供給することもできる。復号化モジュール94は、とりわけ、復号化方法のステップ22、26及び28を実施するよう構成される。復号化デバイス9は、スケーラブル・ストリームSをベースレイヤBL及び1つ以上のエンハンスメントレイヤELに分離するよう構成される逆多重化モジュール96を任意に有する。
図10は、そのような復号化デバイス9の特定の実施を示す。復号化デバイス9は、例えば、少なくとも1つのプロセッサ900(例えば、CPU/GPU)、メモリ902(例えば、RAM)、ユーザインタフェース904(例えば、キーボード、マウス、等)、及び他のデバイスへ接続可能な1つ以上の入出力(I/O)インタフェース906といった、ハードウェアコンポーネントを有する。それらのコンポーネントは、例えば、アドレス及びデータバス908によって相互接続される。実施例に従って、電源を入れられる場合に、プロセッサ900は、復号化方法のステップに対応する命令をメモリ902にロードし、それらを実行する。
特定の実施形態に従って、復号化デバイス9は、有利なことには、デジタルデータ担体910に記憶されているコンピュータプログラムを読み出すインタフェースを有する。デジタルデータ担体910は、プログラムコード命令を記憶しており、プログラムコード命令は、それらがプロセッサ900によって実行される場合に、上述された本発明の実施形態のいずれか1つに従う復号化方法のステップを実行する。変形例に従って、ユーザインタフェースは、復号化デバイス9の外部にある。
図11は、本発明の非制限的な実施形態に従う符号化デバイス11を示す。符号化デバイス11は、スケーラブル・ストリームのベースレイヤBLにおいて画像IBLを符号化し再構成することができる符号化モジュール110を有する。符号化モジュール110は、とりわけ、符号化方法のステップ80を実施するよう構成される。符号化デバイス11は、再構成されたベースレイヤの画像の中の少なくとも一部分を処理することができる処理モジュール112を更に有する。処理モジュール112は、とりわけ、符号化方法のステップ84を実施するよう構成される。符号化デバイス11は、スケーラブル・ストリームSのエンハンスメントレイヤELにおいて画像IELを符号化することができる他の符号化モジュール114を更に有する。符号化モジュール114は、処理モジュール112に情報infoを供給することもできる。符号化モジュール114は、とりわけ、符号化方法のステップ82、86及び88を実施するよう構成される。符号化デバイス11は、ベースレイヤ及び1つ以上のエンハンスメントレイヤを単一のスケーラブル・ストリームSに多重化するよう構成される多重化モジュール116を任意に有する。
図12は、そのような符号化デバイス11の特定の実施を示す。符号化デバイス11は、例えば、少なくとも1つのプロセッサ1100(例えば、CPU/GPU)、メモリ1102(例えば、RAM)、ユーザインタフェース1104、及び他のデバイスへ接続可能な1つ以上の入出力(I/O)インタフェース1106といった、ハードウェアコンポーネントを有する。それらのコンポーネントは、例えば、アドレス及びデータバス1108によって相互接続される。実施例に従って、電源を入れられる場合に、プロセッサ1100は、符号化方法のステップに対応する命令をメモリ1102にロードし、それらを実行する。
符号化デバイス11は、有利なことには、デジタルデータ担体1110に記憶されているコンピュータプログラムを読み出すインタフェースを有する。デジタルデータ担体1110は、プログラムコード命令を記憶しており、プログラムコード命令は、それらがプロセッサ1100によって実行される場合に、上述された本発明の実施形態のいずれか1つに従う符号化方法のステップを実行する。変形例に従って、ユーザインタフェースは、符号化デバイス11の外部にある。
記載されている復号化デバイス9及び符号化デバイス11は、明りょうさのために単純化されている。実際のデバイスは、例えば、内蔵又は外付けバッテリ、不揮発性メモリ(例えば、フラッシュメモリ、ハードディスクドライブ、等)、等といった、他の要素を有してよい。変形例に従って、本発明に従う復号化デバイス9及び符号化デバイス11は、純粋にハードウェアの実施形態に従って、例えば、専用のコンポーネントの形で(例えば、ASIC(Application Specific Integrated Circuit;特定用途向け集積回路)又はFPGA(Field-Programmable Gate Array;フィールド・プログラマブル・ゲート・アレイ)又はVLSI(Very Large Scale Integration;超大規模集積)において)、又はデバイスに組み込まれた複数の電子部品の形で、あるいは、ハードウェア要素とソフトウェア要素との組み合わせの形において、実施される。
夫々の実施形態は、他の実施形態から独立して使用されてよく、あるいは、実施形態は、互いと組み合わされてよい。
当然に、ベースレイヤ及びエンハンスメントレイヤについて記載される本発明は、異なったレベイスの2つのエンハンスメントレイヤに適用されてよく、下位のエンハンスメントレイヤが上位のエンハンスメントレイヤに対してベースレイヤの役割を果たす。更には、本発明は、使用される量子化、変換、又はエントロピ符号化のタイプによって制限されない。
当然に、ベースレイヤ及びエンハンスメントレイヤについて記載される本発明は、異なったレベイスの2つのエンハンスメントレイヤに適用されてよく、下位のエンハンスメントレイヤが上位のエンハンスメントレイヤに対してベースレイヤの役割を果たす。更には、本発明は、使用される量子化、変換、又はエントロピ符号化のタイプによって制限されない。
上記の実施形態に加えて、以下の付記を開示する。
(付記1)
ベースレイヤ及び少なくとも1つのエンハンスメントレイヤを有するスケーラブル・ストリームを復号する方法であって、
前記ベースレイヤから少なくとも1つの画像を再構成するステップと、
前記再構成された画像の中の処理すべき少なくとも1つの領域を特定する情報の少なくとも1つの項目を有する復号されたエンハンスメントデータへと、ブロックのグループに関連する前記少なくとも1つのエンハンスメントレイヤの第1部分を復号するステップと、
前記情報によって特定される前記再構成された画像の前記少なくとも1つの領域を処理するステップと、
前記少なくとも1つのエンハンスメントレイヤの第2部分から前記ブロックのグループの中の少なくとも1つのブロックについて残差を求めるステップと、
前記残差から及び前記処理された少なくとも1つの領域から前記グループのブロックを再構成するステップと
を有する方法。
(付記2)
前記再構成された画像の中の処理すべき少なくとも1つの領域を特定する前記情報は、前記ブロックのグループの中のブロックに対応する前記再構成された画像の各ブロックについて当該ブロックが処理されるべきか否かを示すマップである、
付記1に記載の方法。
(付記3)
前記再構成された画像の中の処理すべき少なくとも1つの領域を特定する前記情報は、前記ブロックのグループの中の各ブロックについて当該ブロックがその再構成のために前記再構成された画像の処理されたブロックを使用するかどうかを示すマップである、
付記1に記載の方法。
(付記4)
前記ベースレイヤは、前記少なくとも1つのエンハンスメントレイヤよりも下位の他のエンハンスメントレイヤである、
付記1乃至3のうちいずれか一つに記載の方法。
(付記5)
前記再構成された画像の中の処理すべき少なくとも1つの領域を特定する前記情報がブロックの少なくとも1グループのために符号化されるか否かを示す当該ブロックのグループについての情報の追加項目の前記エンハンスメントレイヤからの復号化ステップを有する
付記1乃至4のうちいずれか一つに記載の方法。
(付記6)
前記ブロックのグループは、画像スライス又は画像である、
付記5に記載の方法。
(付記7)
前記再構成された画像の中の処理すべき少なくとも1つの領域を特定する前記情報がブロックのグループのために符号化され得るか否かを示す情報の第1追加項目を前記エンハンスメントレイヤから復号するステップを有する
付記1乃至4のうちいずれか一つに記載の方法。
(付記8)
前記情報の第1追加項目は少なくとも1つの画像について復号され、当該方法は、
前記情報の第1追加項目が、前記再構成された画像の中の処理すべき少なくとも1つの領域を特定する情報の項目が符号化され得ることを示す場合に、
ブロックのグループについて、前記再構成された画像の中の処理すべき少なくとも1つの領域を特定する前記情報が当該ブロックのグループのために符号化されるか否かを示す追加情報の第2項目を、前記エンハンスメントレイヤから復号するステップを有する
付記7に記載の方法。
(付記9)
ベースレイヤ及び少なくとも1つのエンハンスメントレイヤを有するスケーラブル・ストリームの形で画像のシーケンスを符号化する方法であって、
前記ベースレイヤにおいて少なくとも1つの画像を符号化し、該少なくとも1つの画像を再構成するステップと、
ブロックのグループに関連する前記エンハンスメントレイヤの第1部分においてエンハンスメントデータを符号化するステップであって、該エンハンスメントデータが、前記再構成された画像の中の処理すべき少なくとも1つの領域を特定する情報の項目を有する、ステップと、
前記情報によって特定される前記再構成された画像の前記少なくとも1つの領域を処理するステップと、
前記グループのブロックから及び前記処理された少なくとも1つの領域から前記ブロックのグループの中の少なくとも1つのブロックについて残差を求めるステップと、
前記エンハンスメントレイヤの第2部分において前記残差を符号化するステップと
を有する方法。
(付記10)
前記再構成された画像の中の処理すべき少なくとも1つの領域を特定する前記情報は、前記ブロックのグループの中のブロックに対応する前記再構成された画像の各ブロックについて当該ブロックが処理されるべきか否かを示すマップである、
付記9に記載の方法。
(付記11)
前記再構成された画像の中の処理すべき少なくとも1つの領域を特定する前記情報は、前記ブロックのグループの中の各ブロックについて当該ブロックがその再構成のために前記再構成された画像の処理されたブロックを使用するかどうかを示すマップである、
付記9に記載の方法。
(付記12)
前記ベースレイヤは、前記少なくとも1つのエンハンスメントレイヤよりも下位の他のエンハンスメントレイヤである、
付記9乃至11のうちいずれか一つに記載の方法。
(付記13)
前記再構成された画像の中の処理すべき少なくとも1つの領域を特定する前記情報がブロックの少なくとも1グループのために符号化されるか否かを示す当該ブロックのグループについての情報の追加項目を前記エンハンスメントレイヤにおいて符号化するステップを有する
付記9乃至12のうちいずれか一つに記載の方法。
(付記14)
前記再構成された画像の中の処理すべき少なくとも1つの領域を特定する前記情報がブロックのグループのために符号化され得るか否かを示す情報の第1追加項目を前記エンハンスメントレイヤにおいて符号化するステップを有する
付記9乃至12のうちいずれか一つに記載の方法。
(付記15)
前記情報の第1追加項目は少なくとも1つの画像について符号化され、当該方法は、
前記情報の第1追加項目が、前記再構成された画像の中の処理すべき少なくとも1つの領域を特定する情報の項目が符号化され得ることを示す場合に、
ブロックのグループについて、前記再構成された画像の中の処理すべき少なくとも1つの領域を特定する前記情報が当該ブロックのグループのために符号化されるか否かを示す追加情報の第2項目を、前記エンハンスメントレイヤにおいて符号化するステップを有する
付記14に記載の方法。
(付記16)
ベースレイヤ及び少なくとも1つのエンハンスメントレイヤを有するスケーラブル・ストリームを復号するよう構成される復号器であって、
前記ベースレイヤから少なくとも1つの画像を再構成する手段と、
前記再構成された画像の中の処理すべき少なくとも1つの領域を特定する情報の少なくとも1つの項目を有する復号されたエンハンスメントデータへと、ブロックのグループに関連する前記少なくとも1つのエンハンスメントレイヤの第1部分を復号する手段と、
前記情報によって特定される前記再構成された画像の前記少なくとも1つの領域を処理する手段と、
前記少なくとも1つのエンハンスメントレイヤの第2部分から前記ブロックのグループの中の少なくとも1つのブロックについて残差を求める手段と、
前記残差から及び前記処理された少なくとも1つの領域から前記グループのブロックを再構成する手段と
を有する復号器。
(付記17)
付記1乃至8のうちいずれか一つに記載の復号する方法のステップを実行するよう構成される
付記16に記載の復号器。
(付記18)
ベースレイヤ及び少なくとも1つのエンハンスメントレイヤを有するスケーラブル・ストリームの形で画像のシーケンスを符号化するよう構成される符号器であって、
前記ベースレイヤにおいて少なくとも1つの画像を符号化し、該少なくとも1つの画像を再構成する手段と、
ブロックのグループに関連する前記エンハンスメントレイヤの第1部分において、前記再構成された画像の中の処理すべき少なくとも1つの領域を特定する情報の項目を有するエンハンスメントデータを符号化する手段と、
前記情報によって特定される前記再構成された画像の前記少なくとも1つの領域を処理する手段と、
前記グループのブロックから及び前記処理された少なくとも1つの領域から前記ブロックのグループの中の少なくとも1つのブロックについて残差を求める手段と、
前記エンハンスメントレイヤの第2部分において前記残差を符号化する手段と
を有する符号器。
(付記19)
付記9乃至15のうちいずれか一つに記載の符号化する方法のステップを実行するよう構成される
付記18に記載の符号器。
(付記20)
ベースレイヤ及び少なくとも1つのエンハンスメントレイヤを有する画像シーケンスを表すデータストリームであって、
前記ベースレイヤは、該ベースレイヤの少なくとも1つの画像に関するデータを有し、
前記エンハンスメントレイヤは、
ブロックのグループに関する第1部分において、再構成後に処理すべき前記ベースレイヤの前記画像の少なくとも1つの領域を特定する情報の項目を有するエンハンスメントデータを有し、
第2部分において、前記グループの中の少なくとも1つのブロックから及び処理された前記少なくとも1つの領域から求められる残差を表すデータを有する、
データストリーム。
(付記21)
コンピュータで実行される場合に付記1乃至8のうちいずれか一つに記載の方法のステップを実行するプログラムコード命令を有することを特徴とするコンピュータプログラム。
(付記22)
コンピュータで実行される場合に付記9乃至15のうちいずれか一つに記載の方法のステップを実行するプログラムコード命令を有することを特徴とするコンピュータプログラム。



  1. ベースレイヤ及び少なくとも1つのエンハンスメントレイヤを有するスケーラブル・ストリームを復号する方法であって、
    前記ベースレイヤから少なくとも1つの画像を再構成するステップと、
    前記再構成された画像の中の処理すべき少なくとも1つの領域を特定する情報の少なくとも1つの項目を有する復号されたエンハンスメントデータへと、ブロックのグループに関連する前記少なくとも1つのエンハンスメントレイヤの第1部分を復号するステップと、
    前記情報によって特定される前記再構成された画像の前記少なくとも1つの領域を処理するステップと、
    前記少なくとも1つのエンハンスメントレイヤの第2部分から前記ブロックのグループの中の少なくとも1つのブロックについて残差を求めるステップと、
    前記残差から及び前記処理された少なくとも1つの領域から前記グループのブロックを再構成するステップと
    を有する方法。

  2. 前記再構成された画像の中の処理すべき少なくとも1つの領域を特定する前記情報は、前記ブロックのグループの中のブロックに対応する前記再構成された画像の各ブロックについて当該ブロックが処理されるべきか否かを示すマップである、
    請求項1に記載の方法。

  3. 前記再構成された画像の中の処理すべき少なくとも1つの領域を特定する前記情報は、前記ブロックのグループの中の各ブロックについて当該ブロックがその再構成のために前記再構成された画像の処理されたブロックを使用するかどうかを示すマップである、
    請求項1に記載の方法。

  4. 前記ベースレイヤは、前記少なくとも1つのエンハンスメントレイヤよりも下位の他のエンハンスメントレイヤである、
    請求項1乃至3のうちいずれか一項に記載の方法。

  5. 前記再構成された画像の中の処理すべき少なくとも1つの領域を特定する前記情報がブロックの少なくとも1グループのために符号化されるか否かを示す当該ブロックのグループについての情報の追加項目の前記エンハンスメントレイヤからの復号化ステップを有する
    請求項1乃至4のうちいずれか一項に記載の方法。

  6. 前記ブロックのグループは、画像スライス又は画像である、
    請求項5に記載の方法。

  7. 前記再構成された画像の中の処理すべき少なくとも1つの領域を特定する前記情報がブロックのグループのために符号化され得るか否かを示す情報の第1追加項目を前記エンハンスメントレイヤから復号するステップを有する
    請求項1乃至4のうちいずれか一項に記載の方法。

  8. 前記情報の第1追加項目は少なくとも1つの画像について復号され、当該方法は、
    前記情報の第1追加項目が、前記再構成された画像の中の処理すべき少なくとも1つの領域を特定する情報の項目が符号化され得ることを示す場合に、
    ブロックのグループについて、前記再構成された画像の中の処理すべき少なくとも1つの領域を特定する前記情報が当該ブロックのグループのために符号化されるか否かを示す追加情報の第2項目を、前記エンハンスメントレイヤから復号するステップを有する
    請求項7に記載の方法。

  9. ベースレイヤ及び少なくとも1つのエンハンスメントレイヤを有するスケーラブル・ストリームの形で画像のシーケンスを符号化する方法であって、
    前記ベースレイヤにおいて少なくとも1つの画像を符号化し、該少なくとも1つの画像を再構成するステップと、
    ブロックのグループに関連する前記エンハンスメントレイヤの第1部分においてエンハンスメントデータを符号化するステップであって、該エンハンスメントデータが、前記再構成された画像の中の処理すべき少なくとも1つの領域を特定する情報の項目を有する、ステップと、
    前記情報によって特定される前記再構成された画像の前記少なくとも1つの領域を処理するステップと、
    前記グループのブロックから及び前記処理された少なくとも1つの領域から前記ブロックのグループの中の少なくとも1つのブロックについて残差を求めるステップと、
    前記エンハンスメントレイヤの第2部分において前記残差を符号化するステップと
    を有する方法。

  10. 前記再構成された画像の中の処理すべき少なくとも1つの領域を特定する前記情報は、前記ブロックのグループの中のブロックに対応する前記再構成された画像の各ブロックについて当該ブロックが処理されるべきか否かを示すマップである、
    請求項9に記載の方法。

  11. 前記再構成された画像の中の処理すべき少なくとも1つの領域を特定する前記情報は、前記ブロックのグループの中の各ブロックについて当該ブロックがその再構成のために前記再構成された画像の処理されたブロックを使用するかどうかを示すマップである、
    請求項9に記載の方法。

  12. 前記ベースレイヤは、前記少なくとも1つのエンハンスメントレイヤよりも下位の他のエンハンスメントレイヤである、
    請求項9乃至11のうちいずれか一項に記載の方法。

  13. 前記再構成された画像の中の処理すべき少なくとも1つの領域を特定する前記情報がブロックの少なくとも1グループのために符号化されるか否かを示す当該ブロックのグループについての情報の追加項目を前記エンハンスメントレイヤにおいて符号化するステップを有する
    請求項9乃至12のうちいずれか一項に記載の方法。

  14. 前記再構成された画像の中の処理すべき少なくとも1つの領域を特定する前記情報がブロックのグループのために符号化され得るか否かを示す情報の第1追加項目を前記エンハンスメントレイヤにおいて符号化するステップを有する
    請求項9乃至12のうちいずれか一項に記載の方法。

  15. 前記情報の第1追加項目は少なくとも1つの画像について符号化され、当該方法は、
    前記情報の第1追加項目が、前記再構成された画像の中の処理すべき少なくとも1つの領域を特定する情報の項目が符号化され得ることを示す場合に、
    ブロックのグループについて、前記再構成された画像の中の処理すべき少なくとも1つの領域を特定する前記情報が当該ブロックのグループのために符号化されるか否かを示す追加情報の第2項目を、前記エンハンスメントレイヤにおいて符号化するステップを有する
    請求項14に記載の方法。

  16. ベースレイヤ及び少なくとも1つのエンハンスメントレイヤを有するスケーラブル・ストリームを復号するよう構成される復号器であって、
    前記ベースレイヤから少なくとも1つの画像を再構成する手段と、
    前記再構成された画像の中の処理すべき少なくとも1つの領域を特定する情報の少なくとも1つの項目を有する復号されたエンハンスメントデータへと、ブロックのグループに関連する前記少なくとも1つのエンハンスメントレイヤの第1部分を復号する手段と、
    前記情報によって特定される前記再構成された画像の前記少なくとも1つの領域を処理する手段と、
    前記少なくとも1つのエンハンスメントレイヤの第2部分から前記ブロックのグループの中の少なくとも1つのブロックについて残差を求める手段と、
    前記残差から及び前記処理された少なくとも1つの領域から前記グループのブロックを再構成する手段と
    を有する復号器。

  17. 請求項1乃至8のうちいずれか一項に記載の復号する方法のステップを実行するよう構成される
    請求項16に記載の復号器。

  18. ベースレイヤ及び少なくとも1つのエンハンスメントレイヤを有するスケーラブル・ストリームの形で画像のシーケンスを符号化するよう構成される符号器であって、
    前記ベースレイヤにおいて少なくとも1つの画像を符号化し、該少なくとも1つの画像を再構成する手段と、
    ブロックのグループに関連する前記エンハンスメントレイヤの第1部分において、前記再構成された画像の中の処理すべき少なくとも1つの領域を特定する情報の項目を有するエンハンスメントデータを符号化する手段と、
    前記情報によって特定される前記再構成された画像の前記少なくとも1つの領域を処理する手段と、
    前記グループのブロックから及び前記処理された少なくとも1つの領域から前記ブロックのグループの中の少なくとも1つのブロックについて残差を求める手段と、
    前記エンハンスメントレイヤの第2部分において前記残差を符号化する手段と
    を有する符号器。

  19. 請求項9乃至15のうちいずれか一項に記載の符号化する方法のステップを実行するよう構成される
    請求項18に記載の符号器。

  20. ベースレイヤ及び少なくとも1つのエンハンスメントレイヤを有する画像シーケンスを表すデータストリームであって、
    前記ベースレイヤは、該ベースレイヤの少なくとも1つの画像に関するデータを有し、
    前記エンハンスメントレイヤは、
    ブロックのグループに関する第1部分において、再構成後に処理すべき前記ベースレイヤの前記画像の少なくとも1つの領域を特定する情報の項目を有するエンハンスメントデータを有し、
    第2部分において、前記グループの中の少なくとも1つのブロックから及び処理された前記少なくとも1つの領域から求められる残差を表すデータを有する、
    データストリーム。

  21. コンピュータで実行される場合に請求項1乃至8のうちいずれか一項に記載の方法のステップを実行するプログラムコード命令を有することを特徴とするコンピュータプログラム。

  22. コンピュータで実行される場合に請求項9乃至15のうちいずれか一項に記載の方法のステップを実行するプログラムコード命令を有することを特徴とするコンピュータプログラム。

 

 

Patent trol of patentswamp
類似の特許
一実施形態では、ビデオ情報を符号化するように構成された装置はメモリユニットとプロセッサとを含む。メモリユニットは、ビデオ情報を備えるレイヤ間参照ピクチャを記憶するように構成される。プロセッサはメモリユニットに動作可能に結合される。さらに、プロセッサは、レイヤ間参照ピクチャを、複数のリーフを有する4分木構造に区分することと、各個々のリーフ中のビデオ情報に基づいて各個々のリーフに固有のコンポーネント間フィルタパラメータを決定することと、リーフの各々のためのコンポーネント間フィルタパラメータをシグナリングすることとを行うように構成される。
再構成された第1のコンポーネント信号の空間的に対応する部分および第2のコンポーネントのためにデータストリームから導き出される訂正信号からマルチコンポーネント画像の第2のコンポーネントに関する第2のコンポーネント信号を再構成することは、マルチコンポーネント画像コンテンツのより広い範囲にわたって増加された符号化効率を約束する。第2のコンポーネント信号の再構成に再構成された第1のコンポーネント信号の空間的に対応する部分を含むことによって、いかなる残りのコンポーネント間冗長性/相関も、おそらく演繹的に実行されたコンポーネント空間変換にもかかわらずまだ存在するように存在し、または、そのような演繹的に実行されたコンポーネント空間変換によって導入されているために存在し、例えば、第2のコンポーネント信号のコンポーネント間冗長性/相関低減によって直ちに除去され得る。
【選択図】図2
頂点の格子として規定されるLUTを符号化する方法が開示される。少なくとも1つの値が格子の各頂点に関連付けられる。この方法は、現在の頂点に対し、この現在の頂点に関連付けられた少なくとも1つの値を、例えば、近傍の頂点に関連付けられた再構築された値から得られる別の値から予測するステップと、現在の頂点の少なくとも1つの値とその予測値との間で算出された少なくとも1つの残差をビットストリーム内に符号化するステップと、を含む。
【選択図】図4
前景および透過マスクを含む少なくとも1つの合成画像を有するビデオシーケンスについて、ビデオ符号器は、符号化された前景画像および符号化された透過マスクを、符号化された透過マスクがバイナリ透過マスクとして復号されるべきであるか否かを示すフラグと共に送信する。復号されたバイナリ透過マスクのクリッピングにおいて使用するために復号器にクリップ値をシグナリングすることができる。
高効率次世代ビデオコーディングのためのコンテンツ適応双方向性又は機能性予測マルチパスピクチャに関連する技術。
【課題】mergeモード、skipモード又はAMVPベースinterモードの候補リスト中、第二視点間候補を含む候補リストを用いた三次元/多視点符号化の方法と装置を提供する。
【解決手段】第二視点間候補が、候補リストのすでに符号化された又は復号化されたテクスチャデータに基づいて生成される。たとえば、第二視点間候補は、リファレンスビュー中の対応するブロックに関連する動き情報から決定され、対応するブロックは、右下の隣接ブロックの位置と選択された視差ベクトルに従って配置される。右下の隣接ブロックは現在のテクスチャブロックの右下隅から横切るように位置する。前の利用可能な候補の数量が前もって指定された数量より少ないときだけ、第二視点間候補が候補リストに挿入される。
【選択図】 図3
高効率の次世代ビデオコーディングのための量子化による、コンテンツ適応ビットレートおよび品質管理に関する複数の技術である。
デコーダが復元した映像を正確に再生するために必要な設定情報を伝送するためのビデオ符号化方法及びその装置に係り、さらに詳細には、デコーダが復元した映像を正確に再生するために必要な設定情報を受信するビデオ復号化方法及びその装置に関するものであり、多様な実施形態によるビデオ復号化方法は、NAL(network abstraction layer)ユニットで構成されたデータストリームを受信し、該データストリームから、ピクチャのサンプルの配列タイプに係わる制限があるか否かということを示す制限情報を獲得し、符号化されたピクチャから復元されたサンプルの配列方式を、獲得された制限情報に基づいて決定する。
ビデオ情報をコーディングするように構成された装置は、メモリユニットと、メモリユニットと通信しているプロセッサとを含む。メモリユニットは、ビデオ情報をコーディングするために生成された候補リストを記憶するように構成される。候補リストは少なくとも1つのベースレイヤ動きベクトル候補を備える。プロセッサは、前記少なくとも1つのベースレイヤ動きベクトル候補を生成するための振舞いを決定することと、決定された振舞いに従って特定のコーディングユニット(CU)中の現在予測ユニット(PU)のための前記少なくとも1つのベースレイヤ動きベクトル候補を生成することと、ここにおいて、特定のCUが1つまたは複数のPUを有する、前記少なくとも1つのベースレイヤ動きベクトル候補を候補リストに追加することとを行うように構成される。プロセッサはビデオ情報を符号化または復号し得る。
【選択図】図8
【課題】ビデオ符号化、復号化のための種々の方法、装置、およびコンピュータ・プログラム・プロダクト。
【解決手段】いくつかの実施形態において、第1の層の第1の解像度を有する第1のピクチャが、層間予測なしで符号化され、第2の層の第2の解像度を有する第2のピクチャが、層間予測なしで符号化され、第2の層の第2の解像度を有する第3のピクチャが、層間予測なしで、前記第2のピクチャの前のピクチャを時間的に参照することなく、符号化される。更に、対応する標示が符号化される。いくつかの実施形態において、第1の層から第2層へのスイッチング・ポイントが、層間予測を用いて符号化されたピクチャを参照して、
存在するか否かを決定するために、1つ以上の標示が受信される。そして、そうである場合には、スイッチング・ポイントの前の第1の層のピクチャ、そのスイッチング・ポイントに結びついたピクチャ、および、そのスイッチング・ポイントの後の第2の層のピクチャは、復号化することができる。
【選択図】図7
To top