ビデオ信号処理方法及び装置

 

【課題】コーディング効率を高めたビデオ信号処理方法を提供する。
【解決手段】本発明は、ビデオ信号処理方法及び装置に関し、第1ユニットに対応する臨時視点間動きベクトルを獲得し、臨時視点間動きベクトルを用いて、第1ユニットに対応する仮想デプス情報を獲得し、第1ユニットに対応する仮想デプス情報を用いて、第1ユニットに対応する視点間動きベクトルを獲得し、第1ユニットに対応する視点間動きベクトルをアップデートすることができる。
【選択図】図10

 

 

本発明は、ビデオ信号のコーディング方法及び装置に関する。
圧縮符号化とは、デジタル化した情報を通信回線を介して伝送したり、格納媒体に適した形態で格納したりする一連の信号処理技術を意味する。圧縮符号化の対象としては、音声、映像、文字などが存在し、特に、映像を対象として圧縮符号化を行う技術をビデオ映像圧縮と称する。多視点ビデオ映像の一般的な特徴は、空間的冗長性、時間的冗長性及び視点間冗長性を有している点にある。
本発明の目的は、ビデオ信号のコーディング効率を高めることにある。
本発明は、視点合成予測において、デプス情報を用いたワーピング過程で複数のデプス情報が存在しても1つのデプス情報のみを用いることを特徴とする。
また、本発明は、臨時視点間動きベクトルを用いて、ワーピング過程に用いられる視点間動きベクトルを獲得することを特徴とする。
また、本発明は、獲得された視点間動きベクトルをアップデートして後で用いることを特徴とする。
また、本発明は、エンコーダから伝送された予め決定された視点間動きベクトルを用いてワーピング過程を行うことを特徴とする。
本発明で達成しようとする技術的課題は、以上で言及した技術的課題に制限されず、言及していない他の技術的課題は、下記の記載から、本発明の属する技術分野における通常の知識を有する者に明確に理解されるであろう。
本発明は、視点合成予測において、デプス情報を用いたワーピング過程で複数のデプス情報が存在しても1つのデプス情報のみを用いて、参照ブロック間の順序が逆転したり距離が離れたりする場合を防止することによって、視点合成予測の正確度を高めることができる。
また、本発明は、臨時視点間動きベクトルを用いることによって、ワーピング過程に用いられるユニットの正確な視点間動きベクトルを獲得することができる。
また、本発明は、獲得された視点間動きベクトルをアップデートすることによって、ワーピング過程に用いられるユニットの正確な視点間動きベクトルを獲得することができる。
また、本発明は、エンコーダから伝送された予め決定された視点間動きベクトルを用いてワーピング過程を行うことによって、ワーピング過程に用いられるユニットの正確な視点間動きベクトルを獲得することができる。
本発明から得られる効果は、以上で言及した効果に制限されず、言及していない他の効果は、下記の記載から、本発明の属する技術分野における通常の知識を有する者に明確に理解されるであろう。
本発明が適用される実施例であって、デプスコーディングが適用される放送受信機の内部ブロック図である。 本発明が適用される一実施例であって、ビデオデコーダの概略的なブロック図である。 本発明が適用される一実施例であって、視点合成予測が行われる一例を示すフローチャートである。 参照ブロック及びデプスブロックを用いて仮想参照ブロックを獲得する一例を示す図である。 参照ブロック及びデプスブロックを用いて獲得された仮想参照ブロックの順序が逆転した一例を示す図である。 参照ブロック及びデプスブロックを用いて獲得された仮想参照ブロックの間隔が離れた一例を示す図である。 本発明が適用される一実施例であって、視点合成予測の仮想参照ピクチャを獲得する方法の一例に対するフローチャートである。 本発明で適用される一実施例であって、視点合成予測のワーピング方法の一例を示す図である。 本発明が適用される一実施例であって、仮想デプス情報を用いてN番目のユニットの視点間動きベクトルを獲得する一例に対するフローチャートである。 本発明が適用される一実施例であって、仮想デプス情報を用いてN番目のユニットの視点間動きベクトルを獲得する一例を示す図である。 本発明が適用される一実施例であって、視点間動きベクトルをアップデートする一例に対するフローチャートである。
本発明は、第1ユニットに対応する臨時視点間動きベクトルを獲得し、臨時視点間動きベクトルを用いて、第1ユニットに対応する仮想デプス情報を獲得し、第1ユニットに対応する仮想デプス情報を用いて、第1ユニットに対応する視点間動きベクトルを獲得し、第1ユニットに対応する視点間動きベクトルをアップデートするステップを含むことを特徴とするビデオ信号処理方法及び装置である。
また、本発明は、臨時視点間動きベクトルは、第1ユニットの隣接ユニットに対応する視点間動きベクトルを用いて獲得されることを特徴とするビデオ信号処理方法及び装置である。
また、本発明は、仮想デプス情報は、第1ユニットと異なる視点のデプスブロックのデプス情報であることを特徴とするビデオ信号処理方法及び装置である。
また、本発明は、アップデートされた視点間動きベクトルを用いて、第2ユニットに対応する視点間動きベクトルを獲得するステップをさらに含むことを特徴とするビデオ信号処理方法及び装置である。
また、本発明は、第1ユニットに対応する視点間動きベクトルを用いて、第2ユニットに対応する臨時視点間動きベクトルを獲得し、第2ユニットに対応する臨時視点間動きベクトルを用いて、第2ユニットに対応する仮想デプス情報を獲得し、第2ユニットに対応する仮想デプス情報を用いて、第2ユニットに対応する視点間動きベクトルを獲得することを特徴とするビデオ信号処理方法及び装置である。
また、本発明は、第2ユニットに対応する視点間動きベクトルをアップデートするステップをさらに含むことを特徴とするビデオ信号処理方法及び装置である。
また、本発明は、第1ユニットに対応する視点間動きベクトルを用いて第1仮想参照ブロックを獲得し、第1仮想参照ブロックは、視点合成予測のための仮想参照ピクチャ内に含まれることを特徴とするビデオ信号処理方法及び装置である。
多視点ビデオ信号データを圧縮符号化または復号化する技術は、空間的冗長性、時間的冗長性及び視点間に存在する冗長性を考慮している。また、多視点映像の場合、3次元映像を具現するために2つ以上の視点で撮影された多視点テクスチャ映像をコーディングすることができる。また、必要に応じて、多視点テクスチャ映像に対応するデプスデータをさらにコーディングすることもできる。デプスデータをコーディングする際に、空間的冗長性、時間的冗長性または視点間冗長性を考慮して圧縮コーディングできることは勿論である。デプスデータは、カメラと当該画素との間の距離情報を表現したものであり、本明細書内において、デプスデータは、デプス情報、デプス映像、デプスピクチャ、デプスシーケンス、デプスビットストリームなどのように、デプスに関連する情報として柔軟に解釈することができる。また、本明細書においてコーディングというのは、エンコーディングとデコーディングの概念を全て含むことができ、本発明の技術的思想及び技術的範囲によって柔軟に解釈することができる。
図1は、本発明が適用される実施例であって、デプスコーディングが適用される放送受信機の内部ブロック図を示す。
本実施例に係る放送受信機は、地上波放送信号を受信して映像を再生するためのものである。放送受信機は、受信されたデプス関連情報を用いて3次元コンテンツを生成することができる。放送受信機は、チューナー100、復調/チャネルデコーダ102、トランスポート逆多重化部104、パケット解除部106、オーディオデコーダ108、ビデオデコーダ110,PSI/PSIP処理部114、3Dレンダリング部116、フォーマッタ120及びディスプレイ部122を含む。
チューナー100は、アンテナ(図示せず)を介して入力される多数の放送信号のうち、ユーザが選局したいずれか1つのチャネルの放送信号を選択して出力する。復調/チャネルデコーダ102は、チューナー100からの放送信号を復調し、復調された信号に対してエラー訂正デコーディングを行ってトランスポートストリーム(TS)を出力する。トランスポート逆多重化部104は、トランスポートストリームを逆多重化して、ビデオPESとオーディオPESを分離し、PSI/PSIP情報を抽出する。パケット解除部106は、ビデオPESとオーディオPESに対してパケットを解除し、ビデオESとオーディオESを復元する。オーディオデコーダ108は、オーディオESをデコーディングしてオーディオビットストリームを出力する。オーディオビットストリームは、デジタル−アナログ変換器(図示せず)によってアナログ音声信号に変換され、増幅器(図示せず)によって増幅された後、スピーカー(図示せず)を介して出力される。ビデオデコーダ110は、ビデオESをデコーディングして元の映像を復元する。オーディオデコーダ108及びビデオデコーダ110のデコーディング過程は、PSI/PSIP処理部114によって確認されるパケットID(PID)をベースとして行われてもよい。デコーディング過程において、ビデオデコーダ110はデプス情報を抽出することができる。また、仮想カメラ視点の映像を生成するのに必要な付加情報、例えば、カメラ情報、または相対的に前にある客体によって遮られる領域(Occlusion)を推定するための情報(例えば、客体の輪郭などの幾何学的情報、客体の透明度情報及びカラー情報)などを抽出して3Dレンダリング部116に提供することができる。しかし、本発明の他の実施例においては、デプス情報及び/又は付加情報がトランスポート逆多重化部104によって分離されてもよい。
PSI/PSIP処理部114は、トランスポート逆多重化部104からのPSI/PSIP情報を受信し、これをパーシングしてメモリ(図示せず)またはレジスターに格納することによって、格納された情報をベースとして放送が再生されるようにする。3Dレンダリング部116は、復元された映像、デプス情報、付加情報及びカメラパラメータを用いて、仮想カメラ位置でのカラー情報、デプス情報などを生成することができる。
また、3Dレンダリング部116は、復元された映像、及び復元された映像に対するデプス情報を用いて3Dワーピング(Warping)を行うことによって、仮想カメラ位置での仮想映像を生成する。本実施例では、3Dレンダリング部116がビデオデコーダ110と別個のブロックとして構成されて説明されているが、これは一実施例に過ぎず、3Dレンダリング部116は、ビデオデコーダ110に含まれて行われてもよい。
フォーマッタ120は、デコーディング過程で復元した映像、すなわち、実際にカメラによって撮影された映像、及び3Dレンダリング部116によって生成された仮想映像を当該受信機でのディスプレイ方式に合わせてフォーマッティングし、ディスプレイ部122を介して3D映像が表示されるようにする。ここで、3Dレンダリング部116による仮想カメラ位置でのデプス情報及び仮想映像の合成、そして、フォーマッタ120による映像フォーマッティングが、ユーザの命令に応答して選択的に行われてもよい。すなわち、視聴者は、リモコン(図示せず)を操作して合成映像が表示されないようにしてもよく、映像合成が行われる時点を指定することもできる。
上記で説明したように、3D映像を生成するために、デプス情報は3Dレンダリング部116で用いられているが、他の実施例として、ビデオデコーダ110で用いられてもよい。以下では、ビデオデコーダ110でデプス情報を用いる様々な実施例を説明する。
図2は、本発明が適用される実施例であって、ビデオデコーダの概略的なブロック図を示す。
図2を参照すると、ビデオデコーダ110は、大きく、エントロピーデコーディング部210、逆量子化部220、逆変換部230、デブロッキングフィルター部240、復号ピクチャバッファ部250、インター予測部260及びイントラ予測部270を含むことができる。ここで、実線はカラーピクチャデータの流れを意味し、点線はデプスピクチャデータの流れを意味する。このように、図2では、カラーピクチャデータとデプスピクチャデータを区分して表示したが、これは、別個のビットストリームを意味し得、または1つのビットストリーム内でデータの流れのみを区分したものと見ることもできる。すなわち、カラーピクチャデータとデプスピクチャデータは、1つのビットストリーム、または別個のビットストリームとして伝送されてもよく、図2では、データの流れを示しているだけで、1つのデコーダ内で全て行われるものに限定されない。
まず、受信されたデプスビットストリーム200を復号するために、NAL単位でパーシングを行う。このとき、NALヘッダー領域、NALヘッダーの拡張領域、シーケンスヘッダー領域(例えば、シーケンスパラメータセット)、シーケンスヘッダーの拡張領域、ピクチャヘッダー領域(例えば、ピクチャパラメータセット)、ピクチャヘッダーの拡張領域、スライスヘッダー領域、スライスヘッダーの拡張領域、スライスデータ領域、またはマクロブロック領域には、デプスに関連する種々の属性情報が含まれてもよい。デプスコーディングは、別個のコーデックが用いられてもよいが、既存のコーデックとの互換をなす場合であれば、デプスビットストリームである場合に限って、デプスに関連する種々の属性情報を追加することがより効率的であり得る。例えば、シーケンスヘッダー領域(例えば、シーケンスパラメータセット)またはシーケンスヘッダーの拡張領域でデプスビットストリームであるか否かを識別できるデプス識別情報を追加することができる。デプス識別情報に応じて、入力されたビットストリームがデプスコーディングされたビットストリームである場合に限って、デプスシーケンスに関する属性情報を追加することができる。
パーシングされたデプスビットストリーム200は、エントロピーデコーディング部210を介してエントロピーデコーディングされ、各マクロブロックの係数、動きベクトルなどが抽出される。逆量子化部220では、受信された量子化された値に一定の定数を乗じて変換された係数値を獲得し、逆変換部230では、係数値を逆変換してデプスピクチャのデプス情報を復元するようになる。イントラ予測部270では、現在のデプスピクチャの復元されたデプス情報を用いて画面内予測を行う。一方、デブロッキングフィルター部240では、ブロック歪み現象を減少させるために、それぞれのコーディングされたマクロブロックにデブロッキングフィルタリングを適用する。フィルターは、ブロックの縁部を滑らかにすることで、デコーディングされたフレームの画質を向上させる。フィルタリング過程の選択は、境界の強さ(boundary strenth)及び境界の周囲のイメージサンプルの変化(gradient)によって左右される。フィルタリングを経たデプスピクチャは、出力されたり、参照ピクチャとして用いるために復号ピクチャバッファ部250に格納されたりする。
復号ピクチャバッファ部(Decoded Picture Buffer unit)250では、画面間予測を行うために、以前にコーディングされたデプスピクチャを格納したり開放したりする役割などを行う。このとき、復号ピクチャバッファ部250に格納したり開放したりするために、各ピクチャのframe_numとPOC(Picture Order Count)を用いる。したがって、デプスコーディングにおいて、以前にコーディングされたピクチャの中には現在のデプスピクチャと異なる視点にあるデプスピクチャもあるので、このようなピクチャを参照ピクチャとして活用するためには、frame_numとPOCだけでなく、デプスピクチャの視点を識別するデプス視点情報も共に用いることができる。
また、復号ピクチャバッファ部250は、デプスピクチャの視点間予測のための参照ピクチャリストを生成するために、デプス視点に対する情報を用いることができる。例えば、デプス−ビュー参照情報(depth−view reference information)を用いることができる。デプス−ビュー参照情報とは、デプスピクチャの視点間依存関係を示すために用いられる情報のことをいう。例えば、全体のデプス視点の数、デプス視点識別番号、デプス−ビュー参照ピクチャの数、デプス−ビュー参照ピクチャのデプス視点識別番号などがあり得る。
復号ピクチャバッファ部250は、より柔軟に画面間予測を実現するために参照ピクチャを管理する。例えば、適応メモリ管理方法(Memory Management Control Operation Method)及び移動ウィンドウ方法(Sliding Window Method)を用いることができる。これは、参照ピクチャと非参照ピクチャのメモリを1つのメモリに統一して管理し、少ないメモリで効率的に管理するためである。デプスコーディングにおいて、デプスピクチャは、復号ピクチャバッファ部内でカラーピクチャと区別するために別途の表示でマーキングされてもよく、マーキング過程で各デプスピクチャを識別させるための情報が用いられてもよい。このような過程を通じて管理される参照ピクチャは、インター予測部260においてデプスコーディングのために用いられてもよい。
図2を参照すると、インター予測部260は、動き補償部261、仮想視点合成部262及びデプスピクチャ生成部263を含むことができる。
動き補償部261では、エントロピーデコーディング部210から伝送された情報を用いて現在のユニットの動きを補償する。ビデオ信号から現在のユニットに隣接するブロックの動きベクトルを抽出し、現在のユニットの動きベクトル予測値を獲得する。動きベクトル予測値及びビデオ信号から抽出される差分ベクトルを用いて、現在のユニットの動きを補償する。また、このような動き補償は、1つの参照ピクチャを用いて行われてもよく、または複数のピクチャを用いて行われてもよい。デプスコーディングにおいて、現在のデプスピクチャが異なる視点にあるデプスピクチャを参照するようになる場合、復号ピクチャバッファ部250に格納されているデプスピクチャの視点間予測のための参照ピクチャリストに対する情報を用いて、動き補償を行うことができる。また、そのデプスピクチャの視点を識別するデプス視点情報を用いて、動き補償を行ってもよい。
また、仮想視点合成部(Virtual View Synthesizing Unit)262は、現在のカラーピクチャの視点に隣接する視点のカラーピクチャを用いて仮想視点のカラーピクチャを合成する。互いに隣接する視点のカラーピクチャを用いるために又は所望の特定の視点のカラーピクチャを用いるために、カラーピクチャの視点を示す視点識別情報を用いることができる。仮想視点のカラーピクチャを生成する場合、仮想視点のカラーピクチャを生成するか否かを示すフラグ情報を定義することができる。フラグ情報が、仮想視点のカラーピクチャを生成することを示す場合、視点識別情報を用いて仮想視点のカラーピクチャを生成することができる。仮想視点合成部262を介して獲得された仮想視点のカラーピクチャはレファレンスピクチャとして用いられてもよく、この場合、仮想視点のカラーピクチャにも視点識別情報を割り当てることができることは勿論である。
他の実施例として、仮想視点合成部262は、現在のデプスピクチャの視点に隣接する視点にあるデプスピクチャを用いて、仮想視点のデプスピクチャを合成することができる。同様に、デプスピクチャの視点を示すためにデプス視点識別情報を用いることができる。ここで、デプス視点識別情報は、対応するカラーピクチャの視点識別情報から誘導され得る。例えば、対応するカラーピクチャは、現在のデプスピクチャと同一のピクチャ出力順序情報及び同一の視点識別情報を有することができる。
デプスピクチャ生成部263は、デプスコーディング情報を用いて現在のデプスピクチャを生成することができる。ここで、デプスコーディング情報は、カメラと客体との間の距離を示す距離変数(例えば、カメラ座標系上のZ座標値など)、デプスコーディングのためのマクロブロックタイプ情報、デプスピクチャ内の境界線識別情報、RBSP内のデータがデプスコーディングされたデータを含んでいるか否かを示す情報、またはデータタイプがデプスピクチャデータであるか、カラーピクチャデータであるか、又はパララックスデータであるかを示す情報などを含むことができる。また、デプスコーディング情報を用いて現在のデプスピクチャを予測することもできる。すなわち、現在のデプスピクチャに隣接するデプスピクチャを用いたインター予測が可能であり、現在のデプスピクチャ内のデコーディングされたデプス情報を用いたイントラ予測が可能である。
多視点映像をデコーディングするための視点間予測方法として、視点間インター予測(DCP、disparity compensated prediction)及び視点合成予測(VSP、view synthesis prediction)が存在する。
視点合成予測は、デプス情報を用いてテクスチャピクチャ内のブロックをワープして、現在のユニットをデコーディングするための仮想参照ピクチャとして用いる予測方法であって、図3のような順序により行うことができる。
図3は、本発明が適用される一実施例であって、視点合成予測が行われる一例を示すフローチャートである。
現在のユニットが視点合成予測を用いるか否かを判断することができる(S310)。ここで、現在のユニットは、デコーディングされる多視点映像内の任意のユニットを示すことができる。現在のユニットが視点合成予測を用いるかどうかを判断するために、現在のユニットの予測方法を示す現在のユニットの予測情報を獲得することができる。そして、現在のユニットの予測情報が視点合成予測を示す場合、現在のユニットに対する視点合成予測を行うことができる。
視点合成予測のための参照テクスチャ情報及びデプス情報を獲得することができる(S320)。ここで、参照テクスチャ情報は、現在のユニットの隣接視点である基準視点内の参照ピクチャを示すことができる。参照ピクチャは、現在のユニットが含まれたピクチャと異なる視点、同一の時間に存在し得る。そして、デプス情報は、現在のユニットと同一の視点に存在するデプス情報、または現在のユニットの隣接視点である基準視点に存在するデプス情報を示すことができる。
参照テクスチャ情報及びデプス情報を用いて仮想参照ピクチャを獲得することができる(S330)。デプス情報を用いて獲得された視点間動きベクトルを獲得することができる。ピクセル単位またはブロック単位で視点間動きベクトルと参照テクスチャ情報を用いて仮想参照ピクチャを獲得することができる。
仮想参照ピクチャを用いて現在のユニットをデコーディングすることができる(S340)。例えば、現在のユニットに対応する仮想参照ピクチャ内のユニットのピクセル値を現在のユニットの予測値として獲得することができる。
本発明では、視点合成予測の正確性を高めるために、視点合成予測に用いられるデプス情報を獲得する方法、及び参照テクスチャ情報及びデプス情報を用いて仮想参照ピクチャをワープする方法を提案する。
多視点映像において、1つの予測ユニットは、同一又は類似の特性を有している予測単位であり得る。例えば、1つの予測ユニットは類似の色又は類似の動き情報を有していてもよい。また、1つのテクスチャピクチャ内の予測ブロック(ユニット)は類似のデプス情報を有することができる。したがって、予測ブロックをデコーディングする過程で視点合成予測が用いられる場合、予測ブロックに対応するデプスブロックは1つのデプスレイヤを含むことができる。もし、予測ブロックに対応するデプスブロックに1つのデプスレイヤが存在する場合、図4のように、参照テクスチャピクチャ内の参照テクスチャブロックと対応するデプスブロック(または、仮想デプスブロック)を用いて一定の間隔の仮想参照ブロックを獲得することができる。
しかし、デコーディング過程で予測ユニットに対応するデプスブロックに複数のデプスレイヤが存在し得、このような場合、視点合成予測の正確度が低下することがある。もし、予測ユニットに対応するデプスブロックに複数のデプスレイヤが存在する場合、図5Aのように、仮想参照ピクチャ内の仮想参照ブロック(ユニット)の順序が逆転したり、図5Bのように、仮想参照ピクチャ内の仮想参照ブロックの間隔が離れたりする場合が発生することがある。仮想参照ブロックの順序が逆転するか、または仮想参照ブロックの間隔が離れて獲得される仮想参照ピクチャを用いて現在のユニットを予測する場合、正確な予測値を獲得することが難しい。
そこで、以下では、視点合成予測の一実施例として、仮想参照ピクチャをワープする過程で1つのデプスレイヤのみが用いられるようにデプス値を補正する方法及び装置に対して提案する。以下では、図6及び図7を用いて、本発明で提案する視点合成予測において仮想参照ピクチャを獲得するためのワーピング方法について説明する。
図6は、本発明が適用される一実施例であって、視点合成予測の仮想参照ピクチャを獲得する方法の一例に対するフローチャートを示したものである。
N−1番目のユニット(第1参照ブロック)をワープしてN−1番目の仮想参照ブロック(第1仮想参照ブロック)を獲得することができる(S610)。以下で、N−1番目のユニットは、仮想参照ピクチャを獲得するために用いられる基準視点内のテクスチャブロックであって、N番目のユニットがワープされる前にワープされるユニットとして定義することができる。そして、N−1番目の仮想参照ブロックは、N−1番目のユニット及びN−1番目のユニットに対応するデプスブロックによってワープされた、仮想参照ピクチャ内のブロックとして定義することができる。
N番目のユニットをワープしてN番目の仮想参照ブロックを獲得することができる(S620)。以下で、N番目のユニット(第2参照ブロック)は、仮想参照ピクチャを獲得するために用いられる基準視点内のテクスチャブロックであって、N−1番目のユニットがワープされた後にワープされるユニットとして定義することができる。そして、N番目の仮想参照ブロック(第2仮想参照ブロック)は、N番目のユニット及びN番目のユニットに対応するデプスブロックによってワープされた、仮想参照ピクチャ内のブロックとして定義することができる。
N−1番目の仮想参照ブロックの位置と、N番目の仮想参照ブロックの位置とを比較することができる(S630)。N−1番目の仮想参照ブロックの位置とN番目の仮想参照ブロックの位置とを比較して、図5A又は図5Bのように、N番目の仮想参照ブロックの位置とN−1番目の仮想参照ブロックの位置が一定の距離以上離れているか、または順序が逆転しているかを判断することができる。
N−1番目の仮想参照ブロックの位置と、N番目の仮想参照ブロックの位置とを比較する方法の一例として、N−1番目の仮想参照ブロックの左側上段ピクセルの位置と、N番目の仮想参照ブロックの左側上段ピクセルの位置とを比較して、2つのピクセル間の距離と予め決定された臨界値を比較することができる。または、N−1番目の仮想参照ブロックの中心ピクセルの位置と、N番目の仮想参照ブロックの中心ピクセルの位置とを比較して、2つのピクセル間の距離と予め決定された臨界値を比較してもよい。ここで、予め決定された臨界値は、N−1番目の仮想参照ブロックの幅であり得る。または、N−1番目の仮想参照ブロックの左側上段ピクセルを基準として比較範囲を設定し、N番目の仮想参照ブロックの左側上段ピクセルが比較範囲に含まれるか否かを通じて、N−1番目の仮想参照ブロックの位置とN番目の仮想参照ブロックの位置とを比較してもよい。または、N−1番目の仮想参照ブロックの中心ピクセルを基準として比較範囲を設定し、N番目の仮想参照ブロックの中心ピクセルが比較範囲に含まれるか否かを通じて、N−1番目の仮想参照ブロックの位置とN番目の仮想参照ブロックの位置とを比較してもよい。N−1番目の仮想参照ブロックの位置とN番目の仮想参照ブロックの位置とを比較する方法は、上述した実施例に限定されず、多様に実施可能である。
もし、ステップS630の比較結果に照らして、N番目の仮想参照ブロックとN−1番目の仮想参照ブロックが一定の距離以上離れていたり順序が逆転していたりする場合、N番目の仮想参照ブロックの位置を修正することができる(S640)。修正されるN番目の仮想参照ブロックは、N−1番目の仮想参照ブロックと隣接して位置し得る。または、S630の予め決定された臨界値または比較範囲に対応して位置し得る。
N+1番目のユニットをワープしてN+1番目の仮想参照ブロックを獲得することができる(S650)。ワーピング過程は、仮想参照ピクチャが獲得される前まで行うことができる。以下で、N+1番目のユニット(第3参照ブロック)は、仮想参照ピクチャを獲得するために用いられる基準視点内のテクスチャブロックであって、N番目のユニットがワープされた後にワープされるユニットとして定義することができる。そして、N+1番目の仮想参照ブロック(第3仮想参照ブロック)は、N+1番目のユニット及びN+1番目のユニットに対応するデプスブロックによってワープされた、仮想参照ピクチャ内のブロックとして定義することができる。
もし、N番目の仮想参照ブロックとN−1番目の仮想参照ブロックが一定の距離以上離れていたり順序が逆転したりしていない場合、N番目の仮想参照ブロックの位置を修正するステップを行わずに、N+1番目のユニットをワープしてN+1番目の仮想参照ブロックを獲得することができる(S650)。
図7は、本発明で適用される一実施例であって、視点合成予測のワーピング方法の一例を示したものである。
基準視点内のテクスチャブロックであるN番目のユニット700をワープする前に、N−1番目のユニット710は、対応するデプスブロック715を用いてN−1番目の仮想参照ブロック720にワープされ得る。そして、N番目のユニット700は、対応するデプスブロック705を用いてワープされ得る。もし、ワーピング過程を通じて獲得されたN番目の仮想参照ブロック730が同一のレイヤの範囲740を外れる場合、N番目の仮想参照ブロック730の位置を同一のレイヤの範囲740内に修正し、修正された参照ブロック735を獲得することができる。
上述した図6及び図7の仮想参照ピクチャを獲得する方法を通じて、1つのデプスレイヤのみを用いて仮想参照ピクチャを獲得することができる。これによる仮想参照ピクチャを用いて視点合成予測を行うことによって、現在のユニットの正確な予測値を獲得することができる。
上述したように、視点合成予測の正確な予測のために、仮想参照ピクチャを獲得する過程に用いられる正確なデプス情報を獲得する過程が重要である。以下では、視点合成予測において仮想参照ピクチャを獲得するために用いられる仮想デプス情報を獲得する方法について説明する。
基準視点のテクスチャ情報とデプス情報は常に存在するが、現在の視点のデプス情報は存在することもあり、存在しないこともある。もし、現在の視点のデプス情報が存在しない場合、基準視点のデプス情報を用いて仮想デプス情報を誘導することができる。以下で、仮想デプス情報は、基準視点内に位置したデプスブロックのデプス情報を示すことができる。仮想デプス情報は、デコーディングされる現在のユニットの視点間動きベクトルを用いて獲得され得る。しかし、現在のユニットの視点間動きベクトルがデコーディングの前である場合、現在のユニットの隣接ユニットの視点間動きベクトルを用いて現在のユニットの視点間動きベクトルを獲得することができる。隣接ユニットの視点間動きベクトルを用いて獲得された現在のユニットの視点間動きベクトルを用いて仮想デプスブロックを獲得し、仮想デプスブロックのデプス値を用いて現在のユニットの視点間動きベクトルを獲得して、視点合成予測を行うことができる。
以下では、視点合成予測において仮想参照ピクチャを獲得するためのデプス情報が存在しない場合に、仮想参照ピクチャを獲得するために仮想デプス情報を用いて視点間動きベクトルを獲得する方法について、図8及び図9を参照して説明する。
図8は、本発明が適用される一実施例であって、仮想デプス情報を用いてN番目のユニットの視点間動きベクトルを獲得する一例に対するフローチャートを示したものである。
隣接ユニットの視点間動きベクトルを用いて臨時視点間動きベクトルを獲得することができる(S810)。ここで、隣接ユニットは、視点合成予測によってワープされるN番目のユニット(本明細書においてN番目のユニットを第1ユニットとして示すことができる。)に空間的または時間的に隣接するユニットを示すことができる。そして、臨時視点間動きベクトルは、基準視点に存在する仮想デプス情報を獲得するために用いられる視点間動きベクトルを示すことができる。もし、隣接ユニットが視点間動きベクトルを用いてコーディングされる場合、N番目のユニットは、隣接ユニットの視点間動きベクトルを用いて臨時視点間動きベクトルを獲得することができる。
臨時視点間動きベクトルを用いてN番目のユニットの仮想デプス情報を獲得することができる(S820)。仮想デプス情報は、臨時視点間動きベクトルが指し示す基準視点のデプスブロック内のデプス値であり得る。そして、臨時視点間動きベクトルは、後述するステップS830で獲得されるN番目のユニットの視点間動きベクトルも含まれ得る。N番目のユニットの視点間動きベクトルは、N+1番目のユニット(本明細書においてN+1番目のユニットを第2ユニットとして示すことができる。)の仮想デプス情報を獲得するために用いることができる。
仮想デプス情報を用いてN番目のユニットの視点間動きベクトルを獲得することができる(S830)。仮想デプス情報は、基準視点のデプスブロック内のデプス値のうちの最大値、最小値、平均値、最頻値のうち1つであってもよい。そして、N番目のユニットの視点間動きベクトルは仮想デプス情報を用いて獲得することができる。一方、N番目のユニットがサブユニットを含む場合、各サブユニット別に視点間動きベクトルを獲得することができる。ここで、サブユニットは、N番目のユニットの下位予測ユニットであって、2N×N、N×2N、またはN×Nの大きさであってもよい。
もし、N+1番目のユニットをワープするためのデプス情報が存在しない場合、ステップS820のように、ステップS830で獲得されたN番目のユニットの視点間動きベクトルを臨時視点間動きベクトルとして用いて、N+1番目のユニットをワープするための仮想デプス情報を獲得することができる。そして、ステップS830のように、仮想デプス情報を用いてN+1番目のユニットの視点間動きベクトルを獲得することができる。
もし、N+1番目のユニットをワープするためのデプス情報が存在する場合、仮想デプス情報をこれ以上獲得しなくてもよい。
図9は、本発明が適用される一実施例であって、仮想デプス情報を用いてN番目のユニットの視点間動きベクトルを獲得する一例を示したものである。
N番目のユニット910に対応する現在の視点のデプス情報がない場合、N番目のユニット910に隣接する隣接ユニット920の視点間動きベクトルを臨時視点間動きベクトル930として用いて、基準視点のデプスブロック940を獲得することができる。基準視点のデプスブロック940のデプス値は、N番目のユニット910の仮想デプス情報として用いることができる。N番目のユニット910の仮想デプス情報を用いてN番目のユニットの視点間動きベクトル950を獲得することができる。そして、N+1番目のユニット960も視点合成予測を用いてコーディングされる場合、対応する現在の視点のデプス情報がないので、N番目のユニットの視点間動きベクトル950を臨時視点間動きベクトル970として用いて、基準視点のデプスブロック980を獲得することができる。基準視点のデプスブロック980のデプス値は、N+1番目のユニット960の仮想デプス情報として用いることができる。N+1番目のユニット960の仮想デプス情報を用いてN+1番目のユニットの視点間動きベクトル990を獲得することができる。
上述した図8及び図9の仮想デプス情報を獲得する方法を通じて、N番目のユニットと同一の視点のデプス情報が存在しない場合にも、N番目のユニットをワープするための視点間動きベクトルを獲得することができる。
仮想参照ピクチャを獲得するために用いられるデプス情報が正確であるほど、視点合成予測の正確度は高くなる。したがって、最適の仮想参照ピクチャを獲得できるデプス情報を獲得することは、視点合成予測の正確度を高めるために非常に重要な要素である。以下では、最適の仮想参照ピクチャを獲得するためのデプス情報を、デプスブロック誘導情報を用いて獲得する方法について説明する。
ステップS820でデプス情報を獲得するとき、デプスブロック誘導情報を用いてデプス情報を獲得することができる。ここで、デプスブロック誘導情報は、N番目のユニットをワープするためのデプスブロックの位置を指し示す情報を示すことができる。そして、デプスブロック誘導情報はビットストリームから獲得され得る。デプスブロック誘導情報は、エンコーダでエンコーディングを通じて仮想参照ピクチャを獲得するための最適のデプス情報を獲得し、最適のデプス情報を含むデプスブロックを指し示す視点間動きベクトルをビットストリームを介してデコーダに伝送することによって獲得され得る。
一例として、N番目のユニットのデプスブロック誘導情報が獲得された場合、デプスブロック誘導情報を用いて特定のデプスブロックの位置を獲得することができる。特定のデプスブロックに対応するデプス情報を用いて、N番目のユニットをワープするための視点間動きベクトルを獲得することができる。
更に他の一例として、デプスブロック誘導情報は隣接ブロックを示すことができる。例えば、特定の隣接ブロックが視点間動きベクトルを誘導してコーディングされたブロックである場合、特定の周辺ブロックの視点間動きベクトルを用いてデプスブロックの位置を獲得することができる。そして、デプスブロックに対応するデプス情報を用いて、N番目のユニットをワープするための視点間動きベクトルを獲得することができる。
上述したデプスブロック誘導情報を用いてデプス情報を獲得する場合、最適のデプス情報を用いて仮想参照ピクチャを獲得することによって、視点合成予測の正確度を高めることができる。
以下では、視点間動きベクトルをアップデートする方法について説明する。
図10は、本発明が適用される一実施例であって、視点間動きベクトルをアップデートする一例に対するフローチャートを示したものである。
隣接ユニットの視点間動きベクトルを用いて、N番目のユニットに対応する臨時視点間動きベクトルを獲得することができる(S1010)。ここで、隣接ユニットは、N番目のユニット(本明細書においてN番目のユニットを第1ユニットとして示すことができる。)に対応して空間的または時間的に隣接するユニットを示すことができる。例えば、隣接ユニットは、N番目のユニットの左側、上段、左側上段、右側上段または右側下段に位置し得る。そして、臨時視点間動きベクトルは、基準視点に存在する仮想デプス情報を獲得するために用いられる視点間動きベクトルを示すことができる。もし、隣接ユニットが視点間動きベクトルを用いてコーディングされる場合、N番目のユニットは、隣接ユニットの視点間動きベクトルを用いて臨時視点間動きベクトルを獲得することができる。
臨時視点間動きベクトルを用いてN番目のユニットの仮想デプス情報を獲得することができる(S1020)。仮想デプス情報は、臨時視点間動きベクトルが指し示すN番目のユニットと異なる視点のデプスブロックに対応するデプス情報を示すものと定義する。ここで、基準視点のデプスブロックは、臨時視点間動きベクトルが指し示す基準視点のテクスチャブロックの位置と対応し得る。そして、臨時視点間動きベクトルは、後述するステップS1030で獲得されるN番目のユニットの視点間動きベクトルが含まれてもよい。N番目のユニットの視点間動きベクトルは、N+1番目のユニット(本明細書においてN+1番目のユニットを第2ユニットとして示すことができる。)の仮想デプス情報を獲得するために用いることができる。N+1番目のユニットは、N番目のユニットの後にデコーディングまたはワープされるユニットを示すことができる。
仮想デプス情報を用いて、N番目のユニットに対応する視点間動きベクトルを獲得することができる(S830)。仮想デプス情報は、基準視点のデプスブロック内のデプス値のうちの最大値、最小値、平均値、最頻値のうち1つであってもよい。そして、N番目のユニットの視点間動きベクトルは仮想デプス情報を用いて獲得され得る。一方、N番目のユニットがサブユニットを含む場合、各サブユニット別に視点間動きベクトルを獲得することができる。ここで、サブユニットは、N番目のユニットの下位予測ユニットであって、2N×N、N×2N、またはN×Nの大きさであってもよい。例えば、N番目のユニットがN×Nの大きさのサブユニットを4個含む場合、4個のサブユニットのそれぞれの仮想デプス情報を用いて4個の視点間動きベクトルを獲得することができる。
もし、N+1番目のユニットをワープするためのデプス情報が存在しない場合、ステップS1020のように、ステップS1030で獲得されたN番目のユニットの視点間動きベクトルを臨時視点間動きベクトルとして用いて、N+1番目のユニットをワープするための仮想デプス情報を獲得することができる。そして、ステップS1030のように、仮想デプス情報を用いてN+1番目のユニットの視点間動きベクトルを獲得することができる。
もし、N+1番目のユニットをワープするためのデプス情報が存在する場合、仮想デプス情報をこれ以上獲得しなくてもよい。
ステップS1010〜ステップS1030で獲得された視点間動きベクトルをアップデート(格納)することができる(S1040)。ここで、アップデートは、N番目のユニットを含む予測ユニットのデコーディング過程に用いられるために格納または記憶されることを示すことができる。そして、本ステップのアップデートされる視点間動きベクトルは、デプスブロックベクトル誘導情報を用いて獲得された視点間動きベクトルも含まれ得る。
例えば、ステップS1030で獲得された4つのサブユニットの視点間動きベクトルは、N番目のユニット以外の予測ユニットのデコーディング過程のためにアップデートされ得る。また、N番目のユニットに対応する視点間動きベクトルは、N番目のユニットの動きベクトルリストに含まれるようにアップデートされてもよい。
アップデートされた視点間動きベクトルは、予測ユニットのデコーディングに用いることができる(S1050(図示せず))。例えば、N番目のユニットの後にデコーディングされる予測ユニットに対応する視点間動きベクトルを獲得するために、アップデートされたサブユニットの視点間動きベクトルのうち1つを用いることができる。または、N番目のユニットの予測値を獲得するために、動きベクトルリストに含まれたN番目のユニットに対応する視点間動きベクトルを用いることもできる。
アップデートされた視点間動きベクトルが用いる一例として、視点合成予測においてN番目のユニットをワープするために用いられる視点間動きベクトルは、アップデートされた視点間動きベクトルのうち1つを用いて獲得され得る。
更に他の例として、視点合成予測においてN番目のユニットをワープするためのデプス情報を含むデプスブロックを指し示すために、アップデートされた視点間動きベクトルのうち1つを用いることができる。
アップデートされた視点間動きベクトルのうち1つを選択する方法は、視点間動きベクトルがアップデートされた順序によってインデックスを割り当て、視点間動きベクトル選択インデックスが示す視点間動きベクトルをデコーディングまたはワーピング過程に用いることができる。
以上で説明したように、本発明が適用されるデコーディング/エンコーディング装置は、DMB(Digital Multimedia Broadcasting)のようなマルチメディア放送送/受信装置に備えられ、ビデオ信号及びデータ信号などをデコーディングするのに用いることができる。また、マルチメディア放送送/受信装置は移動通信端末機を含むことができる。
また、本発明が適用されるデコーディング/エンコーディング方法は、コンピュータで実行されるためのプログラムとして製作され、コンピュータ可読記録媒体に格納することができ、本発明に係るデータ構造を有するマルチメディアデータも、コンピュータ可読記録媒体に格納することができる。コンピュータ可読記録媒体は、コンピュータシステムにより読み取られるデータが格納される全ての種類の格納装置を含む。コンピュータ可読記録媒体の例としては、ROM、RAM、CD−ROM、磁気テープ、フロッピーディスク、光データ格納装置などがあり、なお、搬送波(例えば、インターネットを介した伝送)の形態で具現されるものも含む。また、上記のエンコーティング方法により生成されたビットストリームは、コンピュータ可読記録媒体に格納されるか、または有/無線通信網を用いて伝送されてもよい。
本発明は、ビデオ信号をコーディングするのに用いることができる。



  1. 第1ユニットに対応する臨時視点間動きベクトルを獲得するステップと、
    前記臨時視点間動きベクトルを用いて、前記第1ユニットに対応する仮想デプス情報を獲得するステップと、
    前記第1ユニットに対応する仮想デプス情報を用いて、前記第1ユニットに対応する視点間動きベクトルを獲得するステップと、
    前記第1ユニットに対応する視点間動きベクトルをアップデートするステップと、を含むことを特徴とする、ビデオ信号処理方法。

  2. 前記臨時視点間動きベクトルは、前記第1ユニットの隣接ユニットに対応する視点間動きベクトルを用いて獲得される、請求項1に記載のビデオ信号処理方法。

  3. 前記仮想デプス情報は、前記第1ユニットと異なる視点のデプスブロックのデプス情報である、請求項1に記載のビデオ信号処理方法。

  4. 前記アップデートするステップは、
    前記第1ユニットに対応する視点間動きベクトルを前記第1ユニットの動きベクトルリストに含ませることをさらに含む、請求項1に記載のビデオ信号処理方法。

  5. 前記アップデートされた視点間動きベクトルを用いて、第2ユニットに対応する視点間動きベクトルを獲得するステップをさらに含む、請求項1に記載のビデオ信号処理方法。

  6. 前記第1ユニットに対応する視点間動きベクトルを用いて、第2ユニットに対応する臨時視点間動きベクトルを獲得するステップと、
    前記第2ユニットに対応する臨時視点間動きベクトルを用いて、前記第2ユニットに対応する仮想デプス情報を獲得するステップと、
    前記第2ユニットに対応する仮想デプス情報を用いて、前記第2ユニットに対応する視点間動きベクトルを獲得するステップと、をさらに含む、請求項1に記載のビデオ信号処理方法。

  7. 前記第2ユニットに対応する視点間動きベクトルをアップデートするステップをさらに含む、請求項5に記載のビデオ信号処理方法。

  8. 前記第1ユニットに対応する視点間動きベクトルを用いて第1仮想参照ブロックを獲得するステップをさらに含み、
    前記第1仮想参照ブロックは、視点合成予測のための仮想参照ピクチャ内に含まれる、請求項1に記載のビデオ信号処理方法。

  9. 第1ユニットに対応する臨時視点間動きベクトルを獲得し、前記臨時視点間動きベクトルを用いて、前記第1ユニットに対応する仮想デプス情報を獲得し、前記第1ユニットに対応する仮想デプス情報を用いて、前記第1ユニットに対応する視点間動きベクトルを獲得し、前記第1ユニットに対応する視点間動きベクトルをアップデートする、インター予測部を含む、ビデオ信号処理装置。

  10. 前記臨時視点間動きベクトルは、前記第1ユニットの隣接ユニットに対応する視点間動きベクトルを用いて獲得される、請求項9に記載のビデオ信号処理装置。

  11. 前記仮想デプス情報は、前記第1ユニットと異なる視点のデプスブロックのデプス情報である、請求項9に記載のビデオ信号処理装置。

  12. 前記インター予測部は、前記第1ユニットに対応する視点間動きベクトルを前記第1ユニットの動きベクトルリストに含ませる、請求項9に記載のビデオ信号処理装置。

  13. 前記インター予測部は、前記アップデートされた視点間動きベクトルを用いて、第2ユニットに対応する視点間動きベクトルを獲得する、請求項9に記載のビデオ信号処理装置。

  14. 前記インター予測部は、前記第1ユニットに対応する視点間動きベクトルを用いて、第2ユニットに対応する臨時視点間動きベクトルを獲得し、前記第2ユニットに対応する臨時視点間動きベクトルを用いて、前記第2ユニットに対応する仮想デプス情報を獲得し、前記第2ユニットに対応する仮想デプス情報を用いて、前記第2ユニットに対応する視点間動きベクトルを獲得する、請求項9に記載のビデオ信号処理装置。

  15. 前記インター予測部は、前記第2ユニットに対応する視点間動きベクトルをアップデートする、請求項14に記載のビデオ信号処理装置。

  16. 前記インター予測部は、前記第1ユニットに対応する視点間動きベクトルを用いて第1仮想参照ブロックを獲得し、
    前記第1仮想参照ブロックは、視点合成予測のための仮想参照ピクチャ内に含まれる、請求項9に記載のビデオ信号処理装置。

 

 

Patent trol of patentswamp
類似の特許
復号ピクチャバッファ(DPB)を複数のサブDPBに区分することと、マルチレイヤビデオコーディングプロセスの1つまたは複数のオペレーションポイントのための複数のサブDPBのためのサブDPBサイズの少なくとも1つの指示を受信することと、少なくとも1つの指示に基づいて複数のサブDPBのためのメモリスペースを割り振ることとを備えるビデオデータを復号する方法。
【選択図】図9
ビデオ処理デバイスは、ビデオデータを記憶するメモリと、アクセスユニットの第1のピクチャを備える第1のネットワークアブストラクションレイヤ(NAL)ユニットを受信することと、第1のNALユニットがイントラランダムアクセスポイント(IRAP)ピクチャを備えると決定したことに応答して、および、いかなる関連するリーディングピクチャも有しない瞬時復号リフレッシュ(IDR)ピクチャの存在を示す第1のNALユニットのためのNALユニットタイプに応答して、別のIRAPピクチャを備えるアクセスユニットの第2のNALユニットについて、いかなる関連するリーディングピクチャも有しないIDRピクチャの存在を示すNALユニットタイプとなるべき第2のNALユニットのためのNALユニットタイプを決定することと、第2のNALユニットのためのNALユニットタイプに基づいて、第1のNALユニットと第2のNALユニットとを処理することとを行うように構成された1つまたは複数のプロセッサとを含む。
特定の態様によるビデオ情報を符号化するための装置は、メモリとコンピューティングハードウェアとを含む。メモリは、ビデオ情報を記憶するように構成されている。コンピューティングハードウェアは、シグナリングするための1つまたは複数のビュー識別子のビット深度を決定するように構成されており、ここにおいて、1つまたは複数のビュー識別子のそれぞれは符号化されるべきレイヤに関連付けられている。コンピューティングハードウェアは、ビットストリーム内で1つまたは複数のビュー識別子のビット深度をシグナリングするようにさらに構成されている。
多様な実施形態によるインターレイヤビデオ復号化方法は、現在ブロックの、左側に位置する空間的周辺ブロック候補、上側に位置する空間的周辺ブロック候補、及びコロケーテッド位置の時間的周辺ブロック候補のうち、インターレイヤ方向の動きベクトルを有する周辺ブロック候補を検索する段階と、検索された周辺ブロック候補のインターレイヤ方向の動きベクトルを、現在ブロックのディスパリティベクトルと予測する段階と、インターレイヤ方向の動きベクトルを有する周辺ブロック候補が検索されない場合、空間的周辺ブロック候補のうち、ディスパリティベクトル情報を有する周辺ブロック候補を検索する段階と、検索された周辺ブロック候補のディスパリティベクトル情報を利用して、現在ブロックのディスパリティベクトルを予測する段階と、を含む。
本発明の実施例は画像処理方法及び装置を開示する。方法は、対象物のビデオ画像及び距離画像を収集するステップと、同じ瞬間におけるビデオ画像に対応するビデオ画像フレームを、ビデオ画像フレームにおける前景画像の輪郭を獲得するために、距離画像を使用することにより分割するステップと、ビデオ画像フレームに対応する符号化データを獲得するために、前景画像の輪郭に従って、ビデオ画像フレームにおける前景画像の輪郭の内側のビデオ画像のピクセルに対する第1の符号化、及びビデオ画像フレームにおける輪郭の外側のビデオ画像のピクセルに対する第2の符号化を実行するステップであって、第1の符号化の符号化レートが第2の符号化の符号化レートより高い、ステップと、ビデオ画像フレームに対応する符号化データ、及び前景画像の輪郭に対応する奥行きデータを出力するステップとを含む。本発明の実施例によれば、ビデオ画像伝送プロセスにおけるネットワーク帯域幅の占有率が下げられることができる。
ビデオデータをコーディングする方法は、ビデオ情報の1つまたは複数のレイヤを受け取ることを含む。各レイヤは、少なくとも1つのピクチャを含むことができる。この方法は、1つまたは複数のレイヤの少なくとも1つのピクチャに関連付けられたアクティブ参照レイヤピクチャの個数を決定することを含むことができる。この方法は、1つまたは複数のレイヤのうちの少なくとも1つに関連付けられた直接参照レイヤの個数を決定することをさらに含むことができる。直接参照レイヤの個数がアクティブ参照レイヤピクチャの個数と等しいことに基づいて、この方法は、ビデオパラメータセット(VPS)、シーケンスパラメータセット(SPS)、またはピクチャパラメータセット(PPS)のうちの少なくとも1つに関連付けられた任意のビデオスライス内でレイヤ間参照ピクチャ情報をさらにシグナリングすることを控えることをさらに含むことができる。それに加えてまたはその代わりに、直接参照レイヤの個数がアクティブ参照レイヤピクチャの個数と等しいことに基づいて、この方法は、ビデオパラメータセット(VPS)、シーケンスパラメータセット(SPS)、またはピクチャパラメータセット(PPS)のうちの少なくとも1つに関連付けられた任意のビデオスライスに関するすべての直接参照レイヤピクチャをレイヤ間参照ピクチャセットに追加することを含むことができる。
例示的なビデオコーディングデバイスは、ビュー間予測された動きベクトル候補(IPMVC)を動きベクトル継承(MVI)候補と比較するように構成され、IPMVCとMVI候補は各々、従属深度ビュー中のビデオデータのブロックと関連付けられ、IPMVCはベース深度ビュー中のビデオデータの対応するブロックから生成される。ビデオコーディングデバイスはさらに、IPMVCがMVI候補と異なることに基づいてIPMVCを統合候補リストに追加すること、または、IPMVCがMVI候補と同一であることに基づいて統合候補リストからIPMVCを除外することの1つを実行するように構成され得る。
ビットストリームから獲得された第1レイヤのカラー映像及び深さ映像の符号化情報に基づいて、第1レイヤのカラー映像及び深さ映像を復元し、第1レイヤの深さ映像から復号化される第2レイヤ映像の現在ブロックに対応する第1レイヤの深さ映像ブロックを決定し、決定された第1レイヤの深さ映像ブロックに含まれた領域が第1レイヤの深さ映像の境界を外れるか否かということを決定し、深さ映像ブロックに含まれた領域が第1レイヤの深さ映像の境界を外れる場合、深さ映像の境界を外れた領域の深さ値を決定し、決定された境界を外れた領域の深さ値に基づいて、現在ブロックに対する第1レイヤ映像の対応ブロックを示すディスパリティベクトルを決定し、ディスパリティベクトルを利用して、現在ブロックを復元するインターレイヤビデオ復号化方法について開示されている。
ビデオデータをコーディングするための高度残差予測(ARP)のための技法がビュー間ARPを含み得る。ビュー間ARPは、現在のビデオブロックのための視差動きベクトル(DMV)を識別することを含み得る。DMVは、ビュー間参照ビデオブロックに基づく現在のビデオブロックのビュー間予測のために使用される。ビュー間ARPのための技法はまた、ビュー間参照ビデオブロックの時間動きベクトル(TMV)に基づいて現在のビューと参照ビューとの中の時間参照ビデオブロックを識別することと、時間参照ビデオブロック間の差に基づいて残差予測子ブロックを決定することとを含み得る。
To top