ビデオ信号処理方法およびビデオ信号処理装置

 

【課題】ビデオ信号のコーディング効率を高めることを実現する。
【解決手段】本発明は、ビデオ信号処理方法および装置に関し、現ブロックの視点間動きベクトルを獲得し、視点間動きベクトルを用いて第1対応ブロックを獲得し、第1対応ブロックの予測方法を識別し、第1対応ブロックが時間インター予測でコーディングされていない場合、第2対応ブロックを獲得し、第2対応ブロックの時間動きベクトルを獲得し、第2対応ブロックの時間動きベクトルを用いて現ブロックの時間動きベクトルを獲得し、現ブロックの時間動きベクトルを用いて現ブロックをデコーディングすることができる。
【選択図】図4

 

 

本発明は、ビデオ信号のコーディング方法および装置に関する。
圧縮符号化とは、デジタル化した情報を通信回線を介して伝送したり、格納媒体に適した形態で格納したりする一連の信号処理技術を意味する。圧縮符号化の対象としては、音声、映像、文字などが存在し、特に、映像を対象として圧縮符号化を行う技術をビデオ映像圧縮と称する。多視点ビデオ映像の一般的な特徴は、空間的冗長性、時間的冗長性および視点間冗長性を有する点にある。
本発明の目的は、ビデオ信号のコーディング効率を高めることにある。
本発明は、対応ブロックの予測方法を通じて、対応ブロックが時間インター予測でコーディングされたか否かを識別し、対応ブロックが時間インター予測でコーディングされた場合、対応ブロックの時間動きベクトルを用いて現ブロックの時間動きベクトルを獲得することを特徴とする。
また、本発明は、対応ブロックが時間インター予測でコーディングされていない場合、現ブロックの視点間動きベクトルを修正して、識別された対応ブロックとは異なる対応ブロックを獲得することを特徴とする。
本発明で達成しようとする技術的課題は、以上で言及した技術的課題に制限されず、言及していない他の技術的課題は、下記の記載から、本発明の属する技術分野における通常の知識を有する者に明確に理解されるであろう。
本発明は、最初の対応ブロックに対応する時間動きベクトルがない場合にも、時間動きベクトルがある対応ブロックを獲得することによって、現ブロックの時間動きベクトルが獲得されない場合が発生しないようにすることができる。
本発明から得られる効果は、以上で言及した効果に制限されず、言及していない他の効果は、下記の記載から、本発明の属する技術分野における通常の知識を有する者に明確に理解されるであろう。
本発明が適用される実施例であって、デプスコーディングが適用される放送受信器の内部ブロック図である。 本発明が適用される一実施例であって、ビデオデコーダの概略ブロック図である。 本発明が適用される一実施例であって、現ブロックの動きベクトルを獲得して現ブロックをデコーディングする実施例のフローチャートである。 本発明が適用される一実施例であって、現ブロックの時間動きベクトルを獲得して現ブロックをデコーディングする一実施例を示す図である。 本発明が適用される一実施例であって、現ブロックの時間動きベクトルを獲得して現ブロックをデコーディングする一実施例のフローチャートである。 本発明が適用される一実施例であって、現ブロックの時間動きベクトルを獲得して現ブロックをデコーディングする一実施例のフローチャートである。
本発明は、現ブロックの視点間動きベクトルを獲得し、視点間動きベクトルを用いて第1対応ブロックを獲得し、第1対応ブロックの予測方法を識別し、第1対応ブロックが時間インター予測でコーディングされていない場合、第2対応ブロックを獲得し、第2対応ブロックの時間動きベクトルを獲得し、第2対応ブロックの時間動きベクトルを用いて現ブロックの時間動きベクトルを獲得し、現ブロックの時間動きベクトルを用いて現ブロックをデコーディングするビデオ信号処理方法および装置である。
また、本発明は、第2対応ブロックを獲得するために視点間動きベクトルを修正し、修正された視点間動きベクトルを用いて第2対応ブロックを獲得するビデオ信号処理方法および装置である。
また、本発明は、第1対応ブロックが時間インター予測でコーディングされた場合、第1対応ブロックの時間動きベクトルを獲得し、第1対応ブロックの時間動きベクトルを用いて現ブロックの時間動きベクトルを獲得するビデオ信号処理方法および装置である。
また、本発明は、現ブロックの視点間動きベクトルは、現ブロックの隣接ブロックから獲得されることを特徴とするビデオ信号処理方法および装置である。
また、本発明は、現ブロックの視点間動きベクトルは、現ブロックに対応するデプスブロックのデプス(深度、奥行)(depth)値を用いて獲得されることを特徴とするビデオ信号処理方法および装置である。
多視点ビデオ信号データを圧縮符号化または復号化する技術は、空間的冗長性、時間的冗長性および視点間に存在する冗長性を考慮している。また、多視点映像の場合、3次元映像を具現するために2つ以上の視点で撮影された多視点テクスチャ映像をコーディングすることができる。また、必要に応じて、多視点テクスチャ映像に対応するデプスデータをさらにコーディングすることもできる。勿論、デプスデータをコーディングする際、空間的冗長性、時間的冗長性または視点間冗長性を考慮して圧縮コーディングできる。デプスデータは、カメラと当該画素との間の距離情報を表現したものであり、本明細書内において、デプスデータは、デプス情報、デプス映像、デプスピクチャ、デプスシーケンス、デプスビットストリームなどのように、デプスに関連する情報として柔軟に解釈することができる。また、本明細書においてコーディングとは、エンコーディングおよびデコーディングの概念を全て含むことができ、本発明の技術的思想および技術的範囲によって柔軟に解釈することができる。
図1は、本発明が適用される実施例であって、デプスコーディングが適用される放送受信器の内部ブロック図を示す。
本実施例に係る放送受信器は、地上波放送信号を受信して映像を再生するためのものである。上記放送受信器は、受信したデプス関連情報を用いて3次元コンテンツを生成することができる。上記放送受信器は、チューナ100、復調/チャネルデコーダ102、トランスポート逆多重化部104、パケット解除部106、オーディオデコーダ108、ビデオデコーダ110、PSI/PSIP処理部114、3Dレンダリング部116、フォーマッタ120およびディスプレイ部122を含む。
チューナ100は、アンテナ(図示せず)を介して入力される多数の放送信号のうち、ユーザが選局したいずれか1つのチャネルの放送信号を選択して出力する。復調/チャネルデコーダ102は、チューナ100からの放送信号を復調し、復調された信号に対してエラー訂正デコーディングを行ってトランスポートストリーム(TS)を出力する。トランスポート逆多重化部104は、トランスポートストリームを逆多重化して、ビデオPESとオーディオPESとを分離し、PSI/PSIP情報を抽出する。パケット解除部106は、ビデオPESおよびオーディオPESに対してパケットを解除し、ビデオESおよびオーディオESを復元する。オーディオデコーダ108は、オーディオESをデコーディングしてオーディオビットストリームを出力する。オーディオビットストリームは、デジタル−アナログ変換器(図示せず)によってアナログ音声信号に変換され、増幅器(図示せず)によって増幅された後、スピーカ(図示せず)を介して出力される。ビデオデコーダ110は、ビデオESをデコーディングして元の映像を復元する。上記オーディオデコーダ108および上記ビデオデコーダ110のデコーディング手順(過程)(procedure)は、PSI/PSIP処理部114によって確認されるパケットID(PID)をベースとして行われてもよい。デコーディング手順において、上記ビデオデコーダ110はデプス情報を抽出することができる。また、仮想カメラ視点の映像を生成するのに必要な付加情報、例えば、カメラ情報、または相対的に前にある客体によって遮られる領域(Occlusion)を推定するための情報(例えば、客体の輪郭などの幾何学的情報、客体の透明度情報およびカラー情報)などを抽出して3Dレンダリング部116に提供することができる。しかし、本発明の他の実施例においては、上記デプス情報および/または付加情報がトランスポート逆多重化部104によって分離されてもよい。
PSI/PSIP処理部114は、トランスポート逆多重化部104からのPSI/PSIP情報を受信し、これをパージングしてメモリ(図示せず)またはレジスタに格納することによって、格納された情報をベースとして放送が再生されるようにする。3Dレンダリング部116は、復元された映像、デプス情報、付加情報およびカメラパラメータを用いて、仮想カメラ位置でのカラー情報、デプス情報などを生成することができる。
また、3Dレンダリング部116は、復元された映像、および上記復元された映像に対するデプス情報を用いて3Dワーピング(Warping)を行うことによって、仮想カメラ位置での仮想映像を生成する。本実施例では、上記3Dレンダリング部116が上記ビデオデコーダ110と別個のブロックとして構成されて説明されているが、これは一実施例に過ぎず、上記3Dレンダリング部116は、上記ビデオデコーダ110に含まれてもよい。
フォーマッタ120は、デコーディング手順で復元した映像、すなわち、実際にカメラによって撮影された映像、および3Dレンダリング部116によって生成された仮想映像を当該受信器でのディスプレイ方式に合わせてフォーマットし、ディスプレイ部122を介して3D映像が表示されるようにする。ここで、上記3Dレンダリング部116による仮想カメラ位置でのデプス情報および仮想映像の合成、そして、フォーマッタ120による映像フォーマットが、ユーザの命令に応答して選択的に行われてもよい。すなわち、視聴者は、リモコン(図示せず)を操作して合成映像が表示されないようにしてもよく、映像合成が行われる時点を指定することもできる。
上記で説明したように、3D映像を生成するために、デプス情報は3Dレンダリング部116で用いられているが、他の実施例として、上記ビデオデコーダ110で用いられてもよい。以下では、上記ビデオデコーダ110でデプス情報を用いる様々な実施例を説明する。
図2は、本発明が適用される実施例であって、ビデオデコーダの概略ブロック図を示す。
図2を参照すると、上記ビデオデコーダ110は、大体、エントロピーデコーディング部210、逆量子化部220、逆変換部230、デブロッキングフィルタ部240、復号ピクチャバッファ部250、インター予測部260およびイントラ予測部270を含むことができる。ここで、実線はカラーピクチャデータの流れを意味し、点線はデプスピクチャデータの流れを意味する。このように、図2では、カラーピクチャデータとデプスピクチャデータとを分け(区分し)て示したが、これは、別個のビットストリームを意味し得るか、または、1つのビットストリーム内でデータの流れのみを分けたものと見ることもできる。すなわち、上記カラーピクチャデータと上記デプスピクチャデータとは、1つのビットストリームまたは別個のビットストリームとして送信(伝送)(transmit)されてもよく、図2では、データの流れを示しているだけで、1つのデコーダ内で全て行われるものに限定されない。
まず、受信したデプスビットストリーム200を復号するために、NAL単位でパージングを行う。このとき、NALヘッダ領域、NALヘッダの拡張領域、シーケンスヘッダ領域(例えば、シーケンスパラメータセット)、シーケンスヘッダの拡張領域、ピクチャヘッダ領域(例えば、ピクチャパラメータセット)、ピクチャヘッダの拡張領域、スライスヘッダ領域、スライスヘッダの拡張領域、スライスデータ領域、またはマクロブロック領域には、デプスに関連する種々の属性情報が含まれてもよい。デプスコーディングには、別個のコーデックが用いられてもよいが、既存のコーデックと互換であれば、デプスビットストリームである場合に限って、デプスに関連する種々の属性情報を追加することがより効率的であり得る。例えば、上記シーケンスヘッダ領域(例えば、シーケンスパラメータセット)またはシーケンスヘッダの拡張領域において、デプスビットストリームであるか否かを識別できるデプス識別情報を追加することができる。上記デプス識別情報に応じて、入力されたビットストリームがデプスコーディングされたビットストリームである場合に限って、デプスシーケンスに関する属性情報を追加することができる。
パージングされたデプスビットストリーム200は、エントロピーデコーディング部210を介してエントロピーデコーディングされ、各マクロブロックの係数、動きベクトルなどが抽出される。逆量子化部220は、受信して量子化された値に一定の定数を乗じて変換された係数値を獲得し、逆変換部230は、上記係数値を逆変換してデプスピクチャのデプス情報を復元するようになる。イントラ予測部270は、現デプスピクチャの復元されたデプス情報を用いて画面内予測を行う。一方、デブロッキングフィルタ部240は、ブロック歪み現象を減少させるために、それぞれのコーディングされたマクロブロックにデブロッキングフィルタリングを適用する。フィルタは、ブロックの縁部を滑らかにすることで、デコーディングされたフレームの画質を向上させる。フィルタリング手順の選択は、境界の強度(boundary strength)および境界の周囲のイメージサンプルの変化度(gradient)によって左右される。フィルタリングを経たデプスピクチャは、出力されたり、参照ピクチャとして用いるために復号ピクチャバッファ部250に格納されたりする。
復号ピクチャバッファ部(Decoded Picture Buffer unit)250は、画面間予測を行うために、以前にコーディングされたデプスピクチャを格納したり開放したりする役割などを行う。このとき、復号ピクチャバッファ部250に格納したり開放したりするために、各ピクチャのframe_numおよびPOC(Picture Order Count)を用いる。したがって、デプスコーディングにおいて、上記以前にコーディングされたピクチャの中には現デプスピクチャと異なる視点にあるデプスピクチャもあるので、このようなピクチャを参照ピクチャとして活用するためには、上記frame_numおよびPOCだけでなく、デプスピクチャの視点を識別するデプス視点情報も共に用いることができる。
また、上記復号ピクチャバッファ部250は、デプスピクチャの視点間予測のための参照ピクチャリストを生成するために、デプス視点に関する情報を用いることができる。例えば、デプス−ビュー(視点)参照情報(depth-view reference information)を用いることができる。デプス−ビュー参照情報とは、デプスピクチャの視点間依存関係を示すために用いられる情報のことをいう。例えば、全デプス視点の数、デプス視点識別番号、デプス−ビュー参照ピクチャの数、デプス−ビュー参照ピクチャのデプス視点識別番号などがあり得る。
上記復号ピクチャバッファ部250は、より柔軟に画面間予測を実現するために参照ピクチャを管理する。例えば、適応メモリ管理方法(Memory Management Control Operation Method)および移動ウィンドウ方法(Sliding Window Method)を用いることができる。これは、参照ピクチャおよび非参照ピクチャのメモリを1つのメモリに統一して管理し、少ないメモリで効率的に管理するためである。デプスコーディングにおいて、デプスピクチャは、復号ピクチャバッファ部内でカラーピクチャと区別するために別の指示(indication)でマークされてもよく、上記マーキング手順で各デプスピクチャを識別するための情報が用いられてもよい。このような手順を通じて管理される参照ピクチャは、インター予測部260においてデプスコーディングに用いられてもよい。
図2を参照すると、インター予測部260は、動き補償部261、仮想視点合成部262およびデプスピクチャ生成部263を含むことができる。
動き補償部261は、エントロピーデコーディング部210から送信された情報を用いて現ブロックの動きを補償する。ビデオ信号から現ブロックに隣接するブロックの動きベクトルを抽出し、上記現ブロックの動きベクトル予測値を獲得する。上記動きベクトル予測値および上記ビデオ信号から抽出される差分(difference)ベクトルを用いて、現ブロックの動きを補償する。また、このような動き補償は、1つの参照ピクチャを用いて行われてもよく、または複数のピクチャを用いて行われてもよい。デプスコーディングにおいて、現デプスピクチャが異なる視点にあるデプスピクチャを参照する場合、上記復号ピクチャバッファ部250に格納されているデプスピクチャの視点間予測のための参照ピクチャリストに関する情報を用いて、動き補償を行うことができる。また、そのデプスピクチャの視点を識別するデプス視点情報を用いて、動き補償を行ってもよい。
また、仮想視点合成部(Virtual View Synthesizing Unit)262は、現カラーピクチャの視点に隣接する視点のカラーピクチャを用いて仮想視点のカラーピクチャを合成する。互いに隣接する視点のカラーピクチャを用いるため、または所望の特定の視点のカラーピクチャを用いるために、上記カラーピクチャの視点を示す視点識別情報を用いることができる。上記仮想視点のカラーピクチャを生成する場合、上記仮想視点のカラーピクチャを生成するか否かを示すフラグ情報を定義することができる。上記フラグ情報が、上記仮想視点のカラーピクチャを生成することを示す場合、上記視点識別情報を用いて仮想視点のカラーピクチャを生成することができる。上記仮想視点合成部262を介して獲得された仮想視点のカラーピクチャは、レファレンス(参照)ピクチャとして用いられてもよく、この場合、勿論、上記仮想視点のカラーピクチャにも上記視点識別情報を割り当てることができる。
他の実施例として、上記仮想視点合成部262は、現デプスピクチャの視点に隣接する視点にあるデプスピクチャを用いて、仮想視点のデプスピクチャを合成することができる。同様に、デプスピクチャの視点を示すためにデプス視点識別情報を用いることができる。ここで、上記デプス視点識別情報は、対応するカラーピクチャの視点識別情報から誘導され得る。例えば、上記対応するカラーピクチャは、現デプスピクチャと同一のピクチャ出力順序情報および同一の視点識別情報を有することができる。
デプスピクチャ生成部263は、デプスコーディング情報を用いて現デプスピクチャを生成することができる。ここで、上記デプスコーディング情報は、カメラと客体との間の距離を示す距離変数(例えば、カメラ座標系上のZ座標値など)、デプスコーディングのためのマクロブロックタイプ情報、デプスピクチャ内の境界線識別情報、RBSP内のデータがデプスコーディングされたデータを含んでいるか否かを示す情報、または、データタイプがデプスピクチャデータであるか、カラーピクチャデータであるか、もしくはパララックス(視差)(parallax)データであるかを示す情報などを含むことができる。また、上記デプスコーディング情報を用いて現デプスピクチャを予測することもできる。すなわち、現デプスピクチャに隣接するデプスピクチャを用いたインター予測が可能であり、現デプスピクチャ内のデコーディングされたデプス情報を用いたイントラ予測が可能である。
上述した動き補償部261は、現ブロックの隣接視点に位置する対応ブロックから動きベクトル予測値を獲得することもできる。ここで、対応ブロックは、現ブロックが位置する現在の視点とは異なる視点に位置するブロックとして定義することができる。対応ブロックは、現ブロックに対応する視点間動きベクトルを用いて獲得したり、その位置を特定したりすることができる。本発明において、対応ブロックは、第1対応ブロック〜第6対応ブロックを含むことができる。動き補償部261は、対応ブロックが時間インター予測でコーディングされた場合に、対応ブロックの動きベクトルを予測値として獲得することができる。しかし、対応ブロックがイントラ予測でコーディングされた場合、対応ブロックの動きベクトルを用いることができない。
これによって、本発明では、対応ブロックが動きベクトルを有していない場合に、現ブロックの動きベクトルを獲得して現ブロックをデコーディングする方法、およびその方法を用いる装置を提案する。
図3は、本発明が適用される一実施例であって、現ブロックの動きベクトルを獲得して現ブロックをデコーディングする実施例のフローチャートを示したものである。
現ブロックに対応する第1視点間動きベクトルを獲得することができる(S310)。ここで、第1視点間動きベクトルは、現ブロックから参照視点の参照ピクチャ内の対応ブロックを指示する動きベクトルとして定義することができる。第1視点間動きベクトルは、現ブロックに隣接する隣接ブロックの視点間動きベクトルを用いて獲得され得る。または、第1視点間動きベクトルは、現ブロックに対応するデプスブロックのデプス値を用いて獲得されてもよい。
視点間動きベクトルを用いて対応ブロックを獲得することができる(S320)。ここで、対応ブロックは、現在の視点に隣接する参照視点の参照ピクチャ内のブロックであって、視点間動きベクトルに対応するブロックを示すことができる。本発明において、視点間動きベクトルは、ステップS310で獲得された視点間動きベクトルだけでなく、後述するステップS340で修正された視点間動きベクトルを含む。また、本発明において、対応ブロックは、ステップS310で獲得された第1視点間動きベクトルに対応する第1対応ブロック、およびステップS340で修正された視点間動きベクトルに対応する第2対応ブロックを含むことができる。動き補償部261は、視点間動きベクトルを現ブロックに対応させて、対応ブロックの位置を特定し獲得することができる。
対応ブロックの予測方法を識別することができる(S330)。対応ブロックの予測方法は、イントラ予測とインター予測とに分けることができる。詳細には、対応ブロックの予測方法は、イントラ予測、視点間インター予測または時間インター予測などに分けることができる。対応ブロックの予測方法は、予測タイプ情報、対応ブロックに対応する動きベクトル情報、または参照ピクチャ情報などを用いて識別されてもよい。
予測タイプ情報は、どのような予測方法によって対応ブロックがコーディングされたかを示す情報として定義することができる。したがって、予測タイプ情報が示す予測方法に応じて対応ブロックの予測方法を識別することができる。例えば、予測タイプ情報が時間インター予測を示す場合、対応ブロックが時間インター予測でコーディングされたことを識別することができる。
動きベクトル情報は、対応ブロックの動きベクトルの有無、視点間動きベクトルであるか否か、および時間動きベクトルであるか否かなどの情報を少なくとも1つ含むと定義することができる。例えば、動きベクトル情報が、対応ブロックの動きベクトルがあり、動きベクトルが時間動きベクトルであることを示す場合、対応ブロックが時間インター予測でコーディングされたことを識別することができる。
参照ピクチャ情報は、対応ブロックの参照ピクチャの有無、参照ピクチャが対応ブロックと同一の視点にあるか否かなどの情報を少なくとも1つ含むと定義することができる。例えば、参照ピクチャ情報が、対応ブロックの参照ピクチャがあり、参照ピクチャが対応ブロックと同一の視点にあることを示す場合、対応ブロックが時間インター予測でコーディングされたことを識別することができる。
対応ブロックが時間インター予測でコーディングされていない場合、現ブロックの視点間動きベクトルを修正することができる(S340)。対応ブロックが時間インター予測でコーディングされず、イントラ予測または視点間インター予測でコーディングされた場合に、現ブロックの時間動きベクトルを獲得するための時間動きベクトルが存在しないことがある。したがって、対応ブロックが時間インター予測でコーディングされていない場合、他の対応ブロックを獲得するために、現ブロックの視点間動きベクトルを修正することができる。修正された視点間動きベクトルを第2視点間動きベクトルとして定義することができる。以下では、現ブロックの視点間動きベクトルを修正する一例について説明する。
現ブロックの視点間動きベクトルは、予め決定された視点間動きベクトル修正情報を用いて修正されてもよい。予め決定された視点間動きベクトル修正情報は、現在の視点の視点間動きベクトルに適用されて、修正された視点間動きベクトルを生成するために用いられるもので、修正された視点間動きベクトルと、最初に獲得された現在の視点の視点間動きベクトルとの差として定義することができる。
したがって、視点間動きベクトル修正情報を獲得し、視点間動きベクトル修正情報を、最初に獲得した現ブロックの視点間動きベクトルに適用することで、修正された視点間動きベクトルを獲得することができる。例えば、修正された視点間動きベクトルは、最初に獲得された現ブロックの視点間動きベクトルの左側または右側を指示することができる。
修正された視点間動きベクトルを用いて、最初に獲得した対応ブロックと異なる位置の対応ブロック(以下、第2対応ブロックという)を獲得することができる。そして、第2対応ブロックの予測方法を識別して(ステップS330と同一の方法で対応ブロックの予測方法を識別できる)、第2対応ブロックが時間インター予測でコーディングされた場合、ステップS350を実行して対応ブロックの時間動きベクトルを獲得することができる。もし、第2対応ブロックが時間インター予測でコーディングされていない場合、また、他の対応ブロック(第N対応ブロック)を獲得するために、現ブロックの視点間動きベクトルを再び修正することができる。
ステップS340は、時間インター予測でコーディングされた対応ブロックが識別されるまで行うことができる。更に他の実施例として、ステップS340は、予め決定された回数だけ、時間インター予測でコーディングされた対応ブロックを識別し、予め決定された回数内で、時間インター予測でコーディングされた対応ブロックを識別できなかった場合に、修正を中断することもできる。
対応ブロックが時間インター予測でコーディングされた場合、対応ブロックの時間動きベクトルを獲得することができる(S350)。対応ブロックが時間インター予測でコーディングされた場合、対応ブロックは、時間動きベクトルを含む動き情報を含むことができる。ここで、時間動きベクトルは、対応ブロックと同一の視点、異なる時間の参照ピクチャ内の参照ブロックを指示する動きベクトルとして定義することができる。
対応ブロックの時間動きベクトルを用いて、現ブロックの時間動きベクトルを獲得することができる(S360)。現ブロックの時間動きベクトルは、対応ブロックの時間動きベクトルを予測値として用い、動きベクトルの残差(レジデュアル)(residual)を用いて獲得され得る。または、現ブロックの時間動きベクトルは、対応ブロックの時間動きベクトルをそのまま用いて獲得されてもよい。ここで、動きベクトルの残差は、元の動きベクトルと、動きベクトル予測値との差として定義することができる。動きベクトルの残差は、ビットストリームから獲得することができる。
現ブロックの時間動きベクトルを用いて、現ブロックをデコーディングすることができる(S370)。例えば、時間動きベクトルが指示する参照ブロックのピクセル値を予測値として獲得し、予測値を用いて現ブロックのピクセル値を獲得することができる。
図4は、本発明が適用される一実施例であって、現ブロックの時間動きベクトルを獲得して現ブロックをデコーディングする一実施例を示したものである。
現ブロック410は、現在の視点V1の現ピクチャ420に含まれている。そして、現ブロックの視点間動きベクトル430が獲得されると、視点間動きベクトル430が指示する第1対応ブロック440を獲得することができる。もし、第1対応ブロック440が時間動きベクトルを用いてコーディングされたブロックではない場合、現ブロックの視点間動きベクトル430を修正し、修正された視点間動きベクトル450を獲得することができる。そして、修正された視点間動きベクトル450が指示する第2対応ブロック460を獲得することができる。第2対応ブロック460の時間インター予測に用いられる時間動きベクトル470を獲得することができる。獲得された第2対応ブロックの時間動きベクトル470を用いて現ブロックの時間動きベクトル480を獲得することができる。時間動きベクトル480を用いた時間インター予測を通じて、現ブロックをデコーディングすることができる。
以下では、現ブロックの時間動きベクトルを獲得して現ブロックをデコーディングする更に他の実施例について、図5および図6を用いて説明する。図5および図6の実施例では、現ブロックに対応する視点間動きベクトルが少なくとも2つ以上存在することを仮定する。
図5は、本発明が適用される一実施例であって、現ブロックの時間動きベクトルを獲得して現ブロックをデコーディングする一実施例のフローチャートを示したものである。
現ブロックに対応する複数の視点間動きベクトルを獲得することができる(S510)。現ブロックに対応する複数の視点間動きベクトルは、現ブロックに対応する、それぞれ異なる視点間動きベクトルを示すことができる。例えば、現ブロックに対応する複数の視点間動きベクトルは、第3視点間動きベクトルおよび第4視点間動きベクトルを含むことができる。一例として、第3視点間動きベクトルが、現ブロックに隣接する隣接ブロックの視点間動きベクトルを用いて獲得される場合に、第4視点間動きベクトルは、現ブロックに対応するデプスブロックのデプス値を用いて獲得されてもよい。他の一例として、第3視点間動きベクトルが現ブロックに対応するデプスブロックのデプス値を用いて獲得される場合に、第4視点間動きベクトルは、現ブロックに隣接する隣接ブロックの視点間動きベクトルを用いて獲得されてもよい。他の一例として、第4視点間動きベクトルは、第3視点間動きベクトルを修正して獲得されてもよい。
第3視点間動きベクトルを用いて第3対応ブロックを獲得することができる(S520)。第3対応ブロックは、現ブロックに第3視点間動きベクトルを対応させて指示される、現在の視点に隣接する参照視点の参照ピクチャ内のブロックを示すことができる(The third corresponding block may correspond to a block in a reference picture of a neighboring reference view of a current view, which is indicated in a manner of making the third interview motion vector correspond to the current block)。
第3対応ブロックの予測方法を識別することができる(S530)。第3対応ブロックの予測方法は、イントラ予測とインター予測とに分けることができる。詳細には、対応ブロックの予測方法は、イントラ予測、視点間インター予測または時間インター予測などに分けることができる。対応ブロックの予測方法は、予測タイプ情報、対応ブロックに対応する動きベクトル情報、または参照ピクチャ情報などを用いて識別されてもよい。予測方法を識別する方法は、図3のS340で説明した方法と同一である。
第3対応ブロックが時間インター予測でコーディングされた場合、第3対応ブロックの時間動きベクトルを獲得し(S540)、第3対応ブロックの時間動きベクトルを用いて現ブロックの時間動きベクトルを獲得することができる(S550)。現ブロックの時間動きベクトルは、第3対応ブロックの時間動きベクトルを予測値として用い、動きベクトルの残差を用いて獲得され得る。または、現ブロックの時間動きベクトルは、第3対応ブロックの時間動きベクトルをそのまま用いて獲得されてもよい。
第3対応ブロックが時間インター予測でコーディングされていない場合、第4対応ブロックの時間動きベクトルを獲得することができる(S560)。第4対応ブロックは、現ブロックに第4視点間動きベクトルを対応させて指示される(indicated in a manner of making a fourth interview motion vector correspond to the current block)、現在の視点に隣接する参照視点の参照ピクチャ内のブロックを示すことができる。
第4対応ブロックの時間動きベクトルを用いて現ブロックの時間動きベクトルを獲得することができる(S570)。現ブロックの時間動きベクトルは、第4対応ブロックの時間動きベクトルを予測値として用い、動きベクトルの残差を用いて獲得され得る。または、現ブロックの時間動きベクトルは、第4対応ブロックの時間動きベクトルをそのまま用いて獲得されてもよい。
現ブロックの時間動きベクトルを用いて現ブロックをデコーディングすることができる(S580)。例えば、時間動きベクトルが指示する参照ブロックのピクセル値を予測値として獲得し、予測値を用いて現ブロックのピクセル値を獲得することができる。
図6は、本発明が適用される一実施例であって、現ブロックの時間動きベクトルを獲得して現ブロックをデコーディングする一実施例のフローチャートを示したものである。
現ブロックの第5視点間動きベクトルを獲得することができる(S610)。第5視点間動きベクトルは、現ブロックに対応する視点間動きベクトルであって、現ブロックから参照視点の参照ピクチャ内の対応ブロックを指示する動きベクトルとして定義することができる。第5視点間動きベクトルは、現ブロックに隣接する隣接ブロックの視点間動きベクトルを用いて獲得され得る。または、第5視点間動きベクトルは、現ブロックに対応するデプスブロックのデプス値を用いて獲得されてもよい。
第5視点間動きベクトルを用いて第5対応ブロックを獲得することができる(S620)。第5対応ブロックは、現ブロックに第5視点間動きベクトルを対応させて指示される(indicated in a manner of making a fifth interview motion vector correspond to the current block)、現在の視点に隣接する参照視点の参照ピクチャ内のブロックを示すことができる。
第5対応ブロックの予測方法を識別することができる(S630)。第5対応ブロックの予測方法は、イントラ予測とインター予測とに分けることができる。詳細には、対応ブロックの予測方法は、イントラ予測、視点間インター予測または時間インター予測などに分けることができる。対応ブロックの予測方法は、予測タイプ情報、対応ブロックに対応する動きベクトル情報、または参照ピクチャ情報などを用いて識別されてもよい。予測方法を識別する方法は、図3のS340で説明した方法と同一である。
第5対応ブロックが時間インター予測でコーディングされた場合、第5対応ブロックの時間動きベクトルを獲得し(S640)、第5対応ブロックの時間動きベクトルを用いて現ブロックの時間動きベクトルを獲得することができる(S650)。現ブロックの時間動きベクトルは、第5対応ブロックの時間動きベクトルを予測値として用い、動きベクトルの残差を用いて獲得され得る。または、現ブロックの時間動きベクトルは、第5対応ブロックの時間動きベクトルをそのまま用いて獲得されてもよい。
第5対応ブロックが時間インター予測でコーディングされていない場合、現ブロックの第6視点間動きベクトルを獲得することができる(S660)。第6視点間動きベクトルは、現ブロックに対応する視点間動きベクトルであって、現ブロックから参照視点の参照ピクチャ内の対応ブロックを指示する動きベクトルとして定義することができる。第6視点間動きベクトルは、現ブロックに隣接する隣接ブロックの視点間動きベクトルを用いて獲得され得る。または、第6視点間動きベクトルは、現ブロックに対応するデプスブロックのデプス値を用いて獲得されてもよい。または、第6視点間動きベクトルは、第5視点間動きベクトルを修正して獲得されてもよい。
第6対応ブロックの時間動きベクトルを獲得することができる(S670)。第6対応ブロックは、現ブロックに第6視点間動きベクトルを対応させて指示される(indicated in a manner of making a sixth interview motion vector correspond to the current block)、現在の視点に隣接する参照視点の参照ピクチャ内のブロックを示すことができる。
第6対応ブロックの時間動きベクトルを用いて現ブロックの時間動きベクトルを獲得することができる(S680)。現ブロックの時間動きベクトルは、第6対応ブロックの時間動きベクトルを予測値として用い、動きベクトルの残差を用いて獲得され得る。または、現ブロックの時間動きベクトルは、第6対応ブロックの時間動きベクトルをそのまま用いて獲得されてもよい。
現ブロックの時間動きベクトルを用いて現ブロックをデコーディングすることができる(S690)。例えば、時間動きベクトルが指示する参照ブロックのピクセル値を予測値として獲得し、予測値を用いて現ブロックのピクセル値を獲得することができる。
以上で説明したように、本発明が適用されるデコーディング/エンコーディング装置は、DMB(Digital Multimedia Broadcasting)などのマルチメディア放送送受信装置に備えられ、ビデオ信号およびデータ信号などをデコーディングするのに用いることができる。また、上記マルチメディア放送送受信装置は、移動通信端末機を含むことができる。
また、本発明が適用されるデコーディング/エンコーディング方法は、コンピュータで実行されるプログラムとして製作され、コンピュータ読取可能記録媒体に格納することができ、本発明に係るデータ構造を有するマルチメディアデータも、コンピュータ読取可能記録媒体に格納することができる。上記コンピュータ読取可能記録媒体は、コンピュータシステムにより読み取られるデータが格納される全ての種類の格納装置を含む。コンピュータ読取可能記録媒体の例としては、ROM、RAM、CD−ROM、磁気テープ、フロッピー(登録商標)ディスク、光データ格納装置などがあり、なお、搬送波(例えば、インターネットを介した伝送)の形態で具現されるものも含む。また、上記エンコーティング方法により生成されたビットストリームは、コンピュータ読取可能記録媒体に格納されるか、または有/無線通信網を用いて伝送されてもよい。
本発明は、ビデオ信号をコーディングするのに用いることができる。



  1. 現ブロックの視点間動きベクトルを獲得するステップと、
    前記視点間動きベクトルを用いて第1対応ブロックを獲得するステップと、
    前記第1対応ブロックの予測方法を識別するステップと、
    前記第1対応ブロックが時間インター予測でコーディングされていない場合、第2対応ブロックを獲得するステップと、
    前記第2対応ブロックの時間動きベクトルを獲得するステップと、
    前記第2対応ブロックの時間動きベクトルを用いて前記現ブロックの時間動きベクトルを獲得するステップと、
    前記現ブロックの時間動きベクトルを用いて現ブロックをデコーディングするステップと、を有する、ビデオ信号処理方法。

  2. 前記第2対応ブロックを獲得するステップは、
    前記視点間動きベクトルを修正するステップと、
    前記修正された視点間動きベクトルを用いて前記第2対応ブロックを獲得するステップと、を有する、請求項1に記載のビデオ信号処理方法。

  3. 前記第1対応ブロックが時間インター予測でコーディングされた場合、前記第1対応ブロックの時間動きベクトルを獲得するステップと、
    前記第1対応ブロックの時間動きベクトルを用いて前記現ブロックの時間動きベクトルを獲得するステップと、をさらに有する、請求項1に記載のビデオ信号処理方法。

  4. 前記現ブロックの視点間動きベクトルは、前記現ブロックの隣接ブロックから獲得される、請求項1に記載のビデオ信号処理方法。

  5. 前記現ブロックの視点間動きベクトルは、前記現ブロックに対応するデプスブロックのデプス値を用いて獲得される、請求項1に記載のビデオ信号処理方法。

  6. 現ブロックの視点間動きベクトルを獲得し、前記視点間動きベクトルを用いて第1対応ブロックを獲得し、前記第1対応ブロックの予測方法を識別し、前記第1対応ブロックが時間インター予測でコーディングされていない場合、第2対応ブロックを獲得し、前記第2対応ブロックの時間動きベクトルを獲得し、前記第2対応ブロックの時間動きベクトルを用いて前記現ブロックの時間動きベクトルを獲得し、前記現ブロックの時間動きベクトルを用いて現ブロックをデコーディングする、インター予測部を有する、ビデオ信号処理装置。

  7. 前記インター予測部は、前記視点間動きベクトルを修正し、前記修正された視点間動きベクトルを用いて前記第2対応ブロックを獲得する、請求項6に記載のビデオ信号処理装置。

  8. 前記インター予測部は、前記第1対応ブロックが時間インター予測でコーディングされた場合、前記第1対応ブロックの時間動きベクトルを獲得し、前記第1対応ブロックの時間動きベクトルを用いて前記現ブロックの時間動きベクトルを獲得する、請求項6に記載のビデオ信号処理装置。

  9. 前記現ブロックの視点間動きベクトルは、前記現ブロックの隣接ブロックから獲得される、請求項6に記載のビデオ信号処理装置。

  10. 前記現ブロックの視点間動きベクトルは、前記現ブロックに対応するデプスブロックのデプス値を用いて獲得される、請求項6に記載のビデオ信号処理装置。

 

 

Patent trol of patentswamp
類似の特許
【課題】コーディング効率を高めたビデオ信号処理方法を提供する。
【解決手段】本発明は、ビデオ信号処理方法及び装置に関し、第1ユニットに対応する臨時視点間動きベクトルを獲得し、臨時視点間動きベクトルを用いて、第1ユニットに対応する仮想デプス情報を獲得し、第1ユニットに対応する仮想デプス情報を用いて、第1ユニットに対応する視点間動きベクトルを獲得し、第1ユニットに対応する視点間動きベクトルをアップデートすることができる。
【選択図】図10
復号ピクチャバッファ(DPB)を複数のサブDPBに区分することと、マルチレイヤビデオコーディングプロセスの1つまたは複数のオペレーションポイントのための複数のサブDPBのためのサブDPBサイズの少なくとも1つの指示を受信することと、少なくとも1つの指示に基づいて複数のサブDPBのためのメモリスペースを割り振ることとを備えるビデオデータを復号する方法。
【選択図】図9
ビデオ処理デバイスは、ビデオデータを記憶するメモリと、アクセスユニットの第1のピクチャを備える第1のネットワークアブストラクションレイヤ(NAL)ユニットを受信することと、第1のNALユニットがイントラランダムアクセスポイント(IRAP)ピクチャを備えると決定したことに応答して、および、いかなる関連するリーディングピクチャも有しない瞬時復号リフレッシュ(IDR)ピクチャの存在を示す第1のNALユニットのためのNALユニットタイプに応答して、別のIRAPピクチャを備えるアクセスユニットの第2のNALユニットについて、いかなる関連するリーディングピクチャも有しないIDRピクチャの存在を示すNALユニットタイプとなるべき第2のNALユニットのためのNALユニットタイプを決定することと、第2のNALユニットのためのNALユニットタイプに基づいて、第1のNALユニットと第2のNALユニットとを処理することとを行うように構成された1つまたは複数のプロセッサとを含む。
特定の態様によるビデオ情報を符号化するための装置は、メモリとコンピューティングハードウェアとを含む。メモリは、ビデオ情報を記憶するように構成されている。コンピューティングハードウェアは、シグナリングするための1つまたは複数のビュー識別子のビット深度を決定するように構成されており、ここにおいて、1つまたは複数のビュー識別子のそれぞれは符号化されるべきレイヤに関連付けられている。コンピューティングハードウェアは、ビットストリーム内で1つまたは複数のビュー識別子のビット深度をシグナリングするようにさらに構成されている。
多様な実施形態によるインターレイヤビデオ復号化方法は、現在ブロックの、左側に位置する空間的周辺ブロック候補、上側に位置する空間的周辺ブロック候補、及びコロケーテッド位置の時間的周辺ブロック候補のうち、インターレイヤ方向の動きベクトルを有する周辺ブロック候補を検索する段階と、検索された周辺ブロック候補のインターレイヤ方向の動きベクトルを、現在ブロックのディスパリティベクトルと予測する段階と、インターレイヤ方向の動きベクトルを有する周辺ブロック候補が検索されない場合、空間的周辺ブロック候補のうち、ディスパリティベクトル情報を有する周辺ブロック候補を検索する段階と、検索された周辺ブロック候補のディスパリティベクトル情報を利用して、現在ブロックのディスパリティベクトルを予測する段階と、を含む。
本発明の実施例は画像処理方法及び装置を開示する。方法は、対象物のビデオ画像及び距離画像を収集するステップと、同じ瞬間におけるビデオ画像に対応するビデオ画像フレームを、ビデオ画像フレームにおける前景画像の輪郭を獲得するために、距離画像を使用することにより分割するステップと、ビデオ画像フレームに対応する符号化データを獲得するために、前景画像の輪郭に従って、ビデオ画像フレームにおける前景画像の輪郭の内側のビデオ画像のピクセルに対する第1の符号化、及びビデオ画像フレームにおける輪郭の外側のビデオ画像のピクセルに対する第2の符号化を実行するステップであって、第1の符号化の符号化レートが第2の符号化の符号化レートより高い、ステップと、ビデオ画像フレームに対応する符号化データ、及び前景画像の輪郭に対応する奥行きデータを出力するステップとを含む。本発明の実施例によれば、ビデオ画像伝送プロセスにおけるネットワーク帯域幅の占有率が下げられることができる。
ビデオデータをコーディングする方法は、ビデオ情報の1つまたは複数のレイヤを受け取ることを含む。各レイヤは、少なくとも1つのピクチャを含むことができる。この方法は、1つまたは複数のレイヤの少なくとも1つのピクチャに関連付けられたアクティブ参照レイヤピクチャの個数を決定することを含むことができる。この方法は、1つまたは複数のレイヤのうちの少なくとも1つに関連付けられた直接参照レイヤの個数を決定することをさらに含むことができる。直接参照レイヤの個数がアクティブ参照レイヤピクチャの個数と等しいことに基づいて、この方法は、ビデオパラメータセット(VPS)、シーケンスパラメータセット(SPS)、またはピクチャパラメータセット(PPS)のうちの少なくとも1つに関連付けられた任意のビデオスライス内でレイヤ間参照ピクチャ情報をさらにシグナリングすることを控えることをさらに含むことができる。それに加えてまたはその代わりに、直接参照レイヤの個数がアクティブ参照レイヤピクチャの個数と等しいことに基づいて、この方法は、ビデオパラメータセット(VPS)、シーケンスパラメータセット(SPS)、またはピクチャパラメータセット(PPS)のうちの少なくとも1つに関連付けられた任意のビデオスライスに関するすべての直接参照レイヤピクチャをレイヤ間参照ピクチャセットに追加することを含むことができる。
例示的なビデオコーディングデバイスは、ビュー間予測された動きベクトル候補(IPMVC)を動きベクトル継承(MVI)候補と比較するように構成され、IPMVCとMVI候補は各々、従属深度ビュー中のビデオデータのブロックと関連付けられ、IPMVCはベース深度ビュー中のビデオデータの対応するブロックから生成される。ビデオコーディングデバイスはさらに、IPMVCがMVI候補と異なることに基づいてIPMVCを統合候補リストに追加すること、または、IPMVCがMVI候補と同一であることに基づいて統合候補リストからIPMVCを除外することの1つを実行するように構成され得る。
ビットストリームから獲得された第1レイヤのカラー映像及び深さ映像の符号化情報に基づいて、第1レイヤのカラー映像及び深さ映像を復元し、第1レイヤの深さ映像から復号化される第2レイヤ映像の現在ブロックに対応する第1レイヤの深さ映像ブロックを決定し、決定された第1レイヤの深さ映像ブロックに含まれた領域が第1レイヤの深さ映像の境界を外れるか否かということを決定し、深さ映像ブロックに含まれた領域が第1レイヤの深さ映像の境界を外れる場合、深さ映像の境界を外れた領域の深さ値を決定し、決定された境界を外れた領域の深さ値に基づいて、現在ブロックに対する第1レイヤ映像の対応ブロックを示すディスパリティベクトルを決定し、ディスパリティベクトルを利用して、現在ブロックを復元するインターレイヤビデオ復号化方法について開示されている。
To top