ネッワーク装置およびエラー処理の方法

著者らは特許

H04L1 - 受信情報中の誤りを検出または防止するための配置
H04N19/119 - 適応的な再分割の側面,例.長方形または非長方形符号化ブロックへのピクチャの再分割
H04N19/166 - 伝送誤りの量に関するもの,例.ビットエラーレート
H04N19/174 - 領域がスライス,例.ブロックのラインまたはブロックのグループ,であるもの
H04N19/187 - ユニットがスケーラブルビデオレイヤであるもの
H04N19/30 - 階層的技術,例.スケーラビリティ,を用いるもの(H04N19/63が優先)
H04N19/33 - 空間領域でのもの
H04N19/423 - メモリ配置に特徴があるもの(H04N19/433が優先)
H04N19/44 - そのために特別に適合した復号器,例.符号化器と非対称のビデオ復号器
H04N19/50 - 予測符号化を用いるもの(H04N19/61が優先)
H04N19/593 - 空間的予測技術に関するもの
H04N19/65 - 誤り耐性を用いるもの
H04N19/66 - データパーティショニング,すなわち重要度に応じてデータをパケットまたはパーティションに分割すること,に関するもの
H04N19/70 - ビデオ符号化に関連したシンタックス側面に特徴があるもの,例.圧縮標準規格に関連したもの
H04N19/85 - ビデオ圧縮のために特別に適合した前処理または後処理を用いるもの
H04N19/89 - 復号器における伝送誤りの検出のための方法または装置に関するもの
H04N19/91 - エントロピー符号化,例.可変長符号化または算術符号化

の所有者の特許 JP2016528799:

ジーイー ビデオ コンプレッション エルエルシー

 

パケット損失に起因してマイナスの影響を受ける(正しく受信される)パケットの数は、パケット配列の1つ以上の失われたパケットの実行の各々のために、パケットのシーケンスのパケット内の誤り耐性および識別することを提供して、それを解析することによって低減され得ることが、本出願の知見である。1つ以上の失われたパケットのそれぞれの実行の後のパケットのシーケンス内のパケットは、ビデオデータストリームのタイルのいずれかの始まりをもたらし、また、並行してスライスをもたらす。そして、パケットのシーケンスのパケットのいずれかに含まれるスライスヘッダは、失われていない。特に、誤り耐性のデータを送信するためのサイド情報オーバーヘッドは、パケット損失に悪影響を及ぼすパケットの減少に比べて比較的低いものである。
【選択図】図1

 

 

本発明は、ビデオデータストリームが伝送される一連のパケットのトランスポートストリームに関連するネットワーク装置およびエラー処理の方法に関係している。
用途によっては、トランスポートパケットに基づくビデオデータストリーム伝送は、パケット損失から損害を被る。この種のパケット損失は、例えば、トランスポートストリームの任意に使用される順方向エラー修正のエラー修正能力、受信信号の承認を送るためのいかなるアップリンク接続の不足、またはその両方の組合せを上回る伝送エラーから生じ得る。
レシートアップリンクの承認の有効性にかかわりなく、失われたパケットの非受信のために復号化することができないビデオデータストリームの影響を受けた部分をできるだけ少なくしておくことが望ましい。
B. Bross, W.-J. Han, J.-R. Ohm, G. J. Sullivan, T. Wiegand (Eds.), "High Efficiency Video Coding (HEVC) text specification draft 10", JCTVC-L1003, Geneva, CH, Jan. 2013
G. Tech, K. Wegner, Y. Chen, M. Hannuksela, J.Boyce (Eds.), "MV-HEVC Draft Text 3 (ISO/IEC 23008-2 PDAM2)", JCT3V-C1004, Geneva, CH, Jan. 2013
G. Tech, K. Wegner, Y. Chen, S. Yea (Eds.), "3D-HEVC Test Model Description, draft specification", JCT3V-C1005, Geneva, CH, Jan. 2013
WILBURN, Bennett, et al. High performance imaging using large camera arrays. ACM Transactions on Graphics, 2005, 24. Jg., Nr. 3, S. 765-776.
WILBURN, Bennett S., et al. Light field video camera. In: Electronic Imaging 2002. International Society for Optics and Photonics, 2001. S. 29-36.
HORIMAI, Hideyoshi, et al. Full-color 3D display system with 360 degree horizontal viewing angle. In: Proc. Int. Symposium of 3D and Contents. 2010. S. 7-10.

しかしながら、トランスポートストリームのパケットは、トランスポートストリームの後続パケットによって運ばれるコンテンツの復号化するための必要な情報をもたらすことができる。
HEVC標準[HEVC(High Efficiency Video Codingの略)/高効率映像符号化国際標準]おいて、例えば、ビデオデータストリームは、独立したスライス部分と従属するスライス部分を含む。従属するスライス部分は、例えば、すぐ前の独立したスライス部分に含まれ、従属するスライス部分を複合化するために継承されるスライスヘッダデータが関係する限り、独立したスライス部分に依存する。
それゆえに、パケット損失がある場合、ビデオデータストリームの影響を受けた復号できない部分の量を低減することができる当面の概念を有することは、有利である。
したがって、ビデオデータストリームが移送される一連のパケットのトランスポートストリームにおいて発生しているエラーを扱うために、この種の概念を提供することは、本出願の目的である。すなわち、その概念は、受信したものの復号することができない、できるだけ低く、失われたパケットの後のパケットに、影響を及ぼすことができる。
この目的は、添付の独立請求項の主題によって達成される。パケット損失に起因してマイナスの影響を受ける(正しく受け取られることにもかかわらず)パケットの数は、パケット配列の1つ以上の失われたパケットの実行の各々のために、パケットのシーケンスのパケット内の誤り耐性および識別することを提供して、それを解析することによって低減され得ることが、本出願の知見である。1つ以上の失われたパケットのそれぞれの実行の後のパケットのシーケンス内のパケットは、ビデオデータストリームのタイルのいずれかの始まりをもたらし、また、並行してスライスをもたらす。そして、パケットのシーケンスのパケットのいずれかに含まれるスライスヘッダは、失われていない。
特に、誤り耐性のデータを送信するためのサイド情報オーバーヘッドは、パケット損失に悪影響を及ぼすパケットの減少に比べて比較的低いものである。
有利な実施態様は、従属請求項の主題であり、本出願の好適な実施例は、以下に記載される図面のいずれかに関連している。
図1は、それによってビデオが符号化され、それによってビデオデータストリームが生成される、エンコーダの概略図を示し、本願の実施例は、図1のエンコーダによってサポートされ得るものである。 図2Aは、デコーダ、それによって、ビデオデータストリームに基づいて再構成されるビデオと、ビデオデータストリームと、一連のパケットを介した移送を示す概略図であり、本願の実施例は、図2のデコーダに適用され得る。 図2Bは、デコーダ、それによって、ビデオデータストリームに基づいて再構成されるビデオと、ビデオデータストリームと、一連のパケットを介した移送を示す概略図であり、本願の実施例は、図2のデコーダに適用され得る。 図3は、第1のオプションに従ってタイルおよびスライス部分に仕切られる画像14を図式的に示す。 図4は、他の分割オプションを使用している画像14の概略図を図式的に示す。 図5は、損失性チャネル上の2つのパケットストリームの実例が本願の実施例が取扱う課題を例示することを示す。 図6は、実施例によるネットワーク装置の概略ブロック図を示し、ネットワーク装置が一部でもよく、または、図2のデコーダの前に接続され得るものであってもよい。 図7は、概略的フロー図の構造を用いて、より詳細に、図6のエラーハンドラーの可能な作動モードを示す。
本願の実施例の以下の説明は、典型的なビデオコーデックまたは典型的なエンコーダ/デコーダの構造の説明から始める。後文に、パケット損失から生じている課題は、述べられる。後文に、本願の実施例は記載されている。そして、これらの実施例は、とりわけ、先に述べたエンコーダ/デコーダの構造に関して適用できる。
図1は、エンコーダの10の出力のデータストリームに、エンコーダの10の入力に到達する画像14のシーケンスからなるビデオ12を符号化するように構成されたエンコーダ10を示す。エンコーダ10は、そうすることができる符号化順序を使用している画像14のシーケンスをコード化するように構成することができる。しかし、これは、必ずしも必要であるというわけではないために、画像14の時間的順序16に追従することがある。より正確には、エンコーダ10は、画像14が区画されているにブロック18のために利用可能な異なる予測モードの中から選択するように構成された複合型ビデオエンコーダであってもよい。
このような予測モードは、例えば、以前に符号化された画像の以前に符号化された部分から同じ画像と時間予測の前に符号化された部分から空間予測を含むことができる。 しかし、追加的または代替的に、他の予測モードは、例えば、そのような低品質の以前に符号化された階層からの階層間予測モードとして、同様にエンコーダ10によってサポートされていてもよい。または、時間的に同じ場面を示している前に符号化された視点からの視点間予測は、ビデオ12の画像14を整列している。
エンコーダ10は、選択された予測モード、その出力でデータストリーム20内の残留予測の符号化に伴って、選択された予測モードに関連した予測パラメータの信号を送る。
例えば、空間的予測は、現在のブロック18に既に符号化されたサンプルがコピーされ、近隣に沿った方向/外挿を示す外挿方向を含むことができ、そして、時間的予測モードは、動き予測パラメータのような動きベクトル伴う予測補償のように、実施することができる。 視点間の予測モードは、動作補償された方法で実施することができるのと同様に、それにより予測パラメータとして視差ベクトルが得られる。
予測を実行する際に、ビデオ12の「前に符号化された部分」は、上述した符号化順序によって定義される。そして、それは、順次、画像14を通過する。各画像14の範囲内で、符号化順序は予め定められた順序のブロック18も通過する。そして、それは、例えば、ラスタスキャン方法では、画像14の左上隅からその底の右手角の方へリードする。
ビデオ12および/またはビデオ12の画像14の選択的な/部分的な復号化の画像14の並列符号化や並列復号化を可能にするために、図1のエンコーダ10は、いわゆるタイル分割をサポートしている。タイルの分割によると、各々の画像14は、たとえば、多数のタイル22の配列に仕切られる。
図1において、1つの画像14は、タイル22の2つ×2つの配列に分割されることが例示的に示されているが、任意のm×nの分割を用いることも可能である(m+n>1であるならば、タイル分割は効果的である)。
タイル22に分割することは、ブロック18を横断しないように、制限することができる。すなわち、境界をブロックするように整列されるように、制限される。タイルは、例えば、ブロック18のp×qの配列でもよい。その結果、タイルの行におけるタイルは、等しいqを有し、そして、タイルの列におけるタイルは、等しいpを有する。
エンコーダ10は、データストリーム20の中の画像14のタイル分割の信号を送り、そして、特に、タイルそれぞれ22を符号化する。つまり、各タイル22までの予測とエントロピー復号化としての例えばデータストリーム20から個別に復号可能であるように、たとえば、空間予測、エントロピー符号化データストリーム20のコンテキスト選択、から生じている相互依存関係は、後者と交差しないようにタイル境界で制限される。
上述した符号化は、以下を分割しているタイルに適している。分割することをタイルに適応させた各画像14の範囲内で、符号化順序は、タイル22の第1の一つの範囲内で最初に画像14を通過する。そして、タイル順序の次のタイルを横断する。タイル順序は、左の最上部のタイルから画像14の最下部の右手のタイルまでリードしているラスタスキャン順序でもよい。
説明の便宜上、図1は、参照符号24を有する1つの典型的な画像14を求める符号化命令を示す。
データストリーム20の伝送を容易にするために、エンコーダ10は、いわゆるスライスを単位にする上述した方法のデータストリーム20に、ビデオ12を符号化する。スライスは、上述した符号化順序に従っているデータストリーム20の部分である。スライスは、どちらか完全に1つのタイル22の範囲内に位置して、すなわち、任意のタイル境界を横断しないように、または完全にタイルのために2以上のタイルで構成されるように制限されている。つまり、それらの全体が2つ以上のタイルをカバーするように、それによって、カバータイルの輪郭と、スライス境界に一致する。
2枚のスライス26aおよび26b、タイル順序において、最初の2枚のタイル22で構成されている符号化順序24でスライス26aに仕切られるように、図1は、図1の画像14を例示的に示している。そして、第2のスライス26bが画像14、すなわち、タイル順序の3および4枚目のタイル22の下半分をカバーする。
ビデオ12をスライス26aと26bの単位にコード化する際に、それぞれ、実際のシンボル統計にエントロピー符号化のために用いられる可能性とコンテキストの可能性が各々のスライス26aと26bの初めに、そして、各々のスライスの範囲内で、各々のタイル境界線でリセットされるか、初期化される画像内容を翻案するように、エンコーダー10はコンテキストのエントロピー可能性の連続適合で、エントロピー符号化と特にコンテキスト適応可能なエントロピー符号化を用いる。
図1は、データストリーム20のスライス26を例示的に示す。スライスは、画像14の最初の2枚のタイル22のデータを含む。さらに、スライス26は、その画像14の対応する部分とスライス26を符号化するために選択された符号化タイプに関するいくつかの高レベルの情報、すなわち、最初の2つのタイル22、例えば、タイル26が、イントラ符号化された部分、p型符号化部分またはb型符号化された部分に関係するかどうかの情報を示すスライスヘッダー30を含む。スライスヘッダ30の情報なしで、スライス26aのタイルは、正しく復号化可能でない。
もう一つのメカニズムは、さらにコード化されたデータストリーム20の伝達を再分割することができるために、さらにスライスを再分割することである。
この原理によれば、各スライス26aおよび26bは、正確に1つの独立したスライスセグメント、実際にはスライス26aを有するケースまたは従属するスライス部分が続く一連の1つの独立スライス部分を構成する。スライス26aは、それ以上分けられない。エンコーダ10は、このように、単に完全にスライス26aを出力するだけのことが可能である。
スライス26bに関して、物事は異なる。スライス部分28aおよび28bとの境界線と一致しているスライス26bの中のタイル22のタイル境界を有する符号化順序、従属するスライス部分28bで、スライス26bは、追従される独立したスライス部分28aで構成される。スライスのセグメント28aと28bは、従って、スライスがそうするように、同様の特性を有し、すなわち、それらは、スライスヘッダを除いて、独立して復号化可能である。従属するスライス部分28bは、スライス26bの前の、すなわちリードしている、独立スライス部分28aから、同じことが帰属するスライスヘッダー30を継承する。
伝送の間、あり得るパケット損失から生じている課題について述べる前に、図1のエンコーダ10に適合しているデコーダ50は、図2に関して述べられる。そして、デコーダ50がこのようにデータストリームの処理のためのネットワーク装置のための実施例を示す。デコーダ50は、データストリーム20を受信して、そこからビデオ14を再建する。デコーダ50は、例えば、スライス26bが続くスライス26aを受信する。
例えば、デコーダ50は、複合型ビデオを復号化しているタイプであり得る。すなわち、複合型ビデオデコーダでもよい。そして、それは、ビデオ12の画像14の部分を再建するために、上記の確認された予測ノードを用いる。そして、スライス26aおよび26bに対応する。
スライス26aを復号化することにおいて、例えば、デコーダ50は、スライス26aのスライスタイプを決定して、スライスタイプに依存している方法のスライス26aから、画像14の第1および第2のタイル22を再建するために、スライスヘッダ30を用いる。例えば、Iスライスのために、PおよびBスライスの有効性が提供されているのに対し、時間的予測モードは利用できない。したがって、スライス26aのペイロードデータの分析は、スライスヘッダ30に依存することができる。
特に、デコーダ50は、例えば、スライス26aの初めのコンテキスト確立の可能性を初期化することにより、それから、予測モードと、スライス26a内の第1および第2のタイル22を予測するために、スライス26aの中でシグナリングされる予測パラメータを用いることにより、上記の概説されたコンテキスト適応可能な方法で、エントロピーがスライス26aを符号化することができる。そして、結果として生じる予測信号と、スライス26aのペイロードデータの範囲内に含まれる予測残差とを組み合わせる。
タイル22を復号化することにおいて、デコーダ50は、上で概説される符号化命令に従う。しかしながら、デコーダ50は、タイル22が関する限り、並行して復号化タスクのいくつかを実施することができる。
これは、例えば、タイルの境界線を横断することがないように、予測が構成されるように、予測にとって真実である。そのため、同じ画像14のタイルの復号化間の相互依存性が回避され、エントロピー復号化はタイル22に関する限り、エントロピー復号化は、並行して実行することができる。
スライス部分26bを復号化する際に、デコーダ50は、スライス26aから独立しているこのスライス26bを復号化することが可能である。
特に、画像14の3枚目のタイル22のデータをもたらしている独立したスライス部分28aが単独でスライスヘッダを含み、デコーダ50は、他のいかなるデータも必要とすることがなく、この3枚目のタイルを再建することが可能である。
しかしながら、従属するスライス部分28bが関係している限り、デコーダ50は、直ちに同じこと、すなわち、同じスライス26bの独立スライス部分28aに先行している独立スライス部分に含まれるスライスヘッダ30からスライスヘッダデータを継承し、したがって、4枚目のタイルを復号化することは、スライス部分28bの存在に加えてスライス部分28aのスライスヘッダについての知識を必要とする。
データストリーム20の伝送に関する限り、ネットワーク抽象化層(NAL)ユニットにおいて、スライスのセグメント26a、28aおよび28bの形態をなすか、またはフレーム化される。
以下の説明では、スライス部分およびスライス部分のNALユニットは、特に識別されない。理由は、スライス部分がスライス部分を担持しているNALユニットとほぼ同様であるということである。小さいNALユニットのヘッダは、単に、スライス部分でありながら、NALユニットの内容を示しているNALユニットタイプが具備されている。
しかしながら、更に、伝送の間、スライス部分が変換パケットのペイロード部分に適合するように、更に断片的である場合があってもよい点に、留意する必要がある。好ましくは、特定のスライス26aの中の新規なタイルの開始または始まりが新しいトランスポートパケットに挿入されるように、これは方法でされる。
更に下で述べられるように、スライスヘッダデータが利用できて、たとえば前のパケットが失われる場合であっても、それの始まりが新規なタイルの符号化の始まりを示す従属するスライス部分28bに関して、同じこの手段は復号化可能であることを意味する。
図2は、ペイロード部32に加えて、トランスポートパケットヘッダ36を含むトランスポートパケット34のペイロードデータセクション32の中に、スライス部分26a、28aおよび28bの分裂を例示している。そこにおいて、図2は、スライス部分の端を含んでいるトランスポートパケットのペイロード部分のトレーリング部が、パケット34の範囲内で単にハッチングを掛けられ、そして、陰影線をつけられたヘッディングビット38を示すスライスセグメントデータを示すことによって、サイズ部分データから区別されるパッディングビット38で満たされ得ることもまた示している。
パケットが、伝送の間、失われるときはいつでも課題が発生する。特に、スライス部分28aは、たとえば、スライス部分28aが失われて断片化されている第2および第3番目のパケットに起因して、全くデコーダ50で受信されていないと想像する。しかしながら、第1のトランスポートパケット34は、スライスヘッダ30を運ぶ。
したがって、デコーダは、従属するスライスセグメント28bで画像14を復号化することを再開することができ、そのデコーダ50は確かに提供することができる。それは失われていたパケットの前に受け取られていた、独立したスライスセグメント28aのスライスヘッダー30は、従属するスライス部分28bに属しているスライスヘッダであると確信する。しかしながら、これは、デコーダ50のためにいずれにせよ保証されない。
例えば、今、6枚のタイルに細分化/分割化された典型的な画像14を示す図3に目を向けると、すなわち、2行のタイル22の3つの列は、前記タイル毎に、1つのスライスのセグメントが存在する。特に、図3の場合、第1のタイルは、独立したスライス部分28aに組み込まれる。その一方で、以下の5つのスライス部分は、従属するスライス部分28bである。
図4は、分割している同じタイルを示す。しかし、タイル22の最初の列の最初の3枚のタイルが最初のタイルをカバーしている最初の独立したスライス部分28aから成る1枚のスライス26aを作ることを示す。
図4の第2および第3のタイル22をカバーしている2つの従属するスライス部分28bによって後に続いている。そして、同様に、第2のスライス26bは、画像14の第4のタイルをカバーしている独立したスライス部分28aのシーケンスを含む。そして、画像14の第5および第6のタイルに関する2つの従属するスライス部分28bが後に続く。
画像14に関するすべてのデータを受信することの場合、符号化側で図4のオプションの図3のオプションを選択したことにかかわりなく、画像14を復号化することは、問題ではない。
しかしながら、例えば、第4のスライス部分がなくなるときに、問題が発生する。図3の場合、最初のスライスセグメントからスライスヘッダデータを継承する同じ画像14の第5および第6のタイルに関連する後続のスライスセグメントの問題は、実際にはない。
しかしながら、図4の場合、それらが失われた第4のパケットのスライスヘッダデータを必要とするにつれて、第5および第6のタイルに関するスライス部分は、もう価値がない。そして、図4の場合、それは独立したスライス部分である。
図3の場合には、デコーダ50が、第5および第6のタイル22に関して、画像14の符号化を再開することを可能にするために、以下に概説する概念を示唆する。誤り耐性データを備えたデータストリームは、従属するスライスセグメントのための独立したスライスセグメントのスライスヘッダーを運ぶパケットの識別を可能にすることを提供する。
図2のスライス26aのような一つの部分スライスに含まれるエントロピーを復号化しているスライスにおいて、デフォルト値まで、それぞれのスライス部分の第2のまたは後に続くタイルの最初の構文要素が発生する、復号化しているときはいつでも、連続的なコンテキストの確率、すなわち、コンテキスト確率の可能性をリセットする、エンコーダおよびデコーダ50が形成される点に、留意されたい。
この理由から、図2の26aのように、例えば1つのスライス部分を備えている場合、スライスヘッダ30を運んでいる最初のトランスポートパケット34が正しく受信されたならば、結果として、スライス26aを運んでいる第2番目にもかかわらず、まだ、復号化可能なスライス部分26aの第2番目のタイルを移送する。
デコーダ50は、第2のタイル22に関するスライス26aのデータを復号化する、エントロピーに対するコンテキスト確率のための復号化する初期化の値のデフォルトを用いるエントロピー復号化を実行することができる。そして、その中において、スライス26aがタイル状に断片化されている、6つのパケットの最初のトランスポートパケット34によって構成されるスライスヘッダデータ30を用いる。すなわち、第2のタイルに関して最初の構文要素によって新しいパケット34を開き、パディングデータを備えた最初のタイルに関する26aのスライスのデータの末尾を含む先行するパケットを充填している。
このように、図3において述べられるケースは、単一の独立したスライス部分が全部の画像14をカバーする場合と非常に類似している。
この独立したスライス部分のエントロピーエヌ/復号化において、コンテキスト確率は、タイル順序の連続的なタイル間のタイル境界が発生するたびに、新たに初期化される。 ― そして、それに応じて、デコーダは、例えば、独立したスライス・セグメントの先頭にスライスヘッダーのヘッダが正しく受信されたことを条件とする第4番目のタイルについて、パケットの損失にもかかわらず、第5番目のタイルの復号化を再開することが可能である。
図3および4に関して概説される課題は、換言すれば、再び以下で概説される。ビデオ伝送シナリオにおいて、損失が発生することがしばしば予想される。この種の損失は、正しくは受け取られるにもかかわらず、依存のため失われたデータに復号可能でないデータに終わる場合がある。
例えば、RTPで、そして、図2にて図示されるように、スライス26a,bは、いくつかのRTPパケット34(通常、分割装置と呼ばれる)を通じて移送することができる。
スライスのそれらのパケット34のうちの1つが失われる場合、多くのデコーダ、例えばデコーダ50は、対応するスライスのすべてのデータを放棄する必要があるか、または、失われた一部のデータを復号化して、そのスライスの残りの受信データを放棄する必要がある。しかしながら、スライス26a,bは、それぞれに復号化することができる独立したパーツを含み得る。これは、HEVC[1]のための単一のスライスに含まれる複数のタイルのための場合である。
複数のタイル22が単一のスライス(例えば図3および4にて図示するように、2以上)に含まれるときに、単一の独立したスライスセグメント(図2のcp.26a)またはタイルにつき1つのスライスセグメント(図26bのcp.26b)において、(独立スライス部分に含まれるスライスおよび従属するスライス部分に含まれるスライスの範囲内の残りのタイルの第1のタイルによって)タイル境界を考慮しているデータの輸送は、望ましい場合がある。
すなわち、RTPパケット34は、タイル境界に合わせることができる。または、換言すれば、各RTPパケットは、いくつかのタイルに対してではなく、1つのタイルのデータだけを含み、そして、データのスマートな断片化が行われる場合であってもよく、例えば、例えば、RTPパケットは、いくつかのタイルを運んでいる1つの独立したスライス部分の場合には、タイル境界に合わせられる。
こうすることによって、いくつかのタイルのデータが失われるか、または、部分的なデータの何らかの選択的な復号化が行われるならば、それらが復号化のための非受信のタイルに依存しないので、他のタイルを復号化することはまだ可能である。
記載されている場合において、複数のタイル(cp.26a)のためのスライス部分の両方ともまたはその場合従属するスライスが使われる(cp.図2および図3および図4の26b)ところでは、すべてのタイルのスライス22が、独立したスライス28aのスライスセグメントヘッダ30の正しい受信を必要とする。
しかしながら、すべてのデータが受信されたわけではないシナリオおよびいくつかのパケット34は、欠落している。最後の独立したスライスセグメントのスライスセグメントヘッダは、損失(そして、例えば独立したタイルを含む)の後に、所定のスライスセグメントと一致しているスライスセグメントヘッダであるかどうかについて、さらに下で概説される概念なしで、知ることができない。または、独立したスライスの必須のスライスセグメントヘッダは、喪失により受信されなかった。実施例は、図5に示される。
図5の最上位の実施例において、必要なスライスセグメントヘッダ情報が、それが前述のように(例えばタイル)、受信された時からデータの独立した部分を含む場合、別々のパケットに図3の各々のスライス部分をパッケージングすることに例示的に対応する第5のパケットは、復号化することができる。その一方で、別々のパケットに図4の各スライス部分をパッケージングすることに例示的に対応する図5の最下位の実施例で、以前のパケットに含まれるヘッダ情報が失われた時から、第5のパケットは復号化することができない。
以下に概説する概念は、他から独立しており、損失の多い環境での誤り耐性のいくつかの種類を提供することに使用することができるいくつかのデータが存在するという事実を利用する。独立したスライスの以前のスライスセグメントヘッダに含まれるこの重要な情報が、以下に概説する概念なしに、受信されたかまたは失ったかどうかを検出することができないことが問題である。
したがって、下記に概説概念に従って、独立したスライスセグメントから以前に受信したスライスヘッダデータが現在受信したデータに適用されるか、または必要なデータがいくつか失われたデータに適用されるかどうかをレシーバーが検出することを許容するいくつかのシグナリングが追加される。
この種のシグナリングの例示は、例えば、RTPペイロードに特有のNALユニットにおいて、若干の補助情報でありえた。そして、例えば、そのことをRTPペイロードのPACSIは、SVC(RFC6190)に対してフォーマットするが、HEVCまたはRTPパケットでデータを復号化するための必要なスライスセグメントヘッダに識別子を含むその拡張のために定めました。
このシグナリングは、例えば、識別子の形でこの種の誤り耐性情報の存在/不在を示す フラグ(例えばTフラグ)を伴う可能性がある。補足情報は、この識別子を特定のスライスセグメントヘッダに割り当てるかまたは所定の識別子を有する独立したスライスセグメントのどのスライスセグメントヘッダは、特定のデータが符号化可能であるために必要かについて示すのに用いられる。
すなわち、この情報が、独立スライスセグメントのスライスセグメントヘッダを有するデータに、直接、先行する場合、識別子は、この独立スライスセグメントのスライスセグメントヘッダに割り当てられる。そして、もしそうでなければ、それはどちらが以下のデータを正しく復号化することに必要なスライスセグメントヘッダの識別子であるかについて示す。
実施例において、最初のデータは、すべてのデータのために一度送信されるだけである特定のヘッダ情報を必要とする独立した復号化可能なデータを含む。このヘッダ情報が正しく受信された場合に必要な重要なヘッダ情報を識別でき、追加の補足情報は、以前に受信したヘッダ情報に一致する場合、いくつかのデータが失われる場合であっても、他の受信された独立した復号可能なデータを復号することができる。
ビデオデータストリームが送信されるパケットの誤り耐性データを提供して、分析するだけで、概説された概念は、以下の図面に関連して、以下でより詳細に説明されている。
特に、図6は、デコーダ50の前で配置されることができたか、それの一部を形成することができたネットワーク装置200を表します。ネットワーク装置は、レシーバー202とエラーハンドラー204とを具備している。
レシーバー202が受信するトランスポートストリームは、206で示される。
それには、一連のパケット208、 図1および2の対応する要素34で形成される。そして、それを介して、ビデオデータストリーム210は移送される。上述したように、パケットは、例えば、RTPパケットであってもよいが、代わりの実施態様では、IPパケット等を用いるようにしてもよい。
ビデオデータストリーム210は、図1と2の要素20と対応しているタイル212を備え、図1と2の要素12と対応して、ビデオ216の図1〜4の要素14と対応して、画像214の図1〜4の要素22に対応して、いくつかの符号化順序218に沿って、そこへ符号化され、図1と2の要素24と対応し、それから、例えば、画像のタイルを通してラスタスキャン順序において、しかしながら、画像214の間でプレゼンテーションタイムの順序と必ずしも一致し得るというわけではない画像符号化順序の次の画像214の方へ歩むように、リードする。
特に、タイル212は、エントロピー符号化および空間予測を用いたデータストリーム210に符号化される。この際、タイル212は、エントロピー符号化のコンテキスト誘導によるデータストリーム210と、図において点線を使用して例示されたタイル212の境界を横断しないように制限された空間予測とに、コード化される。
データストリーム210の典型的な画像214のタイル212によってカバーされる連続的な部分の間の関連は、一方では画像212の同じ波線型を使用して図示され、他方ではデータストリーム210を用いて図示されている。
規制を使用して、タイル212は、エントロピー符号化および空間予測に関する限り、符号化可能で、並行して復号可能である。
ビデオデータストリームは、そこへスライス220を単位にする符号化命令218に沿って符号化されるタイル212を有する。符号化順序218に沿って画像3枚の主要なタイルのデータを含む左側のものに関して完全に図6に図示されるように、図6またはより多くのタイルで例示される右側で2枚のスライスのために手本となっている場合にだけ、各々のスライス220も1枚のタイル212のデータを含む。
各スライスは、図1および2の要素30に対応し、スライスヘッダ222で始まる。手本となって上で議論されるように、例えば、量子化ステップサイズ、デフォルト符号化モード、スライスタイプコードまたはその種の他のもの全体のスライスのために、グローバルに有効な特定のより高水準の構文要素を集める。
これは、次に、複数のタイルをカバーしているスライス220の場合には、最初のもの以外に、そのスライスに含まれるすべてのタイルは、しかし、スライスの先頭に配置されるスライスのスライスヘッダのデータが、その復号に成功するために必要であることを意味している。
前に言及されないにもかかわらず、それはスライスがいわゆる独立スライス部分および従属するスライス部分に、符号化命令に沿って、更に再分割されるということでもよい。
明確にスライスヘッダから成る始めの独立したスライス部分は、少なくとも独立したスライス部分の一部のスライスヘッダを継承して、このように、うまく従属するスライス部分を復号化するために利用できるこの部分を必要とする1つ以上の従属するスライス部分によって後に続く。それぞれがタイルの中で、従属するかまたは独立しているいずれかのスライスセグメントの始まり、と一致してもよいタイルを始める。
ビデオデータストリーム210は、各々のパケットが単に1枚のタイルだけのデータをもたらすように、符号化命令218に沿ったパケット208のシーケンスへのパケット化である。これは、再び、典型的な画像の4枚の異なるタイルと関連した4つの異なる破線タイプを使用している図6において例示される。
レシーバー210がトランスポートストリーム206を受信している間に、エラーハンドラー204は、パケット208、すなわち、時間内に受信されないで、受信されもしないものの間で、失われたパケットを識別するように、構成されている。または同じものにはそれにおけるエラーがあるように、ある意味で受信される。または、同じことは、それにおけるエラーを有するように、例えば、伝送の間、発生した多くのビットエラーが高すぎることによるフォワードエラー訂正ではない。
さらに、エラーハンドラー204は、一連のパケットの1つ以上の失われたパケットの実行の各々のために、1つ以上の失われたパケットのそれぞれの実行のパケットのシーケンスで最初のパケットを識別するように、一連のパケットシーケンスのパケット208内の誤り耐性データを分析し、スライスに含まれている一つまたは複数の失われたパケットのそれぞれのランは、タイルのいずれかの開始でもたらされ、スライスヘッダが失われていない一連のパケットのシーケンスパケットのいずれかに含まれている。
例えば、矢印224を用いて識別されるパケット208が、失われたと想像してみて下さい。通常、同じスライス、すなわち、226と228の断片を作っている以下の2つのパケットは、トランスポート層によって捨てられる。
ここで、エラーハンドラー204は、パケット226が、まさに言及された要件の全てを果たすパケットであることを識別する。
(1)それは、一つ以上の失われたパケット、すなわち、パケット224のそれぞれの実行の後である。
(2)パケット226に含まれるデータが帰属するスライス220のスライスヘッダ222は失われない。
(3)パケット226は、タイル212から開始する。
(4)このパケット226は、上記(1)〜(3)を成し遂げるパケットで初めてのものである。
失われたパケット224および正に言及されたパケット226の間にあるパケット228は、上記要件(2)を満たさない。
したがって、エラーハンドラー204は、パケット226を従属させることができる ― パケットにその内容、すなわちタイル212内容を廃棄するよりは、むしろ、それを復号化されるかもしれない。当然、オンのパケットから、エラーハンドラー204は、1つ以上の失われたパケットの次の実行に遭遇することまで連続した順序でパケットを処理し続ける。
ちょうど言及された誤り耐性データは、トランスポートパケット208のパケットヘッダに含まれることができるか、例えば、ペイロードスライス220との間に散在するデータストリーム210の補足的な強化NALニットに含まれ得る。
エラーハンドラー204の作動モードは、図7に関して更に詳細に以下に記載されている。特に、エラーハンドラーは、1つの方法300において、失われたパケットを識別するために、パケットの帰りのシーケンスを連続的に調査する。識別302は、例えば、各パケット208のために、パケットヘッダ36(図1および2を比較する)、例えばラウンドロビンパケット番号またはその種の他のものの点検を必要とする場合がある。
方法300は、図示するように304において、一連のパケットのシーケンスの中で一つ以上の失われたパケットの実行の検出に結果としてなる。そして、それはシーケンスエラー306より上に配置されている失われたパケットとエラー306の下に示されている正しく受信されているパケットによって、それらの経時的な命令でパケット208のシーケンスを示す。見られることができるように、典型的な1つは実行されて308において見える。エラーハンドラー204によって連続的に実行される他のプロセス310は、一連のパケットのシーケンスのパケットで分析の誤り耐性データに関するものである。
このプロセス310以内で、実行308ごとに、エラーハンドラー204は、それぞれの実行308の後、一連のパケットのシーケンスで最初のパケットを識別しようとする。そして、それはタイルのいずれかの始まりをもたらして、スライスをもたらす。そして、それのスライスヘッダは、失われていない一連のパケットのシーケンスのパケットのいずれかに含まれる。方法310は、受信パケットによって、実行308の後に循環する。
実行308の後の第1の受信パケットは、Aを使用している図7において示される。プロセス310内において、エラーハンドラー204は、それぞれのパケットAがタイルのいずれかの始まりをもたらすかどうかチェックする。
このチェック312の範囲内で、エラーハンドラー204が、このペイロード部32が任意のタイルの符号化の始まりから始めるか、またはこの種の符号化の領域まで少なくとも解析可能かどうか識別するために、例えば、パケットAのペイロードデータセクション32を分析プロセスに従属させる。例えば、ペイロードデータセクション32の始まりは、スライスセグメントのNALユニットの始まりと一致し、そして、エラーハンドラー204は、スライスセグメントが新規なタイルの符号化を始めるかどうか判断するために、スライスセグメントからフィールドエッジを読み込む。
あるいは、箱Aが、たとえば、トランスポートパケットヘッダー36の範囲内で断片化パラメータに基づくNALユニットの最初の断片で、これが本当の場合、箱Aがそのペイロードデータ32で新しいタイルの始まりを有しているとそこから推論するかどうか、エラーハンドラー204は確認のために調べる。
パケットは、ここBにおいて.新規なタイルの始まりと一致しないために、次の受信されたパケットにより方法310に進み、ステップ312において決定される。しかしながら、チェック312のチェックの結果が、肯定、すなわち、タイルのスタートが見つけられたならば、方法310は、現在のパケットAが、それ自体スライスヘッダを含むかどうか調べているエラーハンドラー204に関与するものである。
YESの場合は、全てが良く、そして、パケットAから、復号化手順上の失われたパケット308の実行の後で、ステップ316で示されるように、再び始めることができる。
しかしながら、ステップ314における停止が単独でスライスヘッダを含まないことを明らかにする場合、現在のパケットは、それぞれのパケット、すなわち、従属するスライス部分によって新規なタイルに関して継承されるスライスヘッダまたはスライス、すなわち独立したスライス部分のスライスヘッダによってもたらされるスライスのスライスヘッダを確認するために、エラーハンドラー204は現在のパケットAの範囲内で誤り耐性データを検査する。そして、それにとって、ステップ312において識別される新規なタイルは帰属する。
識別318は、以下の通りに働くことができる。例えば、パケットA自体のトランスパケットヘッダ36は、誤り耐性データを含むことができる、そして、この誤り耐性データは、前のパケットのいくつかへのポインタである場合がある。
このパケットが受信パケット208に帰属する場合、チェックは320において実行され、それから、復号化を再開することは316において実行される。
しかしながら、必要なスライスヘッダが失われたパケットに従属しているならば、すなわち、「従属するタイル」が失われた箱のいずれかに属しているスライスヘッダも必要とするので現在の箱が新しいスライスヘッダを含まないならば、容認されているものに従属していなくて、そして新しいスライスヘッダで、箱のためにステップ322でステップ310の検索を処理しません。それのステップは、ステップ312と314の連結に、しかしステップ312に振り返ることで一致する。
代わりに特定のNALユニットが、誤り耐性データをもたらすために、今までに述べられる実際のスライスセグメントのNALユニットのと間に散在することができると、言わなければならない。
ステップ316を復号化することを再開することにおいて、ビデオデータストリームの復号化は、一つ以上の失われたパケットのそれぞれの進行の後で前方へ誤り耐性データによって識別されるにつれて、受信パケットのいずれかに含まれるスライスヘッダを適用することによって識別されたパケットからタイルを復号化することまで再開することができる。そして、それの始まりは、ステップ312において確認された。
従って、上記の説明は、部分スライスの誤り弾力性のトランスポートを明らかにした。
ほんとに概説された誤り耐性データは、たとえば、必要とされたスライスヘッダが配置されるパケットのパケットナンバーを示すことによって、必要とされたスライスヘッダを示すかもしれません。
これは、絶対値によって、または、相対的な方法、すなわち、誤り耐性データを含んでいる現在のパケットから必要とされたスライスヘッダを含んでいるパケットまで示している相殺された価値を用いてされるかもしれません。
あるいは、必要とされたパケットは、必要とされるスライスヘッダを含んでいる独立したスライスセグメントのスライスアドレスを経由してインデックスを付けられる。
上記のように、すべてのスライスセグメントは、このスライス部分に符号化される最初のブロックが画像14の範囲内でどこに画像14の範囲内に配置されるかについて示しているスライスアドレスを含む。
誤り耐性データを分配して/解析することが、可能でない他の装置を有する下位互換性を維持するために、それぞれのフラグを含む拡張メカニズムは、誤り耐性データを無視して/スキップするために旧式なデコーダを使用可能にして、それに応じて、同じものを廃棄するのに用いることができる。
言うまでもなく、誤り耐性データを使用する、上記の概念は、送信側で対応するネットワーク装置に現れる。この種のネットワーク装置は、図1のエンコーダの範囲内で含まれ得るかまたはその出力に接続され得る。この送信ネットワーク装置は、一連のパケットのトランスポートストリームを経て、ビデオデータストリームを送信するように構成される。
ビデオデータは、画像が分割されるビデオの画像のタイルを有し、そして、そこへ符号化順序を用いているエントロピー符号化および空間予測に沿って、符号化される。そして、タイルは、エントロピー符号化のコンテキスト派生を有するビデオデータストリームに符号化され、そして、空間予測がそのようにタイルの境界を横切らないように制限されている。そこにおいて、ビデオデータストリームは、1つのタイルだけのデータを含んでいるか、または完全に2つ以上のタイルを含んでいる、各スライスを有するスライスを単位にする符号化順序に沿ってコード化されるビデオの画像があるタイルを有する。各スライスは、スライスヘッダから始めている。
各々の箱が単に1枚のタイルだけのデータをもたらすような符号化順序に沿って、パケットのシーケンスにビデオデータストリームをパッケージ化して、それぞれのパケットが部分的にもたらすスライスのスライスヘッダを含んでいない一連のパケットごとに、一連のパケットの先行しているそのパケットを識別するように、誤り耐性データを一連のパケットのシーケンスのパケットに挿入するように、ネットワーク装置が構成される。それはそれぞれのパケットのスライスヘッダを含む。
若干の態様が装置のコンテキストに記載されていたにもかかわらず、これらの態様も対応する方法の説明を意味することは、明らかである。そこで、ブロックまたは装置は、方法ステップまたは方法ステップの特徴に対応する。類似して、方法ステップのコンテキストにも記載されて、態様は、対応するブロックまたはアイテムの説明または対応する装置の特徴を意味する。
ステップがそうである場合がある方法の一部もしくは全部は、(または使っている)たとえば、マイクロプロセッサーのようなハードウェア装置で、プログラム可能なコンピュータまたは電子回路を実行することができる。
いくつかの実施形態では、最も重要な方法ステップの若干の1つ以上は、この種の装置によって実行することができる。
特定の実施要件に応じて、本発明の実施例は、ハードウェアにおいて、または、ソフトウェアで実施することができる。
実施はデジタル記憶媒体、たとえばフロッピー(登録商標)ディスク、DVD、ブルーレイ、CD、ROM、PROM、EPROM、EEPROMまたはFLASH記憶を用いて実行されることができます。そして、電子的に読み込み可能な制御信号をその上に格納しておきます。
そして、それぞれの方法が実行されるように、それはプログラム可能なコンピュータシステムと協力します(または、協力することができます)。したがって、デジタル記憶媒体は、読み込み可能なコンピュータである場合があります。
ここに記述される方法の1つが実行されるように、本発明に従う若干の具体化は電子的に読み込み可能な制御信号)があるデータ記憶媒体を含み、そして、それはプログラム可能なコンピュータシステムと協力することができる。
通常、本発明の実施例はプログラムコード付きのコンピュータープログラム製品として実行されることができます。そして、コンピュータープログラム製品がコンピュータで動くとき、プログラムコードが方法の1つを実行するために実施されている。プログラムコードは、たとえば機械読み取り可読キャリアに格納することができる。
他の実施例は、本願明細書において記載されていて、機械読み取り可読キャリアに格納される方法のうちの1つを実行するためのコンピュータプログラムを含む。
換言すれば、本発明の方法の実施例は、したがって、プログラムコードを有するコンピュータープログラムである。本願明細書において記載されている方法のうちの1つを実行するために、そのとき、コンピュータプログラムはコンピュータで動く。
発明の方法の更なる実施例は、したがって、その上に記録されて、ここに記述される方法の1つを実行するためにコンピュータープログラムから成っているデータ記憶媒体(またはデジタル記憶媒体またはコンピュータで読取り可能な媒体)である。データ記憶媒体、デジタル記憶媒体または記録された媒体は、典型的に具体的でおよび/または、非移行に属する。
発明の方法の更なる実施例は、したがって、ここに記述される方法の1つを実行するためにコンピュータープログラムを意味しているデータストリームまたは一連の信号である。たとえばデータストリームまたは信号のシーケンスは、たとえばインターネットによってデータ通信接続を通して移されるように構成され得る。
更なる実施例は、処理手段、たとえばコンピュータまたはプログラム可能な論理デバイスを含む。または、本願明細書において記載されている方法の1つを実行して適するように構成される。
更なる実施例は、本願明細書において記載されている方法の1つを実行するために、その上にコンピュータープログラムをインストールされているコンピュータを含む。
本発明に従う更なる実施例は、レシーバーに、本願明細書において記載されている方法の1つを実行するためにコンピュータープログラムを移す(たとえば、電子的に、または、光学的に)ように構成される装置またはシステムを含む。
レシーバーは、たとえば、コンピュータ、モバイル機器、メモリデバイスまたはその種の他のものである場合がある。装置またはシステムは、たとえば、コンピュータープログラムをレシーバーに移すために、ファイルサーバを含み得る。
いくつかの実施形態では、プログラム可能な論理デバイス(たとえばフィールド・プログラム可能なゲートアレイ)は、ここに記述されている方法の機能の一部もしくは全部を実行するのに用いられるかもしれません。
いくつかの実施形態では、フフィールドプログラム可能なゲートアレイは、ここに記述される方法の1つを実行するために、マイクロプロセッサーと協力するかもしれません。通常、方法は、いかなるハードウェア装置によっても好ましくは実行される。
上記した実施例は、単に本発明の原則のために、単に、実例となるだけである。
準備の修正変更および本願明細書において記載されている詳細が他の当業者にとって明らかであるものと理解される。したがって、間近に迫った特許クレームの範囲だけによって、そして、本願明細書において実施例の説明および説明として示される特定の詳細だけでないことによって制限されることは、意図している。
参照
[1]B. Bross, W.-J. Han, J.-R. Ohm, G. J. Sullivan, T. Wiegand (Eds.), “Hi gh Efficiency Video Coding (HEVC) text specification draft 10“, JCTVC- L1003, Geneva, CH, Jan. 2013
[2]G. Tech, K. Wegner, Y. Chen, M. Hannuksela, J.Boyce (Eds.), “MV-HEVC Dr aft Text 3 (ISO/IEC 23008-2 PDAM2)“, JCT3V-C1004, Geneva, CH, Jan. 2013
[3]G. Tech, K. Wegner, Y. Chen, S. Yea (Eds.), “3D-HEVC Test Model Descrip tion, draft specification“, JCT3V-C1005, Geneva, CH, Jan. 2013
[4]WILBURN, Bennett, et al. High performance imaging using large camera arr ays. ACM Transactions on Graphics, 2005, 24. Jg., Nr. 3, S. 765-776.
[5]WILBURN, Bennett S., et al. Light field video camera. In: Electronic Ima ging 2002. International Society for Optics and Photonics, 2001. S. 29-3 6.
[6]HORIMAI, Hideyoshi, et al. Full-color 3D display system with 360 degree horizontal viewing angle. In: Proc. Int. Symposium of 3D and Contents. 2 010. S. 7-10.



  1. ビデオデータストリームが移送される一連のパケットのトランスポートストリームを受信するように構成されるレシーバーを含む、ネットワーク装置であって、
    前記ビデオデータストリームは、画像が分割され、符号化順序を用いるエントロピー符号化および空間予測に沿ってコード化されたビデオの画像のタイルを有し、
    前記タイルは、前記エントロピー符号化および前記タイルの境界を横断しないように制限され、前記空間予測を備えたコンテキスト誘導を有する前記ビデオデータストリームに符号化され、
    前記データストリームは、単一のタイルだけのデータを含むかまたは完全に2つ以上のタイルのデータを含むスライスヘッダから始めている各スライスを有するスライスを単位にする符号化順に沿って符号化された前記ビデオの画像のタイルを備え、
    前記ビデオデータストリームは、パケットが単に1枚のタイルだけのデータを移送するように、前記符号化順序に沿って、前記パケットのシーケンスにパケット化され、
    前記ネットワーク装置は、
    一連のパケットで失われたパケットを識別して、前記一連のパケットの1つ以上の失われたパケットの実行の各々に対して、前記タイルのいずれかから開始し、スライスをもたらすことに関与し、前記1つ以上の失われたパケットのそれぞれの実行の後で前記一連のパケットの最初のパケットを識別するために、前記一連のパケットの前記パケットの誤り耐性データを分析するように構成されるエラーハンドラーをさらに含み、
    前記一連のパケットのいずれかの前記パケットに含まれる前記スライスヘッダは、失われないことを特徴とする、ネットワーク装置。

  2. 前記装置は、前記それぞれのパケットが前記タイルのいずれかからの開始をもたらすかどうか調べることによって、1つ以上の失われたパケットのそれぞれの実行の後に順次各パケットを検査するように構成され、前記それぞれのパケットが前記タイルのいずれかからの開始と一致することを前記検査が明確にするために、前記それぞれのパケットに対して、
    前記それぞれのパケットの前記誤り耐性データに基づいて、前記それぞれのパケットによってもたらされる前記スライスの前記スライスヘッダを識別し、および
    前記それぞれのパケットによってもたらされる前記スライスの前記スライスヘッダが、失われていなくて、1つ以上の失われたパケットの前記それぞれの実行に先行していない前記一連のパケットの前記パケットのいずれかに含まれるかどうかを調査することを特徴とする、請求項1に記載のネットワーク装置。

  3. 前記各スライスは、前記スライスの前記スライスヘッダを含んでいる1つの独立したスライスセグメントであるか、または前記スライスの前記スライスヘッダを含んでいる一連の1つの独立したスライス部分に再分割されるかであり、前記スライスヘッダが不在である1つ以上の従属するスライスセグメントが後に続き、タイル境界が連続した一連の1つの独立スライスセグメントのシーケンスの連続するものと1つ以上の従属スライスセグメントとの間のタイル境界と一致するとともに、すべての独立および従属スライスセグメントは、前記画像の範囲内でその開始を示すアドレスフィールドを含み、
    前記ネットワーク装置は、前記アドレスフィールドを用いて検査することを実施するように構成されていることを特徴とする、請求項2に記載のネットワーク装置。

  4. 前記ネットワーク装置は、前記パケットのトランスポートパケットヘッダーデータを用いて検査することを実行するように構成されていることを特徴とする、請求項2または請求項3に記載のネットワーク装置。

  5. 前記ネットワーク装置は、前記一連のパケットの間に散在する予め定められたNALユニットから前記誤り耐性データを読み込むように構成されていることを特徴とする、請求項1〜請求項4のいずれか1項に記載のネットワーク装置。

  6. 前記ネットワーク装置は、前記パケットのトランスポートパケットヘッダから前記誤り耐性データを読み込むように構成されていることを特徴とする、請求項1〜請求項4のいずれか1項に記載のネットワーク装置。

  7. 前記ネットワーク装置は、それぞれのパケットの誤り耐性データからポインタ、または識別子、前記各パケットによってもたらされる前記スライスの前記スライスヘッダを含む前記パケットを取得するように構成されていることを特徴とする、請求項1〜請求項6のいずれか1項に記載のネットワーク装置。

  8. 前記ネットワーク装置は、それぞれのパケットの誤り耐性データからポインタ、または識別子、前記各パケットによってもたらされる前記スライスの前記スライスヘッダを含む前記パケットを取得するように構成されていることを特徴とする、請求項1〜請求項6のいずれか1項に記載のネットワーク装置。

  9. 前記ネットワーク装置は、
    前記一連のパケットの前記パケットのいずれかを含んでいる前記スライスヘッダを適用することによって、前記識別された第1のパケット以降の一つ以上の失われたパケットの前記それぞれの実行の後で前記ビデオデータストリームを復号化することを再開するように構成されるデコーダであり、前記スライスヘッダは、前記識別された最初のパケットに含まれる前記始めの前記タイルを復号化するために失われないことを特徴とする、請求項1〜請求項7のいずれか1項に記載のネットワーク装置。

  10. ビデオデータストリームが移送されるのを介して一連のパケットのトランスポートストリームを受信することを含む、方法であって、
    前記ビデオデータストリームは、画像が分割され、符号化順序を用いるエントロピー符号化および空間予測に沿って符号化されたビデオの画像のタイルを有し、
    前記タイルは、前記エントロピー符号化および前記タイルの境界を横断しないように制限され、前記空間予測を備えたコンテキスト誘導を有する前記ビデオデータストリームに符号化され、
    前記データストリームは、単一のタイルだけのデータを含むかまたは完全に2つ以上のタイルのデータを含むスライスヘッダから始めている各スライスを有するスライスを単位にする符号化順に沿って符号化された前記ビデオの画像のタイルを備え、
    前記ビデオデータストリームは、パケットが単に1枚のタイルだけのデータを移送するように、前記符号化順序に沿って、パケットのシーケンスへのパケット化され、
    前記方法は、
    一連のパケットで失われたパケットを識別すること、および
    一連のパケットで失われたパケットを識別して、前記一連のパケットの1つ以上の失われたパケットの実行の各々に対して、前記タイルのいずれかから開始し、スライスをもたらすことに関与し、前記1つ以上の失われたパケットのそれぞれの実行の後で前記一連のパケットの最初のパケットを識別するために、前記一連のパケットの前記パケットの誤り耐性データを分析することをさらに含み、前記一連のパケットのいずれかの前記パケットに含まれる前記スライスヘッダは、失われないことを特徴とする、方法。

  11. 一連のパケットのトランスポートストリームを通して、ビデオデータストリームを送信するように構成されているネットワーク装置であって、
    前記ビデオデータストリームは、画像が分割され、符号化順序を用いるエントロピー符号化および空間予測に沿って符号化されたビデオの画像のタイルを有し、
    前記タイルは、前記エントロピー符号化および前記タイルの境界を横断しないように制限され、前記空間予測を備えたコンテキスト誘導を有する前記ビデオデータストリームに符号化され、
    前記データストリームは、単一のタイルだけのデータを含むかまたは完全に2つ以上のタイルのデータを含むスライスヘッダから始めている各スライスを有するスライスを単位にする符号化順に沿って符号化された前記ビデオの画像のタイルを備え、
    前記ネットワーク装置は、
    各々のパケットが単に1枚のタイルだけのデータをもたらすように、前記符号化順序に沿って前記一連のパケットの前記ビデオデータストリームをパッケージ化して、前記各々のパケットが部分的にもたらす前記スライスのスライスヘッダを含んでいない前記一連のパケットのパケットごとに、前記一連のパケットにおいて先行するパケットを識別するように、誤り耐性データを前記一連のパケットの前記パケットに挿入するように構成され、前記各々のパケットの前記スライスヘッダを含むことを特徴とする、ネットワーク装置。

  12. 一連のパケットのトランスポートストリームを通して、ビデオデータストリームを送信する方法であって、
    前記ビデオデータストリームは、画像が分割され、符号化順序を用いるエントロピー符号化および空間予測に沿って符号化されたビデオの画像のタイルを有し、
    前記タイルは、前記エントロピー符号化および前記タイルの境界を横断しないように制限され、前記空間予測を備えたコンテキスト誘導を有する前記ビデオデータストリームに符号化され、
    前記データストリームは、単一のタイルだけのデータを含むかまたは完全に2つ以上のタイルのデータを含むスライスヘッダから始めている各スライスを有するスライスを単位にする符号化順に沿って符号化された前記ビデオの画像のタイルを備え、
    前記方法は、
    各々のパケットが単に1枚のタイルだけのデータをもたらすように前記符号化順序に沿って前記一連のパケットの前記ビデオデータストリームをパッケージ化して、前記各々のパケットが部分的にもたらす前記スライスのスライスヘッダを含んでいない前記一連のパケットのパケットごとに、前記一連のパケットにおいて先行するパケットを識別するように、誤り耐性データを前記一連のパケットの前記パケットに挿入することを含み、前記各々のパケットの前記スライスヘッダを含むことを特徴とする、方法。

  13. コンピュータ上で稼働しているときに、コンピュータプログラムの実行のためのログラムコードを有することを特徴とする、請求項9または請求項11に記載の方法。

 

 

Patent trol of patentswamp
類似の特許
係数レベルコーディングのためのコードを定義するために使用されるライスパラメータを初期化するための技法について説明する。本技法によれば、ビデオデータの、前にコーディングされた係数について収集される係数レベルの統計値に基づいて、ビデオデータの変換ブロック中の係数グループ(CG)のためのライスパラメータの初期値が決定される。統計値は、前にコーディングされた係数の係数レベルの絶対値または係数レベルの残りの絶対値の統計値であり得る。統計値の値は、ビデオスライスの開始において0に初期化され、スライスの各CG中でコーディングされる係数レベルに基づいて更新され得る。統計値は、CGごとに1回更新され得る。場合によっては、統計値は、CGを含む変換ブロックの特性に基づいて定義されるCGの複数の異なるカテゴリーの各々について別々に収集され得る。
【選択図】図8
【課題】効率的なエントロピー符号化処理を行うことができるデータ復号化装置及びデータ復号化方法を提供すること。
【解決手段】一連のデータ値を復号化するデータ復号化方法は、それぞれ所定の大きさの範囲の第1の部分を示し、バイナリ符号化によって入力データストリームに符号化された、1つ又は複数のデータセットから、各データ値の上記第1の部分を復号化し、上記データセットによって完全には符号化されなかった少なくとも上記データ値の第2の部分であって、そのビット数が、整数である値nに依存し、上記入力データストリームに挿入されたデータで定義される第2の部分を復号化し、上記第1の部分及び上記第2の部分によって完全には復号化されなかったデータ値が存在する場合、上記入力データストリームから当該データ値の残りの第3の部分を復号化し、上記データ値のサブセットに対して、(i)第3の部分が符号化されており、より高い値のnが使用されていた場合にも当該第3の部分の符号化が必要であったとされるデータ値のインスタンス及び(ii)第2の部分が符号化されているが、当該データ値は、より低い値のnを使用しても第1の部分及び第2の部分によって完全に符号化されたとされるデータ値のインスタンスを検出し、上記検出するステップの結果に従って次のデータ値に対して使用するために上記値nを変化させる。
【選択図】図38
多層ビデオ信号の層に対して最低1つの特徴(例えば、個々の層に対して、個々の層が相互層予測を介して直接に関連する依存層の標示など)の信号、または、前述の第2相互依存構文構造の信号が説明される。最大構文要素は、多層ビデオ信号のパケットの拡張層IDフィールドの最大限に使われた値を示すために、多層ビデオ信号内で信号で伝えられる。例えば、最大構文要素の範囲は、多層ビデオ信号のいくつかの部分を横切って拡張している、多層ビデオ信号の予め決められた部分である。従って、多層ビデオ信号の相対的に大きい予め決められた部分に対して、拡張層IDフィールドによって信号化できる可能な値の可能なドメインの実際に消費された部分についての知識を得ることは、多層ビデオ信号を受信するデコーダやネットワーク要素などの装置に対して適当である。最低1つの特徴が、ベース層IDフィールド値と拡張層IDフィールド値とのそれぞれの結合に対して信号で伝えられる必要はないけれども、むしろ、最大限に仮定された値に基づいて決定された層の最大値のための最低1つの特徴を信号で伝えることは重要である。従って、最低1つの特徴は、層IDを持つ層のために送信/信号することは必要でない。その拡張層IDは、多層ビデオ信号の予め決められた部分内で起こらない。これを越えて、別の実施の形態に従って、最大限に仮定された値の知識は、個々の部分の層IDを信号で伝えるためのサイド情報オーバーヘッドを減らすために、すなわち、多層ビデオ信号のパケット内の拡張層IDフィールドを信号で伝えるために必要なビットを減らすために使用される。
【選択図】図11
多層データストリームの層間の相互層依存の信号化が説明される。一方の相互層依存の潜在的な多様性の非常に集中的な制限と他方の相互層依存の非常に複雑な信号との間の良好な妥協案は、ベース層IDによって表現できる異なる値のペア間に相互依存を示している第1相互依存構文構造と、多層データストリームの部分が関連する層に索引を付ける拡張層ID、又は、ベース層IDおよび拡張層IDによって表現できる異なる値のペア間の相互依存を標示している第2相互依存構文構造との方法によって、相互層依存を説明することによって見つけられる。この概念に従って、強調が、一方の信号化できる相互層依存の増大した多様性と他方の相互層依存を信号で伝えるための減少したサイド情報オーバーヘッドとの間にシフトされる。例えば、共通のベース層IDを持つ層のセットは、それぞれ、「クラスタ」と呼ぶ。同じ第2相互依存構文構造が、全てのクラスタ内の相互依存と第1相互依存構文構造を介して互いに関連した全てのクラスタ間の相互依存とを調節するために別々に使用される。代わりに、第2相互依存構文構造の2つの実例が、一方のクラスタ内の層の相互依存と他方の異なるクラスタの層間の相互依存とを説明するために用いられる。増大した多様性または減少したサイド情報オーバーヘッドに置かれた強調とは無関係に、概念を信号で伝えている相互依存は、信号オーバーヘッドを低く保持することを生じる。
【選択図】図3
【課題】ビデオ符号化のサンプル適応オフセット処理の方法を提供する。
【解決手段】ビデオ符号化システムにおける再構成ピクチャのパフォーマンスを改善する修正されたSAO処理の方法を提供する。一実施態様において、SAO−サインスレショルドが導入されて、現在の再構成画素と隣接再構成画素間の差異のサインを決定する。負のSAO−サインスレショルドより大きく、正のSAO−サインスレショルドより小さい差分値の範囲が割り当てられて、0のサイン値を有する。別の態様において、SAO−オフセット値は、SAO−ビット−シフト値を、SAO−オフセット絶対値に左方移動させることによる結果により、SAO−オフセットサインを増加させることにより生成される。さらに別の実施態様において、SAO−オフセット絶対値は、トランケーティドライス(TR)コードにより符号化され、最大TR値は構文要素により示される。
【選択図】 図9
多層ビデオ信号のパケットの各々が関連する層IDの信号が説明される。特に、この層関係を信号で伝える効率的な方法を達成する。それでも、ベース層IDフィールドの所定の値が、ベース層IDフィールドのベース層ID値が0のように拡張できないと制限される符号でバックワード互換性を維持する。この拡張できないベース層ID値についてこの制限を特に回避する代わりに、多層データストリームの部分の層IDは、ベース層IDフィールドを第1副フィールドおよび第2副フィールドに区分することによって拡張できる方法で信号で伝えられる。ベース層IDフィールドの第1の副フィールドが予め決められた基準を満たせば、いつでも、拡張層IDフィールドが提供される。仮にベース層IDフィールドの第1副フィールドが、予め決められた基準を満たさないならば、拡張層IDフィールドは省略される。前記の拡張できないベース層ID値は、ベース層IDフィールドの第1副フィールドが予め決められた基準を満たさないベース層ID値のグループ内に「隠されて」いる。従って、この拡張できないベース層ID値は別々に処理さるのではなく、前者のグループの部分が処理される。むしろ、仮にベース層IDフィールドの第1副フィールドが、予め決められた基準を満たすならば、拡張値は、拡張値のドメインの第1副セットの中に存在するように、多層データストリーム内の信号で伝えられた拡張層IDフィールドから引き出される。そして、仮にベース層IDフィールドの第1副フィールドが、予め決められた基準を満たさないならば、この拡張値は、拡張値のドメインの第1副セットに解体する値に設定される。個々の部分が関連する層は、その時、ベース層IDフィールドの第2副フィールドから引き出されるクラスタ値と同様の拡張値を使って索引を付けられる。大体、信号効率は、バックワード互換性の維持にも関わらず失われない。
【選択図】図21
残差差分パルスコード変調(RDPCM)が残差ブロックに適用されるとき、コーディング技法を調和させるための技法について説明する。いくつかの例では、そのような残差ブロックに使用される走査順序は、残差ブロックが現在のブロックをイントラ予測することから生成されるとき、および残差ブロックが現在のブロックをインター予測またはイントラブロックコピー予測することから生成されるときと同じであることが必要である場合がある。
算術又はレンジコーダタイプの複数のモデルを用いた,複数の記号の連続を符号化するための方法であって:
‐各モデルを帰属基準と関連付けるステップ;
‐各記号に関して,各記号が帰属する符号化モデルを前記基準に従って決定するために,前記連続を縦断するステップ;
‐対応する前記モデルにおける各記号の発生確率を決定するステップ;
‐各記号を連続的に符号化することによって,前記連続を縦断するステップ;及び
‐このようにして得られたコードからファイルを形成するステップ
を含む方法。
【選択図】図4
マルチレイヤビデオデータを符号化、復号、送信、または受信することを含み得る、マルチレイヤビデオデータをコーディングするためのシステム、方法、およびデバイスが開示される。本システム、方法、およびデバイスは、一連のレイヤのための情報を含むビデオパラメータセット(VPS)を送信または受信し得、各レイヤは視覚信号情報を含む。本システム、方法、およびデバイスは、VPS中のレイヤごとにシグナリングされた視覚信号情報に基づいてビデオデータをコーディング(符号化または復号)し得る。
To top