改善されたhdrイメージ符号化及び復号化方法、装置

 

グレーダが、様々なレンダリングディスプレイのためのHDRシーンの内容を最適に見られることを可能とするために、ハイダイナミックレンジ入力イメージM_HDRのための入力部240と、人間が決定したカラーマッピングアルゴリズムによるローダイナミックレンジイメージIm_LDRに対して、人間のカラーグレーダが、所定の精度に従って規定された前記ハイダイナミックレンジ入力イメージの表現HDR_REPからカラーマッピングを特定することを可能にし、前記カラーマッピングFi(MP_DH)を特定するデータを出力するイメージグレーディングユニット201と、前記ハイダイナミックレンジ入力イメージM_HDR、又は、前記ローダイナミックレンジイメージIm_LDRのいずれかに対して、自動カラーマッピングアルゴリズムを適用することによって、第2のローダイナミックレンジイメージGT_IDRを導出する自動グレーディングユニット203と、を有する、イメージエンコーダ202を発明した。また、新たに出現したハイダイナミックレンジイメージ処理技術において有用な、興味深い新たな彩度処理戦略についても説明している。

 

 

本発明は、ローダイナミックレンジ(LDR:low dynamic range)イメージと呼ばれるレガシーイメージと比較して、広いダイナミック輝度レンジを有する、少なくとも1つのイメージ又は映像の改善された符号化のための、装置、方法、及び、例えば、メモリに格納されるデータストレージ製品、又は、符号化信号などの生成物に関する。
新たに出現したハイダイナミックレンジ(HDR:High Dynamic Range)イメージングの分野は、近年では、比較によって、ローダイナミックレンジ(LDR:Low Dynamic Range)イメージングと称されるレガシーシステムと対比されている(ここで、レガシーシステムは、PAL、又は、MPEG2、AVC、HEVC、又は、他のMPEGファミリのメンバ、又は、VC1、VC2などの同様の映像スタンダード、又は、静止画像用のJPEGなどのイメージ又は映像符号化システムを有する)。
HDRについて話す場合、一連の様々なコンポーネントを見る必要がある。おそらく全ての人が同一線上にいない極めて最近の技術領域であるため、誤解を避けるために、幾つかの重要な定義についての基準となる考え方を手短に設定したい。最終的には、ディスプレイ媒体が生成できるレンダリングダイナミックレンジがある。レンダリングダイナミックレンジ(RDR:Rendering Dynamic Range)は、通常、「RDR=イメージにおける全ての画素のうちで最も明るい白色輝度/イメージにおける全ての画素のうちで最も暗い黒色輝度」(画像内RDR)、又は、「RDR=連続するイメージにおける画素のうちで最も明るい白色輝度/連続するイメージにおける画素のうちで最も暗い黒色輝度」(例えば、ディスプレイが(ほぼ)スイッチオフされ、前面ガラス上の周囲環境の反射のみが見られる場合の、画像間RDR)として定義される。しかしながら、ピーク白色値(即ち、最も明るい白色輝度値)と関連している場合、最も有意である。LDRレンダラは、通常、100ニットのピーク白色、及び、およそ100:1のダイナミックレンジによって定義されるレンジ、又は、その周辺レンジに位置付けられる。それが、CRTディスプレイが製造された理由かもしれないが、勿論、最も暗い黒色輝度は、視聴環境の輝度に強く依存するので、余裕を見て、40:1であると決定してもよいし、また、太陽の下で、ディスプレイ上のイメージを見る場合、2:1が、実際のダイナミックレンジであり得る。観察者の輝度順応を条件とする視聴環境がそれに関連し、例えば、一般的には、ピーク白色の20%である。EBU(European Broadcasting Union)、SMPTE(Society of Motion Picture and Television Engineers)などの幾つかの標準団体が、標準的な方法で使用されるように、映像信号をどのようにグレーディングすべきか、例えば、前述の視聴環境において示された場合に最適かどうかを規定している。グレーディングによって、幾つかの好みに従って変化/特定された、変更された画素カラーを有するイメージを生成することが意味される。例えば、カメラは、(線形輝度測定設備としてのカメラ仕様に依存している)RAWカメラ画像をグレーディングでき、直接使用可能なディスプレイに関連した符号化へのレンダリング目的の場合、例えば、観察者に対して滑らかな画像を示すような基準状態下でCRTディスプレイなどを操作できる。
しばしば、人間によるグレーディングは、より芸術的な選択を伴う。例えば、人間のグレーダは、植物の色を、良好な紫がかった色にしたがるが、これは、基準状態(ディスプレイ技術と観察環境との両方、理論的には、薬剤摂取などの観察者の状態に影響する他の状態)下で特定される必要がある。なぜなら、特定のディスプレイは、当該色をより紫がかったものにする可能性があり、この場合、(美しい画像を作る)所望の芸術的な効果がなくなることがある。カメラが最適な種類の紫を自動的に作ることは、一般的ではなく、グレーダは、イメージ処理ソフトウェアにより動作する。かかるグレーダは、写真家、又は、映画を作る視覚芸術家、又は、(潜在的には人生)テレビ番組を作る誰かであってもよい。勿論、様々なアプリケーションが、様々な程度の、これらのアプリケーションのための所望の技術及び/又は芸術的品質に紐付けされたグレーディングの複雑性を有する。一般的に、上記規格標準は、グレーディングが、基準環境において、約100ニットの基準モニタ上でなされるべきであることを述べている。疑問は、実際のところ、どのように色がレンダリング及び知覚されるかということである。印刷メディア出版におけるグラフィックアーティストも、幾つかの共通基盤を有する基準状態下で作業し、プリンタなどの不要なエラー源を回避する。しかしながら、それは、勿論、本又は雑誌の各読者が、校正されたD50ランプの下で本を読むが、劣悪な照明下であるベッドで読書する場合によりぼんやりした色を知覚し得るということを意味しない。映画、テレビ番組、又は、写真でも同じことが起こり、近年利用可能な多くの様々なディスプレイから非基準ディスプレイ上で示される。例えば、イメージ(グレーディング)は、500ニットのピーク白色ディスプレイ上で示されてもよい。このとき起こることは、グレーディングによりディスプレイを駆動することによって生じる、少なくとも線形伸長によって全ての画素の色を明るくする、即ち、ディスプレイのピーク白色に最大の白色(例えば、R=G=B=255)をマッピングすることである(勿論、ディスプレイが、特別な電気光伝達関数(EOTF:electro-optical transfer function)を有する場合、様々なイメージ画素色に対する他の輝度変形があるが、通常、ディスプレイを、基準CRTのより明るいバージョンのように、即ち、約2.5のディスプレイガンマ値で振る舞わせるために当該関数は、内部で扱われる)。
上記の正規化された(特に、100ニットの基準ディスプレイ上の基準環境において生成された)LDRグレーディングが、ディスプレイ、及び/又は、基準ディスプレイシステム(即ち、100ニットのピーク白色など)周囲の環境状態において使用され得る(即ち、まあまあ良好に見え、基準状態下での見え方とよく似たように見える)。これは、脳は相対的に機能する(例えば、許容性の基準に依存して、より重要でなく、多くの人が反対し始める前に、より重要な色の1つである顔色が、ほぼ白い青色からオレンジ色がかった色まで変化し得る)ため、ほとんどの人間が、正確(絶対的)な色の見え方について超臨界的でなく、また、シーンにおける本来の色が何であるのか誰も知らない多くのオブジェクトのためである。部分的に、これは、LDRシーンが、(特に、良好に制御されたスタジオ照明により実現され、現在我々が有する様々なオンザフライコンテンツではない)「ほぼ平均的」なオブジェクト色戦略により作られるためであり、このことは、全ての色が鮮やかであり、18%レベルより上までイメージを明るくし、幾つかの影を有するが、深すぎず、又は、重要ではなく、物理的及び心理的に、様々なシステム上で良好な状態を作る。それは、例えば、繊細な画家が、明暗法などの上記の複雑な問題を発見する前に作業する方法である。許容可能な類似性を定義する品質基準に依存して、LDRの100ニットのグレーディングが、例えば、30ニットから600ニットまでのディスプレイ上で用いられ、3倍少ない輝度から5倍多い輝度までの環境で観察する。グレーディングを用いる自由度は、いわゆるディスプレイ変形と称される修正によって増加され得る。(スティーブン効果及びBartleson_Brenneman効果に関する)ディスプレイ及び周囲の輝度は、許容可能な程度まで、ディスプレイ色域の制限に関する問題より容易に補正され、一般的に、ガンマ関数又は同様の関数により画像が処理され得る。例えば、薄暗い周囲から暗い周囲(又は、光が差し込む暖かい居間でスイッチオフするという事実)までディスプレイを動かす場合、エクストラガンマを1.25から1.5まで変える、即ち、レンダリングされたイメージのコントラストを増加するために残余ガンマを用いる。人間の目は、暗闇において敏感であり、レンダリングされたイメージの黒色をよりグレーがかったように知覚し、これは、補償される必要がある知覚されたコントラストにおける減少を意味するためである。同様のLDR技術が、印刷である。勿論、印刷物のピーク白色を決定する周囲輝度における事前の制御はないが、少なくとも、全ての反射オブジェクトの場合のように、白色−黒色RDRは、(光沢、つや消し、インクなどの紙の質に依存して)約100:1である。
複雑化は、莫大なダイナミックレンジを有するシーンのイメージを生成する必要がある場合に生じ、一般的に、シーン状態も、レンダリング状態とかなり異なる。例えば、夜のシーンでは、人間の目は、わずかなニットの影の暗い領域に対して、(例えば、シーンにおける高圧ソディウム又は水銀ランプ用の)100,000ニットの車の光のシーンダイナミックレンジSDR(scene dynamic range)を見ることがある。日光においてさえ、全てに広がる照明から暗い影を作ることはずっと難しく、屋内は、一般的に、屋外、暗い雲、森林に覆われた領域などよりも100倍暗く、シーン間でない場合、少なくとも画像間で、即ち、一時的に連続する再生において、(取得されるか、レンダリングされるか)必要とされる照度に影響を与え得る。人間の視覚の「本来のダイナミックレンジ」は、10,000:1と100,000:1さらには1,000,000:1との間で変化し、これは、勿論、状態に依存するためである(例えば、明るさの中でより暗い小領域を見る必要があるか、逆に、暗闇において、部分的にロドプシン漂白であろう、幾つかの明るい小領域を見ることができるか、グレアの不快感を考慮するかなどに依存し、勿論、特定のオブジェクトの重要性、完全又は十分な視界、観察者に対する感情的影響などを考慮した心理的要因もあり、そのことがディスプレイ上にどれほどレンダリングされるのかという疑問につながり(例えば、観察者は、正確に黒色であることに注意もせずに「黒色でしかない」として、ある領域を素早く捨てるかもしれない)、観察者が、完全に異なる状況にある場合(顔を光で照らされるのが、休日であるか、警察官に尋問されているのかは重要でない)、例えば、電力消費などの他の要因とのトレードオフかもしれないが、ある量の現実性が要求され、このため、特定のタイプのリアルなシーンや、テレビ視聴などの幾つかの人間の視覚ダイナミックレンジを実際に定義するであろう)。例えば、人が、暗い夜空に適合しているが、目の隅で月を見ている場合、網膜の他の場所における桿体視細胞への影響は少なく、暗い星、即ち、「同時的な」視覚可能なダイナミックレンジは、高いであろう。これとは逆に、(視界の大部分の領域に亘って)目が強い日光を浴びた場合、特に、光源が暗い領域に隣接している場合、小さな穴又は窓を通じて見られ、照射される、より暗い部屋におけるより暗い色を区別することはより難しい。このとき、光学システムは、幾つかのグレア現象を示す。実際、脳は、通常、暗い屋内に注意を払わず、全てのそれらの色を心理的に黒色であるとみなす。光の漏れが、人間の観察者の知覚からシーンダイナミックレンジにどのように影響及び決定するのかについての他の例として、照明ポールの後ろの夜における、不当に照射された暗い茂みを考える。照明ポールのランプは、観察者の眼鏡の引っかき傷(又は、彼が眼鏡をしていない場合、特に、後ろの茂みの暗い色の識別可能性を低下させるランプ周りのハロとして、サブミクロン粒子、細胞間の水・・・などの接眼レンズの不規則性)上に光散乱プロファイルを作る。しかし、観察者が、数秒歩いて、ランプが彼の接眼レンズの取得領域の外側へ移動した場合、目は、暗闇に潜んでいる動物を発見するために素早く調整することができる。
しかしながら、人間の食い扶持のための符号化及びレンダリングにより、シーンの有用なダイナミックレンジが定義されるため(グローバルな光のない倍率を有する画像間輝度を符号化するだけでなく、最も暗い曇った夜に対する日の照った熱帯の環境から実際に発生する輝度を考えることさえできる)、100:1よりもずっと大きいダイナミックレンジが、これらの環境のための信頼できる、又は、少なくとももっともらしいレンダリングのために必要であることが明らかである。映画又はイメージにおける完全又は最も暗いシーンを有する場合に、例えば、少なくとも、光を調光させることができれば、例えば、我々は、ぼんやりとした周辺のため、ディスプレイ上の最も明るいオブジェクトが約10000ニットであることを所望し、また、最も暗いオブジェクトが0.01ニット(又は、少なくとも0.1ニット)であることを所望する。
この点が、HDRが現れる点である。また、上記シーンが取得される場合、LDRディスプレイ上でそれを推定する(又は、レンダリング可能でさえある)ために、極めて複雑な数学的マッピングが必要である(これは、実際、しばしば不可能である)。例えば、幾つかのHDRからLDRへのマッピングアルゴリズムは、オブジェクト反射の印象、即ち、色のLDRレンダリングに残される輝度フィールドについて、一種の等化を行なうために、ローカルアダプテーションを用いる。シーンの明るい部分から暗い部分への光の漏れ(多重反射、散乱など)の観点から、極端に高いダイナミックレンジシーンを作ることは容易ではないが、100:1の輝度差は、多くの実際の状況において、容易に達成され得る。例えば、屋内シーンは、(勿論、部屋の深度、窓のサイズ及び位置、壁の反射などに依存するが)(建物照明の日光の要因がどれくらいかが規定される)屋外輝度の約1/100thの割合又は倍数を有してもよい。例えば、洞窟の中から小さなひびを通じて晴れた屋外を見る場合に、より高いSDRが、取得され得る。また、ディスプレイ上のレンダリング側では、HDRレンジは、新しく出現した概念を見るところから開始する。例えば、5000ニットのSIM2ディスプレイのような明るいディスプレイ上では、人は、リアルに点灯されたランプ、又は、(正しくグレード化された)リアルな晴れた景色の写実的な印象の正しい入力画像を与えることができる。上記LDRレンジと異なり、我々は、一般的に、HDRは、約1000ニットのピーク白色から上の通常のテレビ居間視聴状態を開始するが、より正確には、これは、実際の視聴状態に依存している(例えば、50ニットのピーク白色を有する映画レンダリングが、かなりのHDRの出現を示している)。さらに正確には、目及び脳の適合の観点から、数学上の詳細におけるHDRのような見た目は、物理的な輝度だけでなくイメージ内容、即ち、選択されたグレーディングにも依存するであろう。しかし、任意のケースにおいて、まるで均一に照射され、オブジェクトの反射を示しているだけの、主に鈍く、光がないシーンのバージョンを示すLDRレンダリングと、完全な光のフィールド出現が重畳されるHDRとの間の明確な差がある。例えば、1ニット以下の妥当な黒色をレンダリングできる場合、k×100:1(ここで、kは、一般的には2〜3である)のLDRコントラストレンジを得ることができる(近似、即ち、小さいコントラスト伸長のみを有する、特定の実例下では、シーン輝度に対する表示された輝度の相対的なレンダリングは、シーンにおける類似のDRに対応するであろう)。明るさの上限では、部分的に、明るさが終了する部分は好みの問題であり、特に、更なる明るさは不快となるだけである。我々は、特に、バックライト解像度のような他のディスプレイ制限に対処する必要がある場合、幾つかの種類のHDRシーンをグレーディングするため、5000ニットがまだ幾らか下限であることを発見した。実験では、我々は、(少なくとも何人からの観察者に対して)明るさを過剰又は刺激的にすることなく、暗い視聴において、10000ニットが可能であることを発見した。20000ニットのピーク白色より上では、真に迫った輝度のようにレンダリングするため、少なくとも明るさの出現を推定、与えるための、実際の技術的な設計思想であろう。一般的に、上記の明るいディスプレイを常に最大輝度で動作させるべきではなく、最適なHDR体験を作るためには、特定の場所及び時間においてのみ、並びに、一時的な劇的変化に関してよく選択されるように、控えめに、最も明るいレンダリングを使用すべきであることに留意すべきである。画像間DRだけに注目すべきでなく、人間の視覚適合を考慮して、様々な輝度環境をどのように連続的にレンダリングするかについても注目すべきである。
他のダイナミックレンジは、カメラダイナミックレンジCDR(camera dynamic range)であり、これは、(露出設定が与えられ)画素のフォトダイオード、及び、暗い側におけるノイズによってのみ十分に決定される。多重露出、又は、(例えば、3チップカメラにおける)様々な露出可能画素アレイのような技を用いる場合、CDRは、(例えば、レンズ散乱、レンズ又はカメラ本体上の反射などの)光学系によって制限されるが、これは、暗いシーン領域及び迷光のための誤照射から実際の照射を分離しようとする適切なコンピュータイメージング技術によって改善され得る。勿論、イメージ源が、(特殊効果又はゲームアプリケーションなどにおける)コンピュータグラフィックス処理である場合は、これらの制限を無視して、HDRを容易に作ることができる。我々は、CDRを無視し、極めて高い、又は、極めて高いオリジナルの状況を扱うことを想定したシステムにおける制限要素だけを想定している。特に、我々が、クリッピングを紹介する場合、それは、低品質のカメラキャプチャのためでなく、極めて明るい色をレンダリングするためのディスプレイの無力のような全体のイメージングチェインにおける他の制限の実際の扱いのためであると想定している。
ここで、(視聴者の適合状態に依存し)視聴者を正しい感覚で刺激するための正しい光分布を実際には生成しないディスプレイ環境RDRから離れて、HDRの操作又は符号化について話す場合、符号化ダイナミックレンジCODRと我々が呼んでいるダイナミックレンジに用尺され得る、他の興味深い側面がある。幾つかの思考実験が、この重要な概念を明確にする。高い吸収性の黒色マーカで、明るく背景照射された白色パネル上に描くことを考えた場合(周囲の部屋及び視聴者は、完全に吸収するオブジェクトであると仮定する)、パネルの周囲の白の1/16000thの透過が得られる。例えば、カメラキャプチャリング(そのADC)の(全ての値を、0と2^Bとの間で線形表現することを意味し、ここでは、^は動力操作であり、Bはビット数である)線形ビットの世界では、この信号を表現するために14ビットを必要とする。しかしながら、このコーデックは、生じ得ない値のために多くの符号を無駄にしているため、我々は、特定の信号を正確に表現でき、理論的には1ビットの符号化しか必要としないことを説明できる。我々は、黒色に符号0を与え、白色に1を与え、それらを、それらが対応している実際の輝度に変換する。なお、ディスプレイは、実際に、シーンにおける正確に同一である輝度を有する値をレンダリングすること必要としないことに留意すべきである。実際、この信号は、より低いDR等価物よりも(心理的にも意味的にも)良好には見えない(実際、このようなハイコントラストな黒白描画は奇妙に見える)ため、我々は、1ニット及び2000ニットの値を有するディスプレイ上にそれを同様にレンダリングする。ここで、我々は、HDR符号化について話す場合に、重要である興味深い区別を最初に見る。それは、生理的なダイナミックレンジと心理的な(又は、意味的な)ダイナミックレンジとの間の差である。人間の視覚は、目と脳との2つの部分を有する。目は、錐体視細胞及び/又は桿体視細胞を適切に刺激(これにより、ガングリオン細胞などを刺激)するために、先駆けとして、適切な生理的ダイナミックレンジ(PDR:physiological dynamic range)を必要とするが、究極的には、イメージ又はシーンの最終的な見た目(心理的ダイナミックレンジ(PSDR:psychological dynamic range))を決定するのは脳である。それは、光る領域の正確な印象を与えないが、ペトルス・ファン・センデル(Petrus Van Schendel)のような画家は、暗い夜の町並みにおける炎のようなLDR中間ハイダイナミックレンジシーンにおいて、エミュレートするためのPSDR心理的原理を刺激することができる。これは、複雑な色域マッピングアルゴリズムが、LDRディスプレイ上のレンダリングのためのHDRイメージの前提条件を調整しようとするものである。しかし、この原理の他の側面は、幾つかのシーンが、他よりもHDRディスプレイ上で、よりHDRっぽく見えるということである(例えば、背景に青白く乾燥した灌木及び幾つかの木々がある晴れた冬の景色が、高輝度に見えるが、HDRではない)。HDR動作のために、例えば、視聴者に対して明るいランプを調整するように、心理的なエミュレーションは、通常、領域の実際の明るいレンダリングとして説得力がない。
ここで、第2の例について同様に考えると、200ニットと5ニットとの間の輝度を有する屋内シーンと、1500ニットと20000ニットとの間の輝度を有する屋外シーンとがある。これは、存在しない符号によって分離された2つの照射ヒストグラムがあることを意味する。キャプチャリングノイズがそれほど多くない場合、黒色において十分な精度を有する幾つかの非線形性を用いることが望ましいが、我々は、従来、それらを16線形ビットのレンジで符号化していた(最大符号は、32768ニットに対応する)。しかし、我々は、これを異なる方法で符号化できた。例えば、我々は、1ビットの正確さを犠牲にし、8ビットの非線形JPEG輝度レンジを、下位が上記シーンのより暗い部分である一方、上位がより明るい部分である(非線形JND割り当ての観点から、中間では、正確にカットしたくないであろう)2つの隣接する接触部分に分割できた。より少ないビットを有する場合に失われる正確な詳細について心配する場合、しばしば、HDR効果の代わりに利用可能なビットを用いることがより良いことを考えるであろう。かかる割り当ては、一般的に、入力RAWキャプチャリングの輝度値(L)の8ビットの輝度値(Y)へのシフト及び(非線形)伸長に対応している。少なくともレンダリングの後処理において、任意的に、圧縮される、又は、伸長される(少なくとも、非現実的となるまで、より明るい外側を更に明るくする)場合、ここで、再び、上記シーンのダイナミックレンジとは何なのかという疑問が生じる。ここで、様々な外観の概念が助けになる。我々は、両方のサブヒストグラムにおいて、恐らく、ほとんど又は全て関連している(そうでない場合、我々は、それらを符号化する必要はなく、例えば、正確さのための1又は複数のビットを落とすことができる)、様々な画素又は領域に対する複数の様々な輝度値を有する。また、(例えば、平均輝度における差分として測定された)2つのヒストグラムの分離は、ディスプレイ上で究極的にレンダリングされる場合、幾つかの外見上の意味を有する。人間の視覚は、幾らか、輝度を無視するが、(特に、2つの明るい領域がある場合)全体的にではなく、このため、これらの目に対する入力を少なくともある程度までレンダリング/生成する必要があることが知られている。このため、有意義な様々な色(又は、少なくとも輝度又は明度)と協働して、(例えば、最良に可能なディスプレイシナリオにおいてレンダリングされた場合)レンダリング可能なシーンにおける画素又はオブジェクトの外観は、符号化ダイナミックレンジ(CODR:coding dynamic range)についての洞察、及び、我々が、どのようにして、HDRイメージを符号化する必要があるのかを与える。イメージが、多くの様々な外観を有する場合、それは、HDRであり、任意の妥当なもっともらしい符号化において存在する必要がある。
古典的なイメージ又は映像符号化技術(例えば、PAL、JPEGなど)は、主に、元々、相対的に固定された視聴状態下(電車内のOLEDではなく、家庭環境におけるCRT、又は、屋根裏に、映像コンテンツに調整可能なオンザフライ動的制御可能照明を有する専用の暗い映画部屋を有する同一の消費者)における、100:1のレンジのオブジェクト(反射)輝度のレンダリングに関係していたので、当該システムは、特に、おおよそ平方根関数であるV_709=1.099L^0.45-0.099などの、目の輝度感度をまねる固定的なユニバーサルマスタ符号化ガンマを有する、むしろ固定された態様で映像を符号化していた。しかしながら、かかるシステムは、CODRの広範囲を扱うためにはうまく適合していない。ここ2〜3年で、OpenEXRシステム(F. Kainz and R. Bogart: http://www.openexr.com/TechnicalIntroduction.pdf)などのように、全ての可能な入力輝度をシーンに関連して線形的に符号化する方法で、HDRを符号化しようとしている。あるいは、古典的な拡張指針に基づく2層システムがある。これらは、少なくとも2つのイメージを必要としている。1つは、一般的に、レガシー的に使用可能なLDRイメージであるベースイメージであり、もう1つは、マスタHDRイメージを再構成するためのイメージである。その一例が、米国特許出願公開第2012/0314944号明細書であり、これは、LDRイメージ、(LDRレンダリングシステムのためのLDRイメージを適切にグレーディングした後に取得されるLDR輝度で、HDR輝度を分割することによって取得される)対数ブーストされた又は比イメージ、及び、符号化されるイメージであるHDR毎の色クリッピング補正イメージを必要としている。ブーストイメージにより、制限されたレンジから、HDRレンジ上で専有すべきどのような輝度位置までの、(サブサンプリングに依存している)全ての領域をブーストできる。当業者は、どのように特定の符号化定義の輝度観点において定式化すべきかを想像できるため、単純化のために、我々は、輝度の観点において、全ての上記動作について説明していることに留意すべきである。それらは、既存の装置において、厳密にアップグレードされた符号化(復号化)ICを必要とし、LDRイメージに加えて他のイメージの扱いが要求されるため、上記マルチイメージは、少なくとも今後何年間は幾分扱いにくい。
近年、また、国際公開第2013/046095号において述べられているように、我々は、ハイダイナミックレンジイメージを符号化可能とすべく、(好ましくは、わずかな修正で、好ましくは、通常、符号化されたLDRグレーディングをHDRグレーディングに変換可能とし、又は、その逆を可能とするなど、2つの大きく異なるレンダリング状態のための同一のシーンの2つのグレーディングに関連している変換を適用するためのメタデータにより、また、おそらく、更なる修正が望まれる場合に最終的な調整を行なうための2〜3の追加的な小さい画像をメタデータに格納するための部屋を持たせる幾らかの変形、例えば、画素毎の補正係数が、例えば、色変換による現在のHDR再構成の画素位置上にマッピングされる200個の120×60画素イメージに符号化される、映画のワンショット又はワンシーンにおける極めて明るく照らされた顔、又は、イメージとして称される粗い微調整マッピングとして適用される、それらの小さな補正イメージの幾つかのサブサンプリングされた表現などのオブジェクトを含む小さな領域上の追加的又は増大的な補正により)古典的な映像符号化を改善するための方法を開発してきた。当該システムでは、一般的に、人間のグレーダが、入力されるHDRイメージ(マスタHDRグレーディング)から、例えば、古典的な映像圧縮(DCTなど)、一般的に、マスタHDRにおけるコンテンツが何であるのか(例えば、極めて明るい照射領域を有する暗い背景)、及び、LDR状態においてどのようにそれがレンダリングされるのかに依存している最適なマッピング関数(ガンマ関数、又は、線形部分などの類似の最適なガンマ係数、又は、Sカーブなどのマルチセグメント関数)を通じて符号化されることができる、8又は10(又は、12ビット、又は、原理的には、少なくとも輝度符号のための他の値、ただし、この値は、一般的に、「古典的」LDRイメージ符号化のために逆転されるものである)ビットのLDR符号化に、最適なマッピング関数を決定することができる。我々は、HDRグレーディングをレガシー的に使用可能なLDRイメージ及びLDRコンテナにマッピングすることによる、この同時のLDR及びHDRグレーディングの符号化を、HDRの符号化と呼ぶ。我々は、この技術において、後方に適合可能であること、即ち、例えば、レガシーLDRシステム上でレンダリングされる場合に、生成されるLDRイメージが、妥当な結果を与えることを保証したい(即ち、画像がもっともらしく良く見え、完全でない場合、一般的に、多くの人々が、幾つかのオブジェクトの色が全然良くないと考える)。正確性の幾らかの減損が許容される場合、我々のシステムは、HDRシーン又は効果を8ビットシステム上で符号化することさえ可能である。納得のいく結果により、我々は、恐らく、最良の理論が芸術的な見た目を達成できるわけではないが、LDRレンダリングされたイメージが、コンテンツ製作者及び/又は視聴者に対して許容可能であり、これは、勿論、アプリケーションに依存する(例えば、安価なインターネットベース又は携帯サービス品質の制約は、それほど致命的でない)ことを意味している。少なくともLDRグレーディングは、正規化されたLDRイメージからそんなに由来しない特性を有するLDRシステムにおいてレンダリングされる場合、ほとんどの又は全てのオブジェクト(少なくともイメージ又は映像のストーリーに重要なオブジェクト)の良好な見た目を与える。一方、HDRディスプレイに対しては、オリジナルのマスタHDRは、共同符号化マッピング関数の反転により、LDRイメージから再構成されたHDRイメージにマッピングすることによって、近似されることができる。数学的耐性を有する上記近似が、例えば、入力されたオリジナルのマスタHDRとその再構成との間の顕著な相違点(JND:just noticeable difference)の観点において、定義されることができる。一般的に、任意の上記システムが、再構成されたHDRがどれほど違って見えるのか(例えば、テレビコンテンツ製作者又は映画コンテンツ製作者のようなユーザの特定のクラスにとってなお許容可能であるのか)、複数の一般的なHDRシーン、アクション、及び、他の状況をテストすることによって、設計され、特定のパラメータ範囲の範囲で特定のガンママッピングなどの操作のクラスが有効にされる。このことは、近似の常に一定レベルの品質が達成され得ることを保証する。
以下に提示される技術の目的は、LDR及びHDRの少なくとも2つのグレーディングを定義する際、グレーダにより多くの多用途性を与えることである。
上記目的は、
ハイダイナミックレンジ入力イメージM_HDRのための入力部240と、
人間が決定したカラーマッピングアルゴリズムによるローダイナミックレンジイメージIm_LDRに対して、人間のカラーグレーダが、所定の精度に従って規定された前記ハイダイナミックレンジ入力イメージの表現HDR_REPからカラーマッピングを特定することを可能にし、前記カラーマッピングFi(MP_DH)を特定するデータを出力するイメージグレーディングユニット201と、
前記ハイダイナミックレンジ入力イメージM_HDR、又は、前記ローダイナミックレンジイメージIm_LDRのいずれかに対して、自動カラーマッピングアルゴリズムを適用することによって、第2のローダイナミックレンジイメージGT_IDRを導出する自動グレーディングユニット203と、を有するイメージエンコーダ202を有することによって実現される。
一般的に、ハイダイナミックレンジイメージ(一般的には、マスタグレーディング)又はLDRグレーディングからGT_IDRグレーディングが作られるが、勿論、特に、様々なオブジェクトの輝度又は明度などの他のグレーディングのイメージ特性を考慮に入れることも有効である(即ち、GT_IDRをM_HDRからマッピングする場合に、LDRグレーディングが何に見えるのか、ひいては、GT_IDRが、一種のバランスであり得るが、勿論、それは、全ての種類の他の状態/要因によっても形成され得る)。我々は、マスタHDRイメージが、かかる符号化を許容する任意のフォーマットで符号化されるとした(例えば、これは、OpenEXRであってもよいし、又は、図7で明らかにされるシステムであってもよいし、一般的に、グレーディングソフトウェアの製作者などによって好まれる任意の物であってもよい)。即ち、M_HDR符号化は、線形、シーン関連タイプであってもよく、又は、既に、幾つかの興味深い符号割り当て関数が適用されていてもよいが、我々の説明のため、線形輝度符号化であると安全に仮定できる。(カメラは、人間の目ではない色フィルタなどのような特性を有するただの自動取得ツールであり、より重要なことには、それらの回路は、人間の脳のようではなく、単なる記録によって、それらから出力される物は、良好かもしれないが必ずしも最適ではないため、)一般的に、かかるマスタHDRイメージは、カメラから直接くるものではないが、(例えば、あるシーンのための最適な雰囲気を作るために、ベースとなる背景環境を暗くする)芸術的且つ最適なグレーディングである。しかしながら、人間のグレーディングは、(マスタHDR入力である)カメラのイメージの単純な機能マッピングでありえ、例えば、(LDRイメージ及びマッピングパラメータを介して、)高品質のHDRイメージが符号化された後、特定のレンダラ上で第1のビューを得るに過ぎない。イメージグレーディングユニットは、一般的に、コンピュータ上で実行されるソフトウェアであり、当該ソフトウェアは、画素の初期色から画素の最終色までの色マッピングを可能とし、例えば、トーンマッピング関数を輝度相関又は色定義曲線(R,G,Bなどの)に同時に適用することによって、初期値から最終値までそれらの画素の輝度相関を変更する。色技術の所与の複雑性では、輝度、値(V)、いわゆる明度に関係する関数定義などの幾つかの類似の変形があるため、当業者は、我々が、(シーンにおいて取得された、又は、そのレンダリング上でレンダリングされた場合に)画素の輝度と関係する任意の数学的符号化を示すために輝度相関なる用語を用いる理由を理解すべきである。実際、赤色の量などの、色の線形又は非線形コンポーネントは、輝度相関として用いられてもよい。このため、輝度相関は、輝度軸(CIEによって定義されるような輝度)と他の軸との間の任意の単調マッピング関数として理解されるべきであり、他の軸上の任意の値は、輝度値に即時に変換されることができ、その逆もまた可能である。様々な関連のための式は、正確な詳細において変わるが、その原理は同じである。しかし、我々は、我々の実施形態の原理は、輝度マッピング上で定義されることができるが、それらは、実際は、他の輝度相関上で数学的処理を行なうことによって物理的に構成され、又は、一般的に、任意の色符号化であってもよいことを示すための用語を紹介する。人間の色グレーダは、例えば、取得された映画の特定の見た目を生成するために、映画の監督によって、部分的に監督されてもよい。
上記実施形態の原理は、LDR及びHDRグレーディングに関する固定的なマッピング関数を具備する(例えば、増加されたダイナミックレンジを有するかどうかに関わらず、任意の入力イメージをLDR符号化に符号化する)レガシーシステムに対して、我々が、デュアルシステムを有することである。このことは、一般的に、レンダリングされるイメージ(PCT2012/054984号の場合、直接、又は、他の色処理の後で、それを駆動するためにHDRディスプレイ上で用いられるHDR再構成)を作るための唯1つのリバーシブル関数の代わりに、マッピングパラメータ(例えば、輝度相関マッピング関数、又は、一般的に、入力色を出力色に変換するためのソフトウェアにより実現される数学的変換を定義しているデータ)の2つのセットを作る。
このデュアルシステムでは、マスタHDRに関連付けられる2つのグレーディングが存在する。第1に、第2のローダイナミックレンジイメージGT_IDRと称される良品買な第1のLDRイメージを作る自動グレーディングがある。それは、色グレーダによって(例えば、通常全ての入力イメージについて良好な結果を生むマッピング関数のセットから所望の1つを選択することによって)、(部分的に)影響され得るが、芸術的な要望に焦点を当てることができるグレーダの視覚及び関心から、この自動グレーディングが、装置において、シーンの後ろに現れる場合、一般的に有用である。この技術的なグレーディングのポイントは、恐らく、グレーダの特定の芸術的要望に従って完全に最適ではないものの、LDRシステム上でレンダリングされる場合に、良好な見た目のLDRイメージを生成するイメージGT_IDRを作ることである(良好な見た目とは、出力される任意のイメージを意味するものではなく、視聴者が、映画の中で何が起こっているのかのほとんどを理解できることを意味する。なぜなら、幾らかの変色のために、最適なものと比較して、シーンの雰囲気が幾らか変更され得るが、全てオブジェクトの視認性は良好であるためである)。しかし、この第2のLDRイメージGT_IDRが、技術的に最適であることを定義しており、それから、最適な品質を有するマスタHDRの再構成REC_HDRを再構成することは容易である。このことは、例えば、M_HDRからそれに特定の最適なマッピングを使用後の量子化によるGT_IDRにおける情報ロスが最小であり、全ての典型的な可能なHDR入力イメージのための再構成されたHDRにおいて、最小の許容可能量となることを意味する。
一方、人間のグレーダの芸術的グレーディングがある。彼は、LDRレンダリングシステムで見るために、好みに従ってみたい画像を何でも抽出することができる。例えば、我々は、ホラー映画において、暗い背景で起こっているアクションを有することができる。HDRレンダリングシステムは、ほとんどのオブジェクト(例えば、壁に対する影の中の棚にある拷問器具、又は、開いたドアの後ろにある照明されていない隣の部屋の内部)の視認性を維持したまま、暗い周囲をレンダリングすることが可能である。同時に、暗い部屋の天井で点滅している単一光源、又は、歩いている人の点の中にある懐中電灯のような、極めて明るいオブジェクトをレンダリングすることも可能である。しかしながら、LDRレンダリングシステムは、暗い周囲をレンダリングするための劣った能力を有していてもよい。特に、電球及びその下を歩いている人の顔のようなより明るいオブジェクトのための制限された輝度範囲に部屋をおく必要があり、グレーダは、周囲のオブジェクト、即ち、暗い背景の輝度とのコントラストを増加させることによって、明るさを模倣したいかもしれないためである。グレーダは、例えば、芸術的に、この背景を、LDRグレーディングIM_HDRのための完全に黒くするように決定し得る。このローダイナミックレンジイメージIM_HDRは、背景において全てのオブジェクトが見えるような十分な情報で、REC_HDRを再構成するために用いられないことが明確である。このことの一般化として、自動グレーディングユニットは、関連する情報ロスが発生しないことを保証しなければならず、HDR再構成は、符号化されたLDRイメージGT_IDRから良好な近似の精度で抽出されることができることが分かる。このLDRイメージGT_IDR自体は、同じ環境的な制限(例えば、意図されたディスプレイの100ニットのピーク白色)で定義される必要はないが、例えば、200ニットの参照ディスプレイ要であってもよい。
当業者が理解できるように、かかるシステムを実現するための2つの方法がある。自動グレーディングユニットがまずそのマッピングを行ない、次いで、人間のグレーダが所望のLDRグレーディングIM_LDRを作るためにGT_IDR上で作用するか、又は、人間のグレーダがまずグレーディングIM_IDRを行ない、次いで、自動グレーディングユニットがLDRコンテナフォーマットにおける全ての関連するHDRデータを符号化するために技術的により適切なGT_IDRを抽出する。このため、実際、このことは、人間のグレーダが、両方の場合に、マスタHDRの表現上で機能することに、論理的に対応する。人間のグレーダでは、第1の場合、それは、開始点を形成する(非常に正確な)マスタHDR自体である。第2の場合、それは、マスタHDRのほとんどの(少なくとも関連する)データを含むため、自動技術グレーディングからの最終的なGT_IDRは、マスタHDRの良好な表現、マッピングされた異なる輝度相関表現である(例えば、マスタHDRにおける10000ニットのランプの輝度は、GT_IDRにおいて輝度コード253として表現され得る)。再度、所定の正確さによれば、GT_IDRからの再構成REC_HDRが、オリジナルで入力されたM_HDRからどれくらい得られることが制限されるかを意味する。一般的に、当業者は、(人間のパネルの好みによって厳密に定義されない場合、)REC_HDRの画素色とM_HDRの画素色との間の重み付けされた差分などにより、かかる取得を数学的に特徴付けることが可能であることを知っている。例えば、領域における色の見た目や、テクスチャ化された領域において発生する差分のペナルティなどの様々な人間の視覚原理を特徴付ける数学的関数が使用され得る。オブジェクトのために実際にレンダリングされた輝度がそれほど重要でないため、ランプなどの幾つかの意味論的オブジェクトに対するより大きな差異が許容され得る。要約すれば、当業者は、一般的に、任意又はほとんどの一般的に発生する入力M_HDRイメージが、(人間の評価パネルによって許可される値、又は、数学的に許可される値である)所定の閾値よりも低い再構成エラーを生成する、技術的グレーディングが、予め許可されたマッピングの任意のセットを実行することを理解する。一般的に、これは、例えば、ガンマのような関数(即ち、一般的に、黒色においては線形部分で開始し、入力に対する出力の減少スロープを示す曲線に続く)のセット、又は、暗闇/影に影響するためのパラメータに関する3つのセグメントの曲線、全てがもっともらしく振る舞い、M_HDRの特定のタイプの特定の輝度領域において、幾つかが、より劣った再構成エラーを与える、輝度又は輝度相関軸の中間及び輝度のサブレンジである。人間のグレーダは、かかる曲線を選択し得る。あるいは、自動グレーディングユニットが、例えば、M_HDRの色又は輝度ヒストグラムを見ることによって、又は、(例えば、顔がどこにあるかを決定するなど)より複雑な分析を行なうことによって、かかる適切な曲線を選択してもよい。このため、所定の精度によれば、M_HDRの表現HDR_REPは、このイメージが、異なった符号化方法では、所定の精度の範囲内で、入力されたM_HDRが反対に再取得され得るように、即ち、最悪の場合でも再構成エラーが許容レベルを超えないように、実質的に全てのM_HDRのデータを含むことを意味する。
このため、人間のグレーダは、LDRレンダリングシステムで使用される、好みのローダイナミックレンジイメージIm_LDRを取得するために、M_HDR又はGT_IDR上で機能する。グレーディングソフトウェアにおいて、例えば、特別なグローバルトーンマッピング(即ち、輝度マッピング)、又は、入力色値のみに基づいてイメージ中の空間的位置が何であれ、全ての画素に適用される色マッピング関数が調整され、使用可能なマッピングのセットから、任意の色マッピングが使用され得る。あるいは、局所的に微調整されたマッピングが使用されてもよい。例えば、(矩形又はそれ以外の規定された境界形状の範囲内で特定される)イメージの特定の位置領域において、特定の輝度値よりも明るい(又は、特定の色の範囲内の)画素のみが選択されてもよく、局所的な色マッピング戦略に従って、それらの画素のみが変換されてもよい。メタデータとして実行される全てのものが記述され、例えば、グローバル輝度相関変化関数が、パラメトリックな形式(例えば、S形状曲線の3つの領域のためのパワー関数係数、影の端部、両側の線形部分、パラボラ曲線係数など)で記述される。これらの関数が(大きく)可逆である場合、受信側は、この出力イメージを入力イメージとして用いて、逆色マッピング戦略を用いて、少なくとも所定の精度の範囲内で(例えば、上述のような量子化及び/又はDCT効果の後)、この出力イメージが取得されるオリジナルのイメージを再構成し直すために、これらを用いることができる。
人間のグレーディングの第1の実施形態では、人間のグレーダは、M_HDRマッピングから、マッピングパラメータFi(MP_DH)を生成する。しかしながら、自動グレーディングが、LDRグレーディングをなお修正するため、これらは、結局、興味深いパラメータではない。自動グレーディングユニットは、それらから、新しいパラメータの2つのセットを取得する。マッピングパラメータFi(MP_T)で、HDRから新しいLDRグレーディングGT_IDRに、異なるマッピングが抽出される。また、技術的にグレーディングされた第2のLDRイメージGT_IDRから人間が好むLDRグレーディングIm_LDRを作るために、新しいマッピングパラメータFi(MP_DL)が抽出される。符号化されたM_HDRイメージ上で機能するために、受信側に必要なデータを格納する場合、即ち、特に、受信側が再構成REC_HDRを再生成可能とする場合、フォーマッタは、一般的に、(オブジェクトのテクスチャのための)GT_IDR及びマッピングデータFi(MP_T)及びFi(MP_DL)の2つのセットを、任意の信号標準の仕様書において定義される適切な符号に、即ち、一般的には、イメージ(又は映像)信号TSIGのメタデータにおいて、符号化する。自動グレーディングの場合、まず、人間のグレーダは、マッピングパラメータFi(MP_DL)を生成するために、GT_IDRに作用し、次いで、これらが、(GT_IDRイメージ及びFi(MP_T)に加えて、)信号に記述される。
システムの変形に依存して、自動グレーディングユニットは、マスタHDRM_HDRから直接、第2のLDRイメージGT_IDRをプリスペシフィケーションとして付与するか、又は、入力として優先的に人間によりグレーディングされたIm_LDRに基づいて、ポストスペシフィケーションとして付与する。色マッピングを記述しているデータなる用語は、色マッピングの任意の多くの可能な変形例のためであることが、当業者にとって明らかである。一般的に、グレーディングソフトウェアは、使用する関数のパラメータを格納することができ、特に、符号化のために良好な状態とされたマッピング関数を使用することができる。例えば、我々は、控えめに用いられる場合、即ち、範囲内の値で、(特定の精度の範囲内で)可逆である複数のローカル又はグローバル関数を設計することができ、グレーダによって積極的に用いられる場合、(部分的に)可逆でなくてもよい。かかる例は、ガンマ関数である。3.0の値までのガンマ係数は、特定のシステムにおいて可逆であるが、3.0より大きいガンマは、入力輝度範囲の少なくともサブレンジのために(即ち、可逆的な再構成のために)、厳しいことが分かっている。あるいは、自動GT_IDRから後天的なLDRグレーディングを生成するための拡張セットにおいて、自動グレーディングには存在しない関数があってもよく、所望のグレーディングされるLDRイメージを作る際の入力HDR情報における著しい情報ロスを作ってもよい。上記システムは、一般的に、グレーダが、LDRイメージを作る自由度が制限されたモード又はフェーズにおいて機能してもよいが、良好な技術的特性を有し(即ち、良好に関数化されたGT_IDRに近似される)、最適なLDRグレーディングされたイメージIm_LDRを決定するにおいて、グレーダが(略)非制限的に自由である、又は、少なくともより大きな自由度を有するモード又はフェーズにおいて機能してもよい。
好適な実施形態では、自動グレーディングユニット203は、ハイダイナミックレンジイメージM_HDRから第2の所定精度の範囲内にあるHDR再構成イメージREC_HDRが、第2のローダイナミックレンジイメージGT_IDRに、第2の色マッピングアルゴリズムCMAP_2を適用することにより、計算されることができる状態を満たすことによって、その自動色マッピングアルゴリズムを決定するように構成される。
このため、自動グレーディングユニットは、マスタHDRの良好な再構成を可能とするために、第2のLDRイメージGT_LDRの品質を維持する。それは、M_HDRをGT_IDRと関連付けるために使用され得る機能を制限することによって、この状態を満たす。特に、多すぎない(重要な)データは、例えば、R,G,B又はY,Cr,Cbなどのような色成分の量子化動作により、失われるべきである。このため、それは、一般的に、上記の評価に基づいて、マッピング機能を選択し、これが、(例えば、特定の輝度ヒストグラム分布特性で、HDRイメージ上で動作する場合に、特定のマッピング機能又はアルゴリズムのために良好な再構成可能性を生み出すように、研究所において事前にテストされるアルゴリズムによる)事前の計算か、又は、事後の計算かを選択し、これは、例えば、反復ループでは、最良の複数の可能なマッピング機能の選択である。第2の所定精度は、選択されたマッピングアルゴリズムで符号化されたデータからREC_HDRを再構成することによって、即ち、第2の色マッピングアルゴリズムCMAP_2と呼んでいる、Fi(MP_T)の反転をGT_IDR上に適用することによって、達成可能な最終的な精度である。自動グレーディングの第1の実施形態では、これは、自動グレーディングユニットが、単独で、M_HDRとGT_IDRとの間のマッピングを決定すること(当該関係で悩まされないという事実をユーザが必要としている)を意味する。それは、例えば、適切なガンマ関数を選択し、結果、GT_IDRは、M_HDRにおける暗い見た目に対するもっともらしい近似を有するが、関連する輝度値は、GT_IDRのある輝度においてクラスタ化されすぎない。人間の最初のグレーディングでは、自動グレーディングユニットは、M_HDRとGT_IDRとの間の最終的なマッピングFi(MP_T)を決定する必要がある。これは、人間のグレーダの後に、新しい第2のLDRグレーディングイメージGT_IDRを再決定することに対応している(が、GT_IDRからの再構成のためのマッピングパラメータも決定されるため、人間のグレーディングを破壊しない)。そのために、幾つかの戦略が存在する。例えば、自動グレーディングユニットは、マッピング機能を見ることができ、例えば、量子化のために、深刻なデータ損失につながる領域における何らかを抽出できる。さらに、自動グレーディングユニットは、取得されたイメージ(M_HDRに比較して、Im_LDR対GT_IDR)を研究でき、(幾何学的に良好に実施されたマッピング曲線からどれくらい抽出されるのかを見ることによって、)曲線自体のマッピングも研究できる。自動グレーディングユニットは、人間のグレーダによって選択される1つに近いが、良好に実施される、マッピング関数のセットのうちの1つを選択することもできる。このことから、最終的なシステムを取得することは、数学的な計算である。例えば、GT_IDRは、偏差関数を人間のグレーダのM_HDRからIm_LDRへのマッピング関数Fi(MP_DH)に適用することによって取得される。実際、自動グレーディングユニットは、最小のエラーで、GT_IDRを取得するために、最終的な関数をM_HDRに直接適用することができる。Im_LDRは、偏差関数を用いることによって、抽出され得る。当業者は、同様の他の数学的フレームワークにおいて、自動グレーディングユニットが、最適なマッピングFi(MP_T)及びGT_IDRからグレーダのIm_LDR(即ち、Fi(MP_DL))に対する対応するマッピングを決定できることを理解する。我々は、技術的にグレーディングされたLDRイメージGT_IDRを取得するために、人間のグレーダのグレーディングに対して、技術的な変形DEF_TECHを適用するものとして、図6に概略的に示した。即ち、自動グレーディングユニットは、(マッピングが、技術的に極めて自由である)GT_IDRなどから人間のグレーディングを抽出するために、LDRイメージIm_LDRから開始して動作し、変形態様において動作し、Fi(MP_T)を抽出するか、又は、人間のグレーディングIm_LDRの見た目を直接見て、技術的なグレーディングの技術的限界を与え、Fi(MP_T)をもたらし、そこからFi(MP_DL)を決定することができる。このため、状態が、どのようにして、満足されるかは、当業者にとって明らかである。また、上記精度は、例えば、技術の品質クラス(ほとんど印象を与える低品質なHDR符号化に対して、上等なユーザのための高品質映画があるが、究極的な品質ではない)、特定のマッピングが、困難な場合に、HDRイメージが、予め許容される大きさよりも大きくない作為を作ることを規定するなど、任意の測定として予め規定されることができる。規格に従って動作しない他のマッピング戦略は、使用されるべきでない。いずれの場合にせよ、定義における細かい正確な詳細から離れて、任意の侵害者にとって、上述のようなデュアル技術的チェインシステムを使用しているかどうかが明らかであるべきである。
上述したように、少なくとも自動グレーディングユニット203、及び、可能であれば、イメージグレーディングユニット201が、ハイダイナミックレンジ入力イメージM_HDRの同一の幾何学的領域に対応する各入力イメージの少なくとも幾何学的領域において、単調マッピング関数を少なくとも各入力イメージにおける画素の輝度相関に適用するように構成されている場合、好適であろう。イメージ(例えば、全体のイメージ)の一意に識別可能な領域における1対1の関数定義を有することは、少なくとも無限の正確な軸上で、これらの関数を反転可能であることを意味する。これらの関数の導関数又は傾きが、Im_LDR又は少なくともGT_IDRの単一符号へM_HDR輝度の多くをマージしないようにする場合、特に有利である。また、かかる単調関数は、容易に、ルックアップテーブルにより、技術的に計算できる。例えば、これは、入力及び出力として、輝度値Yなどの輝度相関をとることができる。2つの空間的領域でなされることができるよく発生するHDRシーンの一例は、車又は部屋の内側から撮影された写真などの、内側から外側へのイメージである。対応する幾何学的領域では、我々は、当該領域がいわゆるIm_LDRで定義された場合、画素が、M_HDRにおける画素で識別可能であることを意味する。例えば、イメージが、同一の形状(解像度及びカット)を有する場合、画素位置が、配列されるが、スケーリングなどのような幾何学的変形の場合、当業者にとって何を意味するかは明らかであるべきである。
単純なシステムは、例えば、固定された、予め許可された、常に正確に機能化されたマッピング関数Fi(MP_T)を使用するが、より進んだシステムが、最適に、マッピングを決定することができる場合、特に、自動グレーディングユニット203が、ハイダイナミックレンジイメージM_HDRにおける画素の輝度相関における情報量と、第2のローダイナミックレンジイメージGT_IDRにおける画素の輝度相関における情報量との差を推定する品質基準に従って、自動色マッピングアルゴリズムを決定するように構成される場合、有利である。
当業者は、情報量を定義するための異なる方法があるが、それらは、全て、表現(特に、意味のあるデータ)の中にどれほどのデータがあるのかを測定することに関していることを理解するであろう。利用可能な色のみを測定するが、どの領域又はオブジェクトから来たのかは測定しない、意味論的に盲目な方法がある。例えば、M_HDRの輝度のどれくらいが、GT_IDRの単一の輝度値にマッピングされるのかが測定され得る。例えば、ほとんどの輝度が、2つずつのみでマッピングされるが、M_HDRの輝度軸の特定の領域において(又は、特定のサイズを超える輝度値のスパンのフローティング表現において)、HDRの輝度の5つのディジタル値が、単一のGT_IDR輝度値にマッピングされる場合、これは、大き過ぎる情報損失とみなされ得る。このため、スパンのサイズ、又は、M_HDRにおけるディジタル化された輝度値の量は、可能な情報量の測定の一例である。勿論、これらの測定は、例えば、M_HDR輝度範囲の特定の関心サブ領域、又は、顔などのような意味のあるオブジェクトに亘って振る舞う方法を見ることによって、よりスマートになされることができる。例えば、各々の顔が、GT_IDRにおいて、少なくとも50個の輝度符号によって表現されるべきである、又は、M_HDR(又は、その均等物の連続スパン)におけるN個のディジタル輝度値を有する顔の各領域が、GT_IDRにおいて、N個の半分よりも少ない輝度量Mで表現されるべきでないことが、予め規定されてもよい。これは、所与の非線形マッピング関数により、人間にとって非線形の有意味性に基づいて、微調整され得る。例えば、基準HDR視聴環境下でのREC_HDRへの再構成の際、どれほど多くのJND(just noticeable difference)が、特定の符号化GT_IDRに対応するのかが規定され得る。また、少なくともR個の区別可能なJNDで、顔が再構成可能であるべきであることが規定され得る。しわのような顔における構造は、最大でS(例えば、3)のJNDの再構成可能ステップによって、しわの内側のより暗い値から、しわの外側のより明るい値まで変化するべきである。我々は、幾つかの意味のあるオブジェクトのために用いられることができるJCD(just careable difference)の概念を紹介する。例えば、ランプにおいて、ランプが明るいことが十分であり、(バルブ形状のような)内部構造の幾つかがなお区別可能であるが、ランプ及びバルブの正確な値も、相対的な輝度値も重要でない。この場合、両方の領域が、例えば、20JNDであり得る1JCDの範囲内にある場合、正確に符号化され、あるいは、(光をレンダリングするために用いられる明るい輝度値の規定されるサブレンジにある輝度値のための)差異又はわずかな輝度値として規定され得る。このため、情報基準は、両イメージにおける色データの一次元又は三次元的なビニング(形状及び/又はサイズ)にのみ基づいて、輝度又は色ヒストグラムのような静的基準、特に、領域がより厳しく変形され得る(例えば、人間のグレーダは、キャプチャリングの間、特に照らされ得る、動作又は顔の主な領域などの高精度で符号化される必要があるイメージ領域上に落書きを素早く描くことができる)意味のある情報、例えば、オブジェクト領域における構造の端部又は形状などの幾何学的情報、マッピングの特定のクラス下で、それらをどのように変形させるか(例えば、明確な可視性、又は、コントラスト)、あるいは、(例えば、より大きな量のわざとらしさが許容される複雑なテクスチャにおける)テクスチャ特性、あるいは、特定のオブジェクトの自動検出のような意味のある情報、あるいは、(「さほど重要でないランプ」のような領域及びクラスを少なくとも粗く作ることによる)人間の特性化などに基づいて、決定されてもよい。このため、当業者は、オブジェクトの上のイルミネーションを帰るテクスチャレスの品質を減少させるなど、いつ大量のデータが失われるかを記述する数学的関数のシステムを予め規定するための様々な方法が存在し得ることを理解できる。1つの基準、又は、イメージGT_IDRの完全な分析につながる基準のセットがあってもよく、特定の領域が、再実行される必要があることに留意すべきである。当該情報があることで、イメージグレーディングユニットは、マッピングが、技術的要件を満足するかどうかを決定することができ、又は、例えば、古いマッピングをわずかに調整することによって、新しいマッピングを決定することができる。例えば、GT_IDRのある領域が、M_HDRのある領域(例えば、オブジェクト)を粗く再構成する場合、イメージグレーディングユニットは、例えば、グローバルマッピングを完全に再決定する(一般的に、勿論、それは、問題を引き起こすM_HDRの輝度領域のためのマッピングを微調整するだけでよく、例えば、それは、一般的に、他の画素色のより暗い、より明るい値の各々に対する外側シフトに対応する、問題のある輝度サブレンジのためのマッピング関数の下側の導関数Fi(MP_T)を増加させ、マッピング関数の一部のソフトベンディングによって、新しい利用可能な範囲に調整する)。あるいは、イメージグレーディングユニットは、例えば、その領域のプリブーストや、共符号化された部分的な(補正)イメージなどにおける節約などの一時的な連続において適用される追加的なローカルグレーディングを抽出できる。一般的に、イメージグレーディングユニットが、予め許可された適切な色マッピング戦略でGT_IDRを作る場合でさえ、GT_IDRイメージが、REC_HDRが十分な品質の近似である状態を満足する場合、イメージグレーディングユニットが、後で決定することが有利である。
好適には、自動グレーディングユニット203は、第2のローダイナミックレンジイメージGT_IDRの画素の輝度相関の各単一値に割り当てられる、ハイダイナミックレンジ入力イメージM_HDRの画素の輝度相関の各範囲を決定する基準に従って、ハイダイナミックレンジ入力イメージM_HDRの画素の輝度相関から第2のローダイナミックレンジイメージGT_IDRの画素の輝度相関まで、単調マッピング関数Fi(MP_T)を決定するように構成され、各範囲は、ハイダイナミックレンジ入力イメージM_HDRのための可能な輝度相関の値の総範囲をカバーする輝度相関範囲のセットを形成している。これは、例えば、過度の量子化による、情報の損失を決定するための単純な方法である。例えば、全ての可能な値のM_HDR輝度軸に沿ったM_HDR入力輝度に対する単一値へのマッピングのための範囲の所定のサイズが規定されてもよく、これは、より明るいオブジェクトが、より粗く量子化されてもよいことを記述可能としている。それらは、オリジナルのキャプチャシーンに比して、わずかなエラーで既に近似されていてもよく(例えば、HDRディスプレイ上で、100000ニットで正確に車のライトをレンダリングする必要はない)、このため、REC_HDRにおける追加的なエラーを許容し得る。GT_IDRコーダの既知の設定(例えば、MPEG2量子化値)が与えられる場合、単一の量子化値に許容されるよりも大きな範囲をマッピングすることに関し、それほど強く曲がるべきでないため、この基準は、例えば、マッピング関数の形状を決定することに容易に変換できる。
例えば、イメージ計算ユニットにおける中間システムのような様々な装置において用いられることができるエンコーダの内部動作について説明したが、取得した符号化データは、例えば、受信者によって用いられる信号として、外部に送信される場合に有利であり、即ち、イメージエンコーダ202は、イメージ信号TSIGの中に、第2のローダイナミックレンジイメージGT_IDR、及び、ハイダイナミックレンジ入力イメージM_HDRと第2のローダイナミックレンジイメージGT_IDRとの間のカラーマッピングFi(MP_T)を記述するデータと、ローダイナミックレンジイメージIm_LDRと第2のローダイナミックレンジイメージGT_IDRとの間のカラーマッピングFi(MP_DL)を記述するデータとの少なくとも1つ、又は、その両方を出力するデータフォーマッタ220を有する。原理的には、全ての受信者が、パラメータのセットの両方を必要とするわけではないが、受信者が、両方を取得し、次いで、例えば、特定のディスプレイ及び視聴環境のための最終的に得られる信号となる全ての利用可能な情報の使用方法を最適に決定することができる場合、有利である(例えば、それは、符号化HDR及びLDRグレーディングの情報を混合させることができ、これは、新たなグレーディングとなり、我々は、ディスプレイチューナビリティと呼んでいる)。我々は、2つのグレーディングのみを有する基本的なシステムを説明したが、同一のシステムにおいて、極めて明るいHDRディスプレイのための第2のHDRグレーディング、又は、第3のLDRグレーディング、又は、(LDRグレーディング及びHDRグレーディングの各々の基準である100ニットと5000ニットの間の中間ピーク白色の)MDRディスプレイのためのグレーディング、又は、サブLDRディスプレイのためのグレーディングなどの更なるグレーディングがあってもよく、これらは、独立して設計されたアドオンとして解釈されてもよいが、本発明の思想に従って、例えば、M_HDRから技術的に抽出されたグレーディングであり、ウルトラHDRグレーディングを定義するのに役立つHDRである、第2の技術的グレーディングGT_IDR2が抽出されてもよいことに留意すべきである。例えば、GT_IDR2は、最も明るい照射領域の単純な数学的伸長によって抽出され得るが、当該グレーダは、GT_IDR2からのマッピングによる補正のためのなど、他のマッピングデータFi(MD_HHP)を定義することによって、これを補正できる。
イメージエンコーダは、第2のローダイナミックレンジイメージGT_IDR、第2のローダイナミックレンジイメージGT_IDRに基づいて、ハイダイナミックレンジイメージM_HDRの復元REC_HDRを可能にする第1のカラーマッピングFi(MP_T)を記述するデータ、及び、第2のローダイナミックレンジイメージGT_IDRに基づいて、ローダイナミックレンジイメージIm_LDRの計算を可能にする第2のカラーマッピングFi(MP_DL)を記述するデータを有するイメージ信号を、イメージ信号入力部405を介して、受信し、イメージデコーダは、第2のカラーマッピングFi(MP_DL)、及び、第2のローダイナミックレンジイメージGT_IDRに符号化された画素カラーに基づいて、少なくともローダイナミックレンジイメージIm_LDRを導出するイメージ導出ユニット403を有するように構成されたイメージデコーダ401に対応している。このデコーダから、コンテンツ製作者の所望のLDRグレーディングIm_LDRを取得すべく、LDRイメージをREC_HDRに対して、上方及び「下方」に、色マッピングするためのマッピングパラメータにアクセス可能であることが分かる。イメージ導出ユニットは、要求される(例えば、予め許可された)復号化色マッピングを実行するための機能(例えば、読み込まれたソフトウェア又はICのハードウェア部分)を有する。オブジェクトの輝度が、輝度軸に沿った最適な場所にないため、(最適なIm_LDRと比較することさえなく)雰囲気を有さず、一般的に、幾つかの劣ったコントラスト、より明るい暗闇などを有し、勿論、イメージにおける様々なオブジェクト領域のための限られた量の符号を有するため、技術的グレーディングGT_IDRが技術的グレーディングであることが分かるであろう。
好適には、イメージデコーダ401は、デコーダがハイダイナミックレンジディスプレイ411及びローダイナミックレンジディスプレイ416の少なくとも1つのためのイメージを導出するように接続及び/又は想定されているかどうかを決定するように構成されたシステム構成ユニット402を有し、システム構成ユニット402が、ハイダイナミックレンジディスプレイ411に接続される場合、少なくとも復元REC_HDRを決定するように、イメージ導出ユニット403を構成し、ローダイナミックレンジディスプレイ416に接続される場合、少なくともローダイナミックレンジイメージIm_LDRを決定するようにイメージ導出ユニット403を構成する。我々のシステム(即ち、符号化信号及び様々なタイプのデコーダ)は、例えば、GT_IDRにおけるLDRコンテナとしてHDR符号化信号を受信するが、LDRディスプレイのためのLDRのみを必要とする、簡単なデコーダにより動作可能でなければならない。これらは、情報のほとんどを無視し、GT_IDR及びFi(MP_DL)のみを抽出し、そこからIm_LDRを計算するであろう。より洗練されたデコーダは、例えば、臨機応変に、無線などにより接続されるディスプレイを決定し、様々な接続ディスプレイに対して、最適に符号化された受信信号の全ての様々な組み合わせを供給(例えば、屋根裏の映画部屋にいる両親にも、ベッドにおいてLDR携帯機器で視聴している子供にも同じ映画を供給)する。
このため、好適には、本発明のイメージデコーダ401は、任意の接続可能なディスプレイに対する出力として、有線接続410又は無線接続415を有し、信号フォーマッタ407は、任意の接続されたディスプレイに対して、復元(再構成)REC_HDRと、ローダイナミックレンジイメージIm_LDRとの少なくとも1つ又は両方を送信するように構成されている。
また、好適には、イメージ導出ユニット403は、復元REC_HDR及びローダイナミックレンジイメージIm_LDRに基づいて、あるいは、第2のローダイナミックレンジイメージGT_IDR、第1のカラーマッピングFi(MP_T)を記述するデータ、及び、第2のカラーマッピングFi(MP_DL)を記述するデータに基づいて、他のイメージを決定するように構成されている。このことは、様々な接続ディスプレイのための最適な最終グレーディングを決定可能としている(例えば、ディスプレイの測定を介して、周囲の輝度値などを得て、ディスプレイ駆動信号を最適化する、ディスプレイチューナビリティ)。
イメージエンコーダは、様々な装置に含まれていてもよく、例えば、イメージ信号入力部405は、ブルーレイディスクなどのメモリオブジェクト102からイメージ信号を読み取るように構成された読み取りユニット409に接続されてもよい。
上記装置の全ての実施形態が、等価な方法、信号、信号格納製品、様々な使用又はアプリケーションなどとして実現され得る。
本発明に従った方法及び装置の上記態様及び他の態様が、以下に説明される実装及び実施形態、並びに、より一般的な概念を例示している非限定的な特定の図示として単に役立つ添付の図面を参照して、明らか且つ明確となるであろう。なお、図面中、点線は、そのコンポーネントがオプションであることを示すために用いられ、実線で描かれたコンポーネントも必ずしも必須ではない。また、点線は、オブジェクトの内部に隠される、必須の物として説明される要素を示すためにも用いられ、又は、例えば、オブジェクト/領域の選択のような無形の物(及び、それらがどのようにディスプレイ上に示されるか)のためにも用いられる。
図1は、調整可能なニーポイントを具備するカメラを有する例として、レガシーイメージ又はレガシー映像符号化システムを概略的に示している。 図2は、自動グレーディングユニットが、人間のLDRグレーディングに基づき、自動的にグレーディングされた第2のLDRイメージGT_IDRを導出する、本発明のイメージ符号化システムの第1の可能な実施例を概略的に示している。 図3は、自動グレーディングユニットから自動的にグレーディングされた第2のLDRイメージGT_IDRが、人間のグレーダによる最終的なLDRグレーディングIm_LDRを規定する更なるグレーディングのベースとして機能する、本発明のイメージ符号化システムの第2の可能な実施例を概略的に示している。 図4は、ハイエンド復号化装置が、任意の本発明の符号化実施形態に従った符号化データを読み込み、様々な異なる接続ディスプレイのための適切な信号を導出する、イメージ復号化システムの可能な変形例を概略的に示している。 図5は、カメラに組み込まれる、本発明の原理に従ったエンコーダの実施形態を概略的に示している。 図6は、グレーディング間の色マッピング関係の論理的グラフとして示される、本発明の符号化の変形例の裏にある原理を概略的に示している。 図7は、マスターHDRグレーディングM_HDRである開始入力を定義する方法を概略的に示しており、特に、輝度相関のレンジに沿って、カメラ又はコンピュータグラフィックスシステムからのデータが、どのように上記の数学的色記述として書かれるかを示している。 図8は、いわゆる輝度マッピング部分である、色マッピング戦略の一例を概略的に示している。 図9は、任意のマッピング関数又はアルゴリズムが、REC_HDRの再構成のための適切な正確性を有しているかどうかを決定する方法の一例を概略的に示している。 図10は、適切でない関数を適切な関数に変換する方法の一例を概略的に示している。 図11は、3D色空間における色マッピングを扱う方法の幾つかの例を概略的に示している。 図12bは、グレーダが、微調整するための符号化割り当て曲線とどのように相互作用できるかを概略的に示しており、図12aは、符号化割り当て曲線の領域が、現在見られているイメージにおけるオブジェクトとの(共通)相互作用によってどのように選択されることができるのかを概略的に示している。 図13は、良好な品質のコンテンツ適合コントラスト伸長を実現する極めて単純なパラメータ変換によって、LDRレンダリングのために既に利用可能なこの例における技術的グレーディングから、より良好な見た目のLDRグレーディングに、どのように辿り着けるのかを概略的に示している。 図14は、特定のディスプレイ上でのレンダリングのために最適なイメージを生成する場合に用いられる、技術的グレーディングにおける他の比色分析制限を扱う方法の一例を提供している。 図15は、例えば、様々な輝度ダイナミックレンジのディスプレイ上での意図されるレンダリングのために、様々な輝度構造を有する色表現に対するグレーディングについて特に関心のある、彩度処理のための有用な新規の戦略を概略的に示している。 図16は、上記の新規な彩度処理のための作成及び使用部分の装置を概略的に示している。 図17は、より高い、及び、より低いダイナミックレンジレンダリング状況のためのグレーディングが必要とされる場合の2つの可能な使用例を概略的に示している。
図1は、我々がLDR符号化と呼んでいる、全ての古典的なイメージ及び映像符号化の背景にある考え方を簡潔に要約している。プロフェッショナルなテレビカメラ(同様の考察が、消費者向けのカメラに対しても適用される)が、CMOSセンサなどのイメージセンサ104で光をキャプチャしていると想定する。この光は、ADCの後、輝度(原理的には、ADC非線形性などのノイズを無視する場合、スケールファクタを決定する輝度)と関連する線形空間にあり、例えば、生の信号と称されるR,G,B(あるいは、シアン、マジェンタ、イエロー、グリーン、又は、他のセンサと同様であってもよいが、これらは、RGBにマトリックス化され、このため、我々は、そのことに焦点を当てることができる)である。このLDRキャプチャリングの原理は、信号が、家庭用テレビ(およそ100ニットのピーク白色、又は、それよりも幾らか暗いか明るいCRT)において良好に見えるべきであるという点である。スタジオでは、ディレクタ、カメラオペレータ、又は、同様の人が、キャプチャされた番組が良好に見えるかどうかをチェックするために、カメラの出力を基準CRT上で直接見る。かかるLDR番組のキャプチャリングは、中間グレーのための適切にレンダリングされた明るさを有するという原理によって決定される。この中間グレーは、シーンの同様に照射された部分における白色と直接関連付けられた人間の視覚の非線形性を介している(一般的に、スケールファクタまでの、CRT上での(略)線形再生を想定している)ため、落下光の約18%を反射するオブジェクトに対応している。照明デザイナは、動作の周囲で、照明が、比較的均一(例えば、3:1のコントラスト比)であるように、ステージ照明を設定し、最終的なレンダリングにおいて「ブラックホール」を回避するため、シーンのコーナを照明する可能性がある。最大で達成可能なピーク白色(これは、例えば、幾つかの固定されたTLバックライトを具備するLCDだけでなく、ビーム強度が、最大で達成可能な明るさがなおある任意の設定のためのコントラスト設定を介して制御されることができるCRTで特に正しい)を有するディスプレイ110を有する場合、それは、このことが、正確に、シーンのスイートスポットにおける高度に反射する紙と称される白色に対応する必要があるということを意味しない。輝度において常に存在している変化のため、特に、実現困難な映像における運動動作のために、及び、上記紙が、より高い輝度の領域に動かされた場合に、素早い不要なクリッピングが発生し得る。このため、それほど多くを必要としない、一般的なLDRシーン及び番組のためであっても、明るい側に少しの保護が必要とされる。暗い側では、カメラのノイズにおいて、信号が単純に失われる。このため、明るい側では、ピーク白色PWより小さい位置Wにおいて白色がレンダリングされる。それほど好適ではないが、それは、白色に見え、明るいグレーには見えない(オブジェクトを有する自然な写真のために幾らかの自由度がある)。また、中間グレーMg、及び、その範囲にある人間の顔の色は、レンダリングにおいてもっともらしく明るいため、もっともらしく見える。このため、そのことは、我々が、顔(及び、ソケット内に突き出た場所のため、幾らか影になっている目)における役者の演技を良好に見ることができる、任意のキャプチャリング又はグレーディングの最小要件であり、より具体的には、全ての美しい役者の顔色が魅力的に見える(くすんだ、又は、青白くなり過ぎない)。(例えば、より暗い)色の残りは、カーブに沿って自動的にもっともらしくなる。歴史的に、CRTの挙動(顔面照射によって変調される電子銃の非線形性など)のため、一般的に、およそ平方根であるカーブが用いられ、人間の目の明るさ特性をモデル化する(即ち、輝度値は、おおよそ明るさであり、輝度値が、例えば、Rec. 709空間の値に数学的に符号化されるのに対し、明るさは、人間にとって心理的に表現される)ため、極めて便利なカーブが用いられる。ここで、テレビは、上記カーブに対し、幾つかの単純な変形を行なうことができ、例えば、倍数ファクタによって全ての値をブーストすることができる。かかる操作は、例えば、視聴環境における変化を無効にするため、イメージコントラスト、及び、オブジェクトのコントラストのような心理的イメージ表現特性に対して、影響を有する。カメラが、同様の操作を行なうことができる。ここで、MGのような輝度をどこに最適に配置するか、及び、それをどのように容易に行なうかという疑問が生じる。単純なシステムでは、カメラにおけるエンコーダ101が、最大輝度Max_Luminanceから定義される平方根関数でそれらを曲げることによって、生の信号の最大輝度Max_Luminanceとそれよりも下の輝度との間の全ての値を変換することができる。シーンからの全ての可能なカメラキャプチャされた値が、イメージIm_LDR(ここでは、ブルーレイディスクのような媒体102を有する符号化イメージで示されているが、ケーブル又は無線を介した信号であってもよい)において、符号化され、生成される(一般的には、例えば、値は8ビットに量子化され、離散コサイン変換(DCT:discrete cosine transform)分解による近似などのイメージエンコーディング動作のような他の動作が実行され得る)。符号化された輝度値を2乗することによって、デコーダ103は、ディスプレイで、ディスプレイレンダリングされた輝度値として再度キャプチャされるシーンのオリジナルの輝度値を抽出することができる。このしっかりと制御されたシステムでは、一般的なLDRシーンにおける最小の変形を受け入れる自由度がある。この平方根割り当てをやみくもに使用した場合、中間グレー及び顔色は、(なお良好にキャプチャされるようにオブジェクトのための露出を決定することによって、高く照らされたオブジェクト上のシーンでの最大値を決定する場合)かかるカーブ上で暗すぎるようになる。もっともらしく良好にキャプチャされるべき多くの明るいオブジェクトがある場合、最も明るいRAW符号からより緩やかに開始するような符号定義カーブが好まれる。これは、カメラマンに対して制御可能なニーポイントを提示することによって、なされることができる。彼は、例えば、上記ニーで、動作スイートスポット白色に対応する入力輝度レベルを選択してもよく、例えば、(ディスプレイ上のピーク白色に対応する)最大輝度符号の90%に置いてもよい。ここで、10%の符号が、全ての値を符号化するために残っており、例えば、スイートスポット白色輝度の最大600%までの輝度を組み込むため彼は、ニーの上のカーブの一部の傾きを調整することができる。このようにして、よりはっきりと、又は、よりコントラストの強いように、LDRシーンが照明されるのに対応しているカーブを調整することができる。低いコントラストのシーンであれば、ニーポイントを最大輝度値の近傍に置くことができ、スイートスポット白色の上の任意の輝度を符号化することはできないが、例えば、輝く金属の銀細工について話しているトークショーにおいて、多くの高輝度情報を持ちたい場合、符号化された輝度信号において、幾つかの明るい輝くハイライトを組み込んでもよい。この単純なシステムは、極めて自動的に、ディスプレイ側の特定のLDRシーンの最高のグレーディングに適合し、即ち、より暗い色を暗くすることによって、銀細工のハイライトのための小さな余剰空間を作り、(これらの明るいオブジェクトのためのオリジナルのシーン輝度と比較して、主に変形され、RGBシステムの巨大形状のために、しばしば、パステルカラーを有するが、それでもなおある程度は存在する)より明るいオブジェクトの中に幾つかの視聴可能な構造を押し込む。しかしながら、かかるLDRシステムは、より高い明るさを素早く切り取り、関心がない、スタジオの窓を通じて見える外の世界などを符号化するのに適していない。フィールドワークに従事しているカメラマンが、比較的暗い居間の端にいる人を撮影する場合、しばしば、このことは、奇妙な状況につながる。居間の明るい部分を示しているキャプチャされたイメージの半分が、顔への露出が十分である場合、白色にクリップされる。それは、白色が、「白色のオブジェクト」だけを示しているが、本当に明るい領域を示していない、LDRスクリーン上でわずかに邪魔であり、このことは、画像の半分が、極端に明るく照っている5000ニットのディスプレイにおいて、極めて変な状況につながる。
このため、LDRシステムは、技術的構造に由来している哲学だけでなく能力においても、シーンの第1の照射部分をキャプチャし、シーンのより明るく(例えば、100倍)照射された第2の部分を、極めて暗い部分さえ同時にキャプチャしたいような、HDRキャプチャリングに適していない。
図2により、我々は、本発明の変形例の裏にある幾つかの原理、即ち、グレーディングシステムに組み込まれたイメージエンコーダ202の特定の実施形態を明らかにする。図は、グレーディングシステムの一部である、本発明の自動グレーディングユニット203である。かかるシステムは、例えば、コンピュータ上で実行されるグレーディングソフトウェアであってもよいが、人間が、例えば、離れた場所から色マッピングの幾つかの設定を時々修正する、より複雑でないシステムであってもよい。人間のグレーダは、例えば、トラックボールなどを有する専用のグレーディングコンソールを有していてもよい、ユーザインタフェースシステム230を介して、所望の色マッピングを記述することができる。ソフトウェアと結合されているので、選択されたイメージ領域の色の彩度などを増加することができ、又は、トーンマッピング曲線上の点(例えば、全ての画素のための赤色出力成分に対する赤色入力成分)を上方にドラッグすることができる。我々は、本説明において、一般的に、予め最適にグレーディングされた(例えば、データサーバ、又は、インターネット接続などに接続可能な入力部240を介して受信される)マスタHDRイメージに何が起こるのかということに焦点を当てるが、例えば、内部で幾らかのグレーディングを有し得るカメラから直接来るものであってもよい。図7により、かかるマスタHDRグレーディング又はイメージを定義するための例示的なシステムが説明される。任意のカメラキャプチャリング又はグレーディングは、実際、世界のシーンの表現に過ぎず、当該世界のシーンの適切な印象を得るように人間を刺激することを必要とし、このため、正確な表現であることを必ずしも必要としない。実際、カメラが、線形測定装置としてのみ動作する、ディスプレイが、極めて難しい設定において、オリジナルのシーンを人間に対してエミュレートする必要がある、シーンからの難しい境界を横断することが常に必要とされる(この複雑性は、マスタエンコーディングにおいて扱われる必要はないが、ディスプレイ変換に従う)。マスタエンコーディングが、例えば、ディスプレイは、決して太陽を正確にレンダリングしないものの、太陽を正確に符号化できるべきかどうかを議論することができる(可能且つ賢明なパワー消費の観点の場合、より小さなスクリーン上で視聴者にとって極めて厄介であろう)。このため、例えば、固定された高輝度符号(例えば、1億ニットの代わりに、20000ニットの擬似太陽)を割り当てよう。さらに、可視化が容易でない全ての種類の値を符号化できるシーン関連システムの問題は、これらの色空間と機能することが容易でないことである。例えば、グレーダが、現在のグレーディングディスプレイ上で知覚できない幾つかの飽和した花の彩度を調整する場合、それらの色を表示できるより良いディスプレイ上でそのイメージが表示される場合は常に、醜い色が作られ得る。おそらく、それは、後で修正できる操作であるが、少なくともそれらの色において、どうして、最初にそれをしないのかと問いかけることができる。図7のHDR符号化の実施形態では、例えば、(完全なHDR表現HDR_FREPにおける輝度値MAX_REFに対応する)ピーク白色が10000ニットである、高品質なHDRディスプレイの輝度範囲において正確にもっともらしく符号化(グレーディング)できる、輝度の大きな範囲に対して多くの値を提供する。当該アイデアは、かかるハイダイナミックレンジ規格において特徴付けられた少なくともほとんどの関心のある色を有することができ、グレーダが、実際のそれらの見ることができ、様々なシーンオブジェクトの輝度値を互いに対して最適に配置できる(例えば、雲を暗くする)ということである。例えば、ディスプレイ表示可能な色の0.01ニット(我々は、単純に0と呼んでいる)から10000ニットの範囲は、本発明のマスタグレーディングM_HDR*であり、我々は、それを最適にグレーディングできる。当該アイデアは、より少ないダイナミックレンジの任意のディスプレイが、それを、M_HDR*内の色の記述から開始する色でレンダリングできるということである。この記述は、おそらく、ハイダイナミックレンジを有するディスプレイにおいても同様に適切に機能する。例えば、グレーダは、シーンの幾つかの明るい光をおおよそグレーディングでき、結果、それらは、任意のディスプレイレンダリング上で少なくとも明るく表示される。基準グレーディングM_HDR*において、HDR基準のため、MAX_REFの99%(線形)で、最も明るい光を表示するように符号化してもよく、明るいが、MAX_REFの80%で、より明るくない光として対照的に定義される他の明るい光を符号化してもよい。実際の20000ニットのディスプレイは、それらの光の符号において単純なスケーリングを用いてもよく、例えば、両方を係数2でブーストしてもよく、これは、より高いピーク白色に同様に(%表示された)参照に単に対応している。この場合、両方の光が、幾らかより明るくなるが、オリジナルのシーンにおいてそうであったように、HDRレンダリングの見え方は、グレーダの10000ニットのモニタ上での見え方に近くなる。M_HDR*において符号化された値の伸長よりもそれらの明るい色を正確にレンダリングするために、よりハイダイナミックレンジなディスプレイに、それらの値を使用したいかどうかに関わらず、実際、M_HDR*においておおよそ符号化され得るよりも明るい値をより正確に符号化したい(例えば、同様の見え方で、即ち、当該光の実際のシーン輝度に関わらず、範囲内となるように、光を適切に暗くする)場合、図7の定義による色空間において実行することができる。このため、HDRシーンの本当に良好なレンダリングを一般的に与えるM_HDR*レンジの外側に、幾つかの本当に明るい(又は、本当に暗い)色を更に追加でき、一般的に、それらの色を強く強調してもよい、即ち、実際のシーン輝度に関連する高い非線形性であるHDR_FREPにおける符号を有する数個の値のみでそれらを表現してもよい。例えば、夜間の溶接シーンなどのような極めて高いコントラストを有するシーンを見る場合、便利なオブジェクトを符号化するM_HDR*より上のレンジに何もない時間が長く、次いで、アークの輝度がある。我々は、アークの強く強調された形状(即ち、数個の符号)で、それらを表現でき、MAX_REFより上に正しく配置することができる。これは、アークのもっともらしい表現を有するための1つの方法であるが、望めば、メタデータにおいて、シーンにおける実際の輝度(例えば、輝度オフセット定数)に、輝度をより近付けるためにシフトする関数をシフトできる。我々は、例えば、直接、(可能であれば、線形のコントラスト倍数で)相対輝度値をM_HDR*内の輝度値に割り当てることによって、その一部が、M_HDR*内に符号化され、又は、(例えば、より明るい又は暗い輝度を丸める)第1の種類のグレーディングを自動的に行なう幾つかのマッピング関数を用いることができる、キャプチャ可能なHDRカメラのキャプチャし得る輝度CAM_1の範囲を示す。カメラによってキャプチャされる最も明るい輝度は、色符号化の最大MAX_REPまで、オーバフローレンジRE_STR_HIにおいて格納される。我々は、特定の暗いレベルを符号0に符号化する例を示してきたが、幾つかのマッピングにより、MIN_REPまでの負の値において、より暗い輝度値でさえ格納できる。また、我々は、例えば、明るい爆発などのコンピュータグラフィックスCGを、色符号HDRに描くことができる人々に特別な効果を示している。
図2に戻り、人間のグレーダは、色変換の任意のセットを行なうように構成されたイメージグレーディングユニット201を用いる。これは、可逆性などのような数学的基準などの色変換関数の制限されたセットであってもよく(可逆性を有するということは、我々は、通常、フロートなどの十分な正確な色符号化で、変換適用後、出力イメージから入力イメージを再抽出するため、関数を反転できることを意味し、色を有するということは、我々は、少なくとも、画素、領域、又は、オブジェクト色仕様書の輝度相関を意味する)、又は、好ましくは、それは、グレーダが、彼が好む任意の態様においてイメージをグレーディングすることを許可する関数の広いセットである。典型的な関数の例は、例えば、Da Vinci Resolve又はAdobe Photoshopによってサポートされている。内部的に、この段階では、我々は、イメージグレーディングユニット201において、より後の段での、量子化を含む正確な定義で、全ての処理が、色係数の[0.0, 1.0]フロート符号化でなお起こっていると仮定してもよい。しかしながら、出力LDRイメージIm_LDRは、一般的に、既に、イメージ又は映像符号化仕様書に従って、符号化されており、例えば、非圧縮信号のため、それは、YCrCb色空間において量子化されてもよく、又は、ウェーブレット圧縮されてもよい。このイメージの実際のフォーマッティングは、例えば、データブロックへの分割であり、ヘッダ及び他のメタデータの挿入は、一般的に、例えば、イメージのためのメモリ102などにイメージ信号TSIGを出力するフォーマッタ220によって操作される。この信号は、例えば、ブルーレイディスク仕様書に従って、あるいは、フラッシュカード又はハードディスクなどに格納するための幾つかの定義に従って、メモリに格納されてもよい。当業者は、同様にして、イメージ信号TSIGが、幾つかのデータ接続を介して、例えば、無線で、TSIG又はイメージを格納するための永久的又は一時的なメモリを有するホームサーバへ送信され得ることを理解するであろう。
図8において、我々は、どのようにして、グレーダが、入力イメージから開始して出力イメージを作るグレーディングできるのかについての一例を与える。我々は、サブ範囲の明るさの関係に注目し、さらに、画素色の色成分を扱う方法の幾つかの例を与える。入力(In)HDRイメージ画素が、その輝度値L_HDRで符号化され、LDRにおける出力値が、符号化であり、このため、我々は、それらを輝度値Y_LDRと呼ぶとする。我々の方法は、特定のビット深さに決して限定されないが、輝度範囲が、[0, 255]であるとする。このとき、グレーダは、処理するための特定の入力イメージ(映像では、これは、同様に色マッピングされるイメージのショットにおけるキーイメージである)を研究し、最適な色マッピングを設計する。この例では、好みに従ったマルチセグメントマッピングである。我々は、HDR輝度Lt_1よりも下の変換された部分(例えば、主役が存在している木の影の下)を有し、幾つかの家が、より明るい背景にあるとする。このため、それらのHDR画素輝度値は、Lt_1より上にあるが、最も暗いHDR画素輝度値が、Lt_1より上に直接ある必要はない。さらに、Lt_3より上の輝度値を有する極めて明るいランプがあってもよい。ここで、このシーンは、上記従来的なLDRシーンとは異なる。我々は、(役者を良く見せたいが、ほとんどのシーンよりも明確に暗い)役者の周囲の影と、周囲背景において太陽に照らされた家との、2つの興味深いシーンを有する。グレーダは、顔をよりはっきりと見えるようにするため、例えば、顔色を含むLt_11とLt_12との間の領域を十分明るくコントラストを有するようにすべく、選択することができる。より暗い色を犠牲にして、そのようにするかもしれないが、わずかなY_LDR符号値で符号化される必要があり、Y_LDR=0にさえクリップするLt_13より下である。そのセグメントの傾きを低下させることによって、よりコントラストの低い/正確でない、Lt_12とLt_1との間の輝度で、符号化/グレーディングするであろう。これは、太陽に照らされた家のためのY_LDR範囲における空間を作り、これは、制御点CPをドラッグすることによって定義される曲線で書かれる。発生しない色の輝度不連続の後のランプ色は、家の端部の輝度値Y_Hより上で、又は、それより上の数個(例えば、10個)の符号で開始して、正しく符号化され得る。
ここで、我々のLDRコンテナ哲学では、この色マッピング曲線は、出力画像、即ち、例えば、一般的には、HDRグレーディングから抽出されるLDRグレーディングのための色見え方最適化曲線、及び、符号定義曲線の両方として機能することができる。例えば、各入力又はレンダリングされる輝度のための輝度符号化を定義する、MPEGのガンマ0.45曲線と同様に、我々の最適な曲線は、入力HDRイメージにおける様々な輝度に対する特定の符号値の割り当てを定義する。しかしながら、同時に、様々なイメージオブジェクト又はそれらの輝度サブ範囲も、既に、LDRディスプレイの直接(あるいは、おそらく、EOTF操作のような物理的ディスプレイ特性事前補正を含む、僅かな変形で、又は、単純なディスプレイ変換を介して視聴環境を暗くするなどの特定の僅かな調整で、)駆動のための輝度軸に沿って、正確に位置されている。
このため、我々は、LDR符号化技術の数個の基礎的な真実を変え、又は、一般化した。特に、HDRにおいて白色とは何であるのかという疑問を問いかけることにより、我々は、特定の白色に対する全てを結び付ける見え方、又は、シーン/イメージの中間グレーのような相関を放棄した。その代替として、我々は、幾つかの白色のような特定の色との輝度関係が何であろうと、それら自体に機能できる色領域を考えだした。例えば、太陽に照らされた家又はランプのための領域があってもよく、これらは、独自の操作を有し、正確な参照を必要とすることなく、正確な数字よりむしろ意味論的な関係であってもよい。我々は、既に、明るい屋外、又は、極めて明るい光の例を与えてきた。(例えば、平均又は最低の)屋外の明るさを、例えば、5倍明るくする固定の輝度関係を有する代わりに、我々は、「かなりの量明るくする」ことができる。このかなりの量は、最終的には、ディスプレイ側で決定され得る。例えば、極めて明るい15000ニットのHDRディスプレイは、外側を20倍明るくすることができるが、制限される場合、晴れた屋外であるという事実の初期シミュレーションを与えるだけで、全ての太陽に照らされた家の色を、屋内の色よりも平均で1.5倍明るい上側の範囲に詰め込む必要があるかもしれない。同様に、暗い領域は、輝度Lx, Lyなどで正確ではないが、「わずかに区別できる」ように、レンダリングされることができる。スマートなHDR復号化及び最適化システムは、ディスプレイの仕様書及び環境を考慮に入れることができ、定義されたグレーディングから開始して、最終的な駆動信号を調整することができる。
このため、第2に、これは、我々が、人間の視覚に近いマスタのガンマ0.45のような単一の固定符号定義曲線が、輝度のLDR範囲の少なくとも全体において適切である考えられる考え方を放棄することを意味する。任意の色グレーディングを厳密に用い(即ち、ディスプレイが、例えば、LDR基準モニタ、即ち、最小限の自己調整で、見えるよう、出来る限り近付けるように、レンダリングすることを試みるべきである)ようと、自由に用い(例えば、より制限された輝度の物理的範囲において芸術的意図を幾らか維持するために、色を変形させる方法をおおよそ開始するように、グレーディングが、単なる相対的なガイドである)ようと、我々は、幾つかの実施形態において、グレーダが、不連続関数であってもよい、任意の符号定義関数でさえ作ることを可能にする。
そして、第3に、我々は、もはや単一のグレーディングされたイメージである必要はないが、グレーディングは、各レンダリング状況のために最適化される必要があることを述べる。また、人間の視覚は複雑であるため、特に、特性を変化させるレンダリングシステムが多いほど、(特に単純な)自動色マッピングの実施は、より正確でなくなり、より多くのグレーディングが、人間のグレーディングによって最適になされるべきである。しかしながら、実際には、必要な投資が与えられる多くの場面で、2つのグレーディング(LDRのための古典的なグレーディング、及び、HDRシステムのためのHDRグレーディング)を有するだけで十分であり、より正確な調整が必要である場合、システムは、それらが有する芸術的な情報から、これらの2つのグレーディングに基づいて、技術的に補間又は外挿することによって、より良好なグレーディングを近似することができる。
Im_LDRのグレーディング後に停止し、それからマスタHDRM_HDRの近似を可逆的に再構成するための予測関数とともにLDRコンテナイメージをイメージメモリに書き込むことが、(Im_LDRデータから抽出されたHDR効果が、もっともらしい類似のHDRの見た目をなお生成する限り、より品質の低いシステムのために、M_HDRからの顕著な変位を有するREC_HDRを再構成するのに十分であるため、おそらく、幾つかのシステムでは、厳密に可逆的な色マッピングを使用しているグレーダは必要ではなく、その場合、人間のグレーダによって使用される実際の色マッピングの近似である反転を有する、HDR再構成色マッピング関数を供符号化し得る)(様々なアプリケーションの要件に依存して)Im_LDR符号化を定義する12又は14(非線形)ビットなどを有するシステムに対して良好であろう。例えば、(ほとんどの人々が、HDRイメージを符号化することは難しいと言い、必要な色の量が少なくてもよい、かなりの量のノイズを有する早く動いている映像などのアプリケーションに依存し、このため、必要な最重要な色を8ビットに正確に符号化する場合、それは可能であるべきである)8又は10ビットのような、より厳しい規格では、これらのグレーディングがどのように見える(即ち、全てのオブジェクトが輝度(相関)のサブ範囲に位置する)べきかに関して、グレーダに最大の柔軟性を許容しつつ、LDRグレーディング及びHDRグレーディングの両方の改善された品質を保証するため、本発明の更なるステップを行なうことが有用であろう。
ここで、我々は、図2の例に続いて、グレーダが、任意の輝度マッピング関数とともに、極めて自由にグレーディングを行ない、LDR輝度値が、8ビットのみに量子化されると仮定する。Lt12とLt_1との間のマッピング曲線の傾きは、とても小さいため、影の中の植物などの色を完全に表現するためには符号が少な過ぎる。LDRレンダリングでは、そのことは問題とはならない(実際、グレーダは、上記曲線をそのように規定しない)が、これらのオブジェクトのためにHDR輝度を再構成する際、ポスタリゼーションが、そのような高品質レンダリングにおいて、それらのオブジェクトに、問題のあるほど低いテクスチャ品質を与え得る。
従って、自動グレーディングユニット203は、人間のグレーダのLDRグレーディングIm_LDRを分析し、上記問題を識別し、解決する。当該ユニット203がそのようにできる方法が幾つかある。例えば、イメージ自身を純粋に見て、それらの空間的領域を比較することができる。例えば、それは、Im_LDR(暗い顔など)における領域を見て、それを表現している輝度符号の数を計数することができる。上記ユニットの内部規則は、任意の領域、又は、特に顔の領域が、MB(例えば、10)より少ない異なる符号値(又は、一般的には、それらの輝度の数に基づく複数の色であるが、類似の制限が、表現可能な異なる彩度などの数に頼ってもよい)で表現されるべきでないことを記述していてもよい。あるいは、上記ユニット203は、Im_LDRにおける領域の符号の量を、HDRイメージにおける異なる符号の量と比較できる(一般的には、輝度であるが、M_HDRは、異なる輝度相関でも符号化され得る)。M_HDRにおいて多くの異なる値がある場合、その領域のためのIm_LDRにおける輝度も、妥当な数があるべきである。例えば、上記規則は、HDR輝度に対するIm_LDR輝度の割合が、1/5又は1/10などよりも少なくあるべきである。同様に、M_HDRのための浮動小数点輝度空間における範囲に基づいて、関係を定義することができる。例えば、幾何学的形状を研究し、より少ない色によって表現される場合、かかる形状がどれほど逸れるのかを推定するなど、より複雑なイメージ分析がなされてもよい。例えば、検出器が、形状におけるブロブを識別することができる。これは、バンディング検出器の一般化であり、それは、Im_LDRにおいて同一のポスタリゼーション化された値を有する複数の画素のランがあるかどうか、又は、実際に、REC_HDRが存在せず、M_HDRにおける滑らかな機能的移行であるかどうかをチェックする。他の情報が、イメージ領域の局所的な複雑性などを決定することができるテクスチャ推定器から取得され得る。自動グレーディングGT_IDRの決定が、それらの取得可能なイメージ(グレーディング)の任意の分析のみに基づいていない場合であっても、自動グレーディングユニット203が、グレーディングの色マッピング曲線に作用するシステムにおける上記分析のいずれかを実行可能なイメージ分析ユニット213を有することは有用である。最終的なデータは、テンプレートの曲線を規定する場合であっても、有用であるためである。
さらに、曲線決定ユニット211を備え、我々は、図9及び図10により、可能な実施形態の幾つかを明らかにする。任意の場合において、イメージ、輝度マッピング関数などのマッピングアルゴリズム、任意の他の分析又は規定あるいはその両方の分析に基づいて自動グレーディングの決定が実行されるかどうかに関わらず、一般的に、曲線分析ユニット211は、最終的な色マッピングアルゴリズム又は関数Fi(MP_T)を決定及び出力するユニット(及び、可能であれば、色マッピング曲線又はアルゴリズム分析の幾つかのうちの1又は複数を実行することにより、アルゴリズムが分析され、又は、曲線によって表現される場合に、色に対してどのように振る舞うのかが分析されるユニット)を有する。この自動マッピングは、M_HDRからGT_IDRを抽出できる方法であり、このため、色マッピングユニット215は、M_HDRに対して上記マッピングFi(MP_T)を適用することによって、GT_IDRを抽出する。勿論、この新規の設計では、人間のグレーディングIm_LDRが何であったかが考慮される必要があり、GT_IDRに全てを言及する。このため、LDRマッピングユニット217は、GT_IDRからIm_LDRを抽出するための方法を分析し、それからパラメータを抽出する。画素輝度が、L_HDR=2000からY_Im_LDR=180且つY_GT_IDR=200までマッピングする場合、後者の間のマッピングを抽出できる。上記の関数形式では、範囲に沿ったY_Im_LDR値は、Y_GT_IDRに(Y_Im_LDR/Y_GT_IDR)を乗算する輝度毎の関数を適用することによって、抽出され得る。同様の戦略が、他のマッピングのために抽出され得る。
図9では、我々は、人間のグレーダのグレーディング曲線(単体で、又は、イメージ分析により助けられた、又は、潜在的に、人間のグレーダの相互作用によって)を研究することによって、人間のグレーディングを技術的グレーディングに再決定する計算的な単純な方法を明らかにしている。我々は、曲線変形例を見るが、当業者は、良く機能する曲線(図2における、1又は複数のCRV_i曲線)のセットのうちの1つを選択するために、同様の分析が用いられることができることを理解できる。グレーダが、中間領域における滑らかなコントラストのない挙動を望み、且つ、外側領域における伸長された挙動を望む(例えば、HDR上で、主な動作が発生する支配的な領域が、絹のように滑らかである必要があるが、背景のランプは、より粗くレンダリングされてもよく、バンディングが、少なくとも幾つかの状況において、目立たない、又は、少なくとも重要でない)場合、かかる挙動に最高にマッチするが、中間部分に対して高過ぎる量子化を持たない、予め許可された曲線のセットのうちの1つを(例えば、関数相関の計算に基づいて)選択することができる。上記選択は、イメージがどのクラス(晴れた屋外、又は、幾つかの明るい光を有する夜景)に属しているのかを決定したり、ヒストグラム分布及びそのパラメータ(例えば、(半)自動的に、又は、人間の色グレーダの経験によって、推定された耳たぶの場所及びサイズなど)を見たりするなど、他のイメージ分析によってガイドされてもよい。即ち、少なくとも正確な観点から、もっともらしい挙動を与える幾つかの所定の曲線901があってもよい。実際のイメージは、グレーダの望む見た目を考慮に入れて、上記挙動の周りに調整される必要がある。勿論、実際の量子化が理論的な最適に対して良いか、もっともらしく動作する状況に対して良いかは、特定のイメージに存在する特定の色の画素がどれくらい多いかにも依存する。例えば、暗い部分が、格子を通じて下水管の中を見る小さい区画、即ち、イメージの右下角における50×50の画素でしかない場合、幾つかの量子化が、グレーダに対して、少なくとも当該イメージ、ショット、又は、シーンに対して、許可され得る。即ち、様々な曲線が、より重要なイメージグレーディングのための符号精度変形を最大に伸長するまで(一般的には、再構成されるHDRまで)、技術的グレーディングのための最終選択(マスタガイディング曲線が1つ又は複数ある場合、例えば、イメージが、主に、1000ニット又は10000ニットディスプレイ用に意図されたかどうかのような、ターゲットディスプレイ白色点、あるいは、レンダリング環境の他の特性、又は、イメージ特性に依存して、輝度又は輝度範囲に亘る量子化精度を決定する)として機能してもよいし、又は、技術的グレーディング曲線が微調整され得る開始点として機能してもよく、これにより、単に、技術的グレーディングGT_IDRに適用される変形関数によって、他のグレーディングの見た目(一般的には、LDR)上で、他の要件を符号化できる。
しかし、ここで、我々は、例示的な曲線変形アルゴリズムについて述べる。我々は、輝度サブレンジ毎に使用される符号NCの量である、ある量の情報の特定の実施形態を計算する(また、我々は、一般的に、幾つかの整数符号をそのレンジに沿って均一に分布することによって、M_HDRにおける連続的な範囲をディジタル化してもよい)。我々は、研究の下、特定のテスト範囲(L3とL4との間)を見るが、幾つかの実施形態は、暗い範囲などの幾つかの範囲のみをテストしてもよいが、M_HDR輝度の全ての範囲がテストされることが好適である。M_HDRの幾つかの範囲が、いわゆる5個のY_LDR符号にマッピングされるか、そのサブ範囲が、単一のY_LDR値にマッピングされるかについて同様に定式化できる。
当該方法は、各レンジがREC_HDRにおいて良好に再構成可能であるために必要な符号の数を特定する基準符号化関数901(図2では、REF_CODF)から開始する。当業者は、このことが、M_HDR、Im_LDRグレーディングの意図された標準などに属する基準ディスプレイのダイナミックレンジなどの技術的パラメータに依存し、且つ、それらから計算されることを理解すべきである。上記の1又は複数の基準符号化関数は、任意のエンコーダにおいてオンザフライで計算され得る(メタデータとして信号TSIGにおいてオプションで出力され得る)が、一般的に、例えば、グレーディングソフトウェア製造者の設計実験室において、従って、少なくともエンコーダのメモリに格納される合意した方法で、予め計算されてもよい(原理的には、デコーダは、この情報を必要としないが、例えば、Fi(MP_T)などの関数がかかる基準関数に対する関係として定義される場合、それを有していてもよいが、一般的に、単純化のためではない)。エンコーダは、幾つかの変数を有している場合、最終的なIm_LDR及びREC_HDRがどのようにレンダリングされるのかに依存して、1つを選択してもよく、これは、人間のグレーダの幾つかのソフトウェア選択とともに起こり得る。関数901は、各間隔の輝度に必要とされる符号の数を特定する。例えば、ある例では、8ビットの3個の符号Y_LDR_min(許容される再構成又は表示エラーが与えられる場合、必要とされる符号の最小の数)のみ、即ち、Im_LDRの事実において、L1よりも暗い全てのHDR輝度のために使用されることが決定される。このため、これらの暗い領域は、粗く量子化されるが、それでもなお、それらは、幾つかの構造を有する。これらの領域を明るくする場合、(再構成されたHDRレンダリングにおいて、又は、ディスプレイ変換を明るくすることを介した、修正されたLDRレンダリングにおいて)ローカルイメージオブジェクトの厳しいポスタリゼーションが発生し得るが、これは、十分なHDRイメージをこの8ビットの符号に符号化可能とする最終的な決定であってもよい(符号化可能なイメージのセットが、重要なハイコントラストの複数の型のイメージを含む場合、一般的に、いくつかの品質を犠牲にしなければならない)。しかしながら、しばしば、暗い領域は、極めて暗くレンダリングされ、視聴環境のディスプレイ顔面反射において、詳細を見過ぎることができない。(再構成されたREC_HDRが暗い視聴環境において示される場合の敏感な人間の目を考えると)L2までの間隔において、暗い色のもっともらしい完全なレンダリングを可能とするために、上記曲線は、C2-3輝度符号が、最小で、必要とされる(勿論、より多くの符号が使用されてもよい)ことを規定する。かかる曲線を定義することは、例えば、255に等しい最大LDR輝度CmaxまでのHDRイメージを符号化できる(LDRコンテナが、輝度に利用可能な8ビットを有する場合、これは、単純に、固定される1.0までの色域ダイヤモンドとして見られ、等距離の2値で量子化されるが、イメージ画素の分布は、適用される変形に依存して変化し、HDRイメージは、例えば、しばしば、0.1より下の画素の大きな割合を有する)ことを意味し、これは、この8ビットコンテナが実際にHDRイメージを符号化する場合、上記曲線に依存して、例えば、10000ニットの最大輝度L_HDRに対応する。上記曲線は、レンダリングされる輝度の相対的なスケールの性質を考慮に入れるため、調整されることができ、この説明において、我々は、例えば、L1/10(0輝度値に量子化可能な妥当な黒色)と10000ニットとの間のHDR基準ディスプレイ輝度を表示できることを意味するが、勿論、幾つかの他の輝度が表示されるようにスケーリングすることによって、常に調整できることに留意すべきである。単純化のため、安全に、L_HDR及びY_HDRの両方が、0.0と1.0との間の軸を有し、ある程度の精度で量子化され得るものと仮定することができる。
当業者は、この基準符号化関数901が、幾つかの要因によって規定され得ることを理解するであろう。例えば、人間のグレーダが、(例えば、M_HDR)イメージの領域、例えば、顔領域に落書きをする場合、イメージ分析ユニット213は、そこから、それらの顔の色があるHDR輝度の範囲を決定する。より多くの輝度が、それを表現するために必要とされるように、上記曲線が予め規定されてもよい。例えば、グレーダが、「顔」表示ボタンを打ち込んだ場合、一般的に、どれくらいの数の符号が任意の状況のために必要とされる(即ち、例えば、顔は、36%の仕様に従って良好に照射されないが、平均輝度を10%にしているシーンのより暗い影の領域にあり、LDRコンテナは、10ビットであり、4000〜5000ニットに対して最適なHDRレンダリングが必要とされる)のかが知られ得る。これは、現在の平均の顔色のポイント周囲における複数の2値(一般的に、HDR軸上であるが、Y_LDR軸上であってもよい)の規定につながるであろう。これは、自動(例えば、この範囲によって覆われるHDR基準レンダリングのためのJNDの量を2倍又は修正)であってもよいし、グレーダが、当該領域において、関数901の形状に直接影響又は規定してもよい。上記曲線は、例えば、HDRイメージの測定など、(必要であれば)多くの特性上で、規定又は再規定され得る。ここで、Im_LDRを作るグレーディング(即ち、例えば、ハイキーと称される高い輝度で、夢の様な見た目を実現するために、グレーダが、現在、量子化及びデータ損失などについて何の考慮もしていないが、オブジェクトカラーがこのイメージのための正規化された色域にあって欲しい場所を芸術的に規定しているだけ)の実際の輝度マッピング曲線902を見ると、間隔[L3, L4]において、HDRマスタグレーディングから選択されたLDRの見た目までのこのマッピング曲線を考慮し、実際に発生している符号の量が、当該領域のために必要とされる最小の量NCよりも小さいことが分かる(我々は、明確な重畳のため、当該曲線をシフトしたが、勿論、仕様される輝度の決定は、任意の曲線のために単純になされることができる)。輝度が、上記範囲における等距離の所に決定されると仮定してきたが、例えば、単一の輝度に許容される(又は、許容されない)マッピングに注目することによって、同様に、非線形性を考慮してもよいことに留意すべきである。しかしながら、Y_LDR軸上では、我々は、等距離な2値を有するため、教示の一般性を損なうことがない態様で議論することができる。
このため、我々は、現在、その間隔(LDRレンダリングにおいて低いコントラストとして示すことができるが、恐らく、グレーダが、この曲線を最適化するだけではなく、一般的に、再構成されたHDRイメージのための粗い量子化に関して現れる)において、少なすぎる符号を使用しており、曲線902の局所的な傾きを伸長する必要がある。例えば、任意の間隔に亘って量子化エラーを罰する弾性的なエラー関数など、これを実行するための幾つかの方法がある。一般的に、我々は、一方では、特定の間隔のサイズを考慮に入れ、他方では、それらの間隔の平均的な明るさ/輝度位置、即ち、曲線が、意図されたグレーディングからどの程度逸脱するのかを考慮に入れて、任意の数学を有することができる。勿論、技術的グレーディングが、グレーダが所望するLDRの見た目の形状から大きく離れた(即ち、技術的なHDRデータ要件、又は、マッピング関数の符号割り当て目的が、「LDR」要件、又は、マッピングのレンダリング見た目の目的から大きく離れた)特定のマッピング曲線形状を必要とすることを要求する場合、グレーダは、他のマッピング関数を介して、他の、追加的な方法において、見た目を規定し続けるであろう。このため、原理的には、厳密な規定又は重大な計算はこの方法のために必要でないが、勿論、幾つかの方法が、より少ない計算の複雑性を有し、又は、(少なくとも幾つかの種類のプログラムにとって、グレーダ時間は、高価であるため)グレーダが、いかに早く所望の符号化+グレーディング結果に辿り着くかにおいて、よりユーザフレンドリである。
我々は、図10により、単純な曲線変形を明らかにする。Nc1が、当該間隔に割り当てられる現在の輝度量である場合、Nc2は、(最小で必要とされるか、それよりも幾らか大きい)必要とされる符号量であり、当該曲線の係る部分は、中点周りをNc2/Nc1で倍数化することによって、伸長されてもよい。上記曲線の残りは、修正される必要があるが、量子化を符号の総量においてフィットさせるように再分布することが、既に満足いく結果を与えていると仮定している。例えば、上記曲線を使用することによって、L4より上の曲線の一部を、OFF_1のオフセットを与えて、最大値が最大輝度にあるようにスケール化して、抽出することができる。これを実行することによって、色マッピングFi(MP_T)の曲線である、技術的グレーディング曲線903をどこでも取得できる。Y_LDR_min軸上の輝度は、GT_IDRイメージを形成するであろう。上記システムは、重大になり、且つ、2つの領域の間のエラーのバランスをとる他の範囲があるかどうかを検出してもよい。例えば、理想的には、Nc2は、10個の符号であるべきであり、L_HDR(即ち、Y_LDR)の他の範囲上のNc2*は、理想的には、8である必要があるが、合計で16個の符号のための空間しかない場合、最小量子化エラーを9個の符号と7個の符号とに分布させてもよい。勿論、これは、2つの領域、意味論的な重要性(顔色があるか)などの範囲としてのかかる要因によって重み付けされることができる。必要であれば、上記システムは、例えば、ステップにおいて、符号の数(即ち、局所的な傾き)Nc2を増加させることを可能とするユーザインタフェースを有し、2つの領域のいずれが良好であるべきかを選択するように、グレーダを促すことができ、Nc2*のためにより少ない符号を意味し、グレーダは、視覚的に許容可能であると考えることができる。勿論、幾つかの実施形態は、技術的マッピング曲線及びグレーディングGT_IDRを選択する際、シーンの後ろで完全且つ自動的に動作してもよく、この場合、システムは、例えば、所望のLDRグレーディング曲線の周囲における微調整を放棄し、即時に、所定の良好に動作している技術的曲線の1つに飛んでもよい(例えば、SUM(wi*[FT(L_HDR)-FL(L_HDR])として計算されるような、LDRの見た目の規定曲線902と比較して少なくとも変形を有し、前記式において、括弧は、絶対値又は平方根などの幾つかの関数を示し、FTは、値L_HDR毎の現在選択された技術的関数であり、FLは、グレーディングの好ましいLDRの見た目のマッピングであり、重みwiは、均一であってもよいが、例えば、顔がある場所のように、L_HDRの特定の領域がより重み付けられてもよい)。局所的な傾きは、HDR領域において必要とされる符号に対する、LDR表現において利用可能な符号の量を識別するため、エラー測定は、傾きを考慮に入れてもよい。ある間隔を実際に変えることは、グレーダが見たいものと比して、全ての範囲に亘ってエラーを分布させるが、目は、絶対的な輝度を測定する機能を有するようには実際設計されていないため、それは、分布され、相対的に見られ、任意の場合において、ほとんどの実際のシステムのために、Fi(MP_DL)を有する受信側において再度計算されるため、必ずしも、大きなエラーである必要はないことに留意すべきである。当業者は、同様の機能を実現するための多くの他の方法があることを理解する。例えば、(M_HDRイメージは、Y_LDR_MAXに対応するL_HDR_MAXまでいかないため、)十分な符号があってもよく、関数903の少なくとも幾つかの部分における規定で多くの自由度を有していてもよいが、曲線902は、間隔[L3, L4]においても量子化され、補正される必要がある。かかるシナリオでは、間隔[L3, L4]の中点輝度、及び、他の曲線領域を、より自由にシフトしてもよい。かかるシナリオは、幾つかのオブジェクトなどを明るくすることに対応する。他のシナリオは、システムが本当に重大である場合であり、間隔[L3, L4]の外側で量子化を再分布させることは、不適切な量子化につながり得る。この場合、緩和戦略が、最終的な曲線を決定するために使用され得る。緩和戦略の1つの例は、現在のグレーディング曲線、又は、現在の人間のグレーダの曲線に対する妥当な近似を維持しようとする任意の曲線において最大の量子化エラーが発生する[L3, L4]、[Lx, Ly]の外側など、ほとんどの重大な範囲に亘る残りのエラーを分割することである。幾つかの領域に対してエラーを強く割り当てることを決定してもよい。例えば、単一の0輝度値までL1より上の幾らかの輝度がクリップされてもよく、又は、技術的グレーディングGT_IDRにおいてさえ、明るい端部をクリップすることが決定されてもよい。REC_HDRイメージは、完全に再構成可能ではないが、かかるシナリオは、オーバフロー補正を有するシステムにおいて使用され得る。例えば、クリップされた値は、GT_IDRにおける明るい、クリップされた領域のためのデータのみを含むGT_IDRから離れて、第2のイメージにおいて符号化され得る。実際のマッピング曲線を、(間隔毎に、少なくとも最小量の符号を有することで特徴付けられる)良好な技術的特性を有するマッピング曲線と比較した場合、勿論、自動グレーディングユニットは、実際に、その間隔において、任意の画素色があるかどうかをチェックし、あるいは、その範囲において、関数を厳しく変形させてもよい。
図12(図12b)は、どのように、グレーダが、技術的グレーディングGT_IDRのために使用される符号を割り当てる技術的曲線に影響できるのかについての一例を示している。前述のように、このことの全ては、幾つかの実施形態において、グレーダが知ることなく、スクリーンの裏側で起こり得るが、ここでは、グレーダが、HDR輝度範囲1210における特定の領域に割り当てられた符号の量を規定又は影響する方法の一例を考え、どれが顔色を含むのかを想定しよう。この例では、符号ゾーンの自動的な割り当てが、極めて良好である(可能であれば、10ビットの代わりに8ビット輝度のみが利用可能であり、又は、恐らく、10ビットでは、飽和した青色などの少なくとも幾つかの色のための厳し過ぎる量子化を導入する、より適切でない色空間である)が、品質基準ディスプレイを見ているグレーダが、例えば、より少ないシミの顔を持つなど、より幾らかの精度を求めることを想定しよう。このとき、輝度範囲1210における局所的な傾きが低過ぎると考えられ、例えば、上向きの矢印がクリックされた場合に、X%で傾きを増加させる矢印、又は、ドラッグ可能なカーソルなどの、ユーザインタフェース傾き変更手段1203を介して、傾きを増加させたい可能性がある。曲線ツール視聴ウインドウにおいて、直接、範囲1210が規定され、1又は複数の限度設定部1202がドラッグされ得る。また、上記ユーザインタフェースは、例えば、シーンから現在グレーディングされた表示画像において落書き1215の描画を許可することによって、素早い選択を可能としている(図12a参照)。
今まで、グレーダは、再構成されたHDRイメージレンダリングを見ている。グレーダが、再度、LDRイメージ上で作用したい場合、ビューを切り替え、この技術的曲線から開始するLDRグレーディングを、追加的なマッピング曲線又は戦略に、再度規定する。可変の照明の下を歩く場合に、顔を追跡し、その特性を微調整するための動き追跡手段は、必要であれば、決定を補助してもよいが、技術的曲線は、一般的に大きく良好であり、究極的に特別でないことが想定されているため、一般的には、我々は、本発明のために、そのような複雑性を必要としない。しかしながら、任意の場合において、グレーダは、最適なLDRイメージを取得するための技術的曲線及びマッピング曲線の両方の、興味深いとかんがえられる映像の任意の瞬間において微調整を提供され得る。ここで、上記ソフトウェアは、中点(曲線1204)と比較して、傾きを変えるように構成され得る。しかしながら、グレーダは、このことを、(第2のLDRマッピング関数よりもむしろ)、今、対処したいグレーダ色問題であるとして取り入れることができる。例えば、アルゴリズム又はハードウェアが、新しい曲線を計算する場合、それは、最も単純なバージョンにおいて、エラーを再割り当てし、これは、局所的に伸長された間隔の新しい高い点から開始する、最大で1.0値まで残りの曲線の形状を伸長させることによって、実行されることができる。しかし、グレーダは、このことが、領域1205において、明る過ぎる色を与えると考えることができる。従って、ソフトウェアは、グレーダが、範囲1210において、局所的な曲線を上方又は下方に幾らかシフトすることを可能にし、最終的に、妥当な曲線1207を生成することを可能にする位置調整手段1206を有していてもよい。グレーダは、同様の方法で、量子化エラーがより厳しいと考える領域を規定してもよい。例えば、この場合、スライダ1201は、グレーダが、必要なときに、より量子化され得る明るい色の範囲のためのより低い境界を設定することを可能としてもよい。全ての技術的限度を考慮して、色特性のバランスをとる必要がある場合、これは、特に、オリジナルの材料が、完全に明るくキャプチャされなかったが、幾らか色あせた色でキャプチャされた場合、もっともらしい最適性に辿り着くための良い方法であろう。当該スライダは、例えば、20m符号、ガンマ2.2を介した分布、又は、心理視覚的JNDベースの曲線などの、より上の基準HDR輝度位置を与える。この場合、アルゴリズム計算は、例えば、範囲1201の高い点と範囲1201によって設定される上限範囲の低い値との間に残っている符号と、重み付けされた態様で20個の符号からの差異を罰することによって、エラーの再分布を考慮に入れることができる。勿論、グレーダは、より多くの時間をかけるのに十分な重大な問題が、微調整するための上記範囲の1又は複数を選択してもよいと考える場合、例えば、既に決定された曲線に対して固定の抵抗を加え、これは、任意の符号又は最大で20%の符号を失わない、あるいは、現在の間隔よりも10倍低い割合で符号を失うことを示す。これは、他の間隔を再規定する際の幾つかの基準を供給する。しかし、通常、グレーダは、多くの重大な領域を再符号化する必要はなく、ハードウェアに自動的な提案を備えさせるだけでよい。
図3は、人間が、技術的グレーディングGT_IDRから自身のグレーディングを抽出する、本発明の原理に基づく符号化システムの可能な実施形態を示している。読者は、ここで、我々が教示する技術的変数(例えば、適切な技術的色マッピングなどに関する変数)が、図2の実施形態のクラス及び他の実施形態にも適用可能であり、その逆もまた然りであることを理解するであろう。
色マッピング導出ユニット214は、M_HDRをGT_IDRにマッピングするための適切な色マッピング(例えば、輝度マッピング曲線、及び、対応する色座標操作戦略)を決定する。これの主な目的は、技術的観点から最も適したグレーディングGT_IDRを決定することである。特に、(Fi(MP_T)の逆色マッピングであるCMAP_2を適用することによって、)(幾つかのイメージ導出基準に従った)M_HDRの近似である、又は、M_HDRから少なくとも所定の第2の精度内にある、REC_HDRを再構成することが可能であるべきである。当業者は、イメージ間の導出を測定するための所定の幾つかの方法があることを理解する。例えば、ポピュラーな測定は、PSNRであるが、これは単純であり、分かりにくく、しばしば、心理視覚的に見えないが、より少ない程度に幾つかの本当のオブジェクト導出を測定する、ノイズにおける差異に高い寄与を与え得る。このため、我々は、特に、心理視覚的な原理と相関している数学的なフレームワークで、様々なオブジェクトに対して起こっていることをより厳密に測定する測定を使用したい。例えば、イメージ分析ユニット213は、セグメント(擬似オブジェクト)において、REC_HDR及びM_HDRの幾つかの適切なセグメント化を行なうことができる。それは、例えば、相対的に滑らかなオブジェクトを探し、そこでのポスタリゼーションの量を測定することができる。量は、例えば、滑らかな勾配領域に対して用いられる色の量であってもよく、これは、同じ量子化された色の画素が連続している長さを数えるのと同様に、精度測定につながる。空間に亘るオリジナルのM_HDR輝度形状と、REC_HDRにおける階段関数との間の関数的な相関又は累積的な差分が計算されてもよい。当業者は、精度の評価及びマッピングアルゴリズムの最終的な選択において、(所定の)意味論的情報が導入され得ることを理解するであろう。例えば、小さいオブジェクトしかない場合、特に、イメージ近くの背景にある場合、当該オブジェクトは、おそらくあまり意味を持たないため、我々は、それをより少ない輝度符号で符号化し、他の符号のためにより多くの符号を利用可能とすることができる。当業者は、ことを理解するであろう。(例えば、精度イメージとして)総精度又はエラーが、予め許可された(例えば、ソフトウェアアップデートを介して、自動グレーディングユニット303においてロードされた)測定アルゴリズムのセットから形成されることができ、これは、セグメント又はオブジェクトのサイズ又は位置などの幾何学的特性、セグメント/オブジェクトのテクスチャがどんな種類か、どんな色かなどの静的特性、(顔又は空検出器で)我々が見ているのが顔か空かなどの意味論的特性を考慮に入れることができる。また、精度計算は、HDR効果を分析するための特別な測定を有していてもよい。例えば、爆発は、REC_HDRとM_HDR都の間の画素色の絶対的な差異として特徴付けられないが、火球における平均的な色と周囲の平均的な色との間の差異、火球における色の変化などのパラメータに基づく相対的な測定で特徴付けられ得る。REC_HDRは、測定が、閾値よりも下又は上である場合、即ち、火球が、再構成において、少し暗い又は少し少ないコントラストを有する場合十分正確であると見られ、周囲よりも極めて明るいため、十分なインパクトを有する限り、再構成は、良好なHDR再構成であるとして見られる。かかる変形は、特に、GT_IDRエンコーディングにおけるビット量などの物理的リソースの少なさのため、より重大なシステムに有用である。HDR効果は、複雑な態様で特徴付けられ、又は、例えば、相対的な閾値LTなどの高い輝度の領域として選択されてもよい。当業者は、例えば、最適な色マッピングFi(MP_T)に対して複数のステップが現れる再帰的な戦略において、色マッピング導出ユニット214が、総精度に基づいて、そのマッピングを単純に決定しなくてもよいが、部分的な精度に基づいて微調整してもよいことを理解するであろう。同様に、図9及び図10の我々の局所的な調整例では、それが、顔においてパッチを識別し、関数の一部を変更することによって、より多くの符号を割り当てるため、ユニット214は、粗く表示される顔を治してもよい。精度基準は、それ自体を計算することによって、満たされる必要はない。むしろ、我々は、実用的な観点から特定のアプリケーションのための精度基準を妥当に見たすと考えられる、予め許可された関数又は色マッピングアルゴリズムALG(CRV_i)のセットを用いることができる。たとえ選択された最適なマッピング曲線が、幾つかの不便なM_HDRイメージの幾つかの部分において、なお幾らかより厳しいエラーを導入しているとしても、それは、許容可能であると考えられる。任意のそれらのシナリオにおける決定は、芸術的なグレーダを悩ませる任意の手動の介在なしに、ユニット303の内側で自動であり、又は、例えば、このグレーダに、複数の可能なマッピングアルゴリズム又は曲線から1つを選択させることによって、部分的にガイドされて、又は、完全に、グレーダにより決定されることができる。一般的に、ユニット303は、マッピング及び符号化状況に関する幾つかの包括的なパラメータを知っており、グレーダが、例えば、M_HDRイメージのダイナミックレンジ(例えば、CODR又はCDR)を設定し、グレーダは、「夜のイメージ」などを現在グレーディングしていることをメニューリストから選択してもよい。
例えば、イメージ分析ユニット213は、M_HDRイメージを見てもよく、輝度ヒストグラムにおける2つの良好に分離されたローブがあることを発見してもよい。(少なくとも初期の)マッピング関数は、人間の視覚系がより暗い部分に対してより敏感であることを考慮して、8ビットの輝度符号の適切なサブ範囲にそれらのマッピングするよう抽出されてもよく、これにより、より大きなサブ範囲が必要である。このため、粗いスケール上で、上記マッピングは、例えば、[0, 170]及び[180, 255]に行くことができ、即ち、それを実現する任意の関数が実行可能な候補である。これらの範囲内で、例えば、顔には幾らか多くの符号を割り当てるなど、Fi(MP_T)のマッピング曲線の更なるベンディングがなされ得る(ディスプレイは、顔のコントラストを低減させることができるが、我々は、少なくとも、顔のテクスチャ及び照明の良好な正確さを有しているため、濃紺が、究極的なレンダリングにおいて顔におけるより高いコントラストに対応する必要がないことは明らかである)。
最も単純なバージョンは、例えば、パラメータのガンマ状の曲線Y_LDR=k*L_HDR(L1より下)、及び、I*power(L_HDR, gamma)+off(L1より上)のセットであり得る。この場合、アルゴリズムを決定する自動技術的マッピングは、一般的に、暗い領域におけるイメージ構造が何であるのかを評価し、それに伴う十分良好に特徴付けられる線形部分を決定してもよい。特に、複雑な幾何学的構造(後で組み立てられるために格納された木の板、金属の枠組み、ツールなど、全てが暗がりにおいて互いに積み重ねられた、多くのオブジェクトを含む倉庫など)を有する、多くのオブジェクトがある場合、ユニット/アルゴリズムは、ガンマ状曲線の第1の部分(例えば、線形部分)を調整することによって、これに、より多くの符号を割り当てることを決定してもよい。同様に、暗い部分に役者がいる場合、上記システムは、たとえ最終的に極めて暗くレンダリングされ、視聴者が、それほど詳細に見ない(しかし、視聴者は、常に、リモートコントロールを介して、ディスプレイを明るくすることができ、良好な符号化がそれを満たすべきであることに留意すべきである。)場合であっても、彼らを十分な符号で特徴付けたい場合がある。
同様に、イメージM_HDRは、中間部分(例えば、動き分析などの他のイメージ分析アルゴリズムが、主な動作の領域の決定を補助できる)、明るい部分、暗い部分において、分析及びセグメント化されてもよく、S字状の又は3セグメントの曲線がそれのために決定され得る。
あるいは、人間のグレーダは、ユーザインタフェース230を介して、最適な技術的曲線を選択するのを促進されてもよい。例えば、複数のガンマ状曲線から最適な1つが選択されてもよいが、当業者は、これが他の固定された予め許可済みの曲線であってもよく、再帰的な技術的最適化において、グレーダは、例えば、制御点CPをドラッグすることによって、曲線の調整を開始してもよいことを理解する。曲線は、例えば、グレーダが、低過ぎる傾き、又は、反転、(CMAP_2として反転されない)二重割り当てなどの他の不適切な特性を有するセグメントを選択することを禁止するなどの、幾つかの内部弾性メカニズムを有していてもよい。一般的に、上記アルゴリズムは、例えば、曲線が、使用できないくらい変形された場合に警告を発することによって、自ら(初期的又は瞬間的に)安定状態となり、良好な再構成特性を有する同様のものにリセットする。一般的に、システムは、REC_HDRを生成し、グレーダが、精度又はエラーを見るために、所望のHDRディスプレイ上でM_HDRでトグルすることを可能とする。システムは、GT_IDRを基準LDRディスプレイに送るので、グレーダは、それをチェックできる。このイメージは、幾つかのシナリオにおいて、既に十分であってもよく、グレーダは、もはや、第2のIm_LDRの作成を必要としないが、それが、より品質の悪いLDRグレーディングであるとしても、幾つかの受信システムは、それを使用することを所望又は必要とする(これは、例えば、色マッピングデータを無視し、GT_IDRだけを再生するレガシーBDプレイヤのための、TSIGにおける実装の互換性のためであるが、例えば、GT_IDRは、中間ダイナミックレンジディスプレイのためのグレーディングに用いられるべき最終生成物への調整/挿入のための有用な情報を含んでいてもよい)。グレーダが、満足した場合、グレーダは、次のイメージ又はイメージのショットで続け、さもなければ、グレーダは、幾つかの曲線又はアルゴリズムを変えるであろう。エンコーダは、グレーダを補助するための手段を有していてもよい。例えば、グレーダが、より大きなエラーを有する領域の内側に落書きする場合、エンコーダは、輝度間隔のこれらの色がある曲線上で描いてもよい。人工物の初期分析、及び、提案(例えば、「符号の量の2倍化が提案される」、及び、最終的な見た目のための簡単で粗いグレーディングであるため、それは重要であるが、ユニット/アルゴリズムが、自身で、この技術的グレーディングからできるだけ多くの忙しい芸術家を手放すためにしなければならないため、(色マッピングユニット215によって)第2のREC_HDR_2を取得するための新しい曲線を既に適用している)が既にあってもよい。
ここで、図3の実施形態のクラスでは、グレーダが、色グレーディングユニット301を用いることによって、グレーディングIm_LDRとしての最適な見た目を取得するために、GT_IDRイメージ上で微調整し続ける。原理的には、IM_LDRは、REC_HDRを再構成するために使用されないため、グレーダは、任意の色変換を自由に適用できる。しかしながら、実際のシステムでは、色マッピングアルゴリズムの限られたセットがサポートされる場合、それは有用であり、それらの定義データFi(MP_DL)は、信号TSIGにおいて符号化される必要があるため、グレーダが一般的に所望する、ほとんど又は全ての色の変更を可能とする。幾つかの信号標準は、好ましくは、更新可能なように設計されているため、後の新しい色マッピングのデータは、(古いシステムによって無視され得る新しいタイプのインジケータを具備する)メタデータにおいて記述され得る。これは、インターネット映画データベースから購入された映画をデコードするためにコンピュータ上で実行されているソフトウェアなどを、容易に更新可能である次世代のデコーダのために有用である。特定の時間のみで(総システムコストに比して高価な)新しい処理チップが設計される、より短いターンオーバーを有するシステムのため、色マッピングの固定されたセット(例えば、ルックアップテーブル(LUT)として実現される機能など)に先天的に同意する方がよい。最終的に、全てのデータGT_IDR、Fi(MP_T)、及び、Fi(MP_DL)(又は、その派生物)が、フォーマッタ220によって、1又は複数の選択された信号フォーマットの規定にフォーマットされ、幾つかの信号伝達手段を介して外へ送信される。
図4は、受信システムの1つの可能な実施形態を示しており、当業者は、多くの同様のシステムがあり得ることを理解するであろう。例えば、イメージデコーダ401は、(BDプレイヤ又はセットトップボックス(STB)などの)分離ユニットを備えることができ、それは、ディスプレイ又はディスプレイを有する装置(例えば、テレビ、又は、携帯電話(携帯電話は、HDRディスプレイを有していないことがあるが、HDR符号化を読む必要があり、そこからIm_LDRグレーディングを抽出する必要があり得る))に備えられてもよい。例えば、本発明の原理に従って、HDRエンコーディングの第1の変形から、ペイパービューシステムなどに従って分布される、第2の変形におけるイメージエンコーディングを作る、コンテンツプロバイダを前提としたトランスコーダや、エンコーダを有する専門的なシステムがあってもよい。
イメージデコーダ401は、全ての必要とされるイメージの構成を行なうように構成されたイメージ導出ユニット403を有する。例えば、それは、色マッピングデータFi(MP_DL)を抽出し、GT_IDR上でMPEG_HEVCデコーディングを行なってもよい。そして、それは、REC_LDRを導出するために色マッピングデータを適用してもよい。我々は、この実施形態において、例えば、どんな種類のディスプレイが現在接続されているのか、又は、どんな種類のストレージ装置が、再構成されるイメージ(例えば、REC_HDR、又は、一体化されたグレーディングREC_MDRなど)の特定の形式を必要とするかをチェックするように構成され得るシステム構成ユニット402を有し、それは、イメージ導出ユニット403が必要な処理を行なうように適切に制御し得る。この例では、我々は、例えば、HDMIインタフェース接続などのケーブル接続されたネットワーク接続を介して、2DLEDバックライト(又は、OLEDなど)を有するテレビに、データ(接続されたディスプレイのために既に最適化されたHDRイメージ、及び/又は、テレビが、受信したHDRイメージ上で更なる微調整を行なうことを可能にする、色マッピングデータなどの中間データ)を送ることができる。ハイダイナミックレンジディスプレイが、幾つかの態様で作られてもよい。例えば、RGBブロックにおいて、完全駆動された場合に多くの光を送信する多くの光セルを有するLC材料構造間でインタリーブが行なわれてもよい。あるいは、例えば、突然、過度の明るさが必要となった場合、DMD IC領域に対してより多くのLEDを局所的に照射できるプロジェクタにおいて、レーザLED照射ディスプレイを有していてもよいし、又は、映画館において、ハイライトを作るための追加的なプロジェクタ構造などを有することができる。あるいは、我々は、アンテナ415を介して、無線で、タブレットディスプレイなどのLDRディスプレイ416にデータを送信することができる。また、我々は、象徴的に、フォーマッタ407によって供給される、他のグレーディングされた、1800ニットのピーク白色のディスプレイに最適な中間ダイナミックレンジイメージなどのイメージ信号を示し、かかるディスプレイに送信し、又は、後に使用するためのストレージメモリに送信し、又は、ネットワークを介してユーザの他の場所に送信し、又は、世界のどこかにある彼の携帯電話、又は、彼の友達の一人などに送信する。
図5は、レンズ502を通じてイメージセンサ504からRAWイメージを得るカメラ501の内側にある我々のコンポーネントを示している。ナレッジエンジン520は、キャプチャされたRAW画像を学習することによって、構造的、静的、及び/又は、意味論的な知識を取得するように様々な方法で構成され、上述のように、色マッピング導出ユニット214による技術的マッピング導出をガイドするように構成され得る。当該カメラは、幾つかの輝度間隔の局所的なコントラストの変更など、技術的マッピングアルゴリズムに影響を与えるための(例えば、ディレクタ及び/又はキャプチャに続くDOPのために、ディスプレイ装置から有線接続又はリモート接続され、通信アンテナ580を介して操作する)独自のユーザインタフェース550を有していてもよい。GT_IDRへのマッピングは、HDRイメージエンコーディングが送信される、例えば、最終的な、又は、中間の記録(幾つかのケースでは、操作されるカメラは、既に、十分なLDRコンテナグレーディングを行なっている、即ち、M_HDR及びIm_LDRを符号化しているかもしれないが、他のケースでは、第1のHDRエンコーディングが、グレーディングの更なる微調整のためのベースを形成する)のための、素早いプレビューイメージを有するために用いられてもよい。この例示的なカメラは、例えば、衛星通信アンテナ599を介して、又は、代替的な通信手段を介して、受信側にブロードキャストしてもよい。
図11において、我々は、様々なマッピング方法が、どのようにして、3(又はN)次元色空間において実現され得るのかについての、幾つかの例を与える。図11は、x軸上の色座標、即ち、彩度S上で、y軸上の輝度をスライスして、(M_HDRグレーディングのための)HDR基準ディスプレイ、及び、(例えば、GT_IDR又はIm_LDRのための)LDR基準ディスプレイの色域を概略的に示している(これらは、例えば、CIE定義において、規定されてもよく、例えば、CIE_Lab空間などの幾つかのオプションが可能である)。我々は、M_HDRにおいて定義された色、即ち、Col_HDRが、どのようにして、色Col_LDRに対応するLDRコンテナにマッピングされるのかについて、示す。図11aにおける上側部分は、欧州特許出願第12187572(国際出願第PCT/EP2013/069203号)(未公開)で説明されるような色マッピングアルゴリズムに従った色域形状である。原理は、例えば、ニュートラル軸に沿って、輝度を変換するための関数をまず定義することである。色座標(例えば、明度h及び彩度S)を有する各色のために、我々は、当該値によって、輝度マッピング関数をスケール化する、当該色のための最大可能輝度Lmax(h, S)を考える。これは、全てのHDR色のためのLDR色域内の値を保証する。図11bは、色マッピングの他の可能なカテゴリを示している。ここで、我々は、Col_HDR上に任意の変換を適用するだけであり、このため、それは、LDR色域外のCol_LDR1に収束し得る。一般的に、我々は、例えば、LDR色域の内側でCol_LDR2の彩度を減じることによって色を運ぶ色域マッピングアルゴリズムを付け加える。2ステップの投射の代わりに、我々は、各輝度のために、どれが最悪の状況か、即ち、どの画素が、LDR色域の当該輝度のための最大彩度から最も離れているかを決定することもできる。我々は、そこから彩度減少関数DESATPRを導出でき、この彩度減少を考慮して、全ての色を再マッピングすることができる。また、彩度減少アルゴリズムを決定するための他の方法がある。色マッピングの第3のカテゴリは、RGB空間に作用し、マッピング関数を色が両色域に留まるそれらの手段に適用する。任意の関数が、色を操作するために使用され得る。例えば、特に、実際の値がより少ない技術的グレーディングに終わる、所望の輝度軸の領域のみに沿った、彩度相関の局所的機能的再マッピングが、グレーディングを使用する限り、もっともらしい色が、適切な他のマッピング戦略によって、そこから導出され得る。
ここで、我々は、本出願における他の教示から離れて見られる、HDRフレームワークにおける有用な彩度マッピングについて詳述する。輝度及び明度が、錐体視細胞オプシン分子の活性状態を有する、人間の錐体視細胞の応答から導出され、オブジェクト反射特性及びその照射(明度は、幾何学的に拡張された複雑なシーンイメージから全ての空間的な錐体視細胞信号を分析している脳によって、基準となる白色と比較して推定されるグレーっぽさである)の両方の関数である、どれくらいの光が様々な色から来るのかを示す。色相は、異なる錐体視細胞の(単色又は多色活性毎の)スペクトル活性割合の関数であり、これらの錐体視細胞活動における差異から推定されることができる。それは、例えば、様々な分子の広帯域特性が、りんごの赤い熟度などの特定の科学的内容の識別を可能にするように、支配的な色の決定に役立つ。比較的容易に、日光と青空の光のような光源を推定するため、緩やかに変化している状況において、様々な区別可能な色相が、多くの視覚タスクのために役立つ。彩度又は純度は、ガングリオン細胞の色チャネル及び視覚系の他の部分が、ニュートラルな(グレーの)刺激に比して、どれくらい励起されるかについての尺度である。即ち、それは、ニュートラル色に加えられた、純粋な色(例えば、狭帯域スペクトルの色)の量、又は、その逆の量である。色空間において円上にトポロジ的に提供される色彩において、ラジカルな寸法が彩度であることが必要であった。画家は、白色を赤色などの純粋な色に加えることによって、色合いのシーケンスを作る原理を用いる。本来、彩度は、2つの重要な原理によって決定される。第1に、反射的/光沢のある媒体において、白色光源が、より不快相互作用からオブジェクト色付いた光に強く加えられ、強い彩度減少につながるが、反射的な方向において高い彩度がない。より重要な事には、彩度は、ピグメントの量に関し、これは、例えば、配偶者になるかもしれない相手の健康度を判断するために、動物によって使用され得る。彩度は、2つの「変数」において存在する。第1に、より明るい色は、より彩度があるように見えるため、鮮やかさ又は色度でモデル化され得る輝度依存性のものがある。これは、色平面(例えば、uv)が、輝度軸に沿って、促進的により広くなる、円錐形状の色空間においてモデル化されることができる。人間の脳は、理論的に最も彩度の強い状況である単色の反射で、照明を差し引き、オブジェクトの本質的な彩度を判断することができる。これは、色空間形状が、輝度軸に沿って同じままである、円柱状空間においてモデル化され得る。
物理的に、かかる円錐又は円柱は、より明るい色を作ることができるため、無限方向に展開されることができるが、任意の実際の記録又は再生システムには限界があるため、技術的には、あまり意味をなさない。既に、特定の適合状態(錐体視細胞オプシンの量が、錐体視細胞において準備できており、中間分子が、究極的に、取得されるニューロンに沿ったパルス量の「ディジタル」信号まで、任意の錐体視細胞活性感覚を増幅させる状態にある)にある目の錐体視細胞は、明るいランプを見た時に、多くの錐体視細胞オプシン分子が活性化されているように、特定の瞬間において白くなるが、ある期間において、正確な色検出がもはや可能である。同様のことが、例えば、(スライド)写真記録で起こる。特定の瞬間において、幾つかの最大白色が、記録されなければならず、シーンオブジェクト輝度は、ピーク白色にクリップする。同じことが、それを絶対的にするための基準モニタと関連し得る符号化空間でしかない、任意の付加的なRGB空間、又は、実際のディスプレイのための実際の駆動信号空間のために起こる。かかる空間は、トポロジ的には、二重円錐空間と等しい。例えば、画家は、色を減じることで影を作れるが、純粋な色に黒色を加えることによって同一の彩度となり、上側の円錐の上部において純粋な白色に向かって色合いを付けることを知っている。即ち、かかる空間の上部において、未飽和(ゼロ彩度)の色のみがあり、これは、例えば、より高いハイダイナミックレンジディスプレイのより広い色域における色のような本来存在し得る他の色と関連して、不便である。例えば、上側の円錐にまだ存在している、LDR(lower dynamic range)に対して輝度を減じた色について何をすべきか?その彩度を大きく変更するか、それとも、更に減じるか?また、その色が、単に、中間の空間にあるに過ぎない場合、それは、より大きな空間に再度ブーストされてマッピングされるのに役立つか?
このため、かかる状況のために、任意の色の理論的な彩度に加えて、許可された色の任意の限られた空間における彩度及び彩度の修正を見ることを必要としてもよい。(一般的に円柱形状の)かかる空間内において、任意の数学的変換を持つことは、外側へ行き、実現可能な色への変換をなお必要とする変換に比して、特に、少なくともより大きく配列され得る(例えば、LDR RGB空間上にスケール化された[0, 1]HDR RGBなどの)空間においてマッピングする場合に、存在している色をもたらす利点を有し、有用であるが、上記計算の非線形的な性質は、明度又は色彩のような他の出現相関を変形させ得る。それは、任意の形状における3Dにおいて色域/空間を開始及び終了させることを設計でき、原理的には、我々は、任意のマッピング戦略を設計できるため、そのことについてそれほど心配を必要としない。
我々は、グレーダが規定可能な数学的彩度決定関数の最小の(一般的に単純で、これらの変換が、一般的に、十分な完全性のために必要とされるマッピングを示すことを考慮して、又は、ブラインドレンダリングに比して少なくとも改善されていることを考慮して、様々なディスプレイのための対応する色に依存するレンダリング状況を決定し、即ち、それらのディスプレイにおける、又は、映像処理ボックスに接続されたハードウェアIC又はソフトウェアが、好ましくは、単純な数学的関数のみを使用すべきであり、他のレンダリング状況に組み込まれ得る、あまり重要でないグレーディング状況を規定するグレーダによって色レンダリングシナリオと関連付けられる全ての可能性をサンプリングすることによって、複雑性が操作される)セットを有する場合、所望の変換を実行する色グレーダを持つことによって、多くのそれらの複雑性を操作できる。
異なるダイナミックレンジ間のマッピングが、色あせた色、又は、漫画っぽく飽和した色につながり、当該状況が、幾つかのグレーダが潜在的に重要な望みを有する(例えば、顔に重要性を有するが、水の青色にも重要性を有し、又は、暗い雲の見た目の色にも重要性を有する)場合、複雑であり得ることが知られている。
我々の新規な彩度処理は、技術的グレーディングだけでなく、任意のグレーディングされたイメージ(例えば、任意の他のイメージグレーディングを取得するための、異なる又は同様のダイナミックレンジ、即ち、HDR2000ニットディスプレイ上でレンダリングされる場合に最適な見た目のHDRマスタ、又は、LDRグレーディング)、更には、グレーディングコンピュータなどの他の機器に導入されるか、カメラにある、RAWカメラキャプチャでさえ使用されることができる。当該処理を原理的に説明するために、我々は、(出力空間と同じであり得る、又は、より大きな空間などであり得る)入力色空間を必要としないので、(レンダリングに直接使用可能な、中間、又は、装置依存の)任意の色エンコーディングの出力空間で説明する。我々は、円柱状タイプ、即ち、我々が、図15aにおいて、テントが白色へ縮み始めるまで、正規化された輝度軸Lに沿って同じサイズの三角形から、u(赤−緑)軸のみを示す平面方向のLuv空間で原理を説明する。勿論、物理的な輝度の代わりに、例えば、第3の軸のような明度などのより心理的な量など、他の可能性が、同様に実装され得る。全ての実際に実現可能な色の色域は、1501である。ここで、曲線1503で示されるように、彩度を増加させる又は減少させる方向において色を(色域の内側で又は外側へ)移動させる数学的変換が適用され得る。これは、数学的な原理を図示しているが、図15aは、一般的に、サブウィンドウの1つにおいて色グレーダが見るユーザインタフェースビューであってもよく、メインウインドウは、勿論、グレーディング又は再グレーディングされるイメージにおける変換の色出現効果を示している。原理的には、我々は、彩度のための任意の計算を使用できるが、好ましくは、それは、座標を大きく分断する、即ち、色彩又は輝度又は明度を全く変えず、又は、少しだけしか変えずに、ほとんど彩度に対する効果を有する関数である。実際には(勿論、上記空間は、実際の発色の単純なモデルでしかないが、最終的には、いくつかの可視的な効果が色の非飽和側面においてなお存在し得る)、上記計算は、直交的なものであってもよく、少し曲がった彩度変化曲線(即ち、それらを飽和させる際、色を少し明るくする)を有する全体的な変形例を示したが、しばしば、これは、L軸に対して直交する平面における線である。イメージに対して総合的な見た目を与えるオブジェクト又は領域の彩度において簡単且つ強力な制御を有するために、グレーダは、グローバルな彩度乗算器を定義するだけでなく、処理される色の輝度に依存する乗算器を定義する可能性を有する。関数a_s=f(L)は、パラメータ関数又はルックアップテーブルとして記録され得る。どの色が処理用に選択されるかを定義する関連する輝度Liが、曲線1503上の彩度のない色によって決定される。ここで、ただ必要であることは、正規化された値1と等化である、幾つかの基準彩度レベルS_ref1502である。我々は、この例示的な実施形態において、彩度が、ユークリッド長、即ち、(u*u+v*v)の平方根、及び、研究所では、(a*a+b*b)の平方根として定義されると仮定するが、勿論、他の定義が可能である。この基準レベルのための実際の選択は、3つの(R, G, B)、又は、色空間を定義しているより多くの原色のうち最も飽和された(u, v)位置に置くことであろう。ここで、彩度曲線a_s=f(L)を定義するための、早く、且つ、簡単、且つ、通常、十分正確な方法は、グレーダが、輝度軸上の複数の輝度(レベル1504など)のためのサンプル点を決定することであろう。グレーダは、それらを点1505としてマークする。それらの点の位置は、彩度を決定し、ブースト又は減少かどうかを決定する。L軸に対する点1505のユークリッド距離が、基準円柱スリーブS_refの距離と比較され、それが、例えば、S_ref=1で0.3である場合、それは、その輝度を有する全ての色が、0.3によって彩度を乗算されることにより調光されるべきであることを意味する(勿論、他の関数が同様に使用されてもよいが、乗算操作は、彩度処理のために十分であるべきである)。より暗い領域の点1513は、それらの赤色のための彩度ブーストを規定する。
このため、例えば、入力イメージが生成されるが、HDRマスタからダウンマッピングされることによって、グレーダは、より明るい色が十分な品質を有する一方、より暗い色は、彩度ブーストを実施できると考え、グレーダは、例えば、1.8の点を規定している位置に対して輝度レベル(例えば、0.25)を決定してもよい。時間を節約するために、アルゴリズムは、0.0から1.0までの完全な輝度範囲に及ぶ完全な曲線を決定する、例えば、線形補間が、黒色に対して1.8下げることを適用してもよく、L-0.25レベルより上の色に1.0の乗算子を適用してもよい(勿論、他の補間戦略が、例えば、スプラインなどのソフトウェアによって、使用されてもよく、グレーダは、色の見た目を更に微調整したい場合、更なる点を追加できる)。必須ではないが、グレーダが、イメージ1506において実際に発生している色の量を見ることも有利であろう。図面の符号1506において、我々は、彩度処理の前の初期状況のみを示してきたが、一般的に、最終的な状況(又は、連続的に変化しているボリューム)も示され、これは、実際に処理される(中間的又は出力)イメージを見ることに加えて、グレーダに、色が、色域境界の近傍に移動し、クリッピング又はソフトクリッピングが発生し得る場所に関するアイデアを与える(色域境界から特定の領域の範囲内にある場合、非線形的に、乗算器を変更するための組み込み式の戦略があってもよく、かかる振る舞いは、グレーディングの開始前に、オプションが、一般的に、グレーダによって、ソフトウェア上で、オンオフ切り替えされることを規定する)。かかる輝度のみに対する依存性は、多くの状況のために十分であろうが、グレーダが、異なる色彩のために異なる振る舞いを定義できる場合に有用であろう。例えば、グレーダは、4個の色彩セクタのための4個のルックアップテーブルを規定してもよい。上述のように、同一の彩度ブースト又は減少が、L軸から赤色及び緑色方向に適用されるが、色1506のボリュームに見られるように、赤色方向における緑色方向における色域境界に近くなり、これは、例えば、映画の現在のショット、又は、現在の画像が、森のシーンである(前のグレーディングにおいて、彩度が、LDR符号化における日光の見た目をエミュレートするために高く設定されていた)ためである。グレーダは、色彩のセクタの境界を定めてもよく、前述のように、同様の態様において、彩度処理を規定してもよい。より複雑な例が、単一の乗算的な振る舞いが、イメージにおける少なくとも1つの輝度レベル(色彩セクタであり得る)のために十分でない場合に、与えられる。例えば、暗い赤は、イメージ(例えば、ガレージ)の暗い部分にあるフェラーリの見た目をより良く見せるために、ブーストされ得るが、これらの色が顔において発生する場合、それらの顔は、赤みがかり過ぎるようになる。加えて、グレーダは、一般的に、どの「顔」の色が処理されるかを決定する色領域の境界を2倍する、第2の彩度基準S_ref21510を定義することができる。そのレベルに比して、五角形1511は、彩度が、例えば、0.75で減じられるべきであることを示している。図15bは、かかる振る舞いが、どのようにして、五角形1511に対応しているLレベルの1つと同様の輝度の色の彩度を修正するのかを示している。顔は、色空間の一部を占めており、フェラーリほど他の色がないため、幾つかの状況において、不連続な振る舞いが十分であり得るが、自動的に、ソフトウェアによって、又は、グレーダによってサブウィンドウにおけるグラブ上で微調整することによって、滑らかな移行1520が適用されてもよい。他の方向においても、少なくとも輝度、及び、必要であれば、色彩も、グレーダは、この振る舞いが適用すべき範囲、例えば、上限の輝度レベル1512(及び、同様に、下限の輝度レベルが規定され得る)を決定することができる。この範囲の外側では、彩度処理は、不連続的に、他の規定された振る舞いに切り替わることができる、又は、必要であれば、より段階的であってもよい。
かかる処理は、原理的には、任意のイメージの彩度処理の任意の状況に適用されるが、異なるダイナミックレンジ(即ち、例えば、LDR符号化に基づいた減じられた視聴環境において、4000ニットのHDRディスプレイに適した、最適にグレーディングされた符号化を決定する、あるいは、その逆)を有するレンダリングシナリオのためのグレーディングで変更する場合に、特に、有用である。必須ではないが、HDR空間は、LDR空間と同じである[0.0, 1.0]の範囲に正規化されてもよい。これが、調整可能なシナリオにおいてなされた場合(グレーディングが、複雑な色出現モデリング問題を開始し、代表的なグレーディング間の単純な補間に変換する、これらのグレーディングが、実際に、コンテンツ作成者が認めた、様々な状況下でシーンがどのように見えるかについてのサンプリングを構成する、一般的に、ディスプレイのピーク白色及び周辺などの、様々なレンダリングシナリオにおいて、良好な品質のレンダリングを実現可能であるように定義される)、上記処理は、一般的に、それに適切に適用するための任意のレンダリングシステムのために、入力イメージの符号化に対するメタデータとして供符号化される(例えば、テレビが2つのグレーディングの中間の輝度を有する場合、例えば、オリジナルがLDRの100又は500ニットのグレーディングであり、彩度処理が、4000ニットのグレーディングを取得するためのマッピング戦略の一部であり、2000ニットのディスプレイが、提案されたブースト量の半分を行なうように決定し、又は、供符号化された彩度振る舞い情報から開始する非線形戦略を決定してもよい)。
図16は、入力イメージIm_iに対して彩度処理を適用可能に構成された(例えば、1200ニットのディスプレイのために、中間ダイナミックレンジMDRイメージへの変換を必要としているLDRグレーディングを考えると、グレーダは、規格の結果を見るために接続された1200ニットのディスプレイ1602などを(少なくとも)有する)、グレーディング装置1600の例示的な実施形態を示しており、さらに、一般的に、MPEG標準などの標準に従って映像画素を符号化する、映像信号S_oにおける仕様書の符号化、及び、信号の一部におけるメタデータとしての彩度処理関数、又は、処理が対応している映像において、特定のイメージ番号を定義するための他の手段又はPMT及び表示時間などにより映像(例えば、次の彩度処理関数データの表示時間までの全てのイメージ)と関連付けられる別個のトランスポートパケットを示している。上記グレーディング装置は、上述した任意の方法に従って、入力イメージに対して彩度変化を適用するように構成された、彩度処理ユニット1601を少なくとも有する。出力として、(ブーストされた彩度を有する)出力イメージIm_oが与えられるが、例えば、LUT a=ai(Li)などの処理関数のエンコーディングP_sも与えられる。エンコーダ1610は、許可された(現在又は将来の)標準化された映像信号エンコーディングの要件に従って、これをフォーマットする。イメージ分析ユニット1603がある場合、ユーザ相互作用を促進することが好適であろう。このユニットは、例えば、色域1501のRGB三角形ポイントを決定するために、どのようにしてイメージが符号化されるのかについての定義を少なくとも見るが、例えば、ボリューム1506を生成してもよい。ユーザ相互作用ユニット1605は、ユーザが、彩度修正動作、一般的に、イメージとの相互作用を規定できる(例えば、特定の処理のために、色彩境界を規定する)ように、(一般的に、ソフトウェアにおいて)全ての関数を実装する。このため、(例えば、キーボード又は専用のグレーディングキーボードからの)ユーザ入力usr_inpに基づいて、彩度ブースト又は減少量を示す点を可能とする。
例えば、映像処理装置1650などの任意の受信装置は、上記符号化された信号S_oを受信してもよく、上記規定された彩度処理を直接的に適用するか、又は、最適な彩度処理を導出してもよい。映像処理装置は、入力イメージIm_iに対して、上述のような輝度依存彩度戦略を適用するように構成された、彩度処理ユニット1651を少なくとも有する。この入力イメージは、様々な方法で取得され得るが、一般的には、映像処理装置1650は、画素化された色イメージIm_iを取得するためのAVC又はHEVC映像デコーディング、及び、内部的に使用可能なフォーマット(例えば、この情報は、ランレングスエンコーディングなどの様々な態様で符号化される、又は、デコーダは、様々な精度などのうちの他の1つに仕様書を変換したい)にそれを変換する彩度処理関数のメタデータデコーディングを行なうように構成されたデコーダ1653を有していてもよい。一般的に、彩度処理は、Im_1の色の輝度を新しい値(例えば、入力イメージが、[0.0, 1.0]で符号化されたHDRイメージである場合、より暗い部分は、暗過ぎてLDRレンダリングに使用できず、彩度処理の(好ましくは)前又は後に、明るくされる必要がある)にマッピングし得る色処理ユニット1652によって実行される一般的な色処理/マッピングの一部を形成する。映像処理装置1650は、出力イメージIm_oを出力し、これは、例えば、特定のディスプレイ上に直接的に適しており(勿論、内部EOTFなどのディスプレイアスペクトを考慮に入れるなど他の変換があってもよいが、本議論には重要でない)、又は、Im_oは、例えば、ブルーレイディスク、又は、映像サーバなどのようなメモリ上に格納されるなど、他の使用のために出力されてもよい。上記映像処理装置1650は、例えば、テレビ、コンピュータ、又は、セットトップボックス、映画のためのディジタルシネマビデオハンドラなどの専用装置、又は、イメージ分析部署のコンピュータシステムなどに組み込まれてもよい。
更なる説明のために、我々は、図17において調整可能なシナリオにおいて可能な使用の2つの例を与える。図17aにおいて、我々は、良好な局所的コントラスト、光源又は明るい領域などのシミュレーションされた出現、などのグレーダの基準に従って、HDRマスタグレーディングからLDR色を導出したい。輝度方向におけるトーンマッピングのために、我々は、色度(u, v)保存マッピングを使用することとするが、欧州特許出願第12187572号などのように、出力色域の最大に全てをスケール化することが望んでいない。これは、全ての輝度をL_LDRmによってトップされた範囲内に持ってきたとしても、幾つかの色が出力色域G_LDRの外側に位置するリスクとなる。グレーダは、HDR入力色空間(矢印1701)における彩度の減少を行なう輝度減少マッピングの前に、輝度対彩度の芸術的に最適なバランスで、この技術的な問題を解決することができる。図17bは、このとき、中間符号化を有する他の例を与えている。我々が見ているのは、同様に正規化された、即ち、配列化されて定義されている、入力及び出力空間(及び色域)である。我々は、HDRイメージ(即ち、HDRレンダリングのために使用可能である十分な輝度情報のイメージ)の中間的なイメージエンコーディングを有するが、これは、より低いダイナミックレンジディスプレイ上で幾らかもっともらしくレンダリング可能であるように、符号化(調整)されてきた(直接、又は、色マッピングの幾つかの最終的な最適化が、例えば、ディスプレイの内側である、ディスプレイ側色マッピングユニットによって一般的に実装される)。これは、例えば、明るい屋外領域が、輝度マッピング矢印TM_L2Hが始まる場所の輝度値で符号化されてきたことを意味する。トレードオフは、これらのイメージ領域及びその色における幾つかの輝度キックを与えることであり、彩度は、色域の数学的形状のために減少を必要とされる。HDRレンダリングのために、これらの領域に輝度を求めるが、それらの輝度が、ランプ及び爆発のために、即ち、正規化されたHDR出力色域G_HDRにおいて予約されるため、(輝度領域L_osにおいて)より低い輝度を与える色に変換する必要があるため、色域の最大値の近くではない。ここで、これらの色は、あるべきよりも、青く見え、このため、グレーダは、最終的なレンダリングを取得するために彩度ブーストを規定するが、色空間の他の領域が良好であるため、(少なくとも)それらの輝度のためである。
一般的に、上記は、色入力イメージIm_iのための入力部240と、色グレーダが、少なくとも処理される色の輝度の第1の範囲のための第1の彩度変更因子と、処理される色の輝度の第2の範囲のための異なる第2の彩度変更因子とを有し、第1及び第2の彩度変更因子が好ましくは、倍数関係にある、彩度処理戦略を規定することを可能とするように構成されたユーザ相互作用ユニット1605と、を有する、イメージ色グレーディング装置1600の様々な実施形態として実現される。
輝度依存彩度変更のために少なくとも1つの因子を特徴付けることは、様々であり得る。例えば、計数が、少なくとも1つの一定(又は、およそ一定)の輝度線(例えば、図15bにおけるようなS字状のプロットは、小さい彩度減少で開始し、S字が、入力イメージにおける高く飽和された色の量をクリッピングし始める幾つかの最大値まで、より高い値のための大きいブーストに成長するが、勿論、他のパラメータが、それらの領域において彩度ブーストを1.0又はそれ以下に再び減少させるため、利用可能な色域においてそれらの色をより良好にフィットさせるため、輝度レベルのために符号化され得る)に沿ったパラボラ状又はS字状の彩度変更動作を規定してもよいが、多くの状況において、倍数因子が、入力彩度s_inを出力彩度s_out=a*s_inに変更することが、複雑性及び視覚精度を制御するのに十分であろう。
幾つかの実施形態は、因子を特徴付ける彩度処理の輝度の1つ又は小さい領域のみを規定し得る(色の残りは、例えば、因子1.0で乗算されるのと同一のままであるように設定されている)が、入力イメージ(例えば、0.0-1.0)の色の完全に可能な輝度範囲又は他の輝度範囲のための因子を規定することが有用であり、幾つかの色は、入力イメージにおいて発生しない場合であっても、規定された彩度処理を有していてもよい。これは、実際にそれらを規定する(例えば、アルゴリズムが連続的な補間を作り、グレーダが、それを許可又は正す)ことによってなされ、(受信側において補間され得る)十分な精度のルックアップテーブルなどとしてイメージ信号S_oにおいて供符号化されてもよいが、輝度Liを有する各々可能な色のための必要とされる処理が導出可能である、即ち、受信側のために彩度処理戦略を規定しているメタデータが、関数パラメータ、又は、1505などの点の位置などを有しているに過ぎない場合、十分である。
より多くの制度が必要である場合、ユーザ相互作用ユニット1605が、例えば、s_out=fi(L, h_i)のような色彩依存性などの、色空間における色の他の特性に基づいて彩度処理の規定を可能とすることが有用であろう。ここで、色相セクタのためのh_iの重心色相があり、色(u, v)は、全ての重心色相に最も近い点に基づく彩度マッピングによって処理され、又は、他の色相依存定義s_out=fi(L, f_hi())、ここで、f_hi()は、入力色の色相を幾つかの計数iにマッピングする幾つかの関数又は戦略であり、これは、特定の彩度処理戦略を規定する。同様に、(Liにおける、又は、Liの周囲の)少なくとも1つの輝度範囲の異なる彩度サブ範囲のための様々な戦略があってもよく、それらが負の彩度であるかのように色相を補償してもよい。これは、例えば、s_out=fi(L, f_si())として、数学的に定義され、処理される入力イメージの色(u, v)の彩度に基づくカテゴリ(例えば、2つの領域が含まれる場合は、ブーリアン)的な割り当てがある。この精度は、通常、十分であるが、一般的に、選択された輝度サブ範囲における色の色相及び彩度の両方に基づいて、異なる戦略を定義してもよい。
このため、我々は、処理される入力イメージの色の輝度の第1の範囲のための第1の彩度変更因子、及び、処理される入力イメージの他の色の輝度の第2の範囲のための異なる第2の彩度変更因子を少なくとも記述するステップを有し、好ましくは、この戦略を入力イメージ及びその派生物と関連付けられるメタデータとして符号化するステップを有する、入力イメージIm_iのための彩度処理戦略を規定する方法を説明した。
補償装置は、入力イメージIm_iのための入力部と、第1の輝度範囲にある入力イメージの色に対して第1の彩度変更、及び、第2の輝度範囲にある入力イメージの色に対して異なる第2の彩度変更を適用するように構成された彩度処理ユニット1651と、を有し、映像処理装置は、第1及び第2の彩度変更をそれぞれ特徴付ける第1及び第2の彩度変更因子を取得するための手段を有し、当該手段は、好ましくは、イメージ信号S_oにおけるメタデータから第1及び第2の彩度変更因子を復号するためのデコーダを有する、映像処理装置1650である。この装置は、単一の場所又は単一の使用におけるシステムの一部であってもよいが、一般的に、グレーダ又は既存のコンテンツのための再グレーダは、グレーディングを一度規定し、次いで、より後において、これらのグレーディングの異なる使用が映像処理装置によって発生される。これは、例えば、一般的に、消費者用装置であってもよい。消費者は、例えば、LDRディスプレイ上で5年前に見た映画を、インターネットを介して購入してもよい。ここで、そのコンテンツを見る権利がなお有る場合、消費者は、サーバ上の管理モジュールに対して、HDRディスプレイを購入したこと、映像プログラムのイメージのためのメタデータを受信し、とりわけ、この彩度を規定したいことを示す。勿論、ユーザは、映像エンコーディング(画素化されたイメージ色)+ブルーレイディスク、などの単一のメモリ製品、ソリッドステートメモリスティック、又は、携帯用プレイヤなどの映像プレイヤ上に予めインストールされた、色(彩度)処理メタデータを購入してもよい。
これは、第1の輝度範囲にある入力イメージの色に対して第1の彩度変更を適用するとともに、第2の輝度範囲にある入力イメージの色に対して異なる第2の彩度変更を適用するステップを有する映像処理方法、及び、上述した原理に従った当該方法の様々な実施形態に対応する。
図13は、異なるLDRイメージが、どのようにして、レンダリングのために取得されるのかを一例を示している。この例では、我々は、オリジナルの全ての輝度範囲を、もっともらしい精度で、符号化されたマスタHDRイメージ(どんな範囲を有しているとしても)に復元可能とする、技術的グレーディングのために滑らかな曲線1301を選択した。我々が、技術的にグレーディングされたLDRイメージGT_IDRにおいて、これを節約する場合、「データ処理能力のない(dumb)」レガシーシステムが、原理を理解可能であるとしても、俳優などの主な領域において好ましくないコントラストで、LDRディスプレイ上で退屈な画像をレンダリングする。任意の上記システムは、上記コントラストを増加させるか、画像を最適化しようとする自動処理を使用できるが、盲目的にそれを行なう必要はない。コンテンツ供給者が、技術的グレーディングよりも良好なLDRグレーディングを作るために受信側ができることを符号化できることがより良い。技術的グレーディングGT_IDRから第2のトーンマッピングを規定するために必要なデータは、符号空間において主な情報の在処を示す2つの境界gt_Mh及びgt_Mlを規定するほど単純であってもよく、他の色が、他のコストにおいて、(深刻に)劣化され得る。受信側システムは、これらの重要な値を考慮に入れて、輝度値を伸長することだけを必要とする。我々は、このことを、(例えば、標準的なガンマ及び視聴環境動作などの、既知の校正された特性を有する)ディスプレイに直接適用された場合にグラフのx軸上にレンダリングされる輝度が現れるグラフ1302において示した。この例では、受信端色マッパは、主に、黒色を伸長することを決定し、HDRのポスタリゼーション化された情報を保持するが、所与の周囲環境下でレンダリングされ、gt_Mhを白色にマッピングする(即ち、総HDR色空間において、LDR白色としてそれを定義する)ハードクリッピング戦略を使用すると決定する。全ての色が、例えば、700ニットのディスプレイ上でレンダリングされることができる。勿論、(例えば、700ニットがXを処理し、1500ニットがYを処理する)1又は複数の意図されたディスプレイ上で最適な見た目を取得するために、より複雑な仕様が、受信側の色マッピングが、受信されたGT_IDR符号化イメージで何をすべきか(例えば、他の特徴的なグレー値が、受信するディスプレイカテゴリ毎に、取得されるLDRグレーディングの更なるパラメータ的な改善を補助でき、これは、輝度値毎の[1/xとYとの間の]ブースト計数のLUTでなされ得る)について供符号化されてもよく、これは、全て、色マッピング関数において定義され、受信したGT_IDRイメージに基づいて、適用されてもよい。このため、単純なデコーディングシステムが、もっともらしいLDR画像をレンダリングし、全ての存在する可能性を扱うことができるデコーダが、最適なLDR又はHDR又は任意のMDR(中間ダイナミックレンジ)、又は、ODR(outside typical dynamic range)(極端に低いコントラストを有するサブLDRなどの、外側一般ダイナミックレンジ)イメージを生成する。我々のフレームワークは、N個のLDR(及び、他の)視聴シナリオ(例えば、暗がりの下、減光された状態、及び、明るい視聴シナリオにおける、100ニット及び500ニットのテレビでは、6個のグレーディングとなる)のための確かなグレーディングを規定することを可能とするが、それは、勿論、最適なグレーディングをレンダリングするために、常に必要ではなく、幾つかのシナリオにおいて、むしろ良好な品質のイメージがなされる。我々は、単なる例として、図13にこのことを図示する。我々が、とても良く見えるHDR照明を具備するニュースキャストを有するが、LDRは、よく見えるだけの近似であり、グレーダは、スタジオニュースショーの開始前の数秒間において、システムを定義可能であるべきと仮定する。さらに、gt_H2及びgt_L2の2つの追加的な境界閾値を定義でき、このため、受信端は、ディスプレイ駆動イメージを取得するために、GT_IDRをどのように色マッピングするかを決定できる。例えば、それは、gt_ML及びgt_Mhが、(MINIMAL_LDR_Low及びMINIMAL_LDR_High、又は、BROAD_LDR_Low及びBROAD_LDR_High、又は、LDRサブ範囲デリミタよりも多くの特別に予約された符号における値を供符号化することによって、)(スタジオにおいて、既に幾らか明るい部分などの)幾つかのHDR情報をなお含むHDRシーンの主なアクションLDRサブ範囲の「究極的な」デリミタであることを定義し、gt_L2及びgt_L2は、(例えば、顔においてハイライトの(厳しい)クリッピングがない)LDRレンダリングのために必要な「絶対的最小値」を含む。受信端の色マッピングは、LDRイメージを作るための戦略を選択することができる。例えば、gt_L2とgt_H2との間の絶対的必要な良好にレンダリングされた色の中間範囲のための伸長戦略を定義(例えば、これらを、20及び220の値にマッピング)した後で、gt_ML及びgt_L2とgt_H2及びgt_H2との間の領域に対して、所有者のソフトクリッピング戦略を定義してもよい。しかしながら、受信システムが、[gt_L2, gt_H2]の範囲を[0,255]に、ハード伸長マッピングすることを決定し、外側でクリッピングを行なうことを決定した場合、LDRレンダリングも、もっともらしく見えるであろう。受信端は、例えば、利用可能な周囲照明の量に基づいて、1つのオプションを選択することを決定可能である。このため、我々は、上記システムが、厳密に制御された複雑なグレーディング定義システムから、供符号化されるたった数個のガイドパラメータのみを有する本当に簡単なシステムまでの多くの可能性を残していることを理解する。技術的グレーディングのダイナミックレンジの見た目は、例えば、LDR、又は、MDRであり得る(即ち、例えば、1200ニットの基準ディスプレイ上で良好に見える)。しかし、原理は、常に、(グレーダによって望まれる限り、GT_IDRから、全てのLDRイメージオブジェクトの任意の再カラーリングを行ない、一般的に、例えば、マルチサブ関数輝度値、及び、(例えば、LUTを有する)色マッピング、局所的なオブジェクトセグメント及びマッピング関数などの定義などの(デコーダがサポートする必要がある)複数のサポートされるベース関数を通じて、必要とされる、マッピング関数を複雑にする)芸術的な自由度から(HDR-GT_IDRの関係において扱われる可逆性などの)技術的要件を分離させる。ユーザインタフェースは、グレーダのために極めて単純であってもよく、例えば、多くのシステムのために、gt_Mh及びgt_H2などの正確に微調整された位置は、重要でなく、グレーダは、それらを、ニュースを読む人の顔、彼女が座っている後ろの机などの、シーンの現在キャプチャされたイメージの数個の領域上に、必要であれば、(gt_Mhよりも上の明るさを有する外側領域を定義する)他のペンで、彼女の後ろの輝度スクリーン上に、素早く走り書きすることによって、定義してもよい。勿論、例えば、彼女の顔、又は、テーブルのHDR照明における影又はハイライトなどの、よりgt的な点などの、より多くの情報が、入力され、これは、全て、より複雑な色マッピング戦略のために使用され得る。そして、例えば、コントラストの気道を定義する彼女の顔を横切る幾何学的関数、(例えば、曲線の明るい端部を残すが、暗い部分を少し明るくするなど)様々な状況下でそれらを再定義/再マッピングするための関数など、これらの領域の更なる仕様がなされてもよい。これの全ては、必要であれば、メタデータに加えられることができるが、一般的に、必要データが最小量である単純なシステムが好まれ、少なくとも1つのLDRレンジが、有用である(が、人間の色の周囲の第2のものが、幾つかのシナリオにおいて有用である)。
図14は、技術的グレーディングが、どのようにして、比色分析原理上で作用できるのかについての例を示している。物理的色域1402を有する、幾つかの(将来)想定されるディスプレイに必要である彩度よりも少ない彩度の色が、作られ得るように定義される数学的色空間1401を有していると仮定する。ディスプレイは、彩度の幾らかのブーストを行ない得るため、それは、より暗い色にとってはさほど問題ではなく、(おそらく、必要であれば、ポストバンディング除去フィルタを適用することによって、)それがうまくいくための十分に記録された情報があり得る。しかしながら、色域のテントにおいて、問題があり、これは、よりパステル化された色の代わりに、飽和した高輝度の色を幾つか有することが好ましい。これが問題である場合、グレーダは、(テントをトップオフし、最大限明るい色の近傍にあるより飽和した色を定義する可能性を残すことによって、)自身のグレーディングを新たな白色点W*まで定義することを決定することができるが、混乱を回避するために、(この符号定義に従った最も明るい可能な色である)この白色点W*は、(「白色がない」シーンだけではい状態に)供符号化され得る。勿論、視覚系は、明るいディスプレイのための白色として、グレーの見た目に適合するため、受信端は、最も明るい符号化が入力イメージにおける何なのかをただ考え、それでレンダリングするだけでよいが、LDRシステムは、画像の幾つかの部分を、最大の明るさまでブーストするために、それを使用してもよい。
当業者は、上記概念のために、多くの変形例が可能であることを理解するであろう。例えば、図面における特定の例示において、我々は、色マッピングのデータが、例えば、SEIメッセージ又は同様のメッセージなどのイメージ符号化標準において規定されたプレースホルダの範囲内のメタデータとして、又は、BDのセクションなどのメモリの予約セクションの範囲内のメタデータとして、イメージ画素データ(GT_IDR)とともに符号化されたと仮定しているが、勿論、他の例が、GT_IDRとは別の他の通信チャネルを介して、色マッピングデータを送信し得る。例えば、コンテンツ作成者は、色マッピング又は最終的なGT_IDRの特性上に追加的な制約を加えることができ、例えば、彼は、M_HDR及びIm_LDRとは総合的に異なる見た目を与えてもよく、又は、醜い画像でさえ与えてもよく、受信側の認証を受けた、又は、支払い済みの、セキュアなチャネルを介して、色マッピングデータを供給してもよい。
本開示において開示されたアルゴリズム的なコンポーネントは、実際は、ハードウェア(例えば、アプリケーション特有のICの一部)、又は、特別なディジタル信号プロセッサ、又は、汎用プロセッサなどで実行されるソフトウェアとして、(完全に、又は、部分的に)実現されてもよい。これらは、少なくとも幾つかのユーザ入力(例えば、工場において、又は、消費者の入力、又は、他の人間の入力)が、提示され得るという意味で、半自動であり得る。
我々の提示から当業者は、どのコンポーネントが、オプションの改善であり、他のコンポーネントとの組み合わせで実現可能か、さらに、方法の(オプションの)ステップが、各手段の装置に対応するか、及び、その逆について、理解可能であろう。幾つかのコンポーネントが本発明において特定の関係で(例えば、特定の構成において単一の図で)開示されているという事実は、本発明のために開示された同一の発明思想の下における実施形態として他の構成が可能でないことを意味しない。また、実用的な理由のために、限られた範囲の例が説明されてきたという事実は、他の変形例が、本発明の範囲にないことを意味しない。実際、本発明のコンポーネントは、任意の使用チェインに沿った様々な変形例において実現されることができ、例えば、エンコーダなどの作成側の全ての変形例は、デコーダなどの分解システムの消費者側における対応する装置と同様又は対応していてもよく、その逆もまた然りである。本実施形態の幾つかのコンポーネントは、送信のための信号における特定の信号データとして符号化されてもよく、又は、エンコーダとデコーダとの間の任意の送信技術における座標などを用いてもよい。本出願において「装置」なる用語は、最も広い意味で使用され、特定の目的の実現を可能とする手段のグループであり、従って、例えば、IC(の小さい部分)、又は、(ディスプレイを有する機器などの)専用機器、又は、ネットワークシステムの一部などであってもよい。「構成」又は「システム」も、最も広い意味で使用され、このため、それは、とりわけ、単一の物理的に購入可能な装置、装置の一部、協働する装置(の一部)の集合などを有していてもよい。
コンピュータプログラム製品が示すものは、プロセッサにコマンドを入力し、本発明の任意の特徴的な関数を実行する、(中間言語、及び、最終的な言語への変換などの、中間的な変換ステップを含んでいてもよい)一連のローディングステップの後に、汎用又は専用のプロセッサを可能とするコマンドの集合の任意の物理的な実現を強調するために理解されるべきである。特に、コンピュータプログラム製品は、例えば、ディスク、又は、テープ、メモリにおいて提示されるデータ、有線又は無線ネットワーク接続を介して伝播するデータ、又は、紙上に記録されたプログラムコードなどのキャリア上のデータとして実現されてもよい。プログラムコードとは別に、プログラムのために必要な特徴的なデータが、コンピュータプログラム製品として実現されてもよい。かかるデータは、任意の方法で、(部分的に)供給され得る。
本発明、又は、映像データなどの本実施形態の任意の哲学に従って使用可能な任意のデータは、光ディスク、フラッシュメモリ、リムーバブルハードディスク、無線手段を介して書き込み可能な携帯装置などの取り外し可能なメモリであり得るデータキャリア上の信号として実現されてもよい。
任意の提示された方法の動作のために必要な幾つかのステップは、前述のコンピュータプログラム製品、又は、任意のユニット、装置、又は、データ入出力ステップなどの(本発明の実施形態の特徴を有する)ここで説明された方法、よく知られた一般的に標準ディスプレイ駆動などの一体的な処理ステップなどの代わりに、本発明のプロセッサ又は任意の装置の実施形態の機能において既に提示されていてもよい。また、我々は、かかる信号の任意の新規の使用、又は、任意の関連する方法と同様に、上記方法の任意のステップに含まれる特有の新規な信号、又は、装置の任意のサブ部分などの、最終的な製品及び同様の最終生成物のための保護を求める。
イメージ信号によって、我々は、一般的に、イメージデータを圧縮するための、任意の既存又は類似の方法を意味する。我々がイメージ(又は、画像)と呼ぶ、色の組の画素化された構造とは別に、かかる信号は、例えば、イメージアスペクト比などのデータの意味のための記述子などのメタデータを含んでいてもよく、他のメタデータが、受信側でそれを修正するための情報など、符号化されたイメージに関する有用な情報を含んでいる。信号は、様々な物理的/技術的形式の実施形態を有していてもよく、例えば、搬送波の電気的変調、又は、機械的な窪みとして表現されるビット、又は、局所的な磁化状態などの材料変形などとして定義されることができる。
上記実施形態は、例示のためであって、本発明を限定するものではないことに留意すべきである。当業者は、容易に、提示された例の請求項の他の領域に対するマッピングを理解することができ、我々は、簡潔性のために、全てのこれらのオプションについて詳細には説明していない。請求項中で組み合わせられるような本発明の要素の組み合わせとは別に、当該要素の他の組み合わせが可能である。要素の任意の組み合わせが、単一の専用要素において理解されることができる。
請求項中の括弧内の任意の参照符号も図面中の任意の特定のシンボルも、請求項を限定するためのものとして意図されていない。「有する」なる用語は、請求項において挙げられていない要素又は態様の存在を除外しない。要素が単数形であることは、かかる要素の複数の存在を除外しない。



  1. ハイダイナミックレンジ入力イメージのための入力部と、
    人間が決定したカラーマッピングアルゴリズムによるローダイナミックレンジイメージに対して、人間のカラーグレーダが、所定の精度に従って規定された前記ハイダイナミックレンジ入力イメージの表現からカラーマッピングを特定することを可能にし、前記カラーマッピングを特定するデータを出力するイメージグレーディングユニットと、
    前記ハイダイナミックレンジ入力イメージ、又は、前記ローダイナミックレンジイメージのいずれかに対して、自動カラーマッピングアルゴリズムを適用することによって、第2のローダイナミックレンジイメージを導出する自動グレーディングユニットと、
    を有する、イメージエンコーダ。

  2. 前記表現として、前記ハイダイナミックレンジ入力イメージ、又は、前記第2のローダイナミックレンジイメージを用いる、請求項1記載のイメージエンコーダ。

  3. 前記自動グレーディングユニットが、前記ハイダイナミックレンジ入力イメージから第2の所定の精度の範囲にあるHDR復元されたイメージが、前記第2のローダイナミックレンジイメージに対して第2のカラーマッピングアルゴリズムを適用することによって計算され得るという条件を満たすことによって、自身の自動カラーマッピングアルゴリズムを決定する、請求項1又は2に記載のイメージエンコーダ。

  4. 前記イメージグレーディングユニット及び前記自動グレーディングユニットが、少なくとも前記ハイダイナミックレンジ入力イメージの同じ幾何学領域に対応する前記各入力イメージの幾何学領域において、少なくとも各入力イメージにおける画素の輝度相関に単調マッピング関数を適用する、請求項3記載のイメージエンコーダ。

  5. 前記自動グレーディングユニットが、前記ハイダイナミックレンジ入力イメージの前記輝度相関における情報量と、前記第2のローダイナミックレンジイメージの前記輝度相関における情報量との差を見積もる品質基準に従って、自身の自動カラーマッピングアルゴリズムを決定する、請求項4記載のイメージエンコーダ。

  6. 前記自動グレーディングユニットが、前記第2のローダイナミックレンジイメージの画素の輝度相関の各単一値に割り当てられる、前記ハイダイナミックレンジ入力イメージの画素の輝度相関の各範囲を決定する基準に従って、前記ハイダイナミックレンジ入力イメージの画素の輝度相関から前記第2のローダイナミックレンジイメージの画素の輝度相関まで、前記単調マッピング関数を決定し、前記各範囲は、前記ハイダイナミックレンジ入力イメージのための可能な輝度相関の値の総範囲をカバーする輝度相関範囲のセットを形成している、請求項4又は5に記載のイメージエンコーダ。

  7. イメージ信号の中に、前記第2のローダイナミックレンジイメージ、及び、前記ハイダイナミックレンジ入力イメージと前記第2のローダイナミックレンジイメージとの間の前記カラーマッピングを記述するデータと、前記ローダイナミックレンジイメージと前記第2のローダイナミックレンジイメージとの間の前記カラーマッピングを記述するデータとの少なくとも1つ、又は、その両方を出力するデータフォーマッタを有する、請求項1乃至6のいずれか1項に記載のイメージエンコーダ。

  8. イメージデコーダであって、第2のローダイナミックレンジイメージ、前記第2のローダイナミックレンジイメージに基づいて、ハイダイナミックレンジイメージの復元を可能にする第1のカラーマッピングを記述するデータ、及び、前記第2のローダイナミックレンジイメージに基づいて、ローダイナミックレンジイメージの計算を可能にする第2のカラーマッピングを記述するデータを有するイメージ信号を、イメージ信号入力部を介して、受信し、前記イメージデコーダは、前記第2のカラーマッピング、及び、前記第2のローダイナミックレンジイメージに符号化された前記画素カラーに基づいて、少なくとも前記ローダイナミックレンジイメージを導出するイメージ導出ユニットを有する、イメージデコーダ。

  9. 前記デコーダがハイダイナミックレンジディスプレイ及びローダイナミックレンジディスプレイの少なくとも1つのためのイメージを導出するように接続及び/又は想定されているかどうかを決定するシステム構成ユニットを有し、前記システム構成ユニットが、前記ハイダイナミックレンジディスプレイに接続される場合、少なくとも前記復元を決定するように、前記イメージ導出ユニットを構成し、前記ローダイナミックレンジディスプレイに接続される場合、少なくとも前記ローダイナミックレンジイメージを決定するように前記イメージ導出ユニットを構成する、請求項8記載のイメージデコーダ。

  10. 出力として、任意の接続可能なディスプレイへの有線接続又は無線接続を有し、任意の接続可能なディスプレイに、前記復元及び前記ローダイナミックレンジイメージの少なくとも1つ、又は、その両方を送信する信号フォーマッタを有する、請求項8又は9に記載のイメージデコーダ。

  11. 前記イメージ導出ユニットが、前記復元及び前記ローダイナミックレンジイメージに基づいて、あるいは、前記第2のローダイナミックレンジイメージ、前記第1のカラーマッピングを記述するデータ、及び、前記第2のカラーマッピングを記述するデータに基づいて、他のイメージを決定する、請求項8乃至10のいずれか1項に記載のイメージデコーダ。

  12. 前記イメージ導出ユニットが、ブルーレイディスク(登録商標)などのメモリオブジェクトから前記イメージ信号をリードするリードユニットに接続される、請求項8乃至11のいずれか1項に記載のイメージデコーダ。

  13. 前記イメージ信号入力部が、イメージ信号のソースへのネットワーク接続に接続可能である、請求項8乃至12のいずれか1項に記載のイメージデコーダ。

  14. ハイダイナミックレンジ入力イメージにアクセスするステップと、
    人間が決定したカラーマッピングアルゴリズムとして、ローダイナミックレンジイメージに対して、人間のカラーグレーダが、所定の精度に従って規定された前記ハイダイナミックレンジ入力イメージの表現からカラーマッピングを特定することを可能にし、前記人間が決定したカラーマッピングを特定するデータを出力するステップと、
    イメージ処理ソフトウェア及び/又はハードウェアにより、前記ハイダイナミックレンジ入力イメージ、又は、前記ローダイナミックレンジイメージのいずれかに対して、自動カラーマッピングアルゴリズムを適用することによって、第2のローダイナミックレンジイメージを自動的に導出するステップと、
    を有する、イメージ符号化方法。

  15. 第2のローダイナミックレンジイメージ、前記第2のローダイナミックレンジイメージに基づいて、ハイダイナミックレンジイメージの復元を可能にする第1のカラーマッピングを記述するデータ、及び、前記第2のローダイナミックレンジイメージに基づいて、ローダイナミックレンジイメージの計算を可能にする第2のカラーマッピングを記述するデータを有するイメージ信号を受信するステップと、
    前記第2のカラーマッピング、及び、前記第2のローダイナミックレンジイメージに符号化された前記画素カラーに基づいて、少なくとも前記ローダイナミックレンジイメージを導出し、オプションで、前記第1のカラーマッピング、及び、前記第2のローダイナミックレンジイメージに符号化された前記画素カラーに基づいて、前記復元についても導出するステップと、
    を有する、イメージ符号化方法。

  16. 第2のローダイナミックレンジイメージ、前記第2のローダイナミックレンジイメージに基づいて、ハイダイナミックレンジの復元を可能にする第1のカラーマッピングを記述するデータ、及び、前記第2のローダイナミックレンジイメージに基づいて、ローダイナミックレンジイメージの計算を可能にする第2のカラーマッピングを記述するデータを有する、イメージ信号。

  17. 請求項16記載のイメージ信号を格納する、ブルーレイディスクなどのメモリオブジェクト。

  18. カラー入力イメージのための入力部と、
    カラーグレーダが、処理される色の輝度の第1の範囲のための少なくとも第1の彩度変動因子、及び、処理される色の輝度の第2の範囲のための異なる第2の彩度変動因子を有する彩度処理戦略を特定することを可能にするユーザ相互作用ユニットと、
    を有し、
    前記第1及び第2の彩度変動因子は、好ましくは、倍数関係にある、イメージカラーグレーディング装置。

  19. 入力イメージのための彩度処理戦略を特定する方法であって、処理される前記入力イメージの色の輝度の第1の範囲のための少なくとも第1の彩度変動因子、及び、処理される前記入力イメージの他の色の輝度の第2の範囲のための異なる第2の彩度変動因子を特定するステップを有し、好ましくは、前記入力イメージと関連付けられるメタデータとして当該戦略の符号化ステップを有する、方法。

  20. 入力イメージのための入力部と、
    輝度の第1の範囲に含まれる前記入力イメージの色に対して第1の彩度変動を付与し、輝度の第2の範囲に含まれる前記入力イメージの色に対して異なる第2の彩度変動を付与する彩度処理ユニットと、
    前記第1及び第2の彩度変動を特徴付ける第1及び第2の彩度変動要因を取得するための手段と、
    を有し、
    前記手段は、好ましくは、イメージ信号におけるメタデータから前記第1及び第2の彩度変動要因を復号化するためのデコーダを有する、映像処理装置。

  21. 映像処理方法であって、輝度の第1の範囲に含まれる入力イメージの色に対して第1の彩度変動を付与し、輝度の第2の範囲に含まれる前記入力イメージの色に対して異なる第2の彩度変動を付与する、方法。

 

 

Patent trol of patentswamp
類似の特許
超高精細度(uhd)解像度および高または向上ダイナミックレンジ(edr)データの両方をもつビデオ・データが後方互換な層構成にされたストリームにおいて符号化される。これは、レガシーのデコーダがhd標準ダイナミックレンジ(sdr)信号を抽出することを許容する。基本層hd sdr信号に応答して、別個のルーマおよびクロマ予測モデルを使って、予測された信号が生成される。ルーマ予測器では、予測された信号のルーマ・ピクセル値は、基本層のルーマ・ピクセル値のみに基づいて計算される。一方、クロマ予測器では、予測された信号のクロマ・ピクセル値が、基本層のルーマおよびクロマ・ピクセル値両方に基づいて計算される。入力uhd edr信号および予測された信号に基づいて残差信号が計算される。基本層および残差信号は別個に符号化されて、符号化されたビットストリームを形成する。互換な二層デコーダも提示される。
【課題】複数色チャネル多重回帰予測器を提供する。
【解決手段】色間画像予測が複数チャネル多重回帰(mmr)モデルに基づく。画像予測が、高ダイナミックレンジの画像およびビデオ信号の効率的な符号化に適用される。mmrモデルは一次パラメータ、二次パラメータおよびピクセル横断パラメータを含んでいてもよい。近隣ピクセル関係を組み込む拡張パラメータを使うmmrモデルも呈示される。最小の平均二乗誤差という基準を使って、多様なmmrモデルについて、予測パラメータのための閉じた形の解が呈示される。
【選択図】図4
【課題】耐疲労性、ゴム浸透性及び信頼性が向上したタイヤ補強用スチールコードの提供。【解決手段】(m+n)構造を有するように、下撚り100、及び下撚り100の外周面を覆い包む上撚り200を含み、下撚り100は、複数の芯線110を含み、それぞれの芯線110は、互いに接する領域に形成された扁平面112を含み、芯線110は、扁平面112を介して、互いに面接触され、上撚り200は、2本ないし20本の素線210を含み、素線210は、下撚り100の長手方向軸を中心軸にし、下撚り100の外周面を覆い包むように撚線され、非円形断面を有するタイヤ補強用スチールコード1。【選択図】図1B
非常に効率的であり、且つ、一部の実施形態では更にレガシーLDRディスプレイとの後方互換性を持つ、第1の輝度ダイナミックレンジ(R_oLDR)に対応し、ハイダイナミックレンジシーンのオリジナル画像(HDR_ORIG)の符号化画素である画像符号化(LDR_CONT)を第2の輝度ダイナミックレンジ(R_oHDR)出力画像(HDR_FIN)に復号することに関連するシステム、装置、及び方法を得るために、所定のトーンマッピング戦略(FL2H)により、画像符号化(LDR_CONT)内の画素の少なくともルマを、第2の輝度ダイナミックレンジ(R_oHDR)に対応する中間画像(HDR_PRED)内の画素のルマにトーンマッピングするステップと、中間画像(HDR_PRED)の少なくとも一部の画素のルマに所定の乗算係数を掛けることにより当該ルマを変更し、出力画像(HDR_FIN)を得るステップとを含む方法が教示される。
一方では符号化品質および他方では符号化速度の間の速度は増加する。この目的で、全体的な予測手段および局所的な予測手段が、共に用いられる。全体的な予測手段は、第1のトーンマッピングされたバージョンおよび画像の第2のバージョンにおける同じ位置に配置されたサンプルの値の対の統計分析に基づいて全体的なトーンマッピング機能を引き出して、画像の第1のトーンマッピングされたバージョン上へ、全体的なトーンマッピング機能を適用する。局所的な予測手段は、その中に全体的に予測された参照画像および画像の第2のバージョンが分割されたサブ部分を単位にして画像の第2のバージョンおよび全体的に予測された参照画像における同じ位置に配置されるサンプルの値の統計分析に基づいて局所的に様々なトーンマッピング機能を局所的に引き出し、全体的に予測された参照画像に局所的に様々なトーンマッピング機能を適用する。
【選択図】図2
エンコーダが、拡張ダイナミックレンジまたは視覚的ダイナミックレンジ(vdr)において画像のシーケンスを受領する。各画像について、ダイナミックレンジ圧縮機能および関連するパラメータが、入力画像を、より小さなダイナミックレンジをもつ第二の画像に変換するために、選択される。前記入力画像および前記第二の画像を使って、残差画像が計算される。入力vdr画像シーケンスは、前記第二の画像を基本層として使い、前記入力画像および前記第二の画像から導出される残差画像を一つまたは複数の残差層として使う階層式コーデックを使って符号化される。前記残差画像を使って、偽輪郭検出方法(fcd)が、復号されたvdr画像中の潜在的な、知覚的に可視の偽輪郭の数を推定し、偽輪郭を防止するまたは偽輪郭の数を減らすよう逐次反復式にダイナミックレンジ圧縮パラメータを調整する。
【課題】階層的VDR符号化における層分解を提供する。
【解決手段】基本層及び一つまたは複数の向上層がビデオ信号を担持するために使用される。基本層はそれ自身では復号及び閲覧できない。基本層処理へのより低いビット深さの入力画像のデータは、向上層ビデオ信号によって担持されるべき画像データの量を最小にするよう、より高いビット深さの高ダイナミックレンジ入力画像データから、高度量子化を介して生成される。向上層ビデオ信号中の画像データは残差値、量子化パラメータ及び部分的には前記高度量子化において使われる特定の方法に対応する予測方法に基づくマッピング・パラメータを含む。適応ダイナミックレンジ適応技法は、改善された符号化パフォーマンスのために、フェードイン及びフェードアウトのような特殊遷移効果を考慮する。
【選択図】図1A
【課題】入力信号をハプティック信号に動的に変換するシステムが提供される。【解決手段】このシステムは効果オブジェクトを生成し、効果オブジェクトは、入力信号を出力信号に変換するために入力信号に対してハプティック変換アルゴリズムを実施する命令を含み、効果オブジェクトの順序が定義される。このシステムはさらに、入力信号を受信する。このシステムはさらに、定義された順序において効果オブジェクトを入力信号に適用し、効果オブジェクトの出力信号はハプティック信号を形成する。このシステムはさらに、ハプティック信号をハプティック出力装置に送信し、ハプティック信号はハプティック出力装置にハプティック効果を出力させる。【選択図】図1
To top