プロジェクティブコンピューティングシステム

著者らは特許

G06F3/041 - 変換手段によって特徴付けられたデジタイザー,例.タッチスクリーンまたはタッチパッド用のもの
G06F3/042 - 光電子手段によるもの
G06T - イメージデータ処理または発生一般
G06T7/00 - イメージ分析
G06T11/00 - 2Dイメージ発生
G09G3/002 - スクリーン上を光ビームでトレースまたは走査するもの

の所有者の特許 JP2016528647:

ヒューレット−パッカード デベロップメント カンパニー エル.ピー.Hewlett‐Packard Development Company, L.P.

 

本開示による1つの例において、プロジェクティブコンピューティングシステムによって行われる方法が提供される。本方法は、プロジェクティブコンピューティングシステムのカメラによって、物体及び背景要素を含む画像を捕捉することを含む。本方法は、プロジェクティブコンピューティングシステムのプロジェクタアセンブリによって、物体の画像を、物体の画像の少なくとも一部分に隣接する人工的な影と共に、物体の上に投影することを更に含む。
【選択図】図1

 

 

コンピュータシステムは通常、支持スタンドに搭載される及び/又はコンピュータシステムの幾つかの他のコンポーネントに組み込まれる単数又は複数のディスプレイを用いる。タッチセンサ技術を用いるディスプレイ(例えば、タッチスクリーン)の場合、システム動作中にそのようなタッチ技術を十分に活用するために、ユーザがそのようなディスプレイと直接インタラクトすることが多くの場合に望ましい。しかしながら、単に画像を閲覧するためのディスプレイの最適な人間工学的配置は、多くの場合、そのディスプレイとのタッチインタラクションを行うための配置と対立する。このため、従来の閲覧用途及びタッチインタラクションの用途の双方のために単一のコンピュータシステムを用いることを望むユーザは、多くの場合、そのようなシステムの位置決め及び/又は利用において難題に直面する。
ここで、様々な例の詳細な説明のために、添付の図面を参照する。
本明細書において開示される原理によるプロジェクティブコンピュータシステムの一例の概略斜視図である。 本明細書において開示される原理による図1のコンピュータシステムの別の概略斜視図である。 本明細書において開示される原理による図1のコンピュータシステムの概略側面図である。 本明細書において開示される原理による図1のコンピュータシステムの概略正面図である。 本明細書において開示される原理による、動作中の図1のコンピュータシステムの概略側面図である。 本明細書において開示される原理による、動作中の図1のシステムの概略正面図である。 本明細書において開示される原理による、図1のコンピュータシステムのブラックボックス回路図である。 本発明に開示される原理による、捕捉及び投影前の図1のコンピュータシステムのタッチマット上の写真の概略図である。 本発明に開示される原理による、捕捉及び投影後の図1のコンピュータシステムのタッチマット上の写真の概略図である。 本明細書に開示される原理による、図1のコンピューティングシステムによって行われるプロセスのプロセスフロー図である。 本明細書に開示される原理による、捕捉及び投影後の図1のコンピュータシステムのタッチマット上の写真の別の概略図である。 本明細書に開示される原理による、捕捉及び投影後の図1のコンピュータシステムのタッチマット上の写真の更に別の概略図である。
表記及び用語
幾つかの用語は、以下の説明及び特許請求の範囲全体を通じて、特定のシステムコンポーネントを指すように用いられる。当業者であれば、コンピュータ会社が或るコンポーネントを様々な名称で呼ぶ場合があることを理解するであろう。本文書は、名称が異なるが機能は異ならないコンポーネント間を区別することを意図していない。以下の論考及び特許請求の範囲において、「含む」及び「備える」という語は、オープンエンド型で用いられ、このため、「・・・を含むが、・・・に限定されない」を意味するように解釈されるべきである。また、「結合する」という語は、間接接続又は直接接続のいずれかを意味するように意図される。このため、第1のデバイスが第2のデバイスに結合するとき、接続は、電気的又は機械的直接接続を通じたものとすることもできるし、他のデバイス及び接続を介した電気的又は機械的間接接続を通じたものとすることもできるし、光電接続を通じたものとすることもできるし、無線電気接続を通じたものとすることもできる。本明細書において用いられるとき、「概ね(approximately)」という語は、プラスマイナス10%を意味する。さらに、本明細書において用いられるとき、「ユーザ入力デバイス」というフレーズは、ユーザによって電気システムに入力を提供するための、例えば、マウス、キーボード、手(又は手の任意の指)、スタイラス、ポインティングデバイス等の任意の適切なデバイスを指す。
詳細な説明
以下の論考は、開示の様々な例を対象にする。これらの例のうちの1つ又は複数が好ましい場合があるが、開示される例は、特許請求の範囲を含めて本開示の範囲を限定するものとして解釈されるべきでなく、また他の形でそのように用いられるべきでない。さらに、当業者であれば、以下の説明が広い用途を有し、任意の例の論考が、その例を説明することのみを意図しており、特許請求の範囲を含めて本開示の範囲がその例に限定されることを暗示することを意図していないことを理解するであろう。
ここで図1〜図4を参照すると、本明細書において開示される原理によるプロジェクティブ(projective:投影)コンピューティングシステム100が示される。この例において、システム100は、通常、支持構造物110と、コンピューティングデバイス150と、プロジェクタユニット180と、タッチセンサ式マット200とを備える。コンピューティングデバイス150は、本明細書に開示する原理に適合している限り、任意の適切なコンピューティングデバイスを含むことができる。例えば、幾つかの実施態様では、デバイス150は、電子ディスプレイ、スマートフォン、タブレット、オールインワンコンピュータ(すなわち、コンピュータの基板も収容するディスプレイ)又はそれらの何らかの組合せを含むことができる。この例では、デバイス150は、中央軸又は中心線155と、第1の面又は上面150aと、上面150aと軸方向に反対側の第2の面又は下面150bと、面150a、150b間に軸方向に延在する前面150cと、同様に面150a、150b間に軸方向に、かつ前面150cに対しほぼ径方向に反対側に延在する背面とを含むオールインワンコンピュータである。ディスプレイ152は、閲覧面を画定し、ユーザ(図示せず)によって閲覧及びインタラクトするための画像を投影するように、前面150cに沿って配置される。幾つかの例では、ディスプレイ152は、例えば、抵抗性、容量性、音響波、赤外線(IR)、歪みゲージ、光、音響パルス認識、又はそれらの何らかの組合せ等の、タッチセンサ技術を含む。したがって、以下の説明全体を通じて、ディスプレイ152は、定期的に(periodically)、タッチセンサ式表面又はディスプレイと呼ばれる場合がある。さらに、幾つかの例では、デバイス150は、ユーザがディスプレイ152の正面にいる間、このユーザを撮影するカメラ154を更に備える。幾つかの実施態様では、カメラ154はウェブカメラである。さらに、幾つかの例では、デバイス150は、動作中にユーザから音入力(例えば、音声)を受信するように構成されたマイクロフォン又は同様のデバイスも備える。
図1〜図4を更に参照すると、支持構造物110は、基部120と、垂直部材140と、頂部160とを備える。基部120は、第1の端部又は前端120aと、第2の端部又は後端120bとを備える。動作中、基部120は、支持面15と係合して、動作中のシステム100のコンポーネント(例えば、部材140、ユニット180、デバイス150、頂部160等)の少なくとも一部分の重みを支持する。この例では、基部120の前端120aは、支持面15の上方に僅かに分離された隆起部分122を備え、それによって、部分122と表面15との間に空間又は隙間が生成される。以下でより詳細に説明するように、システム100の動作中、マット200の1つの面は、マット200の適切な位置合わせを確実にするために、部分122と表面15との間に形成される空間内に受け入れられる。しかしながら、他の例では、本明細書において開示される原理に適合している限り、他の適切な位置合わせ方法又はデバイスを用いることができることが理解されるべきである。
垂直部材140は、第1の端部又は上端140aと、上端140aと反対側の第2の端部又は下端140bと、端部140a、140b間に延在する第1の面又は前面140cと、前面140cと反対側にあり、同様に端部140a、140b間に延在する第2の面又は背面140dとを含む。部材140の下端140bは、部材140が支持面15から実質的に上方に延在するように、基部120の後端120bに結合される。
頂部160は、第1の端部又は近位端160aと、近位端160aと反対側の第2の端部又は遠位端160bと、端部160a、160b間に延在する上面160cと、上面160cと反対側にあり、同様に端部160a、160b間に延在する下面160dとを含む。頂部160の近位端160aは、垂直部材140の上端140aに結合され、遠位端160bがこの上端140aから外側に延在するようになっている。結果として、図2に示す例において、頂部160は端部160aにおいてのみ支持され、このため、本明細書において、「片持ち」頂部と呼ばれる。幾つかの例では、基部120、部材140及び頂部160は全て一体形成されているが、他の例では、基部120、部材140及び/又は頂部160は、本明細書に開示する原理に適合している限り、一体形成されなくてもよいことが理解されるべきである。
図1〜図4を更に参照すると、マット200は、中央軸又は中心線205と、第1の面又は前面200aと、前面200aと軸方向に反対側の第2の面又は背面200bとを含む。この例では、タッチセンサ式表面202がマット200上に配置され、軸205と実質的に位置合わせされる。表面202は、ユーザが、デバイス150又は何らかの他のコンピューティングデバイス(図示せず)によって実行されるソフトウェアとインタラクトすることを可能にするために、ユーザによる1つ又は複数のタッチ入力を検出及び追跡するための、任意の適切なタッチセンサ技術を含むことができる。例えば、幾つかの実施態様では、表面202は、本明細書において開示される原理に適合している限り、例えば、抵抗性、容量性、音響波、赤外線、歪みゲージ、光、音響パルス認識、又はそれらの何らかの組合せ等の、既知のタッチセンサ技術を利用することができる。さらに、この例では、表面202は、マット200の一部のみの上に延在しているが、他の例では、表面202は、本明細書において開示される原理に適合している限り、マット200の実質的に全ての上に延在することができることが理解されるべきである。
動作中、マット200は、上記で説明したように、マット200の適切な位置合わせを確実にするために、構造物110の基部120に位置合わせされる。特に、この例では、マット200の背面200bは、基部120の隆起部分122と、支持面15との間に配置され、後端200bが基部の前面120aと位置合わせされるようにし、それによって、マット200、特に表面202の、システム100内の他のコンポーネントとの適切な全体的位置合わせを確実にする。幾つかの実施例では、マット200は、デバイス150の中心線155がマット200の中心線205に実質的に位置合わせされるようにデバイス150と位置合わせされるが、他の位置合わせも可能である。さらに、以下で更に詳細に説明されるように、少なくとも幾つかの例では、マット200の表面202及びデバイス150は互いに電気的に結合されており、表面202から受信されるユーザ入力がデバイス150に通信されるようになっている。本明細書において開示される原理に適合している限り、例えば、WI−FI、BLUETOOTH(登録商標)、超音波、電気ケーブル、電気リード線、磁気保持力を有するスプリング装着電気ポゴピン、又はそれらの何らかの組合せ等の、任意の適切な無線又は有線による電気結合又は電気接続を、表面202とデバイス150との間で用いることができる。この例では、マット200の背面200bに配置された露出した電気コンタクトは、基部120の一部分122内の対応する電気ポゴピンリードに係合し、動作中にデバイス150と表面202との間で信号を転送する。さらに、この例では、電気コンタクトは、上記で説明した、基部120の一部分122と表面15との間の隙間内に位置する隣接する磁石によって共に保持されて、マット200の背面200bに沿って配置される対応する鉄及び/又は磁性材料を磁気的に引きつけ、(例えば、機械的に)保持する。
次に、特に図3を参照すると、プロジェクタユニット180は、外側のハウジング182と、ハウジング182内に配置されたプロジェクタアセンブリ184とを備える。ハウジング182は、第1の端部又は上端182a、上端182aと反対側の第2の端部又は下端182b、及び内部空洞183を含む。この実施形態では、ハウジング182は、動作中にデバイス150と係合し且つ該デバイス150を支持する結合部材又は取付け部材186を更に備える。通常、部材186は、本明細書において開示される原理に適合している限り、コンピュータデバイス(例えば、デバイス150)をつり下げ、支持するための任意の適切な部材又はデバイスとすることができる。例えば、幾つかの実施態様では、部材186は回転軸を含むヒンジを備え、ユーザ(図示せず)がデバイス150を回転軸の周りに回転させて、最適な閲覧角度を達成することができるようにする。さらに、幾つかの例では、デバイス150は、ユニット180のハウジング182に永久的に又は半永久的に取り付けられている。例えば、幾つかの実施態様では、ハウジング182及びデバイス150は、単一のユニットとして統合して及び/又は一体に形成される。
このため、図4を簡単に参照すると、デバイス150がハウジング182上の取付け部材186を通じて構造物110からつり下げられているとき、プロジェクタユニット180(すなわち、ハウジング182及びアセンブリ184の双方)は、システム100がデバイス150の前面150cに配置されたディスプレイ152に実質的に面している閲覧面又は閲覧角から閲覧されているとき、実質的にデバイスの150の背後に隠れている。さらに、同様に図4に示されているように、デバイス150が説明された方式で構造物110からつり下げられているとき、プロジェクタユニット180(すなわち、ハウジング182及びアセンブリ184の双方)及びそれによって投影される任意の画像は、デバイス150の中心線155に対して実質的に位置合わせ又はセンタリングされている。
プロジェクタアセンブリ184は、通例、ハウジング182の空洞183内に配置され、第1の端部又は上端184aと、上端184aと反対側の第2の端部又は下端184bとを含む。上端184aは、ハウジング182の上端182aに近接しているのに対し、下端184bはハウジング182の下端182bに近接している。プロジェクタアセンブリ184は、コンピューティングデバイス(例えば、デバイス150)からデータを受信し、その入力データと対応する1つ又は複数の画像を(例えば、上端184aから)投影するための任意の適切なデジタル光プロジェクタアセンブリを含むことができる。例えば、幾つかの実施態様では、プロジェクタアセンブリ184は、デジタル光処理(DLP)プロジェクタ又は反射型液晶素子(LCoS:liquid crystal on silicon)プロジェクタを含む。これらは有利には小型であり、例えば、標準XGA(1024×768)解像度4:3アスペクト比又は標準WXGA(1280×800)解像度16:10アスペクト比等の、複数の表示解像度及びサイズに対応可能な電力効率のよい投影エンジンである。プロジェクタアセンブリ184は、動作中に端部184aから光及び画像を生成するためのデータをデバイス150から受信するために、デバイス150に更に電気的に結合される。プロジェクタアセンブリ184は、本明細書において開示される原理に適合している限り、任意の適切なタイプの電気的結合を通じてデバイス150に電気的に結合することができる。例えば、幾つかの実施態様では、アセンブリ184は、導電体、WI−FI、BLUETOOTH(登録商標)、光接続、超音波接続又はそれらの何らかの組合せを通じてデバイス150に電気的に結合される。この例では、デバイス150は、デバイス150が部材186を通じて構造物110からつり下げられているとき、部材186内に配置された電気リード線が、デバイス150上に配置された対応するリード線又は導体と接触するように、取付け部材186内に配置されている電気リード線又は導電体(上記で説明した)を通じてアセンブリ184に電気的に結合される。
図3を更に参照すると、頂部160は、折り畳みミラー162及びセンサバンドル164を更に備える。ミラー162は、頂部160の下面160dに沿って配置された高反射性表面162aを含み、動作中にプロジェクタアセンブリ184の上端184aからマット200に向かって投影される画像及び/又は光を反射するように位置決めされる。ミラー162は、本明細書において開示される原理に適合している限り、任意の適切なタイプのミラー又は反射性表面を備えることができる。この例では、折り畳みミラー162は、アセンブリ184から放出された光をマット200まで折りたたむように動作する標準的な前面真空金属化アルミニウムコーティングされたガラスミラーを含む。他の例では、ミラー162は、追加の収束力又は光補正を与えるための反射レンズ素子として機能するように複雑な非球面曲率を有することができる。
センサバンドル164は、動作中に、マット200上又はマット200の近くで生じる様々なパラメータを測定及び/又は検出する複数のセンサ及び/又はカメラを含む。例えば、図3に示す特定の実施態様では、バンドル164は、周辺光センサ164a、カメラ(例えば、視覚RGB14.1メガピクセル高解像度カメラ)164b、デプス(depth:奥行き、深度)センサ又はカメラ164c及び三次元(3D)ユーザインタフェースセンサ164dを備える。周辺光センサ164aは、幾つかの実施形態では、カメラ及び/又はセンサ(例えば、センサ164a、164b、164c、164d)の露出設定を調整し、及び/又は例えば、プロジェクタアセンブリ184、ディスプレイ152等のシステム全体を通じて他のソースから放射される光の輝度を調整するために、システム100を取り巻く環境の光の輝度を測定するように構成される。幾つかの例では、カメラ164bは、マット200上に配置された物体40(例えば、文書、写真、本、2D物体及び/又は3D物体)の静止画像又はビデオのいずれかを撮影するように構成されるカラーカメラを含むことができる。例えば、カメラ164bは、14.1メガピクセル視覚RBGカメラとすることができる。デプスセンサ164cは通常、3D物体が作業面上にあるときを示す。特に、デプスセンサ164cは、動作中、マット200上に配置された物体の存在、形状、輪郭、動き及び/又は3D物体奥行き(又は物体の特殊な特徴(複数可))を感知又は検出することができる。このため、幾つかの実施態様では、センサ164cは、センサの視界(FOV)内に配置される各ピクセル(赤外線であるか、色であるか、又は他のものであるかは問わない)の3D物体及び/又は奥行き値を検知及び検出する、任意の適切なセンサ又はカメラ構成を用いることができる。例えば、幾つかの実施態様では、センサ164cは、IR光の均一のフラッド(flood)を有する単一の赤外線(IR)カメラセンサ、IR光の均一のフラッドを有するデュアルIRカメラセンサ、構造化光デプスセンサ技術、飛行時間(TOF)デプスセンサ技術、又はそれらの何らかの組合せを備えることができる。ユーザインタフェースセンサ164dは、例えば、手、スタイラス、ポインティングデバイス等のユーザ入力デバイスを追跡するための任意の適切な1つ又は複数のデバイス(例えば、センサ又はカメラ)を含む。幾つかの実施態様では、センサ164dは、ユーザ入力デバイス(例えば、スタイラス)がマット200、特にマット200の表面202をユーザによって移動させられるときに、そのユーザ入力デバイスのロケーションを立体的に追跡するように構成される1対のカメラを備える。他の例では、センサ164dは、更に又は代替的に、ユーザ入力デバイスによって放出又は反射される赤外線光を検出するように構成される赤外線カメラ(複数の場合もある)又はセンサ(複数の場合もある)を含むことができる。バンドル164は、上記で説明したセンサ164a、164b、164c、164dに代えて、又はこれらに加えて、他のセンサ及び/又はカメラを含むことができることが更に理解されるべきである。さらに、以下でより詳細に説明されるように、バンドル164内のセンサ164a、164b、164c、164dのそれぞれがデバイス150に電気的かつ通信可能に結合され、バンドル164内で生成されたデータをデバイス150に送信することができ、デバイス150によって発行されたコマンドを動作中にセンサ164a、164b、164c、164dに通信することができるようにされる。システム100の他のコンポーネントについて上記で説明したように、例えば、導電体、WI−FI、BLUETOOTH(登録商標)、光接続、超音波接続又はそれらの何らかの組合せ等の任意の適切な電気及び/又は通信結合を用いて、センサバンドル164をデバイス150に結合することができる。この例では、導電体は、バンドル164から、頂部160、垂直部材140及びプロジェクタユニット180を通って、上記で説明した取付け部材186内に配置されるリード線を通じてデバイス150内にルーティングされる。
次に図5及び図6を参照すると、システム100の動作中、光187がプロジェクタアセンブリ184から放出され、ミラー162からマット200に向かって反射され、それによって、画像がプロジェクタディスプレイ空間188に表示される。この例では、空間188は実質的に長方形であり、長さL188及び幅W188によって画定される。幾つかの例では、長さL188は、概ね16インチ(約40.6cm)に等しくすることができ、一方、幅W188は概ね12インチ(約30.5cm)に等しくすることができる。一方、本明細書において開示される原理に適合している限り、長さL188及び幅W188の双方について他の値を用いることができることが理解されるべきである。さらに、バンドル164内のセンサ(例えば、センサ164a、164b、164c、164d)は、少なくとも幾つかの例において、上記で説明したプロジェクタディスプレイ空間188と重複及び/又は対応する感知空間168を含む。空間168は、バンドル164内のセンサが、上記で説明した方式でその状態を監視及び/又は検出するように構成されるエリアを画定する。幾つかの例では、空間188及び空間168の双方が、以前に説明したマット200の表面202と一致又は対応し、画定されたエリア内のタッチセンサ式表面202、プロジェクタアセンブリ184及びセンサバンドル164の機能を効果的に統合する。
次に、図5〜図7を参照すると、幾つかの例では、デバイス150は、マット200の表面202上に画像を投影するようにアセンブリ184に指示する。さらに、デバイス150は、ディスプレイ152上に画像(アセンブリ184によって表面202上に投影される画像と同じであっても同じでなくてもよい)を表示することもできる。アセンブリ184によって投影される画像は、デバイス150内で実行されるソフトウェアによって生成される情報及び/又は画像を含むことができる。次に、ユーザ(図示せず)は、マット200のタッチセンサ式表面202に物理的に係合することによって、表面202及びディスプレイ152上に表示される画像とインタラクトすることができる。そのようなインタラクションは、スタイラス25、又は他の適切なユーザ入力デバイス(複数の場合もある)を通じたユーザの手35との直接インタラクション等の任意の適切な方法を通じて行うことができる。
図7に最も良く示されているように、ユーザがマット200の表面202とインタラクトするとき、信号が生成され、この信号は、上記で説明した電気結合方法及びデバイスのうちの任意のものを通じてデバイス150にルーティングされる。デバイス150がマット200内で生成された信号を受信すると、この信号は、内部導体経路153を通じてプロセッサ250にルーティングされる。プロセッサ250は、非一時的コンピュータ可読記憶デバイス260と通信して、出力信号を生成する。この出力信号は次に、ルーティングされてプロジェクタアセンブリ184及び/又はディスプレイ152に戻され、それぞれ、表面202上に投影される画像及び/又はディスプレイ152上に表示される画像における変更が実施される。また、プロセッサ250は、中央処理装置(CPU)、半導体ベースのマイクロプロセッサ、グラフィック処理装置(GPU)、マイクロコントローラ、又は非一時的コンピュータ可読記憶デバイス260から取り出される命令をフェッチ、復号及び/又は実行するように構成される別の処理デバイスのうちの少なくとも1つとすることができることが理解されるべきである。また、非一時的コンピュータ可読記憶デバイス260は、プログラミングコード、ソフトウェア、ファームウェア等の機械可読命令を記憶する任意の通常の記憶デバイスに対応することができることが理解されるべきである。例えば、非一時的コンピュータ可読記憶デバイス260は、不揮発性メモリ、揮発性メモリ及び/又は記憶デバイスのうちの1つ又は複数を含むことができる。不揮発性メモリの例は、限定ではないが、電気的消去可能プログラマブルリードオンリーメモリ(EEPROM)及びリードオンリーメモリ(ROM)を含む。揮発性メモリの例は、限定ではないが、スタティックランダムアクセスメモリ(SRAM)及びダイナミックランダムアクセスメモリ(DRAM)を含む。記憶デバイスの例は、限定ではないが、ハードディスクドライブ、コンパクトディスクドライブ、デジタル多用途ディスクドライブ、光デバイス及びフラッシュメモリデバイスを含む。幾つかの実施態様では、命令は、プロセッサ250によって実行することができるインストレーションパッケージの一部とすることができる。この場合、非一時的コンピュータ可読記憶デバイス260は、CD、DVD若しくはフラッシュドライブ等のポータブル媒体、又はインストレーションパッケージをダウンロード及びインストールすることができるサーバによって保持されるメモリとすることができる。別の実施態様では、命令は、アプリケーションの一部又は既にインストールされたアプリケーションとすることができる。ここで、非一時的コンピュータ可読記憶デバイス260は、ハードドライブ等の統合されたメモリを含むことができる。さらに、幾つかの例では、プロセッサ250は、コンピュータ可読記憶デバイス260に統合される一方、他の例では、プロセッサ250及びコンピュータ可読記憶デバイス260は別個のコンポーネントである。
再び図5〜図7を参照すると、少なくとも幾つかの例の動作中、システム100は、タッチセンサ式マット200上に位置する二次元(2D)又は3Dの物理的物体(例えば、文書、ピクチャ、本等)40の2D画像を捕捉することができる。次に、捕捉された画像は、処理され、結果として得られた画像を、更なる使用及び操作のために、タッチセンサ式マット200及び/又は物理的物体40自体の上に投影することができる。より詳細には、幾つかの例において、センサ(例えば、カメラ164b)が、物体40(例えば、文書又はピクチャ)及び/又は背景要素(例えば、タッチセンサ式マット200の一部)の画像を捕捉することができるように、物体40を表面202上に配置することができる。次に、画像は、処理のために、プロセッサ250及びコンピュータ可読記憶デバイス260を備える画像処理モジュール290にルーティングすることができる。画像処理モジュール290は、受信した画像を処理し、物体40の画像のみが残るように背景要素を除去することができる。次に、結果として得られる画像を、プロジェクタアセンブリ184によって、タッチセンサ式マット200上に及び/又は物体40自体の上に直接投影することができる。
図7は、画像処理モジュール290を、プロセッサ250及びコンピュータ可読記憶デバイス260のみを備えるものとして描いているが、様々な例では、画像処理モジュール290は追加の又は代替的なコンポーネントを備えることを理解するべきである。例えば、画像処理モジュール290は、アナログ回路、デジタル信号処理デバイス回路、特定用途向け集積回路(ASIC)、又はプロセッサ250及びコンピュータ可読記憶デバイス260と同じ機能を実行するように構成された他の論理デバイスのような機能的に等価な回路を含むことができる。
ここで、図8(A)及び図8(B)に進むと、上述したように、システム100は、物体の画像40を捕捉し、画像を処理し、結果として得られた画像を物体40上に直接投影することができる。投影された画像は、物体40と同じスケール及び/又は色とすることができるため、ユーザが、結果として得られた画像が投影されているときを判断するのが困難である場合がある。言い換えると、投影された画像は、物体自体と同じに見える場合があり、したがって、ユーザは、画像が物体上に直接投影されることに起因して、画像が投影されているときを判断することが困難である場合がある。中でも、これによって、ユーザは、捕捉及び投影機能を再び不必要にトリガーする場合がある。
この問題を回避し、ユーザに対し、画像捕捉及び後続の画像投影機能が完了していることを明確に示すために、様々な例では、投影された画像の周囲に人工的な影を生成する。例えば、図8(A)は、画像捕捉の前にタッチセンサ式マット200の上に載置されている写真300を示している。図8(B)は、センサ(例えばカメラ164b)によって写真300が捕捉され、写真310の画像が写真300上に投影された後の同じシーンを示している。より詳細には、図8(B)において、写真の画像310は、本質的に、少なくともスケール及び色の観点で写真300と同じであり、したがって、写真の画像310が投影されているときを判断するのが困難である。ユーザが写真の画像310が投影されていることを見分けるのを支援するために、人工的な影320が写真の画像310と共に投影される。人工的な影は、ユーザに、写真の画像310が現在投影されていることを通知し、写真300がタッチセンサ式マット200から持ち上がっている外観を更に与える。このため、ユーザは、物体を移動させる等の追加のタスクを行う必要なく、捕捉機能及び投影機能が完了したことを迅速に判断することができる。
幾つかの例では、画像を捕捉した後、投影の前に、画像処理モジュール290は、物体の画像のみが残るように背景要素を除去する処理を行う。例えば、図8(A)及び図8(B)を参照すると、センサ(例えば、カメラ164b)が写真300の画像を捕捉するとき、タッチセンサ式マット200の一部分も捕捉される場合がある。したがって、画像処理モジュール290は、写真300の画像のみが投影され、タッチセンサ式マット200の画像が投影されないように、捕捉画像を処理して写真300をタッチセンサ式マット200から分離することができる。背景要素を除去するための分離プロセスに加えて、画像処理モジュール290は、画像を適切に分離するために、スキャン照明からの影を除去する処理も行うことができる。
図9は、例によるシステム100によって行われるプロセスのための例示的なプロセスフロー図900を示す。図9に示すプロセスは、一般化された説明を表し、本開示の範囲及び趣旨から逸脱することなく、他のプロセスを追加するか、又は既存のプロセスを除去、変更又は再構成することができることが容易に明らかとなるべきである。さらに、プロセスは、システム100に、応答させ、アクションを実行させ、状態を変更させ、及び/又は判定を行わせることができる、メモリに記憶された実行可能な命令を表すことができることが理解されるべきである。このため、説明されるプロセスは、システム100に関連付けられたメモリによって提供される実行可能な命令及び/又は動作として実施することができる。代替的に又はさらに、プロセスは、アナログ回路、デジタル信号処理デバイス回路、特定用途向け集積回路(ASIC)、又はシステム100に関連付けられた他の論理デバイスのような機能的に等価な回路によって実行される機能及び/又はアクションを表すことができる。さらに、図9は、説明された実施態様の実施に限定されることを意図するものではなく、図面は、当業者が、回路を設計/製造し、ソフトウェアを生成し、又はハードウェア及びソフトウェアの組合せを用いて説明された実施態様を実行するために用いることができる機能情報を例示するものである。
プロセス900は、ブロック910において開始する。ブロック910において、システム100のカメラが、タッチセンサ式マット200の少なくとも一部分と、タッチセンサ式マット200上に位置する物体40とを含む画像を捕捉する。ブロック920において、画像処理モジュール290は、画像を捕捉した後、物体及び背景要素を含む捕捉された画像を処理して、背景要素を除去する。このため、物体の画像のみが残る。その後、ブロック930において、プロジェクタアセンブリは、物体の画像を、この物体の画像の少なくとも一部分に隣接する人工的な影とともに物体の上に投影する(例えば、図8(B)を参照)。上記で言及したように、人工的な影は、ユーザに、プロジェクティブコンピューティングシステム100の捕捉及び投影機能が完了していることを通知する。
実施態様に応じて、人工的な影は様々な方法で投影することができる。例えば、人工的な影は異なる色(例えば、淡い灰色、濃い灰色等)、異なる透明度レベル(例えば、50%の透明度)、異なるサイズ(例えば、物体から5mm、物体から10mm等)、及び/又は異なる角度(例えば、物体の中心から0度〜360度)で表示するように構成することができる。さらに、幾つかの例では、人工的な影の寸法は、少なくとも部分的に、物体の寸法に基づく(例えば、より大きな物体=より大きな影;より小さな物体=より小さな影)。またさらに、幾つかの例では、ユーザによって、指向性光パラメータ設定に基づいて影が現れるように指向性光パラメータを設定することができる。例えば、指向性光パラメータは、「南東」に設定することができ、したがって、影は、物体の南東に位置する光源に基づいて物体に隣接して現れる。幾つかの例では、指向性光パラメータは、全ての人工的な影についてデフォルト設定を有することができ、一方、他の例では、指向性光パラメータ設定はユーザ構成可能とすることができる。
次に、図10及び図11に進むと、上記の説明は人工的な影に焦点を当ててきたが、物体の画像と共に他の画像を投影して、捕捉及び投影機能が完了していることをユーザに通知することができることが理解されるべきである。例えば、図10に示すように、人工的な星の画像を投影することができる。代替的に、図11に示すように、人工的なハロ(halo:光の輪)の画像を投影することができる。これらの人工的な画像は、図10に示すような「捕捉完了」等のテキストを含むことができる。さらに、人工的な画像は、テキストのみで構成され、シンボル、ハロ及び/又は影を含まないことができる。さらに、投影の完了を示す画像の投影に加えて、音を再生することもできる。例えば、画像が投影される前か、投影と同時か、又は投影後に、短い鐘の音(「ding」)又はクリック音(「click」:シャッタ音)を再生することができる。この音によって、上記で説明した影、ハロ及び/又はシンボルに加えて、投影機能が完了していることを更に示すことができる。
説明した方式で、本明細書に開示される原理によるプロジェクティブコンピュータシステム100の例の使用を通じて、物理的物体の画像を捕捉し、処理し、物体上に直接投影することができる。投影された画像をより明らかにするために、影等の人工的な画像を、投影される画像と共に、物体画像に隣接して含めることができる。より詳細には、カメラによる画像捕捉後、物体は、背景から分離することができ、更なる処理によって、スキャン照明からの影を除去して、物体を適切に分離することができる。その後、物体の画像を、人工的に生成された影と共に投影することができる。例において、影は、捕捉された画像の一部ではないが、捕捉及び分離の完了を示すために表示される。影は、特定のロケーションに指向性の光があり、物体がマット上に浮いているか又はマット内に沈んでいるかのように提供することができる。さらに、影を投げている見かけ上の光は、よりシャープな影又はよりソフトな影を生成するように、より焦点を集めるか又はより拡散させることができる。さらに、実際の物体の高さに関する3Dセンサからの情報を用いて、影を長く又は短くし、それによって実際の物体の高さに対応させることができる。
デバイス150は、オールインワンコンピュータとして説明されているが、他の例において、デバイス150は、例えば、キーボード及びマウス等のより従来的なユーザ入力デバイスの使用を更に採用することができることが理解されるべきである。さらに、バンドル164内のセンサ164a、164b、164c、164dは、それぞれ単一のセンサ又はカメラを表すものとして説明されてきたが、本明細書において開示される原理に適合している限り、センサ164a、164b、164c、164dのそれぞれが、複数のセンサ又はカメラを含むことができることが理解されるべきである。さらに、頂部160は本明細書において片持ち頂部として説明されてきたが、他の例において、本明細書において開示される原理に適合している限り、頂部160は、2つ以上の点において支持することができ、このため片持ちでない場合もあることが理解されるべきである。
上記の論考は、本開示の原理及び様々な実施形態を例示することを意図している。多数の変形形態及び変更形態は、上記の開示を完全に理解した当業者には明らかとなるであろう。以下の特許請求の範囲は、全てのそのような変形形態及び変更形態を包含するように解釈されることが意図される。



  1. タッチセンサ式マットと、
    前記タッチセンサ式マット上に配置されるカメラであって、該カメラは、前記タッチセンサ式マットの少なくとも一部分と、前記タッチセンサ式マット上に位置する物体とを含む画像を捕捉する、カメラと、
    前記画像を受信し、該画像を処理して前記物体の画像を生成する、画像処理モジュールと、
    前記物体の画像を、該物体の画像の少なくとも一部分に隣接する人工的な影と共に投影する、プロジェクタアセンブリと、
    を備える、プロジェクティブコンピューティングシステム。

  2. 前記プロジェクタアセンブリは、前記タッチセンサ式マット上に位置する前記物体の上に、前記物体の画像を投影する、請求項1に記載のプロジェクティブコンピューティングシステム。

  3. 前記物体の画像は二次元画像である、請求項1に記載のプロジェクティブコンピューティングシステム。

  4. 前記人工的な影の寸法は、少なくとも部分的に、前記物体の寸法又は前記物体の画像の寸法に基づく、請求項1に記載のプロジェクティブコンピューティングシステム。

  5. 前記物体の画像は前記物体と同じスケールである、請求項1に記載のプロジェクティブコンピューティングシステム。

  6. 前記画像処理モジュールは、前記画像を処理して、前記タッチセンサ式マットの部分を除去する、請求項1に記載のプロジェクティブコンピューティングシステム。

  7. 前記物体は、ピクチャ及び文書の少なくとも一方を含む、請求項1に記載のプロジェクティブコンピューティングシステム。

  8. 前記プロジェクタアセンブリは、指向性光パラメータに少なくとも部分的に基づいて、前記人工的な影の画像を投影する、請求項1に記載のプロジェクティブコンピューティングシステム。

  9. プロジェクティブコンピューティングシステムによって行われる方法であって、
    前記プロジェクティブコンピューティングシステムのカメラによって、物体及び背景要素を含む画像を捕捉するステップと、
    前記プロジェクティブコンピューティングシステムのプロジェクタアセンブリによって、前記物体の画像を、該物体の画像の少なくとも一部分に隣接する人工的な影と共に前記物体の上に投影するステップと、
    を含む、方法。

  10. 前記物体及び前記背景要素を含む画像を処理して、前記背景要素を除去するステップを更に含む、請求項9に記載の方法。

  11. 指向性光パラメータを取得するステップと、
    前記指向性光パラメータに少なくとも部分的に基づいて前記人工的な影を投影するステップと、
    を更に含む、請求項9に記載の方法。

  12. 前記物体の画像は、前記物体と同じスケールである、請求項9に記載の方法。

  13. 基部と、該基部から上方に延在する垂直部材と、該垂直部材から外側に延在する片持ち頂部とを有する支持構造物と、
    前記片持ち頂部内に位置するカメラであって、該カメラは物体の画像を捕捉する、カメラと、
    前記物体の画像を、該物体の画像の少なくとも一部分に隣接する人工的な画像と共に、前記物体の上に投影するプロジェクタアセンブリと、
    を備える、プロジェクティブコンピューティングシステム。

  14. 前記人工的な画像は、影、ハロ及びシンボルのうちの少なくとも1つを含む、請求項13に記載のプロジェクティブコンピューティングシステム。

  15. 前記物体は、ピクチャ及び文書のうちの少なくとも一方を含む、請求項13に記載のプロジェクティブコンピューティングシステム。

 

 

Patent trol of patentswamp
類似の特許
より小さいハーフトーンのタイルを二重変調投影システムの第1の変調器で実施する。この技術では、予備変調器で1フレームにつき複数のハーフトーンを使用し、これを主変調器で修正したビットシーケンスと同期させて、ハーフトーン変調器での所与のタイルサイズで得たレベル数を効果的に上げる。これによりタイルサイズが小さい場合に低い光レベルではコントラスト比が低い問題に対処し、投影画像内のハローアーチファクトを減らして3D投影および3D視野で使用できるより小さいPSFを使用できるようにする。
本発明は、プロジェクション装置(PE)のデジタル信号(DP)の走査線周波数を適応調整する方法に関し、当該方法は、・前記プロジェクション装置(PE)のミラー装置(SE)の少なくとも1つの機械的固有振動数と、画像処理装置(VDC)のラインバッファ(ZP)の記憶容量とに関するデータを準備するステップ(S1)と、・前記画像処理装置(VDC)によってビデオソース装置(VE)のビデオ信号(VS)の第1の画像解像度を検出するステップ(S2)と、・前記プロジェクション装置(PE)のデジタル信号(DP)の走査線周波数を適応調整するために、前記プロジェクション装置によって、前記ビデオ信号(VS)の検出した前記第1の画像解像度に基づき、前記ミラー装置(SE)の少なくとも1つの機械的固有振動数と前記ラインバッファ(ZP)の記憶容量とに応じて、前記データ信号(DP)の垂直解像度が適応調整された第2の画像解像度を計算するステップ(S3)とを有する。
画像表示装置 // JP2016161670
【課題】視認性に優れた画像表示装置を提供すること。
【解決手段】画像表示装置1は、観察者の頭部に装着して使用される画像表示装置であって、映像信号に基づき変調された映像光を生成する映像光生成部と、観察者の頭部の側方に位置し、かつ、映像光を第1の方向に主走査し、第1の方向と直交する第2の方向に副走査する光走査部36(光スキャナー)と、光走査部36によって走査された映像光L2が入射され、入射された映像光L2を回折させ、観察者の左眼EYLに向けて射出する光回折部65(回折光学素子)と、を備え、主走査の振幅の中心と副走査の振幅の中心との交差点P1における映像光L2が光回折部65の表面で反射された反射光L9が右眼EYRに入射しないように、左眼EYLの中心と右眼EYRの中心と交差点P1とを含む平面F1(仮想平面)に対して、光回折部65の表面の交差点P1における法線N1が傾いていることを特徴とする。
【選択図】図9
【課題】ユーザの意図する画像と投射される画像とを整合させるための調整にかかる負荷を軽減する。
【解決手段】複数の投射画像を組み合わせた投射画像であるマルチスクリーンを複数の投射手段を制御して生成させる画像表示システムであって、前記複数の投射手段により順次または同時に投射された画像についての画像情報を取得する取得手段と、前記複数の投射手段により投射される画像間の重複量を規定する規定手段と、前記取得手段により取得された撮像画像と前記規定手段により規定された重複量とに基づいて補正された画像を、前記複数の投射手段に投射させる制御を行う制御手段とを備える。
【選択図】 図1
映像投射システム // JP2016086197
【課題】映像投射装置固有の性能である最大輝度及び映像投射可能な範囲を有する映像投射装置を用いる場合でも、投射される映像を高コントラストで滑らかな輝度階調に形成するとともに、広ダイナミックレンジの輝度にも対応できる映像投射システムを提供する。【解決手段】本システムは、複数の映像投射装置10A〜10Dと、入力映像の輝度分布から各映像投射装置に与える映像投射範囲の輝度分布を抽出し、当該輝度分布を表す個別映像信号を各映像投射装置10A〜10Dに出力する映像信号分配部20とを備える。映像信号分配部20は、複数の映像投射装置の中から相対輝度の上限値の大きい映像投射装置を順に選択し、当該選択した映像投射装置の上限値以下の範囲を映像投射範囲の輝度分布に設定し、かつ、入力映像の輝度分布から除去する。【選択図】図1
【課題】乗員が頭部を傾けた場合でも、対象物と画像との対応関係を乗員に容易に把握させること。
【解決手段】表示制御装置104において、制御部107は、認識部101により対象物が認識され、かつ、検知部103により乗員の頭部の傾きが検知されない場合、表示媒体130に表示されたときに、水平方向を示す第1の提示画像を示す第1の所定画像を生成するように、かつ、決定部102で決定された表示媒体130上における位置に表示するように、表示部105を制御する。また、制御部107は、認識部101により対象物が認識され、かつ、検知部103により乗員の頭部の傾きが検知された場合、表示媒体130に表示されたときに、乗員の頭部の傾きに応じて定められた角度だけ第1の提示画像の少なくとも一部を回転した第2の提示画像を示す第2の所定画像を生成するように、かつ、決定部102で決定された表示媒体130上における位置に表示するように、表示部105を制御する。
【選択図】図1
【課題】 小型で低消費電力を実現し、高速かつ安定した光走査が可能な二軸光偏向器を提供する。【解決手段】 二軸光偏向器2において、第1駆動部は、共振周波数の交流駆動信号を1対の圧電アクチュエータ7a、7bの一方に正位相、他方に逆位相で供給し、第1トーションバー8a、8bを介してミラー部6を第1軸線(X)周りに揺動させる。第2駆動部は、可動枠2aの裏面の薄膜永久磁石9a、9bによる静磁場と、コイル配線12に交流電流が流れることで発生する交番磁界との相互作用により、可動枠2aを第2軸線(Y)周りに揺動させる。ミラー部6は第1軸線周りに共振状態で揺動し、可動枠2aは第2軸線周りに非共振状態で揺動することで、ミラー部6からの反射光による2次元走査を可能にする。【選択図】図2
映像投射装置 // JP2016085279
【課題】温度、湿度等の外部環境要因が変化した場合でも、映像を投射している状態で投射角度範囲を一定に維持するようにミラー部を制御し得る映像投射装置を提供する。【解決手段】本装置は、光源と、ミラー部106を回動軸線周りに回動させるアクチュエータ134,136、及び、ミラー部106の振れ角に応じたセンサ信号を出力するセンサ144A,144B,146を有する光偏向器130と、駆動信号に基づいてアクチュエータ134,136を駆動する制御装置20とを備える。制御装置20は、センサ信号と駆動信号の畳み込み積分による第1積分値と、センサ信号と駆動信号より90°位相が遅れた演算信号の畳み込み積分による第2積分値とを極座標変換して、センサ信号の強度と、駆動信号とセンサ信号との位相差とを算出する。そして、センサ信号の強度に対応する共振周波数が所定の共振周波数になるように、駆動信号の振幅及び周波数を調整する。【選択図】図3
車両用操作装置 // JP2016043810
【課題】触って気持ちよく操作を楽しむことができる車両用操作装置を提供することを目的とする。
【解決手段】操作面を備え、操作面に加えられた操作力に応じて、操作力が加えられた部分を含む領域が操作力が加えられた方向へ変形されるスクリーン12と、スクリーン12に画像を投影する画像投影装置14と、操作力が加えられて変形したスクリーン12の部分を操作位置として検出する位置検出部16と、位置検出部16の検出結果に基づいて、スクリーンに投影された画像のうち操作位置に対応する画像に対応する予め定めた処理を行うECUと、を備える。
【選択図】図1
To top