パターン認識による車両及びオペレータガイダンス

 

パターン認識による車両及びオペレータガイダンスの方法は、車両及びオペレータパターンについてのデータを複数のセンサを通して収集することから開始する。収集されたデータは、パターン認識アルゴリズムで組み合わせられかつ解析される。組み合わせられかつ解析されたデータは、パターンデータベースの複数のパターンと比較される。データがパターンデータベースのパターンとマッチした場合、当該パターンが選択可能である。データがパターンデータベースのパターンにマッチしなかった場合、新たなパターンが形成及び選択可能である。選択されたパターンに基づいて、オペレータを受動的に支援する、オペレータを選択的に支援する、またはオペレータを受動的かつ能動的に支援するという決定がなされる。決定された動作は、次に、実装される。

 

 

[関連出願]
本願は、2013年4月12日に出願された米国特許出願第61/811,264号の優先権及び利益を主張し、その全体は参照により明細書に組み込まれる。

車両生産性及びオペレータの快適性は、車両、車両コンポーネント及び/またはオペレータの複数の反復パターンを認識することによって向上可能である。パターンが認識された場合、生産性及び快適性向上のために、能動的及び/または受動的な動作を取ることができる。
複数の特定車両は、典型的なデューティサイクルの反復パターンで動作可能である。例えば、車両オペレータは、複数の同じ動作または移動を実行するように、または、反復的に同じルートに準拠するように、車両を用いることができる。ホイールローダー、フォークリフト等のような複数の車両は、このような態様で動作可能なオフロード車両の典型的な例である。車両は、これらのサイクルで複数の同じ動作を実行するが、車両及びオペレータの複数のコンポーネントも同様たり得ることが理解されるであろう。これらのパターンが認識され、次に車両制御に実装されることにより、制御が予測され得る場合、これは、車両及びオペレータの効率性及び生産性を向上させることとなる。
パターン認識による車両及びオペレータガイダンスの方法は、複数のセンサを通して複数の車両及びオペレータパターンについてのデータを収集する段階から開始する。収集されたデータは、パターン認識アルゴリズムによって、組み合わせられかつ解析される。組み合わせられかつ解析されたデータは、パターンデータベースの複数のパターンと比較される。データがパターンデータベースのパターンとマッチした場合、パターンが選択可能となる。データがパターンデータベースのパターンにマッチしなかった場合、新たなパターンが形成及び選択可能となる。選択されたパターンに基づいて、オペレータを受動的に支援し、オペレータを能動的に支援し、または、オペレータを受動的かつ能動的に支援するための決定がなされる。決定された動作は、次に、実装される。
本開示の複数の例示的な実施形態は、ここで、添付された複数の図面を参照して、例により説明される。
ホイールローダーのための短いYサイクルの一実施形態を模式的に示す。 ホイールローダーのための傾斜掘削サイクルの一実施形態を模式的に示す。 フォークリフトのデューティサイクルの一実施形態を模式的に示す。 パターン認識による車両及びオペレータガイダンスの複数の段階の一実施形態を模式的に示すチャートである。 図4に示される様々なセンサを備える車両の一実施形態を模式的に示す。
オペレータの快適性及び車両生産性は、オペレータ及び/または車両の複数の反復パターンまたは移動が認識される場合に、向上可能である。例えば、オペレータの快適性及び/または車両生産性は、複数の車両制御パラメータが複数の反復パターンまたは移動を認識するように適応可能な場合に、向上することがある。複数の反復パターンまたは移動に有利に適応し得る複数の車両制御パラメータのいくつかは、限定されないが、複数のクラッチの複数の事前充填フェーズ、ギアの選択前における事前係合、(バケットの水平化のような)ホイールローダーのバケットの制御、またはフォークリフトの複数のフォーク及びマストの制御を含む。
複数のパターンは、土砂を積載及び荷降ろしする場合にホイールローダーによって準拠されるものと同様の、車両の複数の反復移動を表すことができる。図1及び図2は、ホイールローダーの2つの典型的な積載及び荷降ろしパターンを示す。図1のパターンは、短いYサイクルである。図2のパターンは、傾斜掘削サイクルである。
上で示唆されたように、複数の反復パターンは、車両全体の複数の移動のみには限定されない。複数のパターンは、また、ホイールローダーのバケットまたはフォークリフトのマスト及びフォークのような、いくつかの機械コンポーネント(すなわち、複数の動作機能)によってなされる複数の反復移動であってもよい。
例により、図3は、フォークリフトの典型的パターンを示す。フォークリフトのオペレータは、典型的には、荷重を持ち上げるために、複数の動作の特定のリストに準拠する。これらの動作は、通常、荷重に低速で接近すること、マスト角度、フォーク位置及びフォーク幅を調節すること、荷重の下に複数のフォークを挿入すること、フォークを上昇させること、特定の角度で後方にマストを傾けること、逆方向に運転することなどを含む。
図1、2及び3における複数の番号、複数の矢印、複数の符号及び複数の異なる線のタイプは、各図において表される複数の典型的パターンを伝える。
パターンが一度認識されると、複数の受動的な動作(例えば、複数の特定のクラッチの事前係合)から複数の能動的な動作(例えば、複数のドライバ動作のガイド、もっと言えば、パターンの完全自動化)のような多数の動作が取られることがある。
図4は、概して、パターン認識の一実施形態を示す。車両は、様々なセンサを備える。複数のセンサは、概して、複数の車両センサ、複数のドライバ動作に対する複数のセンサ及び複数の集団管理センサであってもよい。
複数の車両センサの例は、内燃エンジン速度センサ、ハンドル速度センサ、クラッチ及び油圧シリンダ用圧力センサ、フォークリフトのマストの荷重センサ等を含む。ドライバ動作に対する複数のセンサの例は、ステアリング位置、スロットルへの圧力、及びレバーならびにジョイスティックの位置ならびに角度のセンサを含む。複数の集団管理センサの例は、車両位置特定、複数の他の車両の位置及び動作、するべき動作、及び荷重の位置ならびに重量等のために、GPSデータを収集及び処理する複数のセンサを含む。これらのセンサは、図5において、1つの例示的な車両上で示される。複数の車両センサ、複数の集団管理センサ及び複数のドライバ動作センサから収集された情報は、パターン認識アルゴリズムによって組み合わせられ、かつ処理される。車両の複数の移動に関するデータのセット(すなわち、練習用データ)が予め定められている(事前に手動ラベル付けされている)場合をカバーする、典型的な複数の監視学習アルゴリズムを用いて、複数のセンサによって取得された情報は、タスクの関連分類でラベル付けされる。このような車両の動作の例は、例えば、土砂掘削であるが、いくつかのタスクのシーケンスからなる。コントローラは、ラベル付けのシーケンスを実現するために、複数のセンサを介して解釈された複数の動作を、練習用データにマッチさせることを試みる。認識フェーズの結果として、アルゴリズムは、複数のパラメータ分類方法を用いて、無次元のデータのセット(左回転、右回転、前進移動、荷重の持ち上げ…)における複数の動作を解釈することによって、どのパターンが続いているかを決定する。
任意の数のパターン分類(すなわち、複数のタスクのシーケンス)は、車両コントローラの内部メモリに格納可能であることにより、複数のセンサ入力値に基づいて分類される。CPU(すなわち、マスタ車両コントローラ)は、上述された複数のアルゴリズムを実行する。車両によって準拠されるパターンが練習用データ(すなわち、既に格納された)とマッチできない場合、クラスタリングされた(ラベル付けされていない)データの反復的な複数の動きを解釈することによって、パターン(複数のタスクのシーケンス)の新たな構成が形成され、機械に教えられる(すなわち、非監視機械学習)。
一実施形態において、4つのパターン分類、すなわち、(1)複数のオリジナルパターン、(2)複数の更新パターン、(3)集団管理から受信された複数のパターン、及び(4)複数の自己学習パターンが存在し得る。
複数のオリジナルパターンは、複数の予め定められたパターン(すなわち、ラベル付けされた練習用データ)を備えてもよく、これらは、図1、2および3に示されるように、制御系設計者によってオフラインの態様で実装される(例えば、総括的パターン)。
複数の更新パターンは、車両に対する既存の(または新たに取り付けられる)複数のセンサ測定結果(例えば、荷重重量またはルート距離…)に基づいて、車両動作及びオペレータ動作間に学習された、複数のオリジナルパターンに対する複数の向上を含んでもよい。
複数の受信パターンは、車両に取り付けられた通信システムを通して、集団管理サーバ及び/またはクラウドによって受信された情報(すなわち、複数の他の車両またはインフラからの情報)を含んでもよい。例えば、倉庫の入口でトラックからパレットを持ち上げ、特定の位置にあるラックにそれを格納するようなフォークリフトの動作は、複数のタスクの複数のシーケンスに新たなラベルを形成し、集団の全ての他の車両と共有可能である。複数の他の車両が初めて新たなパターンを学習すると、新たなパターンを直ちに認識することによって、これらは、第1の車両との置換という複数のタスクの同じシーケンスを、適切に動作させる。
複数の自己学習パターンは、元々インストールされていた複数のパターンに含まれない複数のパターンを含んでもよい。認識アルゴリズムは、車両またはオペレータによる複数の反復移動を検出及び記録してもよい。車両メモリ上の個別のスペースが、車両によって準拠される全ての新たなパターンを格納するために、漸次割り当てられる。コントローラは、複数の動作のこのシーケンスを、複数の方法をクラスタリングすることによって解釈し、これらの動作は、各特定の用途に割り当てられた関連する複数のパラメータ(例えば、動作の反復回数または各反復間のバリエーション等)をチェックすることによって、複数の新たなラベルを形成することができる。データベースにおけるパターンの数を限定するために、準拠されるパターンは、第1に、最も頻繁に使用されるパターンと比較されてもよく、あまり頻繁に使用されないまたは使用されないパターンは、複数のパターン認識アルゴリズムの迅速な応答及び信頼性を保証するために、データベースから除去されてもよい。
複数のセンサからの情報は、複数のパターン分類と比較され、適用可能なパターン分類に最もよくマッチしたものが選択される。パターン分類が一度選択されると、戦略(例えば、受動的支援、能動的な支援または完全自動化)に応じて、複数の関連する動作が決定され、最終的に、所望の複数の動作が、実装のために、複数の車両コンポーネントに送信される。複数の関連する動作は、受動的、能動的または任意の順序で取り得る自動化動作を混合したものを含んでもよい。
各車両は、少なくとも1つのコントローラを有し、これは、概して、機械及び/またはその様々なコンポーネントの制御及び動作を担う。車両コントローラは、ドライバをガイドし、生産性を向上させるために、複数のパターン認識を担う。複数のパターン認識の多数の異なる態様が、コントローラに実装可能である。
例えば、オペレータは、「レジスタモード」において、記録されることが望ましい複数の反復動作のセットを実行することによって、複数の新たなパターンを手動入力してもよい。複数のパターンが一度メモリに記録されると、コントローラは、以下の複数の動作において、これらを認識することができる。
さらに他の例として、複数のパターンは、集団の複数の他の車両のような車両の外にある複数の外部ソースから、または集団管理サーバから、学習されることもできる。テレマティックス手段を用いたこのようなパターン管理の結果、多数のオペレータによって用いられる複数のパターンを比較することによって、最適パターンが選択され、それが標準化され得る。
さらに、テレマティックスシステムは、テレマティックスプラットフォームを通してドライバをモニタリングし、複数の取るべき次なる動作(例えば、特定位置で荷重を持ち上げること)のような複数の命令を与えることができる。テレマティックスシステムから受信された情報の追加により、複数のパターン認識アルゴリズムの精度及び信頼性を向上させることができる。
これらパターン認識技術の全ては、ドライバの意図(スロットル、ジョイスティック及びレバー作動、ステアリングホイール…)の解析に基づくものであり、既存の複数のセンサ(エンジン速度、ハンドル速度センサ、クラッチ圧力…)及び追加的な複数のセンサ(車両位置特定のためのGPS、バケットの荷重を決定する荷重センサ…)からの情報を用いる。
パターンが一度認識されると、複数のとるべき動作は、状況に応じて異なる。可能な動作の例を、以下、少しだけ説明する。これらは、共に組み合わせられてもよく、個別に用いられてもよく、連続的にまたは任意のパターンで用いられてもよい。
ドライバは、パターンが一度認識されると予測される次なるドライバ動作に対して車両を用意することによって、受動的な態様で支援されることができる。例えば、フォークリフトのバックギアは、荷重が持ち上げられた後、事前係合されてもよく、及び/または、車両の内燃エンジンの速度は、パターン化された動作を予測して変化させられてもよい。
ドライバは、車両制御を支援するために、能動的に支援されてもよい。このパターン下における複数の動作は、車両がとる動作、ドライバの複数の動作及び車両のパターンに適したレベルに、車両速度を調節することを含む。これは、バケットまたはマスト及びフォークの複数の動作をさらに含むことがあり、ドライバが荷重低減制御に触れると、荷重を容易に低減させる。
本発明は、車両オペレータを、関与するパターンに応じて、車両及び機器に対するその複数の動作を標準化することによって、さらに支援してもよい。現在の動きが「トラックの荷降ろし」パターンにマッチするが、ドライバがパターンにおいて規定された速度より速く運転している場合、コントローラは、車両を強制的に減速させ、このパターンにおいて通常準拠される速度に近づける。ドライバは、制御に対する優先権をさらに有し、つまり、例えば、ドライバがアクセルを再びプレスした場合、コントローラは、その速度管理を中止し、ドライバは、再び完全に車両を管理する。
さらに、本発明は、パターンのわずかな部分を自動的に(例えば、バケットを降下させる、フォークを上昇させる…)、またはパターン全体(例えば、いくらかの土砂を積載する、移動する、荷降ろしをして、初期位置に戻る)を実行することによって、車両を制御することを含んでもよい。
自動または半自動車両制御の場合、パターン認識の終了を可能とし、かつ、ドライバが車両及びその複数のコンポーネントを完全に制御可能であるように、安全対策が実装されなければならない。
本発明と関連して、先行技術に対する複数の利益は、限定されないが、複数の次なる動作を予測し、ひいては複数の車両パラメータを適宜適合させることによる、生産性の向上及びドライバの快適性向上を含む。



  1. パターン認識による車両及びオペレータガイダンスの方法であって、
    複数の車両搭載センサを通して車両及びオペレータパターンのデータを受信する段階と、
    前記受信されたデータを、パターン認識アルゴリズムで組み合わせかつ解析する段階と、
    前記組み合わせられかつ解析されたデータを、パターンデータベースの複数のパターンで比較する段階と、
    前記組み合わせられかつ解析されたデータが前記パターンデータベースのパターンにマッチする場合に前記パターンを受容する、または、前記組み合わせられかつ解析されたデータを前記パターンデータベースにはない新たなパターンをマーキングして前記新たなパターンを受容する、段階と、
    前記パターンまたは新たなパターンに基づいて、前記オペレータを受動的に支援する、前記オペレータを能動的に支援する、または、前記オペレータを受動的かつ能動的に支援することを決定する段階と、
    前記決定された支援を実装する段階と、
    を備える、方法。

  2. 前記複数の車両搭載センサは、複数の車両センサ、複数のドライバ動作に対する複数のセンサ、及び複数の集団管理システムセンサを含む、請求項1に記載の方法。

  3. 前記パターンデータベースの前記複数のパターンは、複数のオリジナルパターン、複数の更新パターン、複数の受信されたパターン及び複数の自己学習パターンを含む、請求項1または2に記載の方法。

  4. 前記複数の自己学習パターンは、前記パターン認識アルゴリズムによって、前記複数の車両搭載センサを通して車両またはオペレータの複数の移動を検出することと、検知されたデータを複数のパターンにグループ化することと、前記複数のパターンを前記パターンデータベースに記録することと、類似性を決定するために前記記録された複数のパターンを比較することと、によって形成される、請求項3に記載の方法。

  5. 複数の類似パターンは、グループ化されて前記パターンデータベースに保存され、複数の非類似パターンは、前記パターンデータベースから除去される、請求項4に記載の方法。

  6. 前記複数のオリジナルパターンは、前記パターンデータベースに予めロードされる、請求項3に記載の方法。

  7. 前記複数の更新パターンは、車両動作及びオペレータ動作の間に学習された、前記複数の車両搭載センサからの複数の測定結果に基づいて、前記複数のオリジナルパターンを取ってこれらを更新する、請求項3に記載の方法。

  8. 前記複数の受信されたパターンは、前記パターンデータベースのオリジナルではないが、複数の他の車両または集団管理システムから、前記複数の車両搭載センサによって受信される、請求項3に記載の方法。

  9. オペレータは、前記実装された、決定された支援にオーバライドする、請求項1から8のいずれか1項に記載の方法。

  10. 前記複数の受信されたパターンは、反復動作を実行する1つまたはそれより多くの集団車両によって形成され、他の集団車両によって共有される、請求項8に記載の方法。

  11. 複数の新たなパターンは、実行された複数の反復動作のセットを前記オペレータが記録した場合に、前記パターンデータベースに入力される、請求項1から10のいずれか1項に記載の方法。

  12. 前記受動的な支援は、パターン認識に基づいて、複数の次なるドライバ動作を予測する、請求項1から11のいずれか1項に記載の方法。

  13. 前記能動的な支援は、パターン認識に基づいて、次なるドライバ動作を開始させる、請求項1から12のいずれか1項に記載の方法。

 

 

Patent trol of patentswamp
類似の特許
本発明は、自走式及び自動操舵式の床清掃装置を動作させるための方法であって、清掃されるべき少なくとも1つの部屋の少なくとも1つの地図が、使用者により事前設定可能な、1つ以上の清掃タスクを有する清掃計画として、前記床清掃装置の記憶ユニット内に記憶可能であり、少なくとも1つの清掃タスクが、地図から識別可能である特定の部屋に関連付けられ、前記床清掃装置が部屋に設置される、方法に関する。前記清掃計画の効率的な遂行を可能にするこの種類の方法を提供するために、本発明によれば、前記清掃計画が遂行されると、前記床清掃装置が、該床清掃装置が設置される前記部屋が前記特定の部屋であるか否かを判断し、前記判断の結果が否である場合、前記清掃タスクの実施が、実行されない、中断される、又は終了されることが提案される。更に本発明は、前記方法を実施するための床清掃装置に関する。
本発明は、ある車両の乗客に対し、現在その乗客自身がその車両を運転しているかのような感覚を提供するためのリアルタイム自動車運転シミュレータである。本発明のリアルタイム自動車運転シミュレータは、典型的には、同一の機能性を提供するために一緒に組み合わされた、ビデオカメラユニット(10)、慣性測定ユニット(20)、ユーザインタフェース(30)、処理ユニット(40)およびモニタ(50)の1組の装置を有している。
【選択図】図2
本発明は、自動車に適用されるコマンドの安全性を確保するための方法に関し、当該方法は、車の電子制御ユニットを介して第1データを生成する第1ステップと;第1データを、スクリーンを備えた携帯端末に電子制御ユニットを介して送る第2ステップと;第1データを携帯端末のスクリーンに表示する第3ステップと;第2データを獲得するために人間ユーザが第1データを処理する第4ステップと;第2データを電子制御ユニットに携帯端末を介して送る第5ステップと; 制御ユニットを介して第2データを第1データのキーに対して比較する第6ステップと;第2データが第1データのキーに基づいて有効であると判断された場合、制御の少なくとも一部が実施されるように電子制御ユニットを介して車を作動させる第7ステップと;を備えていることを特徴とする。
本願開示の形態は、一般に、車両(101)の周辺の光景のモデル化に関する。この光景には、車両が実際にどんな物体又は形態を見ているのかを含める必要はなく、センサーに遮るものがない場合に車両がそのセンサー(310〜311、320〜323、330〜331)を用いて観測することができる区域を含める必要がある。例えば、物体検出要素(148)の複数のセンサーの各々に対して、コンピュータ(110)は、センサーの視野の個々の3Dモデルを採用することができる。天候情報を受け取り、1つ以上の前記モデル(図13での1304、1306)を調整するために用いる。この調整が終わった後、このモデルを包括的な3Dモデルに統合することができる。この包括的なモデルを、別の場所(図11での1100、図13での1301)で物体を検出する確率を示す詳細な地図情報と結合することができる。車両の周辺のモデルを、結合された包括的な3Dモデルと詳細な地図情報とに基づき計算することができ(図13での1312)、車両の操作に用いることができる(図13での1314)。
【選択図】図13
開示技術は、ユーザが定義した場所内で作業を実行するための1つ又は複数の自律移動作業システムの作業領域を限定し位置を特定するための方法及びシステムに関する。システムは、有線又は無線通信インターフェースを通じた外部命令か、若しくは、プログラムされた又はユーザの設定可能な制御の下で、定期的な又は非同期の時間スケジュールに従うかのいずれかに基づいて、その光学的又は電気磁気的な反射率を変更することができる2つ以上の可変反射ベースステーションを第1及び第2の位置において含むことができる。またシステムは、反射ベースステーションまでの距離を測定することができる電磁気センサ又は光学センサなどのセンサにより、可変反射ベースステーションの状態を検知できる1つ以上の自律移動作業システムを含むこともできる。
【選択図】 図2
アミューズメント施設内の事前に定められた経路に沿ってペイロードプラットフォームを輸送するシステムは、タイミング信号を生成および送信するシステムコントローラと、ペイロードプラットフォームに結合されて、前記ペイロードプラットフォームを支持し、システムコントローラから受信したタイミング信号と同期を取って事前に定められた経路上を進む推進プラットフォームとを含む。推進プラットフォームは、複数の個別にアドレス指定されたタイミング信号のうちの少なくとも1つに対応するアドレスを有する。システムは、アミューズメント施設内の事前に定められた経路に沿って配置された、同様にシステムコントローラから受信したタイミング信号と同期を取って動作する複数のエンターテイメントデバイスをさらに含むことができる。
ルートの自動運転 // JP2016515736
所定のルートを自動運転するための方法であって、前記ルートを手動運転する間にルート情報及び周辺情報を走査するステップと、走査された情報に基づいて自動運転ストラテジを決定するステップと、前記自動運転ストラテジを手動運転ストラテジと比較するステップと、前記自動運転ストラテジが所定の基準より小さくしか前記手動運転ストラテジから異なっていない場合に、前記自動運転ストラテジに基づく前記ルートの前記自動運転ストラテジを可能にするステップと、を含む。
【課題】自動車のブレーキおよび/または操舵および/または加速を制御する装置を有意に改良すること。
【解決手段】本発明は自動車におけるブレーキおよび/または操舵および/または加速を制御するための装置に関する。当該装置は、複数の異なるセンサコンポーネントと、2つの異種のセンサ融合コンポーネントと、マンマシンインタフェースコンポーネントと、好ましくはインテリジェントなアクチュエータ制御コンポーネントを備えている。これらのコンポーネントは、それぞれ、故障封じ込めユニットを構成するとともにttethernet通信インタフェースを有し、すべてのコンポーネントは中央ttethernetメッセージ配信部に接続され、すべてのコンポーネントは標準化されたethernetメッセージを専ら使用して互いに通信し、ttethernetメッセージ配信部には、伝達されたメッセージをリアルタイムに監視するための診断部が接続可能である。
【選択図】図1
運転モード調整 // JP2016509971
コンピューティング装置は、第1の乗物の走行の道路上における乗物のそれぞれの特性を示すセンサ情報を受取るように構成されてもよい。コンピューティング装置は、それぞれの特性に基づいて、安全でないかまたは違法な運転行為として現れた強引な運転挙動を示す第2の乗物を識別するように構成されてもよい。さらに、それぞれの特性に基づいて、コンピューティング装置は、第2の乗物のタイプを判断するように構成されてもよい。コンピューティング装置は、第1の乗物と第2の乗物との間の距離を推定するように構成されてもよい。コンピューティング装置は、第2の乗物の強引な運転挙動、第2の乗物のタイプ、および第1の乗物と第2の乗物との間の距離に基づいて、第1の乗物の制御戦略を修正し、修正された制御戦略に基づいて、第1の乗物を制御するように構成されてもよい。
共に連結されている第1の列車ユニットと第2の列車ユニットとを含む複数の列車ユニットを備える列車システム。各第1および第2の列車ユニットは、列車ユニットの列車構成の変化を検出するように構成されており複数の入力を備えるコントローラと、各列車ユニットに広がり、複数の入力においてコントローラと結合されており、列車システムの前端と後端との間で信号を伝送するように構成されている列車整合性信号線であって、信号は列車システムの列車整合性のステータスを示す、列車整合性信号線と、コントローラと通信し、各列車ユニットの連結または連結解除ステータスを示すように構成されている複数の継電器とを備える。
To top