仮想現実アーク溶接及び3次元観察の組み合せを提供するシステム及び方法

著者らは特許

G09B19/24 - 道具の使い方

の所有者の特許 JP2016517536:

リンカーン グローバル,インコーポレイテッド

 

リアルタイム仮想現実溶接システム(100、2000、2100)は、仮想現実空間内の溶接環境の要素に対応するシミュレーションデータを生成するように構成されたプログラマブルプロセッサベースのサブシステム(110)と、プログラマブルプロセッサベースのサブシステム(110)に作動的に接続され、仮想溶接環境の少なくとも一部を表すシミュレーションデータの少なくとも一部をステレオ3D伝送方式の3Dデータに変換するように構成された3次元(3D)変換ユニット(2010)と、3D変換ユニット(2010)に作動的に接続され、3Dデータを3D変換ユニット(2010)から受信し、該3Dデータの立体表現の表示を促すように構成された3D表示促進装置(2110)とを含む。

 

 

本特許出願は、2008年8月21日に出願された米国仮特許出願第61/090794号の優先権及び便益を主張する、2009年7月10日に出願された係属中の米国特許出願第12/501257号の一部継続出願であり、該米国特許出願の優先権を主張する。該米国特許出願は、参照により本願に全体的に組み込まれる。
本発明は、請求項1に記載のアーク溶接の訓練を提供するためのシステム並びに請求項7及び11に記載のアーク溶接の訓練を提供するための方法に関する。特定の実施形態は仮想現実のシミュレーションに関する。より具体的には、特定の実施形態は、リアルタイムの溶接パドルフィードバック及びステレオ3次元(3D)伝送方式の3Dデータを使って模擬仮想現実環境又は拡張現実環境においてアーク溶接の訓練を提供するためのシステム及び方法に関する。
従来、アーク溶接を学習するには長時間にわたる指導、訓練及び練習が必要である。学習可能な多くの様々な種類のアーク溶接及びアーク溶接プロセスがある。一般に、生徒は、実物の溶接システムを使い、実物の金属片に溶接作業を行うことで溶接を学習する。そのような現実世界での訓練によって乏しい溶接資源が占有され、限られた溶接材が使い果たされることがある。しかしながら、近年、溶接シミュレーションを使って訓練を行うという考え方がより広まってきた。一部の溶接シミュレーションはパーソナルコンピュータを使って及び/又はインターネットを通じたオンラインにより実施される。しかしながら、現在既知の溶接シミュレーションは訓練目標の点で限定されている傾向にある。例えば、一部の溶接シミュレーションでは、単に溶接工具の持ち方や設置の仕方について溶接学習者を訓練する「筋肉の記憶」のための訓練にのみ重点が置かれている。他の溶接シミュレーションは溶接プロセスの視覚効果及び聴覚効果を示すことに重点を置いているものの、そのやり方は限られ且つ多くの場合非現実的であり、現実世界の溶接を大いに表す所望のフィードバックを生徒に提供しない。この実際のフィードバックによって、生徒は必要な調節を行って良好な溶接部を得ることができるようになる。溶接は筋肉の記憶によってではなくアーク及び/又はパドルを見ることにより学習するものである。
本願の残りの部分に記載の本発明の実施形態と、従来のアプローチ、既存のアプローチ及び既に提案されているアプローチとを図面を参照しながら比較することにより、それらのアプローチのさらなる限界やデメリットが当業者に明らかになる。
本発明は、前述した限界やデメリットを解消することを目的とする。この課題は、請求項1に記載のアーク溶接の訓練を提供するためのシステムにより、また請求項7及び11に記載のアーク溶接の訓練を提供するための方法により解決される。本発明のさらなる実施形態は従属項の主題である。リアルタイムの溶融金属流動性並びに熱吸収特性及び熱放散特性を有する溶接パドルのシミュレーションを仮想現実空間で提供するアーク溶接シミュレーションが開発された。ステレオ3D伝送方式で仮想現実要素を表示することも提供される。
本発明の一実施形態では、仮想現実溶接システムは、プログラマブルプロセッサベースのサブシステムと、前記プログラマブルプロセッサベースのサブシステムに作動的に接続された空間追跡装置と、前記空間追跡装置が空間的に追跡可能な少なくとも1つの疑似溶接工具と、前記プログラマブルプロセッサベースのサブシステムに作動的に接続された少なくとも1つのディスプレイ装置と、を含む。当該システムは、リアルタイムの溶融金属流動性及び熱放散特性を有する溶接パドルを仮想現実空間でシミュレートすることができる。当該システムはさらに、現実世界の溶接部を描画するために、模擬溶接パドルをディスプレイ装置上に表示することができる。生徒の腕前に基づき、システムは許容可能であるか又は欠陥がある溶接部を示すかのいずれかである評価溶接部を表示する。
一実施形態は、仮想現実空間でリアルタイムに生成される仮想溶接物に対応するシミュレーションデータを生成するように構成されたプログラマブルプロセッサベースのサブシステムを含むシステムを提供する。当該システムは、前記プログラマブルプロセッサベースのサブシステムに作動的に接続され、前記仮想溶接物の少なくとも一部を表す前記シミュレーションデータの少なくとも一部をステレオ3D伝送方式の3Dデータに変換するように構成された3D変換ユニットも含む。当該システムは、前記3D変換ユニットに作動的に接続され、前記3Dデータを前記3D変換ユニットから受信し、前記3Dデータの立体表現の表示を促すように構成された3D表示促進装置をさらに含む。3D表示促進装置は、例えば3Dプロジェクタ又は3Dテレビ受像機であり得る。仮想溶接物の溶接ビード部は、リアルタイムの溶融金属流動性及び熱放散特性を有する模擬溶接パドルに起因するものであり得る。該リアルタイムの溶融金属流動性及び熱放散特性は、前記仮想溶接物の溶接ビード部を形成するために前記模擬溶接パドルを動かすときに前記模擬溶接パドルの流動から凝固へのリアルタイムの転移をもたらす。当該システムは、前記3D表示促進装置に作動的に接続され、前記3Dデータの立体表現を表示するように構成された表示画面及びユーザーが前記表示画面上の前記3Dデータの立体表現を3D空間内の3D画像として見るために着用するように構成された3Dアイウェアも含み得る。当該システムは、前記3D表示促進装置に作動的に連結され、ユーザーが前記表示画面上の前記3Dデータの立体表現の空間的方向を操作できるように構成された3Dユーザーインターフェイスをさらに含み得る。前記シミュレーションデータは前記仮想溶接物の少なくとも断面部分を表し得る。
一実施形態は、仮想現実空間でリアルタイムに生成されるリアルタイムの溶接ビード跡特性を有する模擬溶接ビードに対応するシミュレーションデータを生成する工程を含む方法を提供する。前記シミュレーションデータは前記模擬溶接ビードの少なくとも断面部分を表し得る。当該方法は、前記溶接ビードを表す前記シミュレーションデータをステレオ3D伝送方式の3Dデータに変換する工程及び前記3Dデータの立体表現を表示する工程も含む。前記模擬溶接ビードは、リアルタイムの溶融金属流動性及び熱放散特性を有する模擬溶接パドルに起因するものであり得る。該リアルタイムの溶融金属流動性及び熱放散特性は、前記模擬溶接ビードを形成するために前記模擬溶接パドルを動かすときに前記模擬溶接パドルの流動から凝固へのリアルタイムの転移をもたらす。前記3Dデータの立体表現を表示する工程は、表示画面に対して前記3Dデータの立体表現を投射することを含み得る。前記3Dデータの立体表現を表示する工程は、3Dテレビ受像機の表示画面上に前記3Dデータの立体表現を表示することを含み得る。当該方法は、ユーザーが着用するように構成された3Dアイウェアを用いて、表示された前記3Dデータの立体表現を観察する工程をさらに含み得る。当該方法は、表示された前記3Dデータの立体表現の空間的方向を操作する工程も含み得る。
一実施形態は、仮想現実空間内の仮想溶接環境に対応するシミュレーションデータを生成する工程を含む方法を提供する。当該方法は、前記仮想溶接環境の一部を表す前記シミュレーションデータの一部をステレオ3D伝送方式の3Dデータに変換する工程及び前記3Dデータの立体表現を表示する工程も含む。前記仮想溶接環境の前記一部は、模擬溶接棒、模擬溶接工具、模擬溶接物又は模擬溶接クーポンを含み得る。当該方法は、表示された前記3Dデータの立体表現の空間的方向を操作する工程をさらに含み得る。当該方法は、ユーザーが着用するように構成された3Dアイウェアを用いて、表示された前記3Dデータの立体表現を観察する工程をさらに含み得る。あるいは、前記ステレオ3D伝送方式は観察のために3Dアイウェアを用いない自動立体視方式であり得る。
本発明のこれらの特徴及び他の特徴に加え、本発明の例示的な実施形態の詳細は、下記の説明及び図面からより完全に理解することができる。
図1は、リアルタイム仮想現実環境でアーク溶接訓練を提供するシステムのシステムブロック図の第1の例示的な実施形態を示す。 図2は、図1のシステムの模擬溶接コンソール及び観察者用ディスプレイ装置(ODD)を組み合せたものの例示的な実施形態を示す。 図3は、図2の観察者用ディスプレイ装置(ODD)の例示的な実施形態を示す。 図4は、物理的溶接ユーザーインターフェイス(WUI)を示す図2の模擬溶接コンソールの正面部の例示的な実施形態を示す。 図5は、図1のシステムの疑似溶接工具(MWT)の例示的な実施形態を示す。 図6は、図1のシステムのテーブル/スタンド(T/S)の例示的な実施形態を示す。 図7Aは、図1のシステムのパイプ溶接クーポン(WC)の例示的な実施形態を示す。 図7Bは、図6のテーブル/スタンド(TS)のアームに取り付けられた図7AのパイプWCを示す。 図8は、図1の空間追跡装置(ST)の例示的な実施形態の様々な要素を示す。 図9Aは、図1のシステムのフェイスマウントディスプレイ装置(FMDD)の例示的な実施形態を示す。 図9Bは、図9AのFMDDをユーザーの頭にどのように固定するかを示す。 図9Cは、溶接ヘルメットに取り付けられた図9AのFMDDの例示的な実施形態を示す。 図10は、図1のシステムのプログラマブルプロセッサベースのサブシステム(PPS)のサブシステムブロック図の例示的な実施形態を示す。 図11は、図10のPPSのグラフィック処理装置(GPU)のブロック図の例示的な実施形態を示す。 図12は、図1のシステムの機能ブロック図の例示的な実施形態を示す。 図13は、図1の仮想現実訓練システムを用いた訓練方法の一実施形態のフローチャートである。 図14Aは、本発明の一実施形態に係る溶接要素(溶接ピクセル)変位マップの概念を示す。 図14Bは、本発明の一実施形態に係る溶接要素(溶接ピクセル)変位マップの概念を示す。 図15は、図1のシステムにおいてシミュレートした下向き溶接クーポン(WC)のクーポン空間及び溶接空間の例示的な実施形態を示す。 図16は、図1のシステムにおいてシミュレートした角(T継手)溶接クーポン(WC)のクーポン空間及び溶接空間の例示的な実施形態を示す。 図17は、図1のシステムにおいてシミュレートしたパイプ溶接クーポン(WC)のクーポン空間及び溶接空間の例示的な実施形態を示す。 図18は、図17のパイプ溶接クーポン(WC)の例示的な実施形態を示す。 図19Aは、図1のシステムの二重変位パドルモデルの概念の例示的な実施形態を示す。 図19Bは、図1のシステムの二重変位パドルモデルの概念の例示的な実施形態を示す。 図19Cは、図1のシステムの二重変位パドルモデルの概念の例示的な実施形態を示す。 図20は、リアルタイム仮想現実空間においてアーク溶接訓練を提供するシステムのシステムブロック図の第2の例示的な実施形態を示す。 図21は、図20のシステムを用いて仮想溶接環境の一部として生成された仮想要素のステレオ3D観察を提供するシステムのシステムブロック図の例示の実施形態を示す。
本発明の一実施形態は、プログラマブルプロセッサベースのサブシステム(programmable processor-based subsystem)と、該プログラマブルプロセッサベースのサブシステムに作動的に接続された空間追跡装置(spatial tracker)と、該空間追跡装置が空間的に追跡可能な少なくとも1つの疑似溶接工具(mock welding tool)と、プログラマブルプロセッサベースのサブシステムに作動的に接続された少なくとも1つのディスプレイ装置とを含む仮想現実アーク溶接(VRAW)システムを含む。当該システムは、リアルタイムの溶融金属流動性及び熱放散特性を有する溶接パドルを仮想現実空間でシミュレートすることができる。当該システムは、シミュレートした溶接パドルをディスプレイ装置上にリアルタイムで表示することもできる。シミュレートした溶接パドルのリアルタイムの溶融金属流動性及び熱放散特性は、表示された場合に疑似溶接工具のユーザーにリアルタイムの視覚的フィードバックを提供するため、ユーザーは、そのリアルタイムの視覚的フィードバックに応じて溶接技術をリアルタイムに調節又は維持できる(即ち、ユーザーが正しく溶接を学ぶのを助ける)。表示された溶接パドルは、ユーザーの溶接技術や選択された溶接プロセス及びパラメータに基づいて現実世界で形成され得る溶接パドルを表すものである。パドルを見ることで(例えば、形状、色、スラグ、サイズ、積み重ねた硬貨様のビード(stacked dimes))、ユーザーは良好な溶接部をつくるために自身のテクニックを変更し、行う溶接の種類を決定できる。パドルの形状はガン又はスティックの動きに対応する。本明細書で用いる「リアルタイム」という用語は、現実世界での溶接シナリオでユーザーが認識及び経験し得るのと同様な形でシミュレーション環境で時間的に認識及び経験することを意味する。さらに、溶接パドルは重力を含む物理的環境の作用に対応するため、ユーザーは頭上溶接や様々なパイプ溶接角度(例えば、1G、2G、5G、6G)を含む様々な位置で溶接を現実的に練習できる。本明細書で使用の「仮想溶接物(virtual weldment)」という用語は、仮想現実空間に存在する模擬溶接部を意味する。例えば、本明細書に記載の仮想溶接された模擬溶接クーポンは仮想溶接物の一例である。
図1は、リアルタイム仮想現実環境でアーク溶接訓練を提供するシステム100のシステムブロック図の例示的な実施形態を示す。システム100はプログラマブルプロセッサベースのサブシステム(PPS)110を含む。システム100はPPS110に作動的に接続された空間追跡装置(ST)120をさらに含む。システム100は、PPS110に作動的に接続された物理的溶接ユーザーインターフェイス(WUI)130と、PPS110及びST120に作動的に接続されたフェイスマウントディスプレイ装置(FMDD)140とを含む。システム100は、PPS110に作動的に接続された観察者用ディスプレイ装置(ODD)150をさらに含む。システム100は、ST120及びPPS110に作動的に接続された少なくとも1つの疑似溶接工具(MWT)160も含む。システム100は、テーブル/スタンド(T/S)170及びT/S170に取り付け可能な少なくとも1つの溶接クーポン(welding coupon)(WC)180をさらに含む。本発明の代替的な実施形態によれば、シールドガス源を模倣し、調節可能な流量調整弁を有する模擬ガス容器(図示せず)が設けられる。
図2は、図1のシステム100の模擬溶接コンソール135(溶接電源ユーザーインターフェイスを模倣)及び観察者用ディスプレイ装置(ODD)150を組み合せたものの例示的な実施形態を示す。物理的WUI130はコンソール135の前面部にあり、つまみ、ボタン並びに様々なモード及び機能をユーザーが選択するためのジョイスティックを提供する。ODD150はコンソール135の上部に取り付けられている。MWT160は、コンソール135の側部に取り付けられたホルダー内に置かれている。コンソール135は内部的にPPS110及びST120の一部を保持する。
図3は、図2の観察者用ディスプレイ装置(ODD)150の例示的な実施形態を示す。本発明の一実施形態によれば、ODD150は液晶ディスプレイ(LCD)装置である。他のディスプレイ装置も可能である。例えば、本発明の他の実施形態によればODD150はタッチスクリーンディスプレイであり得る。ODD150はPPS110からビデオ(例えばSVGA形式)及びディスプレイ情報を受け取る。
図3に示すように、ODD150は、位置、ノズル高さ(tip to work)、溶接角度、トラベル角(travel angle)及び移動速度を含む様々な溶接パラメータ151を示す第1のユーザーシーンを表示することができる。これらのパラメータは、グラフィカルな形でリアルタイムに選択及び表示され得るものであり、適切な溶接技術を教えるのに用いられる。さらに、図3に示すように、ODD150は、例えば不適切な溶接サイズ、悪いビード配置、凹状ビード、過剰な凸性、アンダーカット、ポロシティ、不完全な融合、スラグの含有、過剰なスパッタ、余盛及び焼け落ち(溶け落ち)を含む模擬溶接不連続状態152を表示することができる。アンダーカットは、開先が溶融して溶接部又は溶接ルートに隣接したベース金属と一体化し、溶接金属が充填されずに残ったものである。アンダーカットは往々にして誤った溶接角度に起因する。ポロシティは、アークをクーポンから離しすぎることによって往々にして生じる、固化の間のガスの閉じ込めにより形成される空隙型の不連続部である。
また、図3に示すように、ODD50はメニュー、アクション、視覚キュー、新たなクーポン及びエンドパスを含むユーザー選択肢153を表示することができる。これらのユーザー選択肢はコンソール135のユーザーボタンに連動している。ユーザーが例えばODD150のタッチスクリーンを通じて又は物理的WUI130を通じて様々な選択を行うと、表示される特徴が変更されて、選択された情報及び他の選択肢がユーザーに提供される。さらに、ODD150は、FMDD140を装着した溶接士が見ている視界を、溶接士と同じ視角で又は例えばインストラクターにより選択される様々な別の角度で表示し得る。インストラクター及び/又は生徒は、様々な訓練上の目的でODD150を見てもよい。例えば、完成した溶接部の周りで視界を回転させてインストラクターが視認できるようにしてもよい。本発明の代替的な実施形態によれば、システム100からのビデオは、遠隔地での視聴及び/又は批評のために、例えばインターネットを通じて遠隔地に送信され得る。さらに音声を提供して生徒と遠隔地のインストラクターとの間でリアルタイムな音声通信ができるようにしてもよい。
図4は、物理的溶接ユーザーインターフェイス(WUI)130を示す、図2の模擬溶接コンソール135の前面部の例示的な実施形態を示す。WUI130は、ODD150に表示されるユーザー選択肢153に対応する一式のボタン131を含む。ボタン131は、ODD150に表示されるユーザー選択肢153の色に対応するよう色付されている。ボタン131のうちの1つが押圧されると、PPS110に信号が送信されて対応する機能が作動される。WUI130は、ODD150に表示される様々なパラメータ及び選択肢を選択するためにユーザーが使うことができるジョイスティック132も含む。WUI130はワイヤ送給速度/アンペアを調節するためのダイアル又はつまみ133と、ボルト/トリムを調節するための別のダイアル又はつまみ134とをさらに含む。WUI130はアーク溶接プロセスを選択するためのダイアル又はつまみ136も含む。本発明の一実施形態によれば、ガスシールド及びセルフシールドプロセスを含むフラックスコアードアーク溶接(FCAW)と、ショートアーク、軸方向噴霧(axial spray)、STT及びパルスを含むガス金属アーク溶接(GMAW)と、ガスタングステンアーク溶接(GTAW)と、E6010及びE7010電極を含むシールド金属アーク溶接(SMAW)とを含む3つアーク溶接プロセスを選択することができる。WUI130は溶接の極性を選択するためのダイアル又はつまみ137をさらに含む。本発明の一実施形態によれば、交流(AC)、正の直流(DC+)及び負の直流(DC−)を含む3つのアーク溶接の極性を選択することができる。
図5は、図1のシステム100の疑似溶接工具(MWT)160の例示的な実施形態を示す。図5のMWT160は、プレート溶接及びパイプ溶接用のスティック型溶接工具を模倣し、ホルダー161及び模擬溶接棒162を含む。MWD160のトリガーを使って信号をPPS110に送信して選択した模擬溶接プロセスを作動させる。模擬溶接棒162は現実世界でのパイプ溶接におけるルートパス溶接工程の間に又はプレートを溶接する際に生じる抵抗フィードバック(resistive feedback)を模倣するために触覚抵抗性チップ(tacitly resistive tip)163を含む。ユーザーが模擬溶接棒162をルートから出し過ぎると、ユーザーは低抵抗を感じるか又は感知することができるため、現在の溶接プロセスを調節するか又は維持するのに用いるフィードバックが得られる。
スティック型溶接工具は、仮想溶接プロセスの間に模擬溶接棒162を引くアクチュエータ(図示せず)を含み得ることが考えられる。即ち、ユーザーが仮想溶接行為を行うのに伴って、ホルダー161と模擬溶接棒162の先端との間の距離を短くなり、溶接棒の消費を模倣する。消費速度、即ち、溶接棒162の回収はPPS110によって、より具体的にはPPS110により実行されるコード化された命令によって制御され得る。模擬消費速度はユーザーの技量に依存してもよい。なお、システム100は様々な種類の溶接棒を用いた仮想溶接を支援するため、溶接棒162の消費速度又は減少量を、使用する溶接工程及び/又はシステム100のセットアップに応じて変化させてもよいことを付言しておく。
本発明の他の実施形態によれば、例えば、供給されるワイヤ電極を有する手持ち式の半自動溶接ガンを模倣するMWDを含む他の疑似溶接工具も可能である。さらに、本発明の他の特定の実施形態によれば、ユーザーの手のなかで工具の実際の感触をより高度に模倣するためにMWT160として本物の溶接工具が使用され得るが、システム100においては該工具を用いて本物のアークが実際に生成されることはない。また、シミュレータ100の模擬研削モードで使用する模擬研削工具を設けてもよい。同様に、シミュレータ100の模擬切断モードで使用する模擬切断工具を設けてもよい。さらに、模擬ガスタングステンアーク溶接(GTAW)トーチ又はフィラー材料をシミュレータ100で用いるために設けてもよい。
図6は、図1のシステム100のテーブル/スタンド(T/S)170の例示的な実施形態を示す。T/S170は調節可能なテーブル171、スタンド又はベース172、調節可能なアーム173及び垂直ポスト174を含む。テーブル171、スタンド172及びアーム173のそれぞれは垂直ポスト174に取り付けられている。テーブル171及びアーム173のそれぞれは垂直ポスト174に対して上方、下方及び回転的に手動で調節することができる。アーム173は様々な溶接クーポン(例えば、溶接クーポン175)を保持するのに用いられ、ユーザーは訓練の際に自身の腕をテーブル171にのせることができる。アーム173及びテーブル171がポスト171のどの垂直位置にあるかをユーザーが厳密に知ることができるように垂直ポスト174には位置情報の目盛りが付されている。ユーザーはWUI130及びODD150を使ってこの垂直位置情報をシステムに入力してもよい。
本発明の代替的な実施形態によれば、テーブル171及びアーム173の位置が予めプログラムされた設定を通じて又はユーザーの命令によりWUI130及び/又はODD150を通じてPSS110によって自動的にセットされ得る。そのような代替的な実施形態では、T/S170は例えばモーター及び/又はサーボ機構を含み、PPS110からの信号命令がモーター及び/又はサーボ機構を作動させる。本発明のさらなる代替的な実施形態によれば、テーブル171及びアーム173の位置並びにクーポンの種類がシステム100によって検出される。このように、ユーザーはユーザーインターフェイスを通じて位置情報を手動で入力する必要がない。そのような代替的な実施形態では、T/S170は位置及び向き検出器を含み、信号命令をPPS110に送信して位置及び向き情報を提供し、WC175は位置検出センサを含む(例えば、磁界を検出するためのコイルセンサ)。本発明の一実施形態によれば、調節パラメータの変更に伴って、ユーザーはODD150上で調節されたT/S170のレンダリングを見ることができる。
図7Aは、図1のシステム100のパイプ溶接クーポン(WC)175の例示的な実施形態を示す。WC175は、直径6インチの2つのパイプ175’及び175’’を模倣する。パイプ175’及び175’’は合わせて設置されて溶接すべきルート176を形成する。WC175は、WC175の一端に接続部177を含むため、WC175を正確且つ繰り返し可能にアーム173に取り付けることができる。図7Bは、図6のテーブル/スタンド(TS)170のアーム173に取り付けられた図7AのパイプWC175を示す。WC175をアーム173に正確且つ繰り返し可能に取り付けることができるため、WC175の空間較正(spatial calibration)を工場で一度行うだけよい。そして、現場においては、システム100にアーム173の位置が知らせてある限り、システム100はWC175に対してMWT160及びFMDD140を仮想環境において追跡することができる。WC175が取り付けられるアーム173の第1の部分は、図6に示すようにアーム173の第2の部分に対して傾けることができる。これにより、ユーザーはいくつかの異なる向き及び角度のうちの任意のものを有するパイプを使ってパイプ溶接を練習できる。
図8は、図1の空間追跡装置(ST)120の例示的な実施形態の様々な要素を示す。ST120は、システム100のPPS110と作動的にインターフェイス可能な磁気追跡装置である。ST120は、磁気源121及び磁気源ケーブル、少なくとも1つのセンサ122及び関連するケーブル、ディスク123上のホストソフトウェア、電源124及び関連するケーブル、USB及びRS−232ケーブル125並びにプロセッサトラッキングユニット126を含む。磁気源121はケーブルを通じてプロセッサトラッキングユニット126に作動的に接続可能である。センサ122はケーブルを通じてプロセッサトラッキングユニット126に作動的に接続可能である。電源124はケーブルを通じてプロセッサトラッキングユニット126に作動的に接続可能である。プロセッサトラッキングユニット126はUSB又はRS−232ケーブル125を通じてPPS110に作動的に接続可能である。ディスク123上のホストソフトウェアはPPS110に取り込み可能であり、ST120とPPS110との間での機能的通信を可能にする。
図6を参照して、ST120の磁気源121はアーム173の第1の部分に取り付けられている。磁気源121は、アーム173に取り付けられたWC175の周囲の空間を含む磁気源121の周囲で磁界を生成して3D空間参照枠(3D spatial frame of reference)を確立する。磁気源121により生成される磁界を変形させないようにT/S170の大部分は非金属(非鉄製で且つ非導電性)で構成されている。センサ122は、3つの空間方向に沿って直角に並んだ3つの誘導コイルを含む。センサ122の各誘導コイルは、3つの方向のそれぞれで磁界の強度を測定し、その情報をプロセッサトラッキングユニット126に提供する。その結果、システム100は、WC175がアーム173に取り付けられている場合に、磁界により確立された3D空間基準枠に対してWC175の任意の部分がどこにあるかを知ることができる。センサ122がMWT160又はFDMM140に取り付けられ、ST120はMWT160又はFMDD140を空間及び向きの双方の点で3D空間基準枠に対して追跡することができる。2つのセンサ122が設けられ、それらがプロセッサトラッキングユニット126に作動的に接続されている場合は、MWT160及びFMDD140の双方が追跡され得る。このように、システム100は仮想現実空間において仮想WC、仮想MWT及び仮想T/Sを生み出すことができ、3D空間参照枠に対してMWT160及びFMDD140が追跡されるため、仮想WC、仮想MWT及び仮想T/SをFMDD140及び/又はODD150上に表示することができる。
本発明の代替的な実施形態によれば、センサ122はプロセッサトラッキングユニット126と無線で連絡を行い、プロセッサトラッキングユニット126はPPS110と無線で連絡を行い得る。本発明の他の代替的な実施形態によれば、例えば加速度計/ジャイロスコープベースの追跡装置、光学追跡装置(能動的又は受動的)、赤外線追跡装置、音響追跡装置、レーザー追跡装置、無線周波数追跡装置、慣性追跡装置及び拡張現実ベースのトラッキングシステムを含む他の種類の空間追跡装置120がシステム100で使用され得る。他の種類の追跡装置も可能であり得る。
図9Aは、図1のシステム100のフェイスマウントディスプレイ装置140(FMDD)の例示的な実施形態を示す。図9Bは、図9AのFMDD140をどのようにユーザーの頭に固定するかを示す。図9Cは溶接ヘルメット900と一体化された図9AのFMDD140の例示的な実施形態を示す。FMDD140は、有線手段又は無線の何れかによりPPS110及びST120に作動的に接続されている。本発明の様々な実施形態によれば、ST120のセンサ122はFMDD140に又は溶接ヘルメット900に取り付けられ、ST120はFMDD140及び/又は溶接ヘルメット900を3D空間参照枠に対して追跡することができる。
本発明の一実施形態によれば、FMDD140は2D及びフレームシーケンシャルビデオモードで流体フルモーション動画を提供可能な2つの高コントラストSVGA 3D OLEDマイクロディスプレイを含む。仮想現実空間の動画がFMDD140に提供され表示される。ズーム(例えば2倍)モードを設けて、ユーザーが例えばチーターレンズを模倣できるようにしてもよい。
FMDD140は2つのイヤホン型スピーカー910をさらに含み、ユーザーはシステム100によって生成された模擬溶接関連音及び模擬環境音を聞くことができる。本発明の様々な実施形態によれば、FDMM140は有線又は無線手段を通じてPPS110と作動的に連絡を行う。本発明の一実施形態によれば、PPS110はFMDD140に立体動画を提供し、ユーザーに向上した奥行知覚を提供する。本発明の代替的な実施形態によれば、ユーザーはMWT160上のコントロールキー(例えばボタン又はスイッチ)を用いてメニュー及び表示オプションを呼び出し、それらをFMDD140上で選択することができる。これにより、例えば、ユーザーは失敗した場合に溶接を容易にリセットすること、特定のパラメータを変更すること又は溶接ビードの軌道の一部をやり直すために少し前に戻ることができる。
図10は、図1のシステム100のプログラマブルプロセッサベースのサブシステム(PPS)110のサブシステムブロック図の例示的な実施形態を示す。本発明の一実施形態によれば、PPS110は中央処理装置(CPU)111及び2つのグラフィック処理装置(GPU)115を含む。本発明の一実施形態によれば、2つのGPU115は、リアルタイムの溶融金属流動性並びに熱吸収及び熱放散特性を有する溶接パドル(溶融池としても知られている)の仮想現実シミュレーションを提供するようにプログラムされている。
図11は、図10のPPS110のグラフィック処理装置(GPU)115のブロック図の例示的な実施形態を示す。各GPU115はデータ並列アルゴリズムの実行をサポートする。本発明の一実施形態によれば、各GPU115は2つの仮想現実の視界を提供可能な2つのビデオ出力118及び119を提供する。ビデオ出力のうちの2つをFMDD140に送って溶接士の視点をレンダリングし、第3のビデオ出力をODD150に送って、例えば溶接士の視点又は他の視点のいずれかをレンダリングしてもよい。残りの第4のビデオ出力は、例えばプロジェクタに送られ得る。双方のGPU115は同じ溶接物理演算(welding physics computations)を行うが、同じ又は異なる視点からの仮想現実環境をレンダリングし得る。GPU115はCUDA(compute unified device architecture)116及びシェーダー117を含む。CUDA116はGPU115の計算エンジンであり、業界標準のプログラミング言語によりソフトウェア開発者に利用可能である。CUDA116は並列コアを含み、本明細書に記載の溶接パドルシミュレーションの物理モデルを実行するのに用いられる。CPU111はGPU115のCUDA116にリアルタイムの溶接入力データを提供する。シェーダー117は、シミュレーションの視覚面(visuals)の全ての描画及び適用を担う。ビード及びパドルの視覚面は、本明細書において後で説明する溶接ピクセル変位マップ(wexel displacement map)の状態により決定される。本発明の一実施形態によれば、物理モデルは毎秒約30回の頻度で実行及び更新される。
図12は、図1のシステム100の機能ブロック図の例示的な実施形態を示す。図12に示すシステム100の様々な機能ブロックの大部分はソフトウェア命令及びPPS110で動作するモジュールにより実行される。システム100の様々な機能ブロックは、物理的インターフェイス1201、トーチ及びクランプモデル1202、環境モデル1203、サウンドコンテンツ機能1204、溶接音1205、スタンド/テーブルモデル1206、内部アーキテクチャ機能1207、較正機能1208、クーポンモデル1210、溶接物理特性1211、内部物理特性調節ツール(ツイーカー)1212、グラフィカルユーザーインターフェイス機能1213、グラフ機能1214、生徒レポート機能1215、レンダラー1216、ビードレンダリング1217、3Dテクスチャ1218、視覚キュー機能1219、スコア及び許容値機能1220、許容値エディター1221及び特殊効果1222を含む。
内部アーキテクチャ機能1207は、例えばファイルをロードすること、情報を保持すること、スレッドを管理すること、物理モデルをオンにすること及びメニューを提供することを含むシステム100のプロセスの高次のソフトウェアロジスティクスを提供する。本発明の一実施形態によれば、内部アーキテクチャ機能1207はCPU111上で動作する。PPS110への特定のリアルタイム入力は、アークの場所、ガンの位置、FMDD又はヘルメットの位置、ガンのオン/オフ状態及び接触状態(Y/N)を含む。
グラフィカルユーザーインターフェイス機能1213は、ユーザーが物理的インターフェイス130のジョイスティック132を用いODD150を通じて溶接シナリオをセットアップできるようにする。本発明の一実施形態によれば、溶接シナリオのセットアップは、言語の選択、ユーザー名の入力、練習するプレート(即ち、溶接クーポン)の選択、溶接プロセス(例えば、FCAW、GMAW、SMAW)の選択及び関連する軸方向噴霧、パルス若しくはショートアーク法の選択、ガスの種類及び流速の選択、溶接棒の種類(例えば6010又は7018)の選択並びにフラックスコアードワイヤ(例えばセルフシールド、ガスシールド)の種類の選択を含む。溶接シナリオのセットアップは、T/S170のテーブルの高さ、アームの高さ、アームの位置及びアームの回転を選択することも含む。溶接シナリオのセットアップは、環境(例えば仮想現実空間における背景環境)を選択すること、ワイヤ送給速度を設定すること、電圧レベルを設定すること、アンペア数を設定すること、極性を選択すること及び特定の視覚キューをオン又はオフにすることをさらに含む。
模擬溶接シナリオの間、グラフ機能1214はユーザーのパフォーマンスパラメータを収集し、そのユーザーのパフォーマンスパラメータを(例えばODD150上で)グラフィカルな形式で表示するためにグラフィカルユーザーインターフェイス1213に提供する。ST120からの追跡情報はグラフ機能1214に供給される。グラフ機能1214は簡易分析モジュール(SAM)及びホイップ/ウィーブ(whip/weave)分析モジュール(WWAM)を含む。SAMは、溶接トラベル角、移動速度、溶接角度、位置及びノズル高さを含むユーザーの溶接パラメータをビードテーブルに格納されたデータと比較することによりユーザーの溶接パラメータを分析する。WWAMは、ビードの間隔、ホイップ時間及びパドル時間を含むユーザーのホイッピングパラメータを分析する。WWAMは、ウィーブの幅、ウィーブの間隔及びウィーブタイミングを含むユーザーのウィービングパラメータも分析する。SAM及びWWAMは生入力データ(例えば、位置及び向きデータ)をグラフ化のために機能的に使用可能なデータに変換する。SAM及びWWAMにより解析された各パラメータのために、許容値エディター1221を用いてビードテーブルに入力された最適な又は理想的な設定点の周囲のパラメータ制限値(parameter limits)により許容値ウィンドウが規定される。
許容値エディター1221は材料の使用量、電気使用量及び溶接時間を概算するウェルドメーター(weldometer)を含む。さらに、特定のパラメータが許容範囲を外れると溶接不連続(即ち溶接欠陥)が生じ得る。溶接不連続の状態はグラフ機能1214によって処理され、グラフィカルユーザーインターフェイス機能1213によりグラフィカルな形式で提示される。そのような溶接不連続は、不適切な溶接サイズ、悪いビード配置、凹状ビード、過剰な凸性、アンダーカット、ポロシティ、不完全な融合、スラグの含有、余盛、焼け落ち及び過剰なスパッタを含む。本発明の一実施形態によれば、不連続のレベル又は量は特定のパラメータが最適又は理想の設定点からどれだけ離れているかに依存する。
例えば、溶接初心者、溶接熟達者及び見本市の出席者等の様々なタイプのユーザーのために別のパラメータ制限値を予め規定してもよい。スコア及び許容値機能1220は、特定のパラメータについてユーザーがどれだけ最適(理想)に近いかに応じて、また溶接部が呈する不連続又は欠陥のレベルに応じて得点を提供する。最適値は現実世界のデータから得られる。スコア及び許容値機能1220からの情報及びグラフ機能1214からの情報が生徒レポート機能1215によって用いられてインストラクター及び/又は生徒のパフォーマンスレポートが作成され得る。
システム100は、仮想溶接作業の結果を分析及び表示することができる。結果を分析するとは、システム100が、溶接パスの間の何時、そして溶接継手沿いの何処でユーザーが溶接プロセスの許容可能限度から逸れたかを求めることができることを意味する。得点はユーザーのパフォーマンスに起因し得る。一実施形態では、そのような得点は、理想的な溶接パスから最低限又は許容不可な溶接作業に広がり得る許容値の範囲に亘る疑似溶接工具160の位置、向き及び速度の逸脱の関数であり得る。範囲の勾配をシステム100に組み込んでユーザーのパフォーマンスの採点のために選択してもよい。得点は数字又は英数字で表示され得る。それに加えて、ユーザーのパフォーマンスをグラフィカルに表示し、時間的に及び/又は溶接継手沿いの位置においてどれ位近く疑似溶接工具が溶接継手を横断できたかを示してもよい。トラベル角、作業角度、速度及び溶接継手からの距離等のパラメータは計測され得るものの例であり、採点目的のために任意のパラメータを分析してもよい。パラメータの許容値の範囲は現実世界の溶接データから採られているため、現実世界でのユーザーのパフォーマンスについての正確なフィードバックが提供される。他の実施形態では、ユーザーのパフォーマンスに対応する欠陥の分析も組み込まれ、ODD150に表示され得る。この実施形態では、仮想溶接活動の間に観察した様々なパラメータの測定により、どのような種類の不連続ができたかを示すグラフが描画される。ODD150上で閉塞は見えないものの、ユーザーのパフォーマンスの結果として欠陥が起こることがあり、その結果が対応して表示され得る、即ちグラフ化され得る。
視覚キュー機能1219は、FMDD140及び/又はODD150に重ね合わせた色及びインジケータを表示することでユーザーに即時フィードバックを提供する。位置、ノズル高さ、溶接角度、トラベル角、移動速度及びアークの長さ(例えばアーク溶接の場合)を含む溶接パラメータ151のそれぞれのために視覚キューが提供され、ユーザーの溶接テクニックのある点を予め規定された限度又は許容値に基づき調節すべき場合にユーザーに視覚的に示す。例えば、ホイップ/ウィーブテクニック及び溶接ビードの「ダイム」間隔のためにも視覚キューが提供され得る。視覚キューは独立して又は任意の所望の組み合せで設定してもよい。
較正機能1208は、現実世界の空間(3D参照枠)における物理的コンポーネントを仮想現実空間におけるビジュアルコンポーネントと一致させる機能を提供する。様々な種類の溶接クーポン(WC)のそれぞれは、WCをT/S170のアーム173に取り付け、ST120に作動的に接続された較正用スタイラスでWCの所定の点(例えば、WC上に3つの窪みにより示される)を触ることにより工場で較正される。ST120は所定の点における磁界強度を測定し、PPS110に位置情報を提供する。そして、PPS110はその位置情報を用いて較正を行う(即ち、現実世界空間から仮想現実空間への変換)。
どの特定種類のWCも非常に厳格な許容値の範囲内で同じように繰り返し可能にT/S170のアーム173に適合する。そのため、特定種類のWCを一度較正すれば、その種類のWCを再度較正する必要がない(即ち、特定種類のWCの較正は一度きりである)。同じ種類のWCは交換可能である。較正により、溶接プロセスの間にユーザーが知覚した物理的フィードバックが仮想現実空間においてユーザーに表示されているものと確かに一致し、シミュレーションをより本物のように感じさせる。例えば、ユーザーがMWT160の先端を実物のWC180の角部の周りでスライドさせると、ユーザーは実際の角部の周りで先端がスライドすることを感じるため、ユーザーは仮想WCの角部の周りで先端がスライドするのをFMDD140上で見る。本発明の一実施形態によれば、MWT160は事前に配置されたジグ内に設置され、既知のジグ位置に基づいて較正される。
本発明の代替的な実施形態によれば、例えばクーポンの角部にセンサを有する「スマート」クーポンが設けられる。システム100が現実世界の3D空間のどこに「スマート」クーポンがあるかを継続的に知ることができるように、ST120は「スマート」クーポンの角部を追跡することができる。本発明のさらに代替的な実施形態によれば、溶接クーポンを「アンロック」するためにライセンスキーが提供される。特定のWCを購入した場合にライセンスキーが提供され、ユーザーはそのライセンスキーをシステム100に入力してそのWCに関連するソフトウェアをアンロックできる。本発明の他の実施形態によれば、現実世界のCAD部品図面に基づいて特別な非標準の溶接クーポンが提供され得る。ユーザーは、部品が現実世界で実際に作られるよりも前にCAD部品で溶接を訓練をすることができる。
サウンドコンテンツ機能1204及び溶接音1205は、特定の溶接パラメータが許容範囲内にあるか又は範囲の外にあるかに応じて変化する特定種類の溶接音を提供する。音は様々な溶接プロセス及びパラメータに合わせられている。例えば、MIGスプレーアーク溶接プロセスでは、ユーザーがMWT160を正しく配置していない場合にパチパチ音(crackling sound)が提供され、MWT160を正しく配置している場合にはスースー音(hissing sound)が提供される。ショートアーク溶接プロセスでは、溶接テクニックが適切である場合は一定のパチパチ音又はフライ音が提供され、アンダーカットが起きている場合はスースー音が提供され得る。これらの音は正しい溶接テクニック及び誤った溶接テクニックに対応する現実世界の音を模倣したものである。
本発明の様々な実施形態によれば、様々な電気的及び機械的手段を使った実際の溶接の現実世界での録音から高忠実度のサウンドコンテンツを採ってもよい。本発明の一実施形態によれば、MWT160とWC180との間の模擬アークに対するユーザーの頭の位置、向き及び距離(ST120によって追跡されるFMDD140をユーザーが装着しているものと仮定する)に応じて知覚される音の音量及び指向性が変更される。音は、例えばFMDD140のイヤホン型スピーカー910を通じて又はコンソール135又はT/S170において構成されたスピーカーを通じてユーザーに提供され得る。
環境モデル1203は、仮想現実空間において様々な背景シーン(静止画及び動画シーン)を提供するために設けられている。そのような背景環境は、例えば室内溶接工場、屋外レース場、ガレージ等を含み、移動する車、人、鳥、雲及び様々な環境音を含み得る。本発明の一実施形態によれば、背景環境は双方向性であり得る。例えば、ユーザーは溶接を始める前に背景領域を調査してその環境が溶接に適していること(例えば安全であること)を確実にする必要があり得る。ガン、溶接棒を備えたホルダー等を含む様々なMWT160を仮想現実空間でモデル化するトーチ及びクランプモデル1202が設けられている。
平板クーポン、T継手クーポン、突き合わせ継手クーポン、開先溶接クーポン及びパイプクーポン(例えば、直径2インチのパイプと直径6インチのパイプ)等を含む様々なWC180を仮想現実空間でモデル化するクーポンモデル1210が設けられている。調節可能なテーブル171、スタンド172、調節可能アーム173及び垂直ポスト174を含むT/S170の様々なパーツを仮想現実空間においてモデル化するスタンド/テーブルモデル1206が設けられている。溶接ユーザーインターフェイス130、コンソール135及びODD150の様々なパーツを仮想現実空間においてモデル化する物理的インターフェイスモデル1201が設けられている。
本発明の一実施形態によれば、仮想現実空間における溶接パドル又は溶融池のシミュレーションが実現され、シミュレートされた溶融パドルはリアルタイムの溶融金属流動性及び熱放散特性を有する。溶融パドルのシミュレーションの中心は溶接物理特性機能1211(物理モデルとしても知られている)であり、本発明の一実施形態によればGPU115上で動作する。溶接物理特性機能は、動的な流動性/粘性、固体性、熱勾配(熱吸収及び熱放散)、パドル跡(puddle wake)及びビードの形状を正確にモデル化するために二重変位層法(double displacement layer technique)を用い、該方法を図14A〜図14Cに関連して本明細書でより詳細に説明する。
溶接物理特性機能1211はビードレンダリング機能1217と通信を行い、加熱溶融状態から冷却凝固状態までの全ての状態の溶接ビードをレンダリングする。ビードレンダリング機能1217は溶接物理特性機能1211からの情報(例えば、熱、流動性、変位、ビード間隔)を用いて、仮想空間において溶接ビードを正確且つ本物のようにリアルタイムでレンダリングする。3Dテクスチャ機能1218は、付加的なテクスチャ(例えば、焼け焦げ、スラグ、粒子)をシミュレートした溶接ビードに重ねるためにビードレンダリング機能1217にテクスチャマップを提供する。例えば、溶接プロセスの間及び溶接プロセスの直後に溶接ビード上にレンダリングされたスラグを表示し、その後にスラグの下の溶接ビードを示すために取り除かれる。レンダリング機能1216は、特殊効果モジュール1222からの情報を用いて火花、スパッタ、煙、アークの光、ヒューム及びガス並びに例えばアンダーカットやポロシティ等の特定の非連続を含む非パドルの様々な特定の特徴をレンダリングするのに用いられる。
内部物理特性調節ツール1212は、様々な溶接プロセスのために様々な溶接物理パラメータを規定、更新及び変更することを可能にする調節ツールである。本発明の一実施形態によれば、内部物理溶接ツール1212はCPU111上で動作し、調節又は更新されたパラメータがGPU115にダウンロードされる。内部物理特性調節ツール1212により調節され得るパラメータの種類としては、溶接クーポンに関するパラメータ、溶接クーポンをリセットすることなくプロセスの変更を可能にするプロセスパラメータ(第2のパスを行うことを可能にする)、シミュレーション全体をリセットすることなく変更可能な様々な包括的パラメータ及び他の様々なパラメータが挙げられる。
図13は、図1の仮想現実訓練システム100を用いた訓練方法1300の実施形態のフローチャートである。ステップ1310では、溶接技術に従って、溶接クーポンに対して疑似溶接工具を動かす。ステップ1320では、仮想現実システムを用いて三次元空間における疑似溶接工具の位置及び向きを追跡する。ステップ1330では、模擬疑似溶接工具が、該模擬疑似溶接工具から放出される模擬アークの近傍に模擬溶接パドルを形成することにより模擬溶接クーポンの少なくとも1つの模擬面に模擬溶接ビード材を溶着するのに伴い、仮想現実空間における疑似溶接工具及び溶接クーポンのリアルタイム仮想現実シミュレーションを示す仮想現実溶接システムの表示を見る。ステップ1340では、模擬溶接パドルのリアルタイムの溶融金属流動性及び熱放散特性をディスプレイ上で見る。ステップ1350では、模擬溶接パドルのリアルタイムの溶融金属流動性及び熱放散特性を見たことに対応して溶接技術の少なくとも1つの側面をリアルタイムで変更する。
方法1300は、どのようにしてユーザーは仮想現実空間において溶接パドルを見て、リアルタイムの溶融金属流動性(例えば粘性)及び熱放散を含む模擬溶接パドルの様々な特性を見たことに対応してユーザーの溶接技術を変更できるかを示す。ユーザーは、リアルタイムのパドル跡及びビード間隔を含む他の特性を見て、それらに対応してもよい。溶接パドルの特性を見ること及び反応することは、現実世界のほとんどの溶接作業で実際に行われる。GPU115上で動作する溶接物理特性機能1211の二重変位層モデリングは、そのようなリアルタイムの溶融金属流動性及び熱放散特性を正確にモデル化しユーザーに示すことを可能にする。例えば、熱放散は凝固時間を決定する(即ち、溶接要素が完全に凝固するのに要する時間)。
さらに、ユーザーは、同じ又は異なる(例えば第2の)疑似溶接工具及び/又は溶接プロセスを用いて溶接ビード材の上に第2のパスを形成し得る。そのような第2のパスのシナリオでは、シミュレーションは、模擬疑似溶接工具、溶接クーポン及び元の模擬溶接ビード材を仮想現実環境において示し、模擬疑似溶接工具が、その模擬疑似溶接工具から放出される模擬アークの近傍に第2の模擬溶接パドルを形成することにより、第1の模擬溶接ビード材と合体する第2の模擬溶接ビードを溶着する。同様に、同じ若しくは異なる溶接工具又はプロセスを用いて追加の後続のパスを作ってよい。本発明の特定の実施形態によれば、第2の又は後続のパスでは、前の溶接ビード材、新たな溶接ビード材及び場合によってはその下のクーポン材料の組み合せから新たな溶接パドルが仮想現実空間において形成されるため、前の溶接ビード材が溶着される新たな溶接ビード材と合体する。そのような後続のパスは、例えば大きな隅肉を作るために又は開先溶接のために必要であり得るか、前のパスで形成された溶接ビードを修理するために行われ得るか又はパイプ溶接で行われるようにルートパス後にホットパス及び1つ以上のフィルパス及びキャップパスを含み得る。本発明の様々な実施形態によれば、溶接ビード及びベース材料は軟鋼、ステンレススチール、アルミニウム、ニッケルベースの合金又は他の材料を含み得る。
図14A及び図14Bは、本発明の一実施形態に係る溶接要素(溶接ピクセル)変位マップ1420の概念を示す。図14Aは平らな上面1410を有する平らな溶接クーポン(WC)1400の側面図を示す。溶接クーポン1400は、現実世界では、例えば、プラスチック部品として存在し、また仮想現実空間では模擬溶接クーポンとして存在する。図14Bは、溶接ピクセルマップ1420を形成する溶接要素(即ち、溶接ピクセル)のグリッド又はアレイに分割されたシミュレートされたWC1400の上面1410の表示を示す。各溶接ピクセル(例えば、溶接ピクセル1421)は溶接クーポンの上面1410の小さい部分を規定する。溶接ピクセルマップは表面解像度を規定する。可変チャンネルパラメータ値が各溶接ピクセルに割り当てられ、各溶接ピクセルの値を、模擬溶接プロセスの間に仮想現実溶接空間において動的にリアルタイムに変化することができる。可変チャンネルパラメータ値は、パドル(Puddle)(溶融金属の流動性/粘性変位)、熱(Heat)(熱吸収/熱放散)、変位(Displacement)(固体変位)及びエキストラ(Extra)(例えば、スラグ、粒子、焼け焦げ、新地金等の様々なさらな凝固状態)というチャンネルに対応する。本明細書では、これらの可変チャンネルを、パドル、熱、エキストラ及び変位の頭文字をとってPHEDと呼ぶ。
図15は、図1のシステム100でシミュレートした図14の平らな溶接クーポン(WC)1400のクーポン空間及び溶接空間の例示的な実施形態を示す。ポイントO、X、Y及びZは、ローカル3Dクーポン空間を定める。一般に、各クーポンの種類は、3Dクーポン空間から2D仮想現実溶接空間へのマッピングを定める。図14の溶接ピクセルマップ1420は、仮想現実の溶接空間にマッピングするための値の2次元のアレイである。ユーザーは、図15に示すようにポイントBからポイントEまで溶接するものとする。ポイントBからポイントEへの軌跡線は、図15の3Dクーポン空間及び2D溶接空間の両方に示される。
クーポンの各種類は、溶接ピクセルマップにおける各場所の変位の方向を定める。図15の平らな溶接クーポンの場合、変位の方向は溶接ピクセルマップの全ての場所において同じである(即ちZ方向)。マッピングを明らかにするために、溶接ピクセルマップのテクスチャ座標を3Dクーポン空間及び2D溶接空間の両方でS、T(時々U、Vと呼ぶ)として示す。溶接ピクセルマップは、溶接クーポン1400の長方形面1410にマッピングされるとともに溶接クーポン1400の長方形面1410を示す。
図16は、図1のシステム100でシミュレートした角(T継手)溶接クーポン(WC)1600のクーポン空間及び溶接空間の例示的な実施形態を示す。角WC1600は3Dクーポン空間に2つの面1610及び1620を有し、それらは図16に示すように2D溶接空間にマッピングされる。この場合もまた、ポイントO、X、Y及びZはローカル3Dクーポン空間を定める。マッピングを明らかにするために、溶接ピクセルマップのテクスチャ座標を3Dクーポン空間及び2D溶接空間の双方でS、Tとして示す。ユーザーは、図16に示すようにポイントBからポイントEに溶接することになる。ポイントBからポイントEへの軌跡線は、図16の3Dクーポン空間及び2D溶接空間の両方に示される。しかしながら、変位の方向は、3Dクーポン空間に示されるように線X’−O’に向かい、図16に示すように反対側の角を向かう。
図17は、図1のシステム100でシミュレートしたパイプ溶接クーポン(WC)1700のクーポン空間及び溶接空間の例示的な実施形態を示す。パイプWC1700は3Dクーポン空間に曲面1710を有し、これは図17に示すように2D溶接空間にマッピングされる。この場合もまた、ポイントO、X、Y及びZは、ローカル3Dクーポン空間を定める。マッピングを明らかにするために、溶接ピクセルマップのテクスチャ座標を3Dクーポン空間及び2D溶接空間の双方でS、Tとして示す。ユーザーは、図17に示すように湾曲した軌跡に沿ってポイントBからポイントEまで溶接することになる。ポイントBからポイントEへの軌跡曲線及び線を、図17の3Dクーポン空間及び2D溶接空間のそれぞれに示す。変位の方向は、線Y−Oから遠ざかる(即ち、パイプの中心から遠ざかる)方向である。図18は、図17のパイプ溶接クーポン(WC)1700の例示的な実施形態を示す。パイプWC1700は、非鉄、非導電性のプラスチックで作られ、一体となってルート継手1703を形成する2つのパイプピース1701及び1702をシミュレートする。T/S170のアーム173に取り付けるためのアタッチメントピース1704も図示してある。
幾何学形状の長方形の表面領域にテクスチャマップがマッピングされ得るのと同様の方法で、溶接可能な溶接ピクセルマップが、溶接クーポンの長方形表面にマッピングされ得る。溶接可能なマップの各要素は、ピクチャの各要素をピクセル(画素の短縮)と呼ぶのと同じ意味で溶接ピクセルと呼ぶ。ピクセルは、色(例えば、赤、緑、青、他)を定める情報のチャンネルを含む。溶接ピクセルは、仮想現実空間において溶接可能な面を定める情報のチャンネル(例えば、P、H、E、D)を含む。
本発明の一実施形態によれば、溶接ピクセルのフォーマットは、4つの浮動小数点数を含むチャンネルPHED(パドル、熱、エキストラ、変位)として要約される。エキストラチャンネルは、例えば、溶接ピクセルの場所にスラグがあるかどうかといった溶接ピクセルに関する論理的情報を格納するビットのセットとして扱われる。パドルチャンネルは、溶接ピクセルの場所での任意の液状金属に関する変位値を格納する。変位チャンネルは、溶接ピクセルの場所での任意の凝固金属に関する変位値を格納する。熱チャンネルは、溶接ピクセルの場所での熱の大きさを与える値を格納する。このように、クーポンの溶接可能な部分は、溶接されたビードに起因する変位、液体金属に起因する揺らめく表面の「パドル」、熱に起因する色等、を示すことができる。これらの効果の全ては、溶接可能な表面に適用される頂点及びピクセルシェーダーによって実現される。
本発明の一実施形態によれば、変位マップ及びパーティクルシステムが使用され、粒子は互いに相互作用し得るとともに変位マップと衝突し得る。粒子は仮想動的流体粒子であり、溶接パドルの液体挙動を提供するが、直接レンダリングされない(即ち、直接視覚的に見られない)。代わりに、変位マップに対する粒子の効果のみが視覚的に見られる。溶接ピクセルへの入熱は、近くの粒子の運動に影響を及ぼす。パドル及び変位を含む溶接パドルをシミュレートするのに関わる2つのタイプの変位がある。パドルは「一時的」であり、粒子及び熱が存在する間しか続かない。変位は「永久的」である。パドル変位は、急速に変化する(例えば、揺らめく)溶接の液体金属であり、変位の「上に」あると考えられ得る。粒子は、仮想表面変位マップ(即ち、溶接ピクセルマップ)の一部を重なる。変位は、最初のベース金属及び凝固した溶接ビードの両方を含む永久的な固体金属を表す。
本発明の一実施形態によれば、仮想現実空間でシミュレートされた溶接プロセスは次のように動く:粒子が細い円錐のエミッタ(シミュレートされたMWT160のエミッタ)から流れる。粒子は、溶接ピクセルマップによって定められる表面であるシミュレートされた溶接クーポンの表面と最初の接触をする。粒子は、互いに及び溶接ピクセルマップと相互作用し、リアルタイムで増大する。溶接ピクセルがエミッタに近いほど多くの熱が加えられる。熱は、アークポイントからの距離及びアークから入力される熱の時間の量に依存してモデル化される。いくつかのビジュアル(例えば、色等)が熱によって駆動される。溶接パドルが、十分な熱を有する溶接ピクセルに対して仮想現実空間で描画されるか又はレンダリングされる。十分熱いところはどこでも、溶接ピクセルマップが液体になり、パドル変位をこれらの溶接ピクセルの場所に対して「上げ」させる。パドル変位は、各溶接ピクセルの場所における「最高」の粒子をサンプリングすることによって決定される。エミッタが溶接軌跡に沿って動くとき、残された溶接ピクセルの場所は冷える。熱は特定の速度で溶接ピクセルの場所から除去される。冷却閾値に達すると、溶接ピクセルマップは凝固する。このように、パドル変位は、変位(即ち凝固したビード)に徐々に変換される。追加される変位は、全高が変化しないように除去されるパドルと等しい。粒子の寿命は、凝固が完了するまで存続するように微調整又は調節される。システム100でモデル化される幾つかの粒子の特性は、引力/斥力、速度(熱に関連する)、減衰(放熱に関連する)、方向(重力に関連する)を含む。
図19A〜図19Cは、図1のシステム100の二重変位(変位及び粒子)パドルモデルの概念の例示的な実施形態を示す。溶接クーポンは、少なくとも1つの面を有して仮想現実空間でシミュレートされる。溶接クーポンの面は、固体変位層及びパドル変位層を含む二重変位層として仮想現実空間でシミュレートされる。パドル変位層は、固体変位層を変更することができる。
本明細書に記載の「パドル」は、パドル値が粒子の存在によって上げられている溶接ピクセルマップの領域によって定められる。サンプリングプロセスを図19A〜図19Cに表す。溶接ピクセルマップの部分が、7つの隣接する溶接ピクセルを有して示される。現在の変位値は、所定の高さ(即ち、各溶接ピクセルに対する所定の変位)の陰影のない長方形の棒1910によって表される。図19Aでは、粒子1920を、現在の変位レベルと衝突し積み重ねられた丸い陰影のない点として示される。図19Bでは、「最も高い」粒子高さ1930が各溶接ピクセルの場所でサンプリングされる。図19Cでは、陰影付き長方形1940が、どれくらいのパドルが粒子の結果として変位の上部に加えられたかを示す。溶接パドル高さは、パドルが熱に基づいて特定の液化速度で加えられるので、サンプリングされた値に即座に設定されない。図19A〜図19Cに図示していないが、パドル(陰影付き長方形)が徐々に縮むとともに変位(陰影のない長方形)が正確にパドルに代わるように下から徐々に伸びるので、凝固プロセスを可視化することが可能である。このように、リアルタイムの溶融金属の流動性が正確にシミュレートされる。ユーザーが特定の溶接プロセスを練習するとき、ユーザーは仮想現実空間で溶接パドルの溶融金属の流動性及び熱放散特性をリアルタイムに観察できるとともに、この情報をユーザーの溶接技術の調節又は維持に用いることができる。
溶接クーポンの面を表す溶接ピクセルの数は固定されている。さらに、流動性をモデル化するためにシミュレーションによって生成されるパドル粒子は本明細書で説明したように一時的である。従って、システム100を用いてシミュレートされた溶接プロセスの間に初期パドルが仮想現実空間に一度生成されると、溶接ピクセル及びパドル粒子の数は比較的一定のままの傾向がある。これは、処理されている溶接ピクセルの数が固定され、パドル粒子は同様の割合で作られるとともに「破壊される」(即ち、パドル粒子は一時的である)ため溶接プロセスの間に存在するとともに処理されているパドル粒子の数は比較的一定のままの傾向があるためである。従って、PPS110の処理負荷は、シミュレートされる溶接セッションの間比較的一定のままである。
本発明の代替的な実施形態によれば、パドル粒子は溶接クーポンの表面内又は同表面の下で生成され得る。そのような実施形態では、変位は、未加工(即ち溶接されていない)クーポンの元の表面の変位に対して正又は負であるようにモデル化され得る。このように、パドル粒子は溶接クーポンの表面に蓄積し得るだけでなく、溶接クーポンを貫通もし得る。しかしながら、溶接ピクセルの数は依然として固定され、作られるとともに破壊されるパドル粒子は依然として比較的一定である。
本発明の代替的な実施形態によれば、粒子をモデル化する代わりに、パドルの流動性をモデル化するためにより多くのチャンネルを有する、溶接ピクセル変位マップが提供され得る。あるいは、粒子をモデル化する代わりに、高密度なボクセルマップがモデル化され得る。あるいは、溶接ピクセルマップをモデル化する代わりに、サンプリングされるとともに決して消えない粒子のみがモデル化され得る。しかしながら、そのような代替的な実施形態はシステムに対して比較的一定の処理負荷を提供しない場合がある。
さらに、本発明の一実施形態によれば、吹き抜け又はキーホールが材料を取り除くことによってシミュレートされる。例えば、ユーザーがアークを同じ場所であまりにも長い間保持すると、現実世界では材料が燃え尽きて穴ができる。このような現実世界での吹き抜けが溶接ピクセルデシメーションテクニックによってシステム100でシミュレートされる。溶接ピクセルによって吸収される熱の量が高過ぎるとシステム100が判断すると、その溶接ピクセルは、燃え尽きているとしてフラグが付されるか又は指定され得るとともに、そのようにレンダリングされる(例えば穴としてレンダリングされる)。しかしながら、その後に、ある溶接プロセス(例えばパイプ溶接)の場合には溶接ピクセル再構成が発生し、その場合は材料が最初に燃え尽きた後に追加されて戻される。一般に、システム100は、溶接ピクセルデシメーション(材料を取り除く)及び溶接ピクセル再構成(即ち、材料を追加して戻す)をシミュレートする。さらに、ルートパス溶接における材料の除去がシステム100において適切にシミュレートされる。
さらに、ルートパス溶接における材料の除去がシステム100において適切にシミュレートされる。例えば、現実世界では、ルートパスの研磨がその後の溶接パスの前に実行され得る。同様に、システム100は、仮想溶接継手から材料を除去する研磨パスをシミュレートし得る。除去される材料は溶接ピクセルマップの負の変位としてモデル化され得ることが理解される。即ち、研磨パスは、システム100によってモデル化される材料を除去し、変更されたビード輪郭をもたらす。研磨パスのシミュレーションは自動的であり得る。即ち、システム100は材料の所定の厚さを除去し、これはルートパス溶接ビードの表面にあり得る。
代替的な実施形態では、疑似溶接工具160又は他の入力装置の作動によりオン及びオフされる実際の研磨ツール又はグラインダがシミュレートされ得る。なお、研磨ツールは現実世界のグラインダに類似するようにシミュレートされ得る。この実施形態では、ユーザーはルートパスに沿って研磨ツールを操作し、その動きに応じて材料が除去される。ユーザーは過度に材料を除去することが許容され得ることが分かる。上述したのと同様の方法で、ユーザーが過度に材料を研磨すると穴又は(上述した)他の欠陥が生じ得る。それでも、ユーザーが過度に材料を除去することを防ぐために又は過度に材料が除去されるとそのことを示すためにハードリミット又はストップが実装、即ちプログラムされ得る。
本発明の一実施形態によれば、本明細書で説明した不可視の「パドル」粒子に加えて、システム100はアーク、火炎及び火花効果を表現するために3つの他の種類の可視粒子も使用する。これらの種類の粒子はいずれの種類の他の粒子と相互に作用しないが、変位マップのみと相互に作用する。これらの粒子はシミュレートされた溶接面と衝突するが、それらは互いに相互に作用しない。本発明の一実施形態によれば、パドル粒子のみが互いに相互に作用する。火花粒子の物理特性は、火花粒子が飛び回るとともに仮想現実空間において輝く点としてレンダリングされるように設定される。
アーク粒子の物理特性は、アーク粒子がシミュレートされたクーポン又は溶接ビードの表面に当たってしばらく留まるように設定される。アーク粒子は、仮想現実空間において薄暗く青白い大きなスポットとしてレンダリングされる。任意の種類の視覚映像を形成するには多くのそのようなスポットを重ね合わせる必要がある。最終結果は、青い端部を持つ白く輝く光輪である。
火炎粒子の物理特性は上方にゆっくり上がるようにモデル化される。火炎粒子は、薄暗い黄赤色の中間サイズのスポットとしてレンダリングされる。任意の種類の視覚映像を形成するには多くのそのようなスポットを重ね合わせる必要がある。最終結果は、赤色の端部が上方に上がるとともに次第に消えるぼんやりした橙赤色の炎である。本発明の一実施形態によれば、他の種類の非パドル粒子がシステム100に実装され得る。例えば、煙粒子が炎粒子と同様の方法でモデル化されるとともにシミュレートされ得る。
シミュレートされた可視化の最終ステップは、GPU115のシェーダー117によって提供される頂点及びピクセルシェーダーによって扱われる。頂点及びピクセルシェーダーは、パドル及び変位、並びに熱に起因して変更される表面の色及び反射率等を適用する。本明細書で前に解説したPHED溶接ピクセルフォーマットのエキストラチャンネルは、溶接ピクセル毎に使用されるエキストラ情報の全てを含む。本発明の一実施形態によれば、エキストラ情報は非未加工ビット(真=ビード、偽=未加工スチール)、スラグビット、アンダーカット値(その溶接ピクセルにおけるアンダーカットの量であり、ゼロはアンダーカットが無いことに等しい)、ポロシティ値(その溶接ピクセルにおけるポロシティの量であり、ゼロはポロシティが無いことに等しい)及びビードが凝固する時間をエンコードするビード跡値を含む。未加工スチール、スラグ、ビード及びポロシティを含む様々なクーポン映像に関連する一連の画像マップがある。これらの画像マップはバンプマッピング及びテクスチャマッピングの両方に使用される。これらの画像マップのブレンディングの量は、本明細書で説明した様々なフラグ及び値によって制御される。
ビード跡効果は、1D画像マップ及び所定のビード片が凝固する時間をエンコードする溶接ピクセル毎のビード跡値を使用して実現される。熱いパドル溶接ピクセルの場所がもはや「パドル」と呼ぶには十分熱くなくなると、時間がその場所において保存され「ビード跡」と呼ばれる。最終結果は、シェーダーコードが1Dテクスチャマップを使ってビードが置かれた方向を表現する独特の外観をビードに与える「さざ波」を描くことができる。本発明の代替的な実施形態によれば、システム100は、シミュレートされた溶接パドルが溶接軌跡に沿って動かされることによるシミュレートされた溶接パドルのリアルタイムの流動状態から凝結への移行に起因するリアルタイム溶接ビード跡特性を有する溶接ビードを仮想現実空間でシミュレートすることができるとともに表示することができる。
本発明の代替的な実施形態によれば、システム100は、ユーザーに溶接機の故障修理法を教えることができる。例えば、システムのトラブルシューティングモードは、ユーザーが確かにシステムを正しくセットアップ(例えば、正しいガス流量、正しい電源コード接続、等)できるようにユーザーを訓練し得る。本発明の他の代替的な実施形態によれば、システム100は、溶接セッション(又は少なくとも溶接セッションの一部、例えば、Nフレーム)を記録及び再生することができる。ビデオのフレームをスクロールするためのトラックボールが設けられ、ユーザー又はインストラクターが溶接セッションを批評することができる。再生を選択可能な速度(例えば、フルスピード、半分の速度、1/4の速度)で提供することもできる。本発明の一実施形態によれば、分割スクリーン再生を提供することができ、2つの溶接セッションを、例えばODD150上で並べて見ることができる。例えば、「良い」溶接セッションが、比較目的で「悪い」溶接セッションの隣で見られ得る。
特定の実施形態によれば、ステレオ3D伝送方式(stereoscopic 3D transmission format)で仮想現実要素を表示する。立体視法(3次元画像化)は、両眼立体視(stereopsis for binocular vision)により、画像に奥行き知覚を持たせるか又は画像の奥行き知覚を向上させる技術である。多くの場合、立体法では、画像観察者の右目及び左目に2つのオフセット画像が別々に提示される。観察者の脳は、3次元の奥行きの幻影をもたらすために2次元画像であるそれらの画像を組み合わせようとする。立体視法は、単に画像を3つの次元をフルに使って(three full dimensions)表示する単純な3D法とは異なる。立体視法では、観察者は自身の眼及び/又は頭を動かすことで表示されている3次元物体に関するより多くの情報を観察できる。多くの立体視技術では、ユーザーがアクティブ又はパッシブ型の3Dメガネ等の3Dアイウェア(3D eyewear)を着用することが必要になる。しかしながら、自動立体視(auto-stereoscopy)技術では、ユーザーが3Dアイウェアを何ら用いることなく立体画像を表示及び観察することができる。
一実施形態は、仮想現実空間でリアルタイムに生成される仮想溶接物に対応するシミュレーションデータを生成するように構成されたプログラマブルプロセッサベースのサブシステムを含むシステムを提供する。当該システムは、前記プログラマブルプロセッサベースのサブシステムに作動的に接続され、前記仮想溶接物の少なくとも一部を表す前記シミュレーションデータの少なくとも一部をステレオ3D伝送方式の3Dデータに変換するように構成された3D変換ユニットも含む。当該システムは、前記3D変換ユニットに作動的に接続され、前記3Dデータを前記3D変換ユニットから受信し、前記3Dデータの立体表現(stereoscopic representation)の表示を促すように構成された3D表示促進装置をさらに含む。3D表示促進装置は、例えば3Dプロジェクタ又は3Dテレビ受像機であり得る。仮想溶接物の溶接ビード部は、リアルタイムの溶融金属流動性及び熱放散特性を有する模擬溶接パドルに起因するものであり得る。該リアルタイムの溶融金属流動性及び熱放散特性は、前記仮想溶接物の溶接ビード部を形成するために前記模擬溶接パドルを動かすときに前記模擬溶接パドルの流動から凝固へのリアルタイムの転移(real-time fluidity-to-solidification transition)をもたらす。当該システムは、前記3D表示促進装置に作動的に接続され、前記3Dデータの立体表現を表示するように構成された表示画面及びユーザーが前記表示画面上の前記3Dデータの立体表現を3D空間内の3D画像として見るために着用するように構成された3Dアイウェアも含み得る。当該システムは、前記3D表示促進装置に作動的に連結され、ユーザーが前記表示画面上の前記3Dデータの立体表現の空間的方向を操作できるように構成された3Dユーザーインターフェイスをさらに含み得る。前記シミュレーションデータは前記仮想溶接物の少なくとも断面部分を表し得る。
一実施形態は、仮想現実空間でリアルタイムに生成されるリアルタイムの溶接ビード跡特性を有する模擬溶接ビードに対応するシミュレーションデータを生成する工程を含む方法を提供する。前記シミュレーションデータは前記溶接ビードの少なくとも断面部分を表し得る。当該方法は、前記溶接ビードを表す前記シミュレーションデータをステレオ3D伝送方式の3Dデータに変換する工程及び前記3Dデータの立体表現を表示する工程も含む。前記模擬溶接ビードは、リアルタイムの溶融金属流動性及び熱放散特性を有する模擬溶接パドルに起因するものであり得る。該リアルタイムの溶融金属流動性及び熱放散特性は、前記模擬溶接ビードを形成するために前記模擬溶接パドルを動かすときに前記模擬溶接パドルの流動から凝固へのリアルタイムの転移をもたらす。前記3Dデータの立体表現を表示する工程は、表示画面に対して前記3Dデータの立体表現を投射することを含み得る。前記3Dデータの立体表現を表示する工程は、3Dテレビ受像機の表示画面上に前記3Dデータの立体表現を表示することを含み得る。当該方法は、ユーザーが着用するように構成された3Dアイウェアを用いて、表示された前記3Dデータの立体表現を観察する工程をさらに含み得る。当該方法は、表示された前記3Dデータの立体表現の空間的方向を操作する工程も含み得る。
一実施形態は、仮想現実空間内の仮想溶接環境に対応するシミュレーションデータを生成する工程を含む方法を提供する。当該方法は、前記仮想溶接環境の一部を表す前記シミュレーションデータの一部をステレオ3D伝送方式の3Dデータに変換する工程及び前記3Dデータの立体表現を表示する工程も含む。前記仮想溶接環境の前記一部は、模擬溶接棒(例えばスティック又はワイヤ)、模擬溶接工具、模擬溶接物又は模擬溶接クーポンを含み得る。当該方法は、表示された前記3Dデータの立体表現の空間的方向を操作する工程をさらに含み得る。当該方法は、ユーザーが着用するように構成された3Dアイウェアを用いて、表示された前記3Dデータの立体表現を観察する工程も含み得る。あるいは、前記ステレオ3D伝送方式は観察のために3Dアイウェアを用いない自動立体視方式であり得る。
図20は、リアルタイム仮想現実環境でアーク溶接の訓練を提供するシステム2000のシステムブロック図の第2の例示の実施形態を示す。システム2000は図1のシステム100と同様である。しかしながら、システム2000はPPS110に作動的に接続された3D変換ユニット2010を含む。3D変換ユニット2010はPPS110からシミュレーションデータを受信し、そのシミュレーションデータをステレオ3D伝送方式の3Dデータに変換するように構成されている。
シミュレーションデータは、例えば模擬溶接物、模擬溶接ビード、模擬溶接棒(例えばスティック又はワイヤ)、模擬溶接工具(例えばガン又はトーチ)又は模擬溶接クーポンを含む模擬仮想現実溶接環境の任意の部分を表現し得る。例えば、模擬溶接物又は溶接ビードの断面部分により、ユーザーは仮想溶接部の内部を見て内部欠陥を確認することができる。一実施形態によれば、ユーザーは、溶接ユーザーインターフェイス130を用いて仮想溶接環境のどの部分を3Dデータに変換するか選択してもよい。ステレオ3D伝送方式では、ユーザーは表示画面上に提示された仮想溶接環境の選択部分を3D空間に現れた3D画像として観察することができる。ステレオ3D伝送方式の種類の例としては、フレームシーケンシャル、フレームパッキング、サイドバイサイド及びチェッカーボードが挙げられる。他の実施形態によれば、他の伝送方式も可能である。
図21は、図20のシステム2000を用いて仮想溶接環境の一部として生成された仮想要素のステレオ3D観察を提供するシステム2100のシステムブロック図の例示の実施形態を示す。システム2100は、図20のシステム2000と、システム2000に作動的に接続された3D表示促進装置(例えば3Dテレビ又は3Dプロジェクタ)2110と、3D表示促進装置2110に作動的に接続された表示画面2120と、ユーザーインターフェイス2130とを含む。
システム2000の3D変換ユニット2010からの3Dデータはステレオ3D伝送方式で3D表示促進装置2110に伝送され得る。3D表示促進装置2110は3Dデータを受信し、表示画面2120に3Dデータの立体表現を(例えば投射による)表示のために提供する。ステレオ3D伝送方式が自動立体視方式の場合は、ユーザーは3Dアイウェア(例えば3Dメガネ)を用いることなく表示画面2120上の3Dデータの立体表現を3D空間に現れた3D画像として観察できる。ステレオ3D伝送方式が自動立体視方式でない場合、システム2100は、ユーザーが表示画面2120上のステレオ3Dデータの表現を3D空間に現れた3D画像として観察するため着用するように構成された3Dアイウェア2140を含み得る。3Dアイウェアは3Dテレビ又は3Dプロジェクタの構成によってパッシブ型又はアクティブ型になり得る。
ユーザーインターフェイス2130により、溶接の生徒又はインストラクターは表示画面上の3Dデータの空間的方向を操作するか又は変更することができる。その結果、例えば図21のシステムを用いて溶接の生徒が作った仮想溶接物の結果をステレオ3Dで観察している生徒又はインストラクターは、自身が観察しているものについて理解を深め、自身の知識を高め、学習した内容を長きに亘ってより効果的に維持し得る。3Dユーザーインターフェイス2130は、例えば、キーボード、コンピュータマウス、ジョイスティック又はトラックボールのうちの1つ以上を含み得る。
一実施形態によれば、3D変換ユニットによって生成された3Dデータは静的3Dフレーム又は動的3D動画の形式であり得る。例えば、溶接のインストラクターは、仮想溶接セッションの間に溶接の生徒が作り、システム2100により記録された3Dの仮想溶接物との関連で仮想溶接ガンを観察できる。このように、溶接のインストラクターは記録した溶接セッションを3Dで再生及び観察し、その仮想溶接部をつくるために生徒がどのように溶接ガンを配置及び移動させたかを観察してもよい。一実施形態によれば、ユーザーインターフェイス2130は測定ツールを提供し、ユーザーが表示された3D画像の関心領域を測定できるようにしてもよい。さらに、ユーザーインターフェイス2130はユーザーが表示された3D画像のある領域を分割し、分割した領域を観察し易くするために拡大できるようにしてもよい。
一実施形態によれば、システム2100は、例えば、システム2000を用いて形成した様々な種類の溶接部及び溶接技法、青写真、溶接クーポン又はシステム2100を用いてより簡単に3Dで視覚化され得る他の教育的な画像又は映像を示す3D形式の画像及び/又は映像のライブラリを保存し得る。例えば、システム2000又はシステム2100は、3D形式の情報を保存するように構成された記憶装置2020又は2150(例えばハードディスク又はデータベースサブシステム)を含み得る。
特定の実施形態を参照しながら本発明を説明してきたが、当業者であれば本発明の範囲から逸脱することなく様々な変更が加えられ、同等物に置き換えられ得ることが分かる。それに加えて、本発明の教示に特定の状況又は材料を適合させるために、本発明の範囲から逸脱することなく多くの変更が加えられ得る。従って、本発明は開示した特定の実施形態に限定されず、本発明は添付の請求項の範囲に含まれる全ての実施形態を含むことを意図している。
100 システム
110 プロセッサベースのサブシステム
111 中央処理装置
115 グラフィック処理装置
116 CUDA
117 シェーダー
118 ビデオ出力
119 ビデオ出力
120 空間追跡装置
121 磁気源
122 センサ
123 ディスク
124 電源
125 ケーブル
126 トラッキングユニット
130 溶接ユーザーインターフェイス
131 一式のボタン
132 ジョイスティック
133 つまみ
134 つまみ
135 コンソール
136 つまみ
137 つまみ
140 フェイスマウントディスプレイ装置
150 観察者用ディスプレイ装置
151 溶接パラメータ
152 溶接不連続状態
153 ユーザー選択肢
160 疑似溶接工具
161 ホルダー
162 溶接棒
163 チップ
170 テーブル/スタンド
171 テーブル
172 スタンド/ベース
173 アーム
174 垂直ポスト
175 溶接クーポン
175’ パイプ
175’’ パイプ
176 ルート
177 部分
180 溶接クーポン
900 溶接ヘルメット
910 イヤホン型スピーカー
1201 物理的インターフェイス
1202 クランプモデル
1203 環境モデル
1204 サウンドコンテンツ機能
1205 溶接音
1206 スタンド/テーブルモデル
1207 内部アーキテクチャ機能
1208 較正機能
1210 クーポンモデル
1211 溶接物理特性
1212 内部物理特性調節ツール/ツイーカー
1213 グラフィカルユーザーインターフェイス機能
1214 グラフ機能
1215 生徒レポート機能
1216 レンダラー
1217 ビードレンダリング
1218 3Dテクスチャ
1219 視覚キュー機能
1220 スコア及び許容値機能
1221 許容値エディター
1222 特殊効果モジュール
1300 方法
1310 ステップ
1320 ステップ
1330 ステップ
1340 ステップ
1350 ステップ
1400 溶接クーポン
1410 面
1420 溶接ピクセルマップ
1421 溶接ピクセル
1600 溶接クーポン
1610 面
1620 面
1700 溶接クーポン
1701 パイプピース
1702 パイプピース
1703 ルート継手
1704 ピース
1710 面
1910 陰影のない長方形の棒
1920 粒子
1930 粒子の高さ
1940 陰影付き長方形
2000 システム
2010 変換ユニット
2100 システム
2110 表示促進装置
2120 表示画面
2130 ユーザーインターフェイス
2140 アイウェア
O ポイント/クーポン空間
X ポイント/クーポン空間
Y ポイント/クーポン空間
Z ポイント/クーポン空間
S テクチャ座標
T テクチャ座標
B ポイント
E ポイント
U テクチャ座標
V テクチャ座標



  1. 仮想現実空間でリアルタイムに生成される仮想溶接物に対応するシミュレーションデータを生成するように構成されたプログラマブルプロセッサベースのサブシステムと、
    前記プログラマブルプロセッサベースのサブシステムに作動的に接続され、前記仮想溶接物の少なくとも一部を表す前記シミュレーションデータの少なくとも一部をステレオ3D伝送方式の3Dデータに変換するように構成された3D変換ユニットと、
    前記3D変換ユニットに作動的に接続され、前記3Dデータを前記3D変換ユニットから受信し、前記3Dデータの立体表現の表示を促すように構成された3D表示促進装置と、
    を含むシステム。

  2. 前記3D表示促進装置は3Dプロジェクタ及び/又は3Dテレビ受像機を含む、請求項1に記載のシステム。

  3. 前記3D表示促進装置に作動的に接続され、前記3Dデータの立体表現を表示するように構成された表示画面及び
    ユーザーが前記表示画面上の前記3Dデータの立体表現を3D空間内の3D画像として見るために着用するように構成された3Dアイウェア及び/又は
    前記3D表示促進装置に作動的に接続され、前記3Dデータの立体表現を表示するように構成された表示画面
    をさらに含む、請求項1又は2に記載のシステム。

  4. 前記3D表示促進装置に作動的に連結され、ユーザーが前記表示画面上の前記3Dデータの立体表現の空間的方向を操作できるように構成された3Dユーザーインターフェイスをさらに含む、請求項1乃至3のいずれか一項に記載のシステム。

  5. 前記シミュレーションデータは前記仮想溶接物の少なくとも断面部分を表す、請求項1乃至4のいずれか一項に記載のシステム。

  6. 前記仮想溶接物の溶接ビード部は、リアルタイムの溶融金属流動性及び熱放散特性を有する模擬溶接パドルに起因するものであり、該リアルタイムの溶融金属流動性及び熱放散特性は、前記仮想溶接物の溶接ビード部を形成するために前記模擬溶接パドルを動かすときに前記模擬溶接パドルの流動から凝固へのリアルタイムの転移をもたらす、請求項1乃至5のいずれか一項に記載のシステム。

  7. 仮想現実空間でリアルタイムに生成されるリアルタイムの溶接ビード跡特性を有する模擬溶接ビードに対応するシミュレーションデータを生成する工程と、
    前記溶接ビードを表す前記シミュレーションデータをステレオ3D伝送方式の3Dデータに変換する工程と、
    前記3Dデータの立体表現を表示する工程と、
    を含む方法。

  8. 前記模擬溶接ビードは、リアルタイムの溶融金属流動性及び熱放散特性を有する模擬溶接パドルに起因するものであり、該リアルタイムの溶融金属流動性及び熱放散特性は、前記模擬溶接ビードを形成するために前記模擬溶接パドルを動かすときに前記模擬溶接パドルの流動から凝固へのリアルタイムの転移をもたらす、請求項7に記載の方法。

  9. 前記3Dデータの立体表現を表示する工程は、表示画面に対して及び/又は3Dテレビ受像機の表示画面上に前記3Dデータの立体表現を投射することを含む、請求項7又は8に記載の方法。

  10. 前記シミュレーションデータは前記模擬溶接ビードの少なくとも断面部分を表す、請求項7乃至9のいずれか一項に記載の方法。

  11. 仮想現実空間内の仮想溶接環境に対応するシミュレーションデータを生成する工程と、
    前記仮想溶接環境の一部を表す前記シミュレーションデータの一部をステレオ3D伝送方式の3Dデータに変換する工程と、
    前記3Dデータの立体表現を表示する工程と、
    を含む方法。

  12. 前記仮想溶接環境の前記一部は、模擬溶接棒、模擬溶接工具、模擬溶接物又は模擬溶接クーポンのうちの1つ以上を含む、請求項7乃至11のいずれか一項に記載の方法。

  13. 表示された前記3Dデータの立体表現の空間的方向を操作する工程をさらに含む、請求項7乃至12のいずれか一項に記載の方法。

  14. ユーザーが着用するように構成された3Dアイウェアを用いて、表示された前記3Dデータの立体表現を観察する工程をさらに含む、請求項7乃至13のいずれか一項に記載の方法。

  15. 前記ステレオ3D伝送方式は自動立体視方式である、請求項7乃至14のいずれか一項に記載の方法。

 

 

Patent trol of patentswamp
類似の特許
第1の記録およびユーザのリアルタイム映像を表示することによって(例えばスポーツ、トレーニングなどにおける)人の動きをトレーニングするために、ソフトウェアが使用され得る。第1の記録は、理想的な対象の動きに関連し得て、当該動きの間中ずっと、第1のポイントセットが理想的な対象の身体上で識別される。第1の記録を再生しながらユーザの映像が表示され得て、ユーザの動きの間中ずっと、第2のポイントセットがユーザの身体上で識別される。第1のポイントセットのうちの1つ以上の位置が第2のポイントセットのうちの1つ以上の位置と一致すると、ユーザに対して指摘が提供され得る。
ゴルフパフォーマンス特性および用具特性が、ゴルフボールとインパクト表面との間のインパクトを分析することによって決定され得る。いくつかの例では、インパクト表面は、ゴルフクラブフェースであり得る。ゴルフボールと表面との間のインパクトは、音響センサおよび/またはモーションセンサ(例えば、ジャイロスコープ、加速度計など)に基づいて測定され得る。モーションデータおよび/または音響データに基づいて、ゴルフボールの圧縮、クラブヘッドスピード、およびインパクト位置を含む様々な用具関連の情報が、導出され得る。このような情報および/または他のタイプのデータは、パフォーマンスの改善を助けるため、ゴルフ用具の選択を支援するため、および/またはゴルフ製品の品質を保証するために、ユーザに伝えられ得る。
本開示の実施形態は、アスレチックマニューバを行う演者又は複数の演者の複数のビデオセグメントの同期を助ける。とりわけ、様々な実施形態は、アスレチックマニューバの横並べの視覚的な比較の提供を助ける。
【選択図】図1
シミュレータは、オービタル溶接継手の仮想溶接動作を容易にする。シミュレータは、
少なくとも一つの仮想溶接継手を有する仮想パイプの部分に対する溶接動作をエミュレートする、インタラクティブな溶接環境を生成するためのコード化された指令を実行するために使用可能な論理プロセッサベースのシステムを含んでもよい。それはまた、インタラクティブな溶接環境を視覚的に描写するために論理プロセッサベースのシステムに接続されたディスプレイを含み、ディスプレイは仮想パイプの部分を描写する。ペンダントが、溶接設備設定及び実時間での少なくとも一つの溶接継手に対する仮想溶接動作を行うために提供され、一つ又はそれ以上のセンサは、入力装置の動きに関するデータを論理プロセッサベースのシステムに通信するために、実時間で入力装置の動きを追跡するように構成される。
言語(ハングル、英語など)の文字(数字を含む)を記号イメージとして、又は記号イメージを解析して該当言語の文字(数字を含む)として出力できる記号イメージ編集装置及び方法が開示される。一実施形態によれば、ハングルの文字を対応する記号イメージに変換し、変換された記号イメージをディスプレイしたり、記号イメージを対応するハングルの文字に変換し、変換されたハングル文字をディスプレイする。このとき、記号イメージは、ハングル文字を象徴的に表現したものであって、少なくとも1つのハングル文字を表現する所定の区画された空間でハングルの初声、中声、終声を区分できるように空間分割して分割された空間の一部分に少なくとも1つの象徴物が配置される。
【選択図】図1
リアルタイム仮想現実溶接システムは、プログラマブルプロセッサベースのサブシステムと、前記プログラマブルプロセッサベースのサブシステムに作動的に接続された空間追跡装置と、前記空間追跡装置が空間的に追跡可能な少なくとも1つの疑似溶接工具と、前記プログラマブルプロセッサベースのサブシステムに作動的に接続された少なくとも1つのディスプレイ装置とを含む。当該システムは、リアルタイムの溶融金属流動性及び熱放散特性を有する溶接パドルを仮想現実空間でシミュレートすることができる。当該システムはさらに、当該仮想現実溶接システムにデータをインポートし、そのデータを分析して見習い溶接工の進歩の特徴付けを行い、訓練を提供することができる。
トレーニングの目的のための仮想現実シミュレーションを提供する、仮想現実アーク溶接システム。溶接実習生のトレーニングを助けるための仮想現実溶接システムは、インターネット上のウェブサイトへの知的接続、理想的な溶接パドルの重ね合わせ、仮想試験結果に基づく推奨される修正行動、安全上の問題を伴う仮想環境のシミュレーション及び不適切に設定された溶接パラメータと溶接欠陥及び不連続部との間の関係のシミュレーションを提供し得る。
リアルタイム仮想現実溶接システム(100、2000、2400)は、プログラマブルプロセッサベースのサブシステム(110)と、前記プログラマブルプロセッサベースのサブシステム(110)に作動的に接続された空間追跡装置(120)と、前記空間追跡装置(120)が空間的に追跡可能な少なくとも1つの疑似溶接工具(160)と、前記プログラマブルプロセッサベースのサブシステム(110)に作動的に接続された少なくとも1つのディスプレイ装置と、を含む。当該システム(100、2000、2400)は、リアルタイムの溶融金属流動性及び熱放散特性を有する溶接パドルを仮想現実空間でシミュレートすることができる。当該システム(100、2000、2400)はさらに、シミュレートした溶接パドルをディスプレイ装置上でリアルタイムに表示することができる。
仮想溶接作業を促進するシミュレータである。当該シミュレータは溶接作業をエミュレートする仮想現実空間内でのインタラクティブな溶接環境を、仮想溶接作業の実施にリアルタイムで応答して、動的リアルタイム溶融金属流動性及び熱放散特性を有する仮想溶接パドルをシミュレートすることにより生成するよう動作可能なロジックプロセッサベースのサブシステムを含み得る。当該シミュレータは、前記ロジックプロセッサベースのサブシステムと作動的に通信する足踏みペダル装置であって、ユーザーによる該足踏みペダル装置の制御に応答して、仮想溶接パドルの特徴に対してリアルタイムで影響を与えるように構成されている、足踏みペダル装置を含み得る。当該シミュレータは、疑似溶接工具及び疑似フィラーワイヤの動きを追跡して、溶接工具の汚染をもたらし得る、仮想現実空間内での仮想溶接パドルと対応する仮想溶接工具及び対応するフィラーワイヤとのふれあいを判定するように構成され得る。
To top