メモを管理するためのシステム及び方法

著者らは特許

G06F17/30 - 情報検索;そのためのデータベース構造

の所有者の特許 JP2016528567:

スリーエム イノベイティブ プロパティズ カンパニー

 

本開示のうちの少なくともいくつかの態様は、メモを管理するシステム及び方法を特徴とする。メモ管理システムは、メモソース、メモ認識モジュール、メモ抽出モジュール、及びメモラベル付けモジュールを含む。メモソースは、メモを有する場面の視覚的表現である。メモ認識モジュールは、視覚的表現を受信して、視覚的表現からメモの一般的な境界を決定するように構成される。メモ抽出モジュールは、決定された一般的な境界に基づいて、視覚的表現からメモのコンテンツを抽出するように構成される。メモラベル付けモジュールは、メモをカテゴリーでラベル付けするように構成される。

 

 

本開示は、メモのキャプチャ、認識、抽出、並びに/又は管理ツール及びシステムに関する。
メモは、意見及び情報を記録、共有、及び伝達する際に広範に使用されている。例えば、コラボレーションセッション(例えば、ブレーンストーミングセッション)中、参加者は、Post−It(登録商標)メモ、ホワイトボード、又は紙に意見を書き留め、その後、互いに共有する。加えて、人々は、一般に、個人が忘れたくない情報又はコンテンツを記憶するために、1日を通してメモを使用する。追加の例として、人々は、電話をする、文書を修正する、又はタイムシートに記入する等、未来に取るべき行動又は出来事のリマインダーとして、メモを頻繁に使用する。
多くの状況において、人々は、従来、Post−it(登録商標)メモ等の紙ベースのメモ上に適切な情報を書き留めていた。紙のPost−it(登録商標)メモは、裏面に接着剤が付いた紙のPost−it(登録商標)メモのディスペンサーパッドから単に取り除かれて、文書、机の表面、電話等の様々な表面に貼り付けられる。紙のPost−it(登録商標)メモがそれらのディスペンサーパッドから取り外されるか、それらの対象表面に取り付けられる前又は後のいずれかに、情報は紙のPost−it(登録商標)メモ上に書かれ得る。紙のPost−it(登録商標)メモは、文書間及び文書と机の表面との間等、1つの表面から別の表面に容易に移動させられ得、文書の端又は境界に重なり得、層状に積み重ねられ得、それらが取り付けられる物体と共に移動させられ得る。
本開示の少なくともいくつかの態様は、メモのコンテンツを収集する方法を特徴とし、この方法は、センサによって、複数のメモを有する場面の視覚的表現をキャプチャする工程と、処理装置によって、視覚的表現から複数のメモのうちの1つを認識する工程と、処理装置によって、複数のメモのうちの1つのコンテンツを抽出する工程と、を含む。
本開示の少なくともいくつかの態様は、センサと、メモ認識モジュールと、メモ抽出モジュールとを含むメモ認識システムを特徴とする。センサは、複数のメモを有する場面の視覚的表現をキャプチャするように構成される。メモ認識モジュールは、センサに連結される。メモ認識モジュールは、キャプチャされた視覚的表現を受信して、キャプチャされた視覚的表現から複数のメモのうちの1つの一般的な境界を決定するように構成される。メモ抽出モジュールは、複数のメモのうちの1つの決定された一般的な境界に基づいて、キャプチャされた視覚的表現から複数のメモのうちの1つのコンテンツを抽出するように構成される。
添付の図面は、本明細書に組み込まれ、本明細書の一部を構成し、説明と共に、本発明の利点及び原理を説明する。図面中、
モバイルデバイス上の画像キャプチャデバイスを用いてメモを有する作業領域の画像をキャプチャするユーザの一例を図解する図である。 モバイルデバイスの一例を図解するブロック図である。 メモ認識システムの一実施形態を図解する。 メモ管理システムの一実施形態を図解する。 マークを有するメモのいくつかの例を図解する。 マークを有するメモのいくつかの例を図解する。 マークを有するメモのいくつかの例を図解する。 メモ認識及び/又は管理システムの一実施形態の流れ図を図解する。 メモのコンテンツを抽出する一実施形態の流れ図を図解する。 メモを認証する一実施形態の流れ図を図解する。 マークを有するメモのコンテンツ抽出過程の一例を図解する。 マークを有するメモのコンテンツ抽出過程の一例を図解する。 マークを有するメモのコンテンツ抽出過程の一例を図解する。 マークを有するメモのコンテンツ抽出過程の一例を図解する。 再帰反射性マークを有する複数のメモのコンテンツ抽出の一実施形態を図解する。 再帰反射性マークを有する複数のメモのコンテンツ抽出の一実施形態を図解する。 再帰反射性マークを有する複数のメモのコンテンツ抽出の一実施形態を図解する。 再帰反射性マークを有する複数のメモのコンテンツ抽出の一実施形態を図解する。 メモ認識システムの一実施形態のモジュール図を図解する。 メモ管理システムの一実施形態の流れ図を図解する。 システムがどのようにメモをラベル付けし得るかの一例を図解する。 メモ管理システムの一実施形態のモジュール図を図解する。
メモは、意見及び情報を記録、共有、及び伝達する際に広範に使用されている。例えば、コラボレーションセッション(例えば、ブレーンストーミングセッション)中、参加者は、Post−It(登録商標)メモ、ホワイトボード、紙に意見を書き留め、その後、互いに共有する。本開示の少なくともいくつかの態様は、複数のメモをキャプチャし、メモのコンテンツを抽出するシステム及び方法を対象とする。いくつかの実施形態では、メモのうちの少なくともいくつかは、メモの認識及び抽出を容易にするためのマークを含む。ある場合には、メモは、場面のうちの1つの視覚的表現内で、キャプチャ及び特定/認識される。場面の視覚的表現は、例えば、メモ(複数可)及び周囲の環境のデジタル写真であり得る。更に、本開示の少なくともいくつかの態様は、メモを格納及び読み出すこと、メモをカテゴリー化及びグループ化すること等の、複数のメモを管理するシステム及び方法を対象とする。ある場合には、メモ管理システムは、多数のメモからメモコンテンツをキャプチャ及び抽出する効率を改善し得る。加えて、メモ管理システムは、メモをグループ化及び管理する効率を改善し得る。
メモは、物理的メモ及びデジタルメモを含み得る。物理的メモは、概して、一般的な境界及び認識可能なコンテンツを有する物体を指す。物理的メモは、人々が、例えば、紙、ホワイトボード、又は入力を受容する他の物体等への他の種類の入力を介して、書く、描く、又は入力した後、結果として生じる物体を含み得る。例として、物理的メモは、手書きのPost−it(登録商標)メモ、紙、又はフィルム、図面を有するホワイトボード、ポスター、及び標識を含み得る。ある場合には、1つの物体はいくつかのメモを含み得る。例えば、いくつかの意見は、1枚のポスター紙又はホワイトボードの上に書かれ得る。いくつかの実装形態では、これらのメモの認識を容易にするために、線、マーカー、ステッカー等のマークは、メモの端に適用され得る。物理的メモは、2次元又は3次元であり得る。物理的メモは、様々な形状及びサイズを有し得る。例えば、物理的メモは3インチ×3インチ(7.62センチメートル×7.62センチメートル)のメモであり得、物理的メモは26インチ×39インチ(66.04センチメートル×99.06センチメートル)のポスターであり得、物理的メモは三角形金属標識であり得る。ある場合には、物理的メモは、既知の形状及び/又はサイズを有する。デジタルメモは、概して、情報及び/又は意見を有するデジタル物体を指す。デジタルメモは、デジタル入力を用いて生成され得る。デジタル入力は、例えば、キーボード、タッチスクリーン、デジタルカメラ、デジタル録音デバイス、スタイラス、デジタルペン等を含み得る。
ある場合には、メモは、コラボレーション空間内で使用される。コラボレーション空間は、概して、2人以上の人が互いに意見及び考えを共有することを可能にする収集領域を指す。コラボレーション空間は、収集領域の他に、人のグループが遠隔で意見及び考えを共有することを可能にする仮想空間を含み得る。
図1Aは、メモ認識環境10の一例を図解する。図1Aの例では、環境10は、より多くのメモ22のうちの1つを作業領域20からキャプチャ及び認識するためのモバイルデバイス15を含む。本明細書に記載されるように、モバイルデバイスは、記載されるように、作業領域20からのメモ22の収集等のように、多数の物理的メモからメモコンテンツを効率的にキャプチャ及び抽出し得る1つ以上のソフトウェアアプリケーションに実行環境を提供する。この例では、メモ22は、複数の参加者を有する共同ブレーンストーミングセッションの結果であり得る。記載されるように、モバイルデバイス15及びその上で実行するソフトウェアは、作業領域20の物理的メモ22を表すデジタルメモの自動作成を含む様々なメモ関連動作を実行し得る。
例示の実装形態では、モバイルデバイス15は、他の構成要素の中でもとりわけ、画像キャプチャデバイス18及び提示デバイス28を含む。加えて、図1Aに図示しないが、モバイルデバイス15は、本明細書に記載される機能を提供するためにソフトウェア又はファームウェアを実行するための、1つ以上のプロセッサ、マイクロプロセッサ、内側メモリ及び/又はデータストレージ、並びに他の電子回路を含み得る。
概して、画像キャプチャデバイス18は、作業領域20及びその中に配置されたメモ22を表す画像データをキャプチャするように構成されたカメラ又は他の構成要素である。言い換えると、画像データは、複数の視覚的メモを有する、作業領域20等の環境の視覚的表現をキャプチャする。モバイルデバイス15のカメラとして論じられるが、画像キャプチャデバイス18は、ビデオレコーダー、赤外線カメラ、CCD(電荷結合素子)アレイ、レーザースキャナ等の画像データをキャプチャすることが可能な他の構成要素を有し得る。その上、キャプチャされた画像データは、画像、ビデオ、一連の画像(すなわち、期間内に及び/又は順番で撮られた複数の画像)、画像の収集物等のうちの少なくとも1つを含み得、入力画像という用語は、画像データの様々な例示の種類を指すために本明細書で使用される。
提示デバイス28は、モバイルデバイス28との使用のための液晶ディスプレイ(LCD)又は他の種類のディスプレイデバイス等の、電子的にアドレス指定可能なディスプレイを含み得るが、それらに限定されない。いくつかの実装形態では、モバイルデバイス15は、例えば、行及び/又は列にグループ化されたリスト、流れ図等の様々なフォーマットで、メモに関して提示デバイス28上の表示するコンテンツを生成する。モバイルデバイス15は、ある場合には、タブレットコンピュータ、プロジェクタ、電子掲示板又は他の外部デバイス等の他のデバイスによる提示のためのディスプレイ情報を通信し得る。
本明細書に記載されるように、モバイルデバイス15、及びその上で実行するソフトウェアは、物理的メモ22を表すデジタルメモを作製及び操作するためのプラットフォームを提供する。例えば、概して、モバイルデバイス15は、画像キャプチャデバイス18によって生成された画像データを処理し、作業領域20内に配置された物理的メモ22のうちの少なくとも1つを検出及び認識するように構成される。いくつかの例では、モバイルデバイス15は、メモ(複数可)の一般的な境界を決定することによって、メモ(複数可)を認識するように構成される。メモが認識された後、モバイルデバイス15は、コンテンツがメモ22の視覚的情報である1つ以上のメモのうちの少なくとも1つのコンテンツを抽出する。
以下に更に記載されるように、モバイルデバイス15は、物理的メモ22の自動検出及び認識のための技法及び情報の抽出、物理的メモのそれぞれと関連付けられたコンテンツ又は他の特徴を実装し得る。
図1Aの例では、モバイルデバイス15はモバイルフォンとして図解される。しかしながら、他の例では、モバイルデバイス15は、本明細書に記載される技法を実行するのに好適なタブレットコンピュータ、パーソナルデジタルアシスタント(PDA)、ラップトップコンピュータ、メディアプレイヤー、電子書籍読取装置、着用可能コンピュータデバイス(例えば、腕時計、アイウェア、グローブ)、又は任意の他の種類のモバイル若しくは非モバイルコンピュータデバイスであり得る。
図1Bは、本明細書に記載される技法に従って動作するモバイルデバイスの一例を図解するブロック図である。例の目的のために、図1Bのモバイルデバイスは、図1Aのモバイルデバイス15に関して説明される。
この例では、モバイルデバイス15は、デバイスの動作に中核機能を提供する様々なハードウェア構成要素を含む。例えば、モバイルデバイス15は、スタティックランダムアクセスメモリ(SRAM)デバイス又はフラッシュメモリデバイス等のコンピュータ可読媒体又はデータストレージ68に典型的に格納された、実行可能な命令に従って動作するように構成された1つ以上のプログラム可能なプロセッサ70(すなわち、プログラムコード)を含む。I/O 76は、図1Aに記載される、キーボード、カメラボタン、電源ボタン、音量ボタン、ホームボタン、「戻る」ボタン、メニューボタン、又は提示デバイス28等の1つ以上のデバイスを含み得る。送信機72及び受信機74は、高周波無線周波(RF)信号等に限定されない図1Aに記載される無線通信インターフェースを介して、図1Aに記載されるクラウドサーバ12、コンピュータシステム14、又は他のモバイルデバイス16等の他のデバイスとの無線通信を提供する。モバイルデバイス15は、図1Bに図示されない追加の別々のデジタル論理又はアナログ回路を含み得る。
概して、動作システム64は、プロセッサ70上で実行し、メモ管理アプリケーション78を含む1つ以上のユーザアプリケーション77に動作環境(一般に「apps」と称される)を提供する。ユーザアプリケーション77は、プロセッサ70による実行のためのコンピュータ可読格納デバイス(例えば、データストレージ68)に格納された実行可能なプログラムコードを含み得る。他の例として、ユーザアプリケーション77は、ファームウェアを含み得るか、いくつかの例では、別々の論理で実装され得る。
動作中、モバイルデバイス15は、本明細書に記載される技法に従って、入力画像データを受信し、その入力画像データを処理する。例えば、画像キャプチャデバイス18は、メモ22の有する図1Aの作業領域20等の複数のメモを有する環境の入力画像をキャプチャし得る。別の例として、モバイルデバイス15は、受信機74を介して、クラウドサーバ15、コンピュータシステム14又はモバイルデバイス16等の外部ソースから画像データを受信し得る。概して、モバイルデバイス15は、メモ管理アプリケーション78及び/又は他のユーザアプリケーション77によるアクセス及び処理のために、画像データをデータストレージ68に格納する。
図1Bに示されるように、ユーザアプリケーション77は、モバイルデバイスのユーザに情報を提示するためのグラフィカルユーザインターフェース(GUI)79を出力するために、動作システム64の核関数を呼び出し得る。更に以下に記載されるように、メモ管理アプリケーション78は、GUI 79を構成及び制御して、物理的メモ22を表す対応するデジタルメモを生成及び操作するための改善された電子環境を提供し得る。
本開示をより良く理解するために、図1Cは、メモ認識システム100Aの実施形態を図解する。システム100Aは、処理装置110、1つ以上のメモ120、センサ130、及びメモコンテンツリポジトリ140を含み得る。処理装置110は、1つ以上のプロセッサ、マイクロプロセッサ、コンピュータ、サーバ、及び他のコンピュータデバイスを含み得る。センサ130、例えば、画像センサは、1つ以上のメモ120を有する場面の視覚的表現をキャプチャするように構成される。センサ130は、カメラ、ビデオレコーダー、赤外線カメラ、CCD(電荷結合素子)アレイ、スキャナ等のうちの少なくとも1つを含み得る。視覚的表現は、画像、ビデオ、一連の画像(すなわち、期間内に及び/又は順番で取られた複数の画像)、画像の収集物等のうちの少なくとも1つを含み得る。処理装置110は、センサ130に連結され、視覚的表現を受信するように構成される。ある場合には、処理装置110は、電子的にセンサ130に連結される。処理装置110は、視覚的表現から1つ以上のメモ120のうちの少なくとも1つを認識するように構成される。いくつかの実施形態では、処理装置110は、メモ(複数可)の一般的な境界を決定することによって、メモ(複数可)を認識するように構成される。メモが認識された後、処理装置110はメモのコンテンツを抽出する。ある場合には、処理装置110は、それらのメモを有する場面の視覚的表現から、2つ以上のメモのコンテンツを認識及び抽出するように構成される。
ある場合には、処理装置110は、非一過性コンピュータ可読媒体に格納されたソフトウェア又はファームウェアを実行して、システム100Aのための様々な過程(例えば、メモを認識する、メモを抽出する等)を実施することができる。メモコンテンツリポジトリ140は、単一のコンピュータ、サーバ、格納デバイス、クラウドサーバ等の上で動作し得る。いくつかの他の場合では、メモコンテンツリポジトリ140は、一連のネットワークコンピュータ、サーバ、又はデバイス上で動作し得る。いくつかの実装形態では、メモコンテンツリポジトリ140は、ローカル、地域、及び中心を含むデータ格納デバイスの階層を含む。メモ120は、コラボレーション空間内に整然と又は無作為に配置された物理的メモを含み得、センサ130は、コラボレーション空間内でメモ120の視覚的表現を生成する。
いくつかの実施形態では、1つ以上のメモ120のうちの少なくともいくつかは、メモの特定、認識、及び/又は認証を容易にし得るマークを含む。いくつかの実施形態では、マークは、バーコード、カラーブロック、カラーコード、基準マーク、商標ロゴ、ドット、及び孔等のうちの少なくとも1つを含む。メモ自体の形状及び/又は色をマークとして使用して、メモの特定、認識、及び/又は認証を容易にすることができる。ある場合には、マークは、例えば、矩形メモの4隅の基準マーク等、ある特定のパターンに配置された複数の素子を含み得る。いくつかの他の場合では、少なくともいくつかの素子が、例えば、RFID(無線識別)タグ等の認証情報を提供するために使用することができる非可視素子である場合、マークは、複数の素子を含み得る。例として、マークは、再帰反射性材料、光学的可変インク、着色インク、赤外線吸収インク、蛍光インク、透かし、光沢材料、虹色材料、多層光学フィルム、コロイド結晶、穴空きマーク、構造化色、浮遊画像、ウインドウスレッド等のうちの少なくとも1つを用いて作製され得る。いくつかの実施形態では、処理装置110は、最初に、視覚的表現からメモ上のマークを認識し、視覚的表現上のマークの位置を決定し、次いで、認識されたマークに基づいて、メモのコンテンツを抽出する。ある場合には、処理装置110は、認識されたマーク、メモの既知の形状、及びメモ上のマークの既知の相対位置に基づいて、メモのコンテンツを抽出する。いくつかの実装形態では、処理装置110は、非一時的ストレージに視覚的表現を格納することなく、リアルタイムで(すなわち、データを一時的ストレージで処理する)視覚的表現からメモのコンテンツを抽出する。
いくつかの実装形態では、メモ認識システム100Aは、どのメモが認識され、かつ/又はどのメモのコンテンツが抽出されたかをユーザに示す提示デバイス(図1Cに図示せず)を含み得る。更に、メモ認識システム100Aは、提示デバイスを介して抽出されたコンテンツを提示し得る。いくつかの実施形態では、処理装置110は、メモのコンテンツを抽出する前にメモを認証し得る。メモが認証された場合、コンテンツは、メモコンテンツリポジトリ140に抽出及び格納されることになる。ある場合には、処理装置は、認証情報をメモ上のマークから抽出し得る。そのような場合では、認証情報は、マーク上で可視又は非可視であり得る。例えば、メモ上のマークは、例えば、会社ロゴ、マトリックスコード、バーコード、カラーコード等の記号を含み得る。別の例として、メモ上のマークは、好適な読取装置によって読み出され得る情報を格納するためのタグを含み得る。例えば、マークは、RFIDタグ、近距離無線通信(NFC)タグ等を含み得る。
いくつかの実施形態では、センサ130は、例えば、周囲の環境に関するメモの写真又はビデオクリップを撮る等、いくつかのメモ120を有する場面の第1の視覚的表現を生成し得る。メモのそれぞれはマークを有する。処理装置110は、マークを特定し、マークの位置を決定し、マークの位置を使用して、例えば、メモの拡大画像を撮る等、メモ120を有する場面の第2の視覚的表現を生成するためにセンサ130を制御する。処理装置110は、第2の視覚的表現からメモのコンテンツを更に認識及び抽出し得る。
図1Dは、メモ管理システム100Bの実施形態を図解する。この実施形態では、メモ管理システム100Bは、処理装置110、1つ以上のメモ120、1つ以上のメモソース150、及びメモコンテンツリポジトリ140を含む。ある場合には、システム100Bは、提示デバイス160を含む。処理装置110、メモ120、及びメモコンテンツリポジトリ140は、図1Aに図解されるメモ認識システム100Aの構成要素に類似している。メモソース150は、1つ以上のメモを有する場面の視覚的表現等の物理的メモのコンテンツを提供するためのソース、及びキーボードから入力されたデータストリーム等のデジタルメモのコンテンツを提供するためのソースを含み得る。いくつかの実施形態では、メモ管理システム100Bは、第1のソース及び第2のソースを含み、第1のソースは、1つ以上のメモ120を有する場面の視覚的表現である。第1のソース及び第2のソースは、異なるデバイスによって生成される。第2のソースは、テキストストリーム、画像、ビデオ、ファイル、及びデータ入力のうちの少なくとも1つを含む。処理装置110は、メモ認識システム100Aにおいて論じられるように、第1のソースからメモのうちの少なくとも1つを認識し、メモのコンテンツを抽出する。ある場合には、処理装置110は、メモをカテゴリーでラベル付けする。処理装置110は、メモを、その特定の形状、色、コンテンツ、及び/又はメモの他の情報に基づいてラベル付けする。例えば、メモのそれぞれのグループは、異なる色(例えば、赤、緑、黄等)を有し得る。ある場合には、メモ120は、1つ以上の素子を有するマークを含み得、処理装置110は、マークから抽出された情報に基づいてメモをラベル付けし得る。
いくつかの実施形態では、メモ管理システム100Bは、メモ120のコンテンツをユーザに示すための1つ以上の提示デバイス160を含み得る。提示デバイス160は、液晶ディスプレイ(LCD)、タブレットコンピュータ、プロジェクタ、電子掲示板、携帯電話、ラップトップ等の電子的にアドレス指定可能なディスプレイを含み得るが、それらに限定されない。いくつかの実装形態では、処理装置110は、例えば、行及び/又は列にグループ化されたリスト、流れ図等の様々なフォーマットで、メモに関して提示デバイス160上に表示するコンテンツを生成する。
処理装置、画像センサ、及びメモコンテンツリポジトリ等のメモ認識システム及びメモ管理システムの様々な構成要素は、通信インターフェースを介して通信し得る。通信インターフェースは、任意の有線又は無線短距離及び長距離通信インターフェースを含むが、それらに限定されない。短距離通信インターフェースは、例えば、ローカルエリアネットワーク(LAN)、Bluetooth規格、IEEE 802規格(例えば、IEEE 802.11)等の既知の通信規格に従うインターフェース、IEEE 802.15.4規格に基づいたもの等のZigBee若しくは類似の仕様、又は他のパブリック若しくは又は専用無線プロトコルであり得る。長距離通信インターフェースは、例えば、広域ネットワーク(WAN)、携帯ネットワークインターフェース、衛生通信インターフェース等であり得る。通信インターフェースは、イントラネット等のプライベートコンピュータネットワーク内、又はインターネット等のパブリックコンピュータネットワーク上にあり得る。通信インターフェースは、イントラネット等のプライベートコンピュータネットワーク内、又はインターネット等のパブリックコンピュータネットワーク上にあり得る。
図2A〜2Cは、マークを有するメモのいくつかの例を図解する。図2Aに図解されるように、メモ200A上のマークは、2つの素子である素子210A及び素子220Aを有する。素子210A及び220Aは、異なるサイズ、形状、相対位置及び/又は材料組成を有し得る。例えば、素子210Aは、メモ用の識別子としてのバーコードであり、素子220Aは、メモの境界を決定するために使用され得る再帰反射性インクの小さな矩形である。図2Bに図解されるように、メモ200B上のマークは、4つの素子である210B、220B、230B、及び240Bを有し得る。これらの4つの素子は、類似又は異なるサイズ、形状、及び材料組成を有し得る。マークを使用して、コンテンツの抽出及び改善において使用できるメモのサイズ、位置、配向、歪み、及び他の特徴を認識することができる。図2Cに図解されるように、メモ200C上のマークは、1つの素子210Cを有する。メモ200Cは、非矩形形状を有する。いくつかの実施形態では、素子210Cは、例えば、メモの種類及びグループ化を特定するための識別子を含む。ある場合には、識別子は、固有識別子である。
図3Aは、メモ認識及び/又は管理システムの一実施形態の流れ図を図解する。最初に、システムは、複数のメモの視覚的表現をキャプチャする(工程310A)。いくつかの実施形態では、メモは、物理的メモであり、一度に2つ以上のメモをキャプチャすることがより効率的である。次いで、システムは、視覚的表現から複数のメモのうちの1つを認識する(工程320A)。例えば、システムは、メモ上の特定のマークを認識し、次いで、メモの一般的な境界を決定し得る。システムは、複数のメモのうちの1つのコンテンツを抽出する(工程330A)。いくつかの実施形態では、システムは、コンテンツを抽出する前に、視覚的表現の少なくとも一部に画像変形を適用し得る。いくつかの他の実施形態では、システムは、抽出されたコンテンツの質を改善するために、画像改善又は他の画像処理技法を適用し得る。更に他の実施形態では、システムは、抽出されたコンテンツからテキスト及び図を更に認識し得る。
図3Bは、メモのコンテンツを抽出する一実施形態の流れ図を図解する。最初に、視覚的表現は、システムによって受信される(工程310B)。システムは、視覚的表現からメモ上のマークを認識する(工程320B)。マークの位置及び/又は形状が決定された後、システムは、幾何補正及びクロッピングを視覚的表現に対して任意に実行し得る(工程330B)。メモ上のマークの認識された位置及び/又は形状に基づいて、メモの一般的な境界は、視覚的提示上で認識される(工程340B)。いくつかの実施形態では、メモのそれぞれがマークを有する場合、システムは、メモの同じ組の2つの視覚的表現を受信し得る。第1の視覚的表現は、メモ上のマークをキャプチャするのに好適な光ソースを用いて撮られる。例えば、光ソースは、赤外線感光性インクを使用するマークのための赤外線光であり得る。マークは第1の視覚的表現内で認識され、マークの位置が決定される。第2の視覚的表現は、メモの組をキャプチャし得、システムは、それぞれのメモの一般的な境界を、それぞれ、そのマークに基づいて決定し得る。メモの一般的な境界が決定された後、システムは、メモのコンテンツを抽出する(工程350B)。例えば、視覚的表現が画像である場合、システムは、メモの決定された一般的な境界に従って、画像をトリミングし得る。任意に、システムは、例えば、コントラスト、明るさを変化させる、及び/又は、他の画像処理技法を使用することによって、メモのコンテンツを改善し得る(工程360B)。ある場合には、システムは、抽出されたそのコンテンツを示すステータスでメモを更新し得る。
図3Cは、メモを認証する一実施形態の流れ図を図解する。最初に、メモ又はメモのスタックから認証信号を取得する(工程310C)。一実施形態では、認証情報は、メモ上のマークの視覚的構成要素(例えば、ホログラム)であり、認証信号は、メモをキャプチャする視覚的表現から視覚的構成要素を抽出することによって取得され得る。別の実施形態では、認証情報は、メモ上のマークの電子構成要素(例えば、RFIDタグ)に含まれ、認証信号は、好適な読取装置(例えば、RFID読取装置)を使用して取得され得る。次いで、システムは、認証信号を確認する(工程320C)。メモ(複数可)が認証された場合、システムは、メモ管理アプリケーションを起動するか、メモ(複数可)を使用し得る(工程330C)。
図4A〜4Dは、マークを有するメモのコンテンツ抽出過程の一例を図解する。最初に、図4Aに図解されるように、メモ410の視覚的表現400がキャプチャされる。メモ410は、バーコード、カラーコード、マトリックスコード、カラーブロック等であり得るマーク420を有する。次に、図4Bに図解されるように、システムは、視覚的表現上のマークの一般的な境界430を決定し、マーク420を認識する。ある場合には、メモ410は、図4Cに図解されるように、視覚的表現400内に傾斜され得る。いくつかの他の場合では、視覚的表現400は、幾何学的歪みで撮られ得る。システムは、マーク420の決定された一般的な境界又はマーク420の一部分を使用して、視覚的表現400に対する必要な画像変形及び補正を決定し、メモコンテンツを取得する。図4Dは、システムが、前の分析及び/又は画像処理の後、メモ410のコンテンツを抽出することを図解する。
図5A〜5Dは、再帰反射性マークを有する複数のメモのコンテンツ抽出の一実施形態を図解する。メモ認識/管理システムは、3つのメモ510Aをキャプチャする視覚的表現500Aを受信し、それぞれのメモ510Aは、マーク520を有し、2つの素子−2つの再帰反射性矩形タグを左上及び下底辺に有する。再帰反射性材料の光学的性質のために、マーク520はメモの残りよりも実質的に明るい。図5Bは、マーク520がメモ510A及び背景よりもはるかに明るいことを図解する。いくつかの実施形態では、システムは、画像処理を用いて、図5Aに図解される500Aの視覚的表現から図5Bに図解される500Bの視覚的表現に変形し得る。いくつかの代替の実施形態では、システムは、異なる光ソース、例えば、閃光で、3つのメモ510Aの別の視覚的表現500Bを生成し得る。システムは、マーク520を視覚的表現500Bから容易に特定し得る。マーク520が特定された後、図5Cに図解されるように、システムは、メモ510Cのコンテンツを抽出し得る。ある場合には、図5Dに図解されるように、システムは、画像処理技法(例えば、適応ヒストグラム均等化)を使用して、抽出されたコンテンツ510Dを改善することができる。
図6は、メモ認識システム600の一実施形態のモジュール図を図解する。図解される実施形態では、システム600は、メモキャプチャモジュール620、メモ認識モジュール630、及びメモ抽出モジュール640を含む。メモ認識システム600の様々な構成要素は、回路、コンピュータ、プロセッサ、処理装置、マイクロプロセッサ、及び/又はタブレットコンピュータを含むが、それらに限定されない、1つ以上のコンピュータデバイスによって実装され得る。ある場合には、メモ認識システム600の様々な構成要素は、共有されたコンピュータデバイス上で実装され得る。あるいは、システム600の構成要素は、複数のコンピュータデバイス上で実装され得る。いくつかの実装形態では、システム600の様々なモジュール及び構成要素は、ソフトウェア、ハードウェア、ファームウェア、又はそれらの組み合わせとして実装され得る。ある場合には、メモ認識システム600の様々な構成要素は、コンピュータデバイスによって実行されたソフトウェア又はファームウェアに実装され得る。追加として、システム600の様々な構成要素は、例えば、有線又は無線インターフェース等の通信インターフェースを介して通信するか、それに連結され得る。メモキャプチャモジュール620は、複数の物理的メモの視覚的表現をキャプチャするように構成される。いくつかの実施形態では、メモキャプチャモジュール620は画像センサを含む。メモ認識モジュール630は、メモキャプチャモジュール620に連結され、メモ認識モジュールは、キャプチャされた視覚的表現を受信し、キャプチャされた視覚的表現から複数の物理的メモのうちの1つの一般的な境界を決定するように構成される。ある場合には、メモ認識モジュール630は、認識された物理的メモを表すデジタルメモを作製するように構成される。メモ抽出モジュール640は、複数のメモのうちの1つの決定された一般的な境界に基づいて、キャプチャされた視覚的表現から複数のメモのうちの1つのコンテンツを抽出するように構成される。ある場合には、メモ抽出モジュール640は、抽出されたコンテンツを対応するデジタルメモと関連付けるように構成される。
いくつかの実施形態では、メモ認識システム600は、複数のメモを認証するように構成されたメモ認証モジュール650を含む。ある場合には、複数のメモのうちの少なくともいくつかはマークを有する。マークを使用して、メモの認識、抽出及び認証を容易にすることができる。例えば、メモ認証モジュール650は、メモのマークから認証信号を取得し、認証記号に基づいて認証を確認し得る。ある場合には、メモ認証モジュール650は、メモ認識モジュール630に連結され、認証情報をメモ認識モジュール630に提供する。いくつかの実施形態では、メモ認識モジュール630及びメモ抽出モジュール640は、図3B及び関連議論において図解される工程を実行し得る。
いくつかの実施形態では、メモ認識/管理システムは、複数の認識アルゴリズムを使用して、メモを認識し、色認識、形状認識、及びパターン認識等のメモのコンテンツを抽出することができる。例えば、システムは、RGB、HSV、CIELAB等の色空間を使用して、色認識のためのメモに対応する、興味の対象となる領域を特定することができる。ある場合には、メモは、それらの形状で、かつ、それぞれ形状認識(例えば、Hough変形、形状コンテキスト等)及びパターン認識アルゴリズム(例えば、Support Vector Machine、相互相関、テンプレート照合等)によって検出された固有パターンの存在のために、更に区別される。これらのアルゴリズムは、メモのコンテンツの視覚的表現又は他のソース内の望まれない物体にフィルタをかけて除去し、メモに対応する、興味の対象となるそれらの領域のみを残すことの一助となる。
一実施形態では、メモは、印刷可能なインク又はコーティング可能な染料等の蛍光材料を用いて作製されたマークを含み得る。例えば、ロゴ等の基準マークは、メモの書き込み面上に蛍光インクで印刷され得る。適切な光ソースは、蛍光材料を励起するものである。例えば、モバイルハンドヘルド装置の白色LED(発光ダイオード)は、LED出力スペクトルの有意な青色波長成分を使用して蛍光体を励起することができ得る。一実施形態では、蛍光染料は、メモの書き込み面上にコーティングされるか、又はメモを作製する材料に含まれ得る。この実施形態では、蛍光染料は、有標品の確認を提供するだけでなく、メモ上の書かれた情報とメモ自体の背景との間のコントラストを改善し得る。そのマークは、画像センサによって生成された視覚的表現上のメモの認識及びセグメンテーションを容易にし得る。蛍光染料を有する紙から作製されたメモの場合、キャプチャされた視覚的表現はより良い可読性を有する。蛍光材料のための励起波長域及び蛍光波長域によって、フィルタ等の追加の光学機器は、画像センサ(例えば、カメラ)と一緒に用いられて、検出を改善し得る。
図7Aは、メモ管理システムの一実施形態の流れ図を図解する。最初に、システムは、複数のソースから複数のメモを受信する(工程710A)。例えば、メモ管理システムは、多数のメモの画像の組をカメラ又はスマートフォンから受信し、遠隔地から撮られた多数のメモの画像の別の組を受信し得る。別の例として、メモ管理システムは、ラップトップを介して入力されるメモのビデオ録音デバイス及びテキストストリームによって撮られる数多くのメモの視覚的表現(例えば、ビデオ)を受信し得る。いくつかの実施形態では、複数のソースは、例えば、カメラ、スキャナ、コンピュータ等の異なるデバイスから取られたメモのコンテンツのソースである。次いで、システムは、複数のメモのうちの1つを認識する(工程720A)。ある場合には、システムは、複数の物理的メモのうちの1つを表すデジタルメモを作製し、システムは、複数のメモのコンテンツを抽出する(工程730A)。ある場合には、システムは、抽出されたコンテンツを、物理的メモを表す対応するデジタルメモと、関連付ける。いくつかの実施形態では、いくつかのメモは、メモ上にマーク(例えば、カラーブロック、カラーコード、バーコード等)を含み、メモのうちの1つのソースは、メモのうちのいくつかの視覚的表現である。ある場合には、認識工程は、視覚的表現からメモ上のマークを認識し、次いで、認識されたマークに基づいてメモの一般的境界を決定することを含む。これらの場合のうちのいくつかでは、抽出工程は、認識されたマーク、メモの既知の形状、及びメモ上のマークの既知の相対位置に基づいて、コンテンツを抽出することを含む。複数のメモのコンテンツが抽出された後、ある場合には、システムは、複数のデジタルメモのそれぞれを固有識別子と関連付け得る(工程740A)。システムは、複数のデジタルメモのそれぞれをカテゴリーでラベル付けし得る(工程750A)。ラベル付け工程は、以下でより詳細に論じられる。追加として、システムは、メモを認識する前に最初にメモを認証し得る。任意に、システムは、複数のメモのコンテンツをディスプレイ上で提示し得る(工程760A)。いくつかの実施形態では、システムは、メモのカテゴリーを示す出力フィールドに、複数のメモの抽出されたコンテンツを提示し得る。いくつかの実装形態では、システムは、デジタルメモを提示する上で(例えば、グループの1つのカテゴリー内でメモを示す)デジタルメモのカテゴリー情報を使用することができる。
図7Bは、システムがどのようにデジタルメモをラベル付けし得るかについての例を図解する。一実施形態では、メモ管理システムは、検出された信号に基づいて、メモをラベル付けし得る(710B)。例えば、メモは、バーコードを含むマークを有し得、システムは、バーコードを読み取り、バーコードに基づいてメモをラベル付けし得る。ある場合には、システムは、認識されたマークに基づいて、メモをラベル付けし得る(720B)。例えば、マークは、特定のグループを示す、アイコン、ロゴ、又は他の図示記号を含み得る。システムは、メモを、そのコンテンツに基づいて更にラベル付けし得る(730B)。ある場合には、システムは、履歴データ及び/又は予測モデリングに基づいて、メモ(noted)をラベル付けし得る(740B)。いくつかの他の場合では、システムは、ユーザ入力によって、メモをラベル付けし得る(750B)。メモ管理システムは、メモをラベル付けするための1つ以上の手法を使用することができる。システムはまた、他の手法を使用して、例えば、メモの形状に基づいてメモをラベル付けする等、図7Bにリストされていないメモをラベル付けすることができる。更に、ある場合には、メモは、2つ以上のカテゴリーと関連付けられ得る。
図8は、メモ管理システム800のモジュール図を図解する。図解される実施形態では、システム800は、1つ以上のメモソース820、メモ認識モジュール830、メモ抽出モジュール840、及びメモラベル付けモジュール860を含む。メモ管理システム800の様々な構成要素は、回路、コンピュータ、プロセッサ、処理装置、マイクロプロセッサ、及び/又はタブレットコンピュータを含むが、それらに限定されない、1つ以上のコンピュータデバイスによって実装され得る。ある場合には、メモ管理システム800の様々な構成要素は、共有されたコンピュータデバイス上に実装され得る。あるいは、システム800の構成要素は、複数のコンピュータデバイス上で実装され得る。いくつかの実装形態では、システム800の様々なモジュール及び構成要素は、ソフトウェア、ハードウェア、ファームウェア、又はそれらの組み合わせとして実装され得る。ある場合には、メモ管理システム800の様々な構成要素は、コンピュータデバイスによって実行されたソフトウェア又はファームウェアに実装され得る。追加として、システム800の様々な構成要素は、例えば、有線又は無線インターフェース等の通信インターフェースを介して通信するか、それに連結され得る。メモソース(複数可)820は、複数のメモを提供するように構成される。いくつかの実施形態では、メモソース820のうちの1つは、1つ以上の物理的メモを有する場面の視覚的表現である。ある場合には、メモソース820は、例えば、画像、テキストストリーム、ビデオストリーム等のメモを提供するための複数の異なるソースを含む。メモ認識モジュール830は、メモソース820に連結され、メモ認識モジュールは、視覚的表現を受信して、視覚的表現から物理的メモの一般的な境界を決定し、物理的メモを表すデジタルメモを作製するように構成される。メモ抽出モジュール840は、複数の物理的メモのうちの1つの決定された一般的な境界に基づいて、視覚的表現から複数の物理的メモのうちの1つのコンテンツを抽出し、抽出されたコンテンツを、対応するデジタルメモと関連付けるように構成される。メモラベル付けモジュール860は、複数のデジタルメモのうちの1つをカテゴリーでラベル付けするように構成される。
いくつかの実施形態では、メモ管理システム800は、複数のメモを認証するように構成されるメモ認証モジュール850を含む。ある場合には、複数のメモのうちの少なくともいくつかはマークを有する。マークを使用して、メモの認識、抽出及び認証を容易にすることができる。例えば、メモ認証モジュール850は、メモのマークから認証信号を取得し、認証信号に基づいて認証を確認し得る。ある場合には、メモ認証モジュール850は、メモ認識モジュール830に連結され、認証情報をメモ認識モジュール830に提供する。いくつかの実施形態では、メモ認識モジュール830及びメモ抽出モジュール840は、図3B及び関連議論において図解される工程を実行し得る。いくつかの実施形態では、メモラベル付けモジュール860は、図7B及び関連議論において図解される1つ以上のラベル付け手法を使用し得る。ある場合には、メモは、2つ以上のカテゴリーと関連付けられ得る。
いくつかの実施形態では、メモ管理システム800は、複数のデジタルメモのコンテンツを集めて、メモのカテゴリーに従って複数のメモのうちの少なくとも一部を提示するように構成される、メモ提示モジュール870を含み得る。例えば、メモ提示モジュール870は、複数のデジタルメモを、同じカテゴリーを有するグループに編成し得る。別の例として、メモ提示モジュール870は、デジタルメモの異なるグループの接続線及び/又は矢印を追加し得る。
典型的な実施形態
実施形態1.
第1のソース及び第2のソースから複数のメモを提供する工程であって、第1のソース及び第2のソースが、異なるデバイスから生成され、第1のソースが、複数のメモのうちの1つ以上を有する場面の視覚的表現である、工程と、
処理装置によって、第1のソースから複数のメモのうちの1つを認識する工程と、
処理装置によって、複数のメモのうちの1つのコンテンツを抽出する工程と、
処理装置によって、複数のデジタルメモを作製する工程であって、各デジタルメモが、複数のメモのうちの1つを表、工程と、
第1のソース及び第2のソースによって提供されたデジタルメモをカテゴリーでラベル付けする工程と、を含む、方法。
実施形態2.第2のソースが、テキストストリーム、画像、ビデオ、ファイル、及びデータ入力のうちの少なくとも1つを含む、実施形態1に記載の方法。
実施形態3.
デジタルメモを固有識別子と関連付ける工程を更に含む、実施形態1又は実施形態2に記載の方法。
実施形態4.ラベル付け工程が、抽出されたコンテンツに基づいて、デジタルメモをラベル付けすることを含む、実施形態1〜実施形態3のいずれか1つに記載の方法。
実施形態5.ラベル付け工程が、ユーザによってデジタルメモをラベル付けすることを含む、実施形態1〜実施形態4のいずれか1つに記載の方法。
実施形態6.ラベル付け工程が、固有識別子に基づいて、デジタルメモをラベル付けすることを含む、実施形態3に記載の方法。
実施形態7.複数のメモのうちの1つが、マークを含む、実施形態1〜実施形態6のいずれか1つに記載の方法。
実施形態8.マークが、バーコード、カラーブロック、カラーコード、パターン、基準マーク、商標ロゴ、ドット、及び孔のうちの少なくとも1つを含む、実施形態7に記載の方法。
実施形態9.認識工程が、視覚的表現から複数のメモのうちの1つのマークを認識することを含む、実施形態7又は実施形態8に記載の方法。
実施形態10.認識工程が、認識されたマークに基づいて、複数のメモのうちの1つの一般的な境界を決定することを含む、実施形態9に記載の方法。
実施形態11.認識工程が、認識されたマーク、複数のメモのうちの1つの既知の形状、及び複数のメモのうちの1つ上のマークの既知の相対位置に基づいて、複数のメモのうちの1つの一般的な境界を決定することを含む、実施形態9に記載の方法。
実施形態12.マークが記号を含む、実施形態7に記載の方法。
実施形態13.抽出工程が、記号を視覚的表現から抽出することを含む、実施形態12に記載の方法。
実施形態14.
抽出された記号に基づいて、複数のメモのうちの1つを認証することを更に含む、実施形態13に記載の方法。
実施形態15.ラベル付け工程が、認識されたマークに基づいてデジタルメモをラベル付けすることを含む、実施形態9に記載の方法。
実施形態16.ラベル付け工程が、抽出された記号に基づいてデジタルメモをラベル付けすることを含む、実施形態13に記載の方法。
実施形態17.複数のメモが、物理的メモ、デジタルメモ、及びそれらの組み合わせを含む、実施形態1〜実施形態16のいずれか1つに記載の方法。
実施形態18.処理装置が、プロセッサ、マイクロプロセッサ、マイクロコントローラ、コンピュータ、及びコンピュータデバイスのうちの少なくとも1つを含む、実施形態1〜実施形態17のいずれか1つに記載の方法。
実施形態19.
提示デバイスによって、抽出されたコンテンツをユーザに提示することを更に含む、実施形態1〜実施形態18のいずれか1つに記載の方法。
実施形態20.提示工程が、デジタルメモのカテゴリーを示す出力フィールドに、抽出されたコンテンツを提示することを含む、実施形態19に記載の方法。
実施形態21.マークが、再帰反射性材料、光学的可変インク、着色インク、赤外線吸収インク、蛍光インク、透かし、光沢材料、虹色材料、穴空きマーク、構造化色、浮遊画像、及びウインドウスレッドのうちの少なくとも1つを用いて作製される、実施形態7に記載の方法。
実施形態22.
処理装置によって、複数のメモのうちの1つを認証することを更に含み、
複数のメモのうちの1つが認証された場合、抽出工程が、複数のメモのうちの1つのコンテンツを抽出することを含む、実施形態1〜実施形態21のいずれか1つに記載の方法。
実施形態23.視覚的表現が、画像又はビデオである、実施形態1〜実施形態22のいずれか1つに記載の方法。
実施形態24.ラベル付け工程が、抽出されたコンテンツ及び履歴データに基づいてデジタルメモをラベル付けすることを含む、実施形態1〜実施形態23のいずれかつに記載の方法。
実施形態25.ラベル付け工程が、抽出されたコンテンツ、履歴データ、及び予測モデリングに基づいてデジタルメモをラベル付けすることを含む、実施形態1〜実施形態24のいずれか1つに記載の方法。
実施形態26.メモ管理システムであって、
複数のメモを提供するように構成された第1のメモソース及び第2のメモソースであって、異なるデバイスから生成され、第1のメモソースが、複数のメモのうちの1つ以上を有する場面の視覚的表現である、第1のメモソース及び第2のメモソースと、
視覚的表現を受信して、視覚的表現から複数のメモのうちの1つの一般的な境界を決定するように構成されたメモ認識モジュールと、
複数のメモのうちの1つの決定された一般的な境界に基づいて、視覚的表現から複数のメモのうちの1つのコンテンツを抽出し、複数のメモのうちの1つ及び抽出されたコンテンツと関連付けられたデジタルメモを作製するように構成されたメモ抽出モジュールと、
デジタルメモをカテゴリーでラベル付けするように構成されたメモラベル付けモジュールと、を備える、メモ管理システム。
実施形態27.第2のメモソースが、テキストストリーム、画像、ビデオ、ファイル、及びデータ入力のうちの少なくとも1つを含む、実施形態26に記載のメモ管理システム。
実施形態28.メモ抽出モジュールが、デジタルメモを固有識別子と関連付けるように更に構成される、実施形態26又は実施形態27に記載のメモ管理システム。
実施形態29.メモラベル付けモジュールが、抽出されたコンテンツに基づいてデジタルメモをラベル付けするように更に構成される、実施形態26〜実施形態28のいずれか1つに記載のメモ管理システム。
実施形態30.ラベル付け工程が、ユーザによってデジタルメモをラベル付けすることを含む、実施形態26〜実施形態29のいずれか1つに記載のメモ管理システム。
実施形態31.ラベル付け工程が、固有識別子に基づいてデジタルメモをラベル付けすることを含む、実施形態28に記載のメモ管理システム。
実施形態32.複数のメモのうちの1つがマークを含む、実施形態26〜実施形態31のいずれか1つに記載のメモ管理システム。
実施形態33.マークが、バーコード、カラーブロック、カラーコード、パターン、基準マーク、商標ロゴ、ドット、及び孔のうちの少なくとも1つを含む、実施形態32に記載のメモ管理システム。
実施形態34.メモ認識モジュールが、視覚的表現から複数のメモのうちの1つのマークを認識するように更に構成される、実施形態33に記載のメモ管理システム。
実施形態35.メモ認識モジュールが、認識されたマークに基づいて、複数のメモのうちの1つの一般的な境界を決定するように更に構成される、実施形態34に記載のメモ管理システム。
実施形態36.メモ認識モジュールが、認識されたマーク、複数のメモのうちの1つの既知の形状、及び複数のメモのうちの1つ上のマークの既知の相対位置に基づいて、複数のメモのうちの1つの一般的な境界を決定するように更に構成される、実施形態34に記載のメモ管理システム。
実施形態37.マークが記号を含む、実施形態32に記載のメモ管理システム。
実施形態38.メモ抽出モジュールが、視覚的表現から記号を抽出するように更に構成される、実施形態37に記載のメモ管理システム。
実施形態39.
抽出された記号に基づいて、複数のメモのうちの1つを認証するように構成されたメモ認証モジュールを更に備える、実施形態38に記載のメモ管理システム。
実施形態40.メモラベル付けモジュールが、認識されたマークに基づいてデジタルメモをラベル付けするように更に構成される、実施形態34に記載のメモ管理システム。
実施形態41.メモラベル付けモジュールが、抽出された記号に基づいてデジタルメモをラベル付けするように更に構成される、実施形態38に記載のメモ管理システム。
実施形態42.複数のメモが、物理的メモ、デジタルメモ、及びそれらの組み合わせを含む、実施形態26〜実施形態41のいずれか1つに記載のメモ管理システム。
実施形態43.処理装置が、プロセッサ、マイクロプロセッサ、マイクロコントローラ、コンピュータ、及びコンピュータデバイスのうちの少なくとも1つを含む、実施形態26〜実施形態42のいずれか1つに記載のメモ管理システム。
実施形態44.
抽出されたコンテンツをユーザに提示するように構成されたメモ提示モジュールを更に備える、実施形態26〜実施形態43のいずれか1つに記載のメモ管理システム。
実施形態45.メモ提示モジュールが、抽出されたコンテンツと関連付けられたデジタルメモのカテゴリーを示す出力フィールドに、抽出されたコンテンツを提示するように更に構成される、実施形態44に記載のメモ管理システム。
実施形態46.マークが、再帰反射性材料、光学的可変インク、着色インク、赤外線吸収インク、蛍光インク、透かし、光沢材料、虹色材料、穴空きマーク、構造化色、浮遊画像、及びウインドウスレッドのうちの少なくとも1つを用いて作製される、実施形態32に記載のメモ管理システム。
実施形態47.
複数のメモのうちの1つを認証するように構成されたメモ認証モジュールを更に備え、
複数のメモのうちの1つが認証された場合、メモ抽出モジュールが、複数のメモのうちの1つのコンテンツを抽出するように更に構成される、実施形態26〜実施形態46のいずれか1つに記載のメモ管理システム。
実施形態48.視覚的表現が、画像又はビデオである、実施形態26〜実施形態47のいずれか1つに記載のメモ管理システム。
実施形態49.メモラベル付けモジュールが、抽出されたコンテンツ及び履歴データに基づいて、デジタルメモをラベル付けするように更に構成される、実施形態26〜実施形態48のいずれか1つに記載のメモ管理システム。
実施形態50.メモラベル付けモジュールが、抽出されたコンテンツ、履歴データ、及び予測モデリングに基づいて、デジタルメモをラベル付けするように更に構成される、実施形態26〜実施形態49のいずれか1つに記載のメモ管理システム。
本発明は、上述の特定の実施例及び実施形態に限定されると見なされるべきではなく、そのような実施形態は、本発明の様々な態様の説明を容易にするために詳細に説明されている。むしろ、本発明は、添付の特許請求の範囲及びそれらの等価物によって定義される本発明の趣旨及び範囲に含まれる様々な修正、等価過程、及び代替のデバイスを含む、本発明の全ての態様を包含することが理解されるべきである。



  1. メモを管理する方法であって、
    第1のソース及び第2のソースから複数のメモを提供する工程であって、前記第1のソース及び前記第2のソースが、異なるデバイスから生成され、前記第1のソースが、前記複数のメモのうちの1つ以上を有する場面の視覚的表現である、工程と、
    処理装置によって、前記第1のソースから前記複数のメモのうちの少なくとも1つを認識する工程と、
    前記処理装置によって、前記複数のメモのうちの前記1つのコンテンツを抽出する工程と、
    前記第1のソース及び前記第2のソースによって提供された前記複数のメモのそれぞれをカテゴリーでラベル付けする工程と、を含む、方法。

  2. 前記ラベル付け工程が、前記抽出されたコンテンツに基づいて、前記複数のメモのうちの前記1つをラベル付けすることを含む、請求項1に記載の方法。

  3. 前記複数のメモのうちの前記1つがマークを含む、請求項1に記載の方法。

  4. 前記認識工程が、前記視覚的表現から前記複数のメモのうちの前記1つの前記マークを認識することを含む、請求項3に記載の方法。

  5. 前記認識工程が、前記認識されたマーク、前記複数のメモのうちの前記1つの既知の形状、及び前記複数のメモのうちの前記1つ上の前記マークの既知の相対位置に基づいて、前記複数のメモのうちの前記1つの一般的な境界を決定することを含む、請求項4に記載の方法。

  6. 前記複数のメモが、物理的メモ、デジタルメモ、及びそれらの組み合わせを含む、請求項1に記載の方法。

  7. 提示デバイスによって、前記抽出されたコンテンツをユーザに提示することを更に含む、請求項1に記載の方法。

  8. 前記提示工程が、前記複数のメモのうちの前記1つの前記カテゴリーを示す出力フィールドに、前記抽出されたコンテンツを提示することを含む、請求項7に記載の方法。

  9. メモ管理システムであって、
    複数のメモを提供するように構成された第1のメモソース及び第2のメモソースであって、異なるデバイスから生成され、前記第1のメモソースが、1つ以上のメモを有する場面の視覚的表現である、第1のメモソース及び第2のメモソースと、
    前記視覚的表現を受信して、前記視覚的表現から前記複数のメモのうちの1つの一般的な境界を決定するように構成されたメモ認識モジュールと、
    前記複数のメモのうちの前記1つの前記決定された一般的な境界に基づいて、前記視覚的表現から前記複数のメモのうちの前記1つのコンテンツを抽出するように構成されたメモ抽出モジュールと、
    前記複数のメモのうちの前記1つをカテゴリーでラベル付けするように構成されたメモラベル付けモジュールと、を備える、メモ管理システム。

  10. 前記メモラベル付けモジュールが、前記抽出されたコンテンツに基づいて、前記複数のメモのうちの前記1つをラベル付けするように更に構成される、請求項9に記載のメモ管理システム。

  11. 前記複数のメモのうちの前記1つが、マークを含み、前記メモ認識モジュールが、前記視覚的表現から前記複数のメモのうちの前記1つの前記マークを認識するように更に構成される、請求項9に記載のメモ管理システム。

  12. 前記メモ認識モジュールが、前記認識されたマークに基づいて、前記複数のメモのうちの前記1つの前記一般的な境界を決定するように更に構成される、請求項11に記載のメモ管理システム。

  13. 前記抽出されたコンテンツをユーザに提示するように構成されたメモ提示モジュールを更に備える、請求項9に記載のメモ管理システム。

  14. 前記複数のメモのうちの前記1つを認証するように構成されたメモ認証モジュールを更に備え、
    前記複数のメモのうちの前記1つが認証された場合、前記メモ抽出モジュールが、前記複数のメモのうちの前記1つの前記コンテンツを抽出するように更に構成される、請求項9に記載のメモ管理システム。

  15. 前記メモラベル付けモジュールが、前記抽出されたコンテンツ及び履歴データに基づいて、前記複数のメモのうちの前記1つをラベル付けするように更に構成される、請求項9に記載のメモ管理システム。

 

 

Patent trol of patentswamp
類似の特許
本技術の実施形態は、データサニタイゼーション及び正規化、並びにこれを適用したジオコーディング方法に関する。例示的な方法は、ジオデータセットをサニタイジングするステップと、正規化されたレーベンシュタイン距離アルゴリズムを用いて、サニタイジングされたジオデータを正規化するステップを含む。
【選択図】図1
特に視床下核(STN)等の大脳基底核の領域であるがこれらに限定されない脳領域分析の体積分割方法が開示される。これは、脳深部刺激処置で関心領域の予測の例として、大脳基底核の皮質下領域内を視覚化し局所化するように機能する。統計学的形状モデルが、高磁場、例えば、7TのMR撮像から得られた高品質トレーニングセットでの様々なモードのSTN又は対応する関心領域及びその予測子に適用される。部分最小二乗回帰(PLSR)法が適用されて、予測すべき領域、例えば、STNと、その予測子との空間関係が誘導される。本発明を検証する予測正確性は、手動でセグメント化されたSTNとその予測されたものとの形状類似性並びに位置、サイズ、及び向きの誤差を測定することによって評価される。
クライアントデバイスとコンテンツ管理システムとの間の同期のために並べられたコンテンツアイテムを自動的に優先付けすることで、共有処理を改善できる。すなわち、コンテンツアイテムへの共有リンクが生成されたか否かに基づいて、コンテンツアイテムを優先付けできる。共有リンクにより、ユーザはコンテンツ管理システムから共有コンテンツアイテムへアクセス可能となる。共有リンクを使用して共有されたコンテンツアイテムにはより高い優先度が付与され、共有されていないコンテンツアイテムよりも前に同期される。キューに入っているコンテンツアイテムは優先付けの結果として得られる同期順序にしたがって同期されうる。さらに、同期のために並べられている複数の共有コンテンツアイテムはひとつ以上のサブ優先付け基準に基づいてサブ優先付けされうる。
【選択図】図3
自動プロセスを動作させるシステムを提供する。前記システムは、データベース(106)に対して通信可能に接続された第1コンピュータ(102)を備える。前記第1コンピュータ(102)は、前記データベース(106)が格納しているデータを利用して、自動プロセスの動作に対して影響する命令を実行するように構成されている。さらに、自動プロセスを動作させる方法を提供する。前記方法は、データベース(106)に対して通信可能に接続された第1コンピュータ(102)を提供するステップ;自動プロセスを実行するように前記第1コンピュータ(102)を構成するステップ;前記データベース(106)が格納しているデータを用いて前記自動プロセスを実行するステップ、を有する。
【選択図】図1
本発明は、複数のクライアント・コンピュータ100と、第1のファイル・システムを管理し、複数のクライアント・コンピュータ100に接続されるようにするための第1のファイル・システム管理ユニット310と、第2のファイル・システムを管理し、第1のファイル・システム管理ユニット310に接続されるようにするための第2のファイル・システム管理ユニット410とを備えるデータ・ストレージ・システムにおいて第1のファイル・システムのデータ・マイグレーションを行うための、第2のファイル・システムは複数のデータ・ファイルを備え、第1のファイル・システムは複数の外部リンク・オブジェクトを備え、第1のファイル・システムの各外部リンク・オブジェクトは第2のファイル・システムのそれぞれのデータ・ファイルへのクライアント・アクセスを可能にするように第2のファイル・システムのそれぞれのデータ・ファイルに関連付けられる、方法および装置に関係する。
本発明は、複数のクライアント・コンピュータ100と第2のファイル・システムを管理し、第2のファイル・システムへのクライアント・アクセスを可能にするための第2のファイル・システム管理ユニット410とを備えるデータ・ストレージ・システムにおいて第2のファイル・システムへの間接的アクセスを可能にする仮想化されたファイル・システムを実現するための方法および装置に関するものであり、この方法は複数のクライアント・コンピュータ100と第2のファイル・システム管理ユニット410との間で第1のファイル・システム管理ユニット310を相互接続することと、第1のファイル・システム管理ユニット310によって管理される第1のファイル・システム内に第1のディレクトリ/rootを作成することと、第2のファイル・システムの第1のディレクトリ/rootを第1のファイル・システムの第1のディレクトリ/rootに関連付けることと、第1のファイル・システム管理ユニット310においてクライアント・コンピュータ100から受信されたクライアント要求に基づき、また第1のファイル・システムの第1のディレクトリと第2のファイル・システムの第1のディレクトリとの間の関連付けに基づき第1のファイル・システム管理ユニット310による第2のファイル・システムのオンデマンド仮想化を可能にすることと、第1のファイル・システムを通じて第2のファイル・システムへの間接的クライアント・アクセスを可能にすることとを含む。
本発明はアプリケーション情報の検索方法及びその装置を提供する。前記方法はクライアントから検索語を受信するステップと、前記検索語の関連アプリケーションおよび関連ページを取得するとともに、前記クライアントに前記関連アプリケーションおよび関連ページを含む検索結果を返送し、前記クライアントがローカルに前記関連アプリケーションがあると判定した場合には、前記関連アプリケーションを開くとともに、前記関連ページを表示するようにするステップとを含む。本発明実施形態のアプリケーション情報の検索方法は、検索語の関連アプリケーションおよび関連ページを取得することによって、ユーザーが望むアプリケーションおよびその関連情報をより迅速かつ便利に取得し、更に、クライアントが関連アプリケーションを開く場合には、関連ページを表示することができるため、ユーザーの時間を節約し、ユーザー体験を向上することができる。
本開示は、検索エンジンによるコメントの順位付けを実施する例示的方法及び装置を提供する。対象物に関するコメントから、対象物を説明する一以上の用語が抽出される。対象物を説明する用語に応じて、コメントに含まれる一以上の有用属性が取得される。有用属性の数に応じて、コメントの採点指標が決定される。指標に従ってコメントが採点される。得点に従ってコメントが順位付けられる。本技術は、ユーザが素早くかつ効率的に有益なコメントを見ることを可能にし、かつユーザが十分な情報を得たうえで決断することを助ける。
方法は、モバイルデバイスにおいて、モバイルデバイスからリモートデバイスに転送される第1のメディアアイテムの選択を受信することを含む。方法は、モバイルデバイスによって、第1のメディアアイテムとの第2のメディアアイテムの類似性に基づいて、リモートデバイスに転送するように第2のメディアアイテムを選択することも含む。方法は、モバイルデバイスによって、リモートデバイスに転送するようにパッケージ化されたモーメントのデータを生成することをさらに含み、ここでパッケージ化されたモーメントのデータは、第1のメディアアイテムと第2のメディアアイテムとを含む複数のメディアアイテムに関連付けられたメディアデータを含む。
ユーティリティアプリケーションストアは、ユーティリティアプリケーションストアから使用可能な複数のアプリケーションを表示するインターフェースを提示するように構成可能である。ユーティリティアプリケーションストアのインターフェースにアクセスすることにより、ユーティリティサプライヤは、単一の要求で、ユーティリティの通信ネットワークにおける複数のユーティリティメータまたは他のスマートセンサ上で1または複数のアプリケーションのインストールまたはアクティブ化を開始することができる。ユーティリティアプリケーションストアは、ユーティリティメータもしくは他のスマートセンサ、コンシューマコンピューティングデバイス、および/またはユーティリティサプライヤユーティリティバックオフィスコンピューティングデバイスに対するアプリケーションの利用可能性の通知を提供するように構成可能である。ユーティリティアプリケーションストアは、ユーティリティメータによる実行のために構成された第1の部分と、別のコンピューティングデバイス(たとえば、パーソナルコンピュータ、モバイルデバイス、ユーティリティサプライヤバックオフィスサーバ、またはクラウドサービスなど)による実行のために構成された第2の部分とを含むことができる。
To top