RPA機能について

AI JIMY Paperbot では、文字認識結果をExcelや業務システムに転記するための、簡易なRPA（Robotic Process Automation）機能を用意しています。
本機能を使用することで、伝票入力業務などの自動化を目指すことも可能です。
（当該内容は、バージョン2.0.7.0を基準に作成しています）

設定方法

ワークフロー設定画面の[RPA]タブを開き、[●利用する]を選択することで、設定可能になります。
[自動実行]を選択すると、文字認識後に自動で実行します。[手動実行]を選択すると、[▶RPA処理 実行]を押下することで実行します。
一度文字認識を行った後であれば、ワークフロー設定画面の[▶RPA処理 実行]を押下することで認識結果を元に実行します。（最後に行った文字認識結果を覚えています）
事前に、[文字認識]タブで、読み取り領域をひとつ以上作成したテンプレートを用意してください。
複数のテンプレートを用意した時は、すべてのテンプレートの共通の領域名を利用できます。
下記の場合、「会社名」「希望納期」「金額合計」は共通するので、RPAで利用できます。「税込」は下側のテンプレートにしかないので、RPAでは利用できません。

アクションとは

アクションとは、自動化する処理の個別の動作のことです。[RPA]タブの左のアクションを並べることで、処理を実行します。
ここでは、基本的なアクションを説明します。Excelを操作するアクションは、次の記事でご紹介します。

アクション共通処理

各アクションの左上の「－」ボタンの押下で、説明以外を非表示にし、表示するアクションの行数を増やします。
右上の「▲」「▼」ボタンで、アクションの順番を入れ替えます。
右上の「×」ボタンで、アクションを削除します。
右クリックメニューの「この処理をスキップする」で、実行時、対象のアクションを実行せずスキップします。
右クリックメニューの「全て折りたたむ」「全て展開する」で、説明以外の非表示、表示を切り替えます。※アクション数が多い時、後半のアクションは折りたたんだ状態で表示します。
説明欄にはメモを記入出来ます。実行時は説明欄を表示します。

アプリケーションを起動する

このアクションではアプリケーションパスを入力することで、任意のアプリケーションを起動することが可能です。※%windir% 形式での記述は対応範囲外です。
直接フルパスで指定する方法と、ファイル選択からユーザー任意のアプリケーションファイルを選択することが可能です。
メモ帳を起動する時は、notepad.exe　と記入します。

URLを指定することもできます。

「最大化して起動する」にチェックを入れることで、アプリケーション起動時に最大化して起動することが可能です。※アプリケーションにより、最大化しないこともあります。

待機する

待機する秒数を指定します。※最長待機時間は600秒です。
アプリケーション起動に時間がかかるものなど、一定時間、あえて待機させる場合に使用します。
適宜挿入することを推奨します。

アクティブ化する

指定したウインドウをアクティブ化（前面移動）します。
アプリケーションを起動した際や、複数のアプリケーションを連動させる際に使用いたします。
対象のタイトル　から、アクティブ化したいウインドウのタイトルを選びます。未起動時は、起動後に「再取得」を押下後、プルダウンから選んでください。※タイトルは部分一致です。
操作対象は常にアクティブ化してください。

キーを送信する

現在アクティブとなっているシステムに、指定した文字を転記します。
「あいうえお」や「abcde」などの文字列や、下記ボタン群から[F1]などを選択することも可能です。
下記特殊キーを利用し、現在日時を転記することも可能です。
コピー（Ctrl+C）の実行、Excelで最終行に移動（Ctrl+↓）、一般的なアプリケーションでの保存（Alt+S）時などは、下記特殊キーの「{ctrl}」や「{alt}」などを組み合わせて利用します。
キャレット（カレット「^」）は、システム上特殊な意味を持つので利用できません。例えばChromeのタブを閉じたい時は、{ctrl}w　を使うなど、代替手段をご利用ください。

特殊キー説明

キー操作意味
f1 ~ f12f1 や f12など、ファンクションキーを送信する
tabTABキーを送信する
enterEnterキーを送信する
shiftShiftキーを送信する
ctrlCtrlキーを送信する。　また、{ctrl}vなど、アクションを組み合わせたキー操作が可能
altAltキーを送信
leftLeftキーを送信
rightRightキーを送信
upUpキーを送信
downDownキーを送信
homeHomeキーを送信
endEndキーを送信
delDeleteキーを送信
space半角空白を送信
YYYY現在年を送信
MM現在月を送信
DD現在日を送信
hh現在時間を送信
mm現在分を送信
ss現在秒を送信

認識結果を入力する

現在アクティブとなっているシステムに、認識結果を転記します。
送信できる項目は事前にテンプレート設定の際に項目として設定している値及び、「{元ファイル名}」「{行番号}」です。※行番号は、末尾の注記を参照願います。

また、データを入力する際に各オプションを使用した上で入力することが可能です。

オプション説明

オプション名意味
トリム文字列の先頭と末尾のスペースを削除します。例： 「 あいうえお 」=>「あいうえお」
右トリム文字列の末尾のスペースを削除します。例： 「 あいうえお 」=>「 あいうえお」
左トリム文字列の先頭のスペースを削除します。例： 「 あいうえお 」=>「あいうえお 」
大文字文字列を大文字に変換します。例：「abcde」=>「ABCDE」
小文字文字列を小文字に変換します。例：「ABCDE」=>「abcde」
全角文字列を全角文字に変換します。 例：ﾊﾝｶｸﾓｼﾞﾚﾂ => ハンカクモジレツ
英数半角英数文字列を半角文字に変換します。カナは半角化できません。
例：Ｈａｌｆ－ｗｉｄｔｈ　ｃｈａｒａｃｔｅｒ => Half-width character
ENTER入力後にEnterキーのキー送信を送信します。
TAB入力後にTABキーのキー送信を送信します。
除外文字認識結果から指定した文字を除外します。（下記参照）
マスタ変換認識結果をマスタ変換します。（下記参照）
日付書式認識結果の日付書式を指定します。（下記参照）

特殊処理

除外文字

指定した文字を除外します。例えば上記で「円,」を指定しているので、「12,345円」を「12345」に変換後、転記します。

マスタ変換

マスタファイルから、変換前の値と変換後の値を読み取り、変換します。例えば以下のマスタを指定した時、

「01の郷土料理は豚丼です」を「北海道の郷土料理は豚丼です」に変換後、転記します。
マスタファイルは、カンマ区切り形式です。ダブルクォートは無視します。

日付書式

出力書式に変換後、転記します。

例：「2022年08月03日」の時、「yyyy/MM/dd」指定時は「2022/08/03」へ、「ggyy年M月d日」指定時は「令和04年8月3日」へ変換します。

使用できる書式は以下の通りです。※出力書式のプルダウンに存在しない書式も利用可能です。

書式変換
yyyy年4桁
yy年2桁
MM月2桁
M月1桁
dd日2桁
d日1桁
gg年号

繰り返す

読み取った帳票を順次取得しながら、開始から終了の間のアクションを繰り返します。
テンプレートは個別に指定できますが、「{すべて}」を選択することで、テンプレートに関わらず、読み取ったすべての帳票を対象にします。

例：
テンプレート「A」選択時、そのテンプレートで認識した枚数が2枚なら、繰り返す回数は2回
すべてのテンプレート選択時、認識枚数が3枚なら、繰り返す回数は3回

表抽出を利用した時以外は、ループ処理の中(開始と終了の間)にループ処理を挿入することは出来ません。※表抽出については、次の記事を参照願います。
繰り返し対象がなかった場合(処理するテンプレートの帳票がない場合)には、ループ処理をスキップし、後続処理を実行します。

条件分岐する

事前にテンプレート設定の際に項目として設定している値及び、「{元ファイル名}」「{行番号}」で、条件分岐を行うことができます。※行番号は、末尾の注記を参照願います。
「=」「≠」「＞」「＜」の等号、不等号で処理を設定出来ます。
数字での分岐が出来ます。文字の分岐の時「=」「≠」は利用できますが、「＞」「＜」は使えません。

上記、金額合計が1000円未満の時分岐内のアクションを実行し、1000円以上の時は、分岐内のアクションを飛ばします。

マウスをクリックする

X(横),Y(縦)をそれぞれ数値で座標を選択してクリックアクションを行います。
「左」のボタンをクリックすると左クリック、「右」のボタンをクリックすると右クリックを行います。
このアクションが図のように選択状態 (緑色になっている状態)で、[F1]キーを押下することで、現在マウスカーソルがある場所の座標を記録することが可能です。

Excel機能について

Excel機能については別の記事内で詳細説明しています。詳しくは「こちら」をご覧ください。

注記（繰り返しと分岐、行番号、アクション数の上限）

繰り返しと分岐

  • 繰り返しと分岐は、開始と終了が対応します。奇数になったり、順番が入れ替わったりした時は、保存時にエラーが発生します。

行番号

  • 認識結果を入力する　と　条件分岐する　アクションに、行番号を利用できます。
  • テンプレートに「表抽出」を利用しない時、行番号は、帳票の順番に付与します。
  • テンプレートに「表抽出」を利用した時、行番号は、明細の行番号です。
  • 表抽出機能については、認識方法「表抽出」の使用方法と注意点　の　RPAでの利用方法　を参照願います。

アクション数の上限

  • アクション数に上限は設定していませんが、おおよそ300程度が運用上の上限です。多くても600程度です。
  • 利用するアクションの組み合わせにより変動しますが、630を超えると、Windowsの制限により表示が崩れたり、例外エラーが発生します。
  • また、利用するパソコンの性能により、アクション数が600未満でも、例外エラーが発生することがあります。

関連する記事