AI JIMY Paperbot では、文字認識結果をExcelや業務システムに転記するための、簡易なRPA（Robotic Process Automation）機能を用意しています。
本機能を使用することで、伝票入力業務などの自動化を目指すことも可能です。
（当該内容は、2024/10/23公開の バージョン5.0.0 を基準に作成しています。それ以前の旧バージョンとの違いについても適宜記載します）
目次
画面構成
[ワークフロー設定]画面 – [RPA]タブ をクリックして、次の画面を開きます。
①[RPA出力機能の利用]で[利用する]を選択することで、設定可能になります。
②フローを実行します。文字認識を行う前に実行すると、データがないので期待通りの動きを行いません。
認識結果を入力する時、次のエラーダイアログを表示するか（異なるワークフローで実施済の時）、または何も行いません。（文字認識を未実施の時）
③フローへのアクションの追加、移動、貼り付けや削除の操作を取り消します。プロパティの記述の取り消しは行いません。
④フローの一時保存を行います。旧バージョンでは[保存して閉じる]しかできませんでしたが、[ワークフロー設定]画面を閉じずにフローを保存できるようになりました。
旧バージョンからフローを引き継いだ時、保存時に以下の確認ダイアログを表示します。
⑤利用できるアクション（操作）を表示します。
⑥フローを配置します。
⑦プロパティを表示、編集します。フロー上のアクションをクリックすると表示します。
アクション
アクションとは、自動化する処理の個別の動作のことです。画面左のアクションボタンをクリックし、フローに配置します。
ここでは、基本的なアクションを説明します。Excelを操作するアクションは、 こちら の記事 でご紹介します。
アクション共通操作（右クリックメニュー）
①選択中のコンテナ（箱の絵があるアクション）は折りたたむことができます。
折りたたんだコンテナは、[展開する]で展開します。
②取り消しボタンと同じです。
③選択中のアクションを切り取ります。コンテナ（箱の絵があるアクション）は、中に含むアクションごと切り取ります。
④選択中のアクションをコピーします。コンテナ（箱の絵があるアクション）は、中に含むアクションごとコピーします。
⑤選択中のアクションの次に、切り取ったりコピーしたアクションを貼り付けます。
⑥選択中のアクションをひとつ上に移動します。
コンテナ（箱の絵があるアクション）は上下移動できません。ドラッグドロップを利用して下さい。
⑦選択中のアクションをひとつ下に移動します。
コンテナ（箱の絵があるアクション）は上下移動できません。ドラッグドロップを利用して下さい。
⑧選択中のアクションの無効化、有効化を切り替えます。実行時に処理を行いません。コンテナ（箱の絵があるアクション）は中に含むアクションごと無効化します。
⑨選択中のアクションを削除します。コンテナ（箱の絵があるアクション）は中に含むアクションごと削除します。
フローにアクションを配置する
画面左のアクションボタンをクリックして、中央のフローにアクションを配置します。
続けて配置します。フローの選択中のアクションの下に配置します。
アクションは、マウスでのドラッグドロップ、または右クリックメニューの[上に移動][下に移動]で入れ替えることができます。（移動に制限があるアクションもあります）
アクション詳細
アプリケーションを起動する
このアクションではアプリケーションパスを入力することで、任意のアプリケーションを起動することが可能です。※%windir% 形式での記述は対応範囲外です。
直接フルパスで指定する方法と、ファイル選択からユーザー任意のアプリケーションファイルを選択することが可能です。
例えばメモ帳を起動する時は、C:\Windows\notepad.exe と記入します。
URLを指定することもできます。
「最大化して起動する」にチェックを入れることで、アプリケーション起動時にウインドウを最大化して起動することが可能です。アプリケーションにより、最大化しないこともあります。
指定したアプリケーションまたはファイルが存在しない時は、処理を終了します。
上記の例では、notepad.exx を notepad.exe に修正することで、正しく実行できます。
待機する
待機する秒数を指定します。最長待機時間は600秒です。
アプリケーション起動に時間がかかるものなど、一定時間、あえて待機させる場合に使用します。
適宜挿入することを推奨します。
上記の例では3秒待機します。既定値は3秒です。
アクティブ化する
指定したウインドウをアクティブ化（前面移動）します。アプリケーションを起動した際や、複数のアプリケーションを連動させる際に使用いたします。対象のタイトル から、アクティブ化したいウインドウのタイトルを選びます。未起動時は、起動後に[再取得]をクリックし、プルダウンから選んでください。タイトルは部分一致です。
「最大化する」にチェックを入れることで、アクティブ化時にウインドウを最大化することが可能です。アプリケーションにより、最大化しないこともあります。（バージョン 5.1.1 以降で利用可能）
複数存在する時は、最初に見つけたアプリケーションをアクティブ化します。
操作対象は常にアクティブ化してください。
上記の例では、タイトル欄に「メモ帳」を含むアプリケーションをアクティブ化します。
キーを送信する
現在アクティブとなっているシステムに、指定した文字を転記します。
「あいうえお」や「abcde」などの文字列や、特殊キーを利用し[F1]ボタン、現在日時などを選択することも可能です。
コピー（Ctrl+C）の実行、Excelで最終行に移動（Ctrl+↓）、一般的なアプリケーションでの保存（Alt+S）時などは、下記特殊キーの「{ctrl}」や「{alt}」などを組み合わせて利用します。
Ctrl、Alt、Shift、Windowsキーは、指定した個所以降、二重押しのままになります。特殊キーの三重押しはできません。
旧バージョンに比べ、特殊キーを増やしています。
特殊キー説明
- {bs} バックスペースキー
- {break} ブレークキー
- {capslock} キャプスロックキー
- {del} 削除キー
- {down} ↓キー
- {end} エンドキー
- {enter} エンターキー
- {esc} エスケープキー
- {help} ヘルプキー
- {home} ホームキー
- {ins} インサートキー
- {left} ←キー
- {numlock} ナムロックキー
- {pgdn} ページアップキー
- {pgup} ページダウンキー
- {prtsc} プリントスクリーンキー
- {right} →キー
- {scrolllock} スクロールロックキー
- {space} スペースキー
- {tab} タブキー
- {up} ↑キー
- {f1}～{f16} ファンクションキー
- {alt} オルトキー
- {ctrl} コントロールキー
- {shift} シフトキー
- {windows} ウインドウズキー
- {YYYY} 現在年
- {MM} 現在月
- {DD} 現在日
- {hh} 現在時間（24時間表記）
- {mm} 現在分
- {ss} 現在秒
- {n0}～{n9} テンキーの0～9キー
- {nAdd} テンキーの＋キー
- {nDecimal} テンキーの小数点キー
- {nDivide} テンキーの／キー
- {nMultiply} テンキーの＊キー
- {nSubtract} テンキーのマイナスキー
クリップボード経由
バージョン5.2.0以降、☑クリップボード経由 を利用できます。
キャレット（カレット「^」）は、日本語Windowsの仕様上文字化けを起こしていましたが、クリップボードを経由することで送信できるようになりました。
例えば「(^^)/」を送信した時、チェックOFF→「(&&)/」、チェックON→「(^^)/」を送信します。
他にも期待する文字を送信できない時は、☑クリップボード経由 を試してください。
なお、Chromeのタブを閉じたい時は、{ctrl}w を使うなど、代替手段をご利用ください。
また、☑クリップボード経由 にチェックを入れた時、特殊キー（{}で囲った文字）は、{enter}と{tab}のみ有効です。
認識結果を入力する
現在アクティブとなっているシステムに、認識結果を転記します。
送信できる項目は事前にテンプレート設定の際に項目として設定している項目と、標準の項目です。
旧バージョンでは「除外文字」「マスタ変換」「日付書式」の指定が出来ましたが、テンプレート側で設定できるので削除しました。
標準の項目
- {元ファイル名} 元ファイル名を表示します。
- {行番号} 行番号を表示します。末尾の注記を参照願います。
- {テンプレート名} 文字認識に利用したテンプレート名を表示します。
- {出力CSVファイルパス} CSVの出力先を表示します。
- {出力PDFファイルパス} PDFの出力先を表示します。
オプション
| オプション名 | 意味 | 例 |
| トリム | 文字列の先頭と末尾のスペースを削除します。 | 「 あいうえお 」=>「あいうえお」 |
| 右トリム | 文字列の末尾のスペースを削除します。 | 「 あいうえお 」=>「 あいうえお」 |
| 左トリム | 文字列の先頭のスペースを削除します。 | 「 あいうえお 」=>「あいうえお 」 |
| 大文字 | 文字列を大文字に変換します。 | 「abcde」=>「ABCDE」 |
| 小文字 | 文字列を小文字に変換します。 | 「ABCDE」=>「abcde」 |
| 全角 | 文字列を全角文字に変換します。 | ﾊﾝｶｸﾓｼﾞﾚﾂ => ハンカクモジレツ |
| 英数半角 | 全角の英数文字を半角文字に変換します。ひらがな、カタカナ、漢字などは変換できません。 | Ｈａｌｆ－ｗｉｄｔｈ ｃｈａｒａｃｔｅｒ => Half-width character |
| ENTER | 入力後にEnterキーのキー送信を送信します。 | （なし） |
| TAB | 入力後にTABキーのキー送信を送信します。 | （なし） |
クリップボード経由
転記はSendKeys技術によって行いますが、アプリケーションにより正しく転記出来ない、文字数により速度が遅い時があります。
クリップボードを経由することで、転記できることがあります。
繰り返す
読み取った帳票を順次取得しながら、開始から終了の間のアクションを繰り返します。
テンプレートは個別に指定できますが、「{すべて}」を選択することで、テンプレートに関わらず、読み取ったすべての帳票を対象にします。
例：
テンプレート「A」選択時、そのテンプレートで認識した枚数が2枚なら、繰り返す回数は2回。
すべてのテンプレート選択時、認識枚数が3枚なら、繰り返す回数は3回。
表抽出を利用した時以外は、ループ処理の中(開始と終了の間)にループ処理を挿入することは出来ません。
表抽出については、 こちらの記事 を参照願います。
繰り返し対象がなかった場合(処理するテンプレートの帳票がない場合)には、ループ処理をスキップし、後続処理を実行します。
条件分岐する
事前にテンプレート設定の際に項目として設定している値及び、「{元ファイル名}」「{行番号}」で、条件分岐を行うことができます。※行番号は、末尾の注記を参照願います。
「=」「≠」「＞」「＜」の等号、不等号で処理を設定出来ます。
旧バージョンと異なり、文字同士の比較にも「＞」「＜」を利用できます。例えば「あ」と「い」を大小比較すると「い」の方が大きいと判断します。文字コードでの判断になるので、期待とは異なる可能性があります。
チェックボックス、丸囲みの時は、比較には「true」、「false」を使ってください。
上記の例では、チェックボックス項目{なるはや}が空欄の時、分岐側の処理を行います。
マウスをクリックする
X(横),Y(縦)をそれぞれ数値で座標を選択してクリックアクションを行います。
「左クリック」を選択すると左クリック、「右クリック」を選択すると右クリックを行います。
このアクションを選択状態の時に[F1]キーをクリックすることで、現在マウスカーソルがある場所の座標を記録することが可能です。
旧バージョンと異なり、-99,999,999～999,999,999を指定できます。旧バージョンではマイナス位置を指定できませんでした。
IMEを切り替える
IMEのON、OFFを切り替えます。
ひらがな、全角カタカナなどの指定はできません。
アプリケーションにより設定できないことがあります。
上記の例では、IMEをONにします。
スクリーンショットを撮る
全体のスクリーンショットを撮ります。マルチモニタ時は、片方のモニタのみ対象になります。
指定したフォルダにjpgファイルを出力します。ファイル名は「Capture_（yyyyMMddhhmmss）.jpg」 になります。例：Capture_20240903163207.jpg
アクティブな画面のみのスクリーンショットを撮りたい時は、[☑アクティブな画面のみ記録する]にチェックを入れてください。マルチモニタ時でマイナス位置にあるモニタを指定した時は記録できません。
上記の例では、デスクトップにスクリーンショットを保存します。
グループ化する
このアクション単体に機能はありませんが、複数のアクションをひとまとめにして扱うことができます。
フローが長くなった時、折りたたんで見通しをよくできます。
同じ処理の繰り返しがあった時、まとめてコピーしたり貼り付けたりできます。
旧自バージョンにはなかったコンテナ（箱の絵があるアクション）です。
Excel機能について
Excel機能については別の記事内で詳細説明しています。詳しくは「こちら」をご覧ください。
注記（繰り返しと分岐、行番号、アクション数の上限）
繰り返しと分岐
- 繰り返しと分岐は、開始と終了が対応します。奇数になったり、順番が入れ替わったりした時は、保存時にエラーが発生します。
行番号
- 認識結果を入力する と 条件分岐する アクションに、行番号を利用できます。
- テンプレートに「表抽出」を利用しない時、行番号は、帳票の順番に付与します。
- テンプレートに「表抽出」を利用した時、行番号は、明細の行番号です。
- 表抽出機能については、認識方法「表抽出」の使用方法と注意点 の RPAでの利用方法 を参照願います。
アクション数の上限
- アクション数に上限は設定していませんが、おおよそ700個程度での動作確認を行っています。
- 動作環境や利用するアクションの組み合わせにより、アクション数が700個未満でも、Windowsの制限により表示が崩れたり、例外エラーが発生することがあります。
- 旧バージョンに比べ、倍以上のアクションを並べることが出来るようになりました。
