Windows UI automation with "Power Automate Desktop" as well known Microsoft RPA tool

1. RPAツール“Power Automate
Desktop”によるWindows UI
への自動入力デモ
合同会社フシギラボ
岸本拓也
2021/12

2. Power Automate Desktop?
• Microsoftが2021/3に発表したRPAツール
• Windows11へはデフォルトでインストールされています
• Windows10は別途インストールが必要
• 無料で利用できる
• マイクロソフトアカウント or O365などの組織アカウントが必要

3. できること
• コードを書く必要はない
• GUIによるRPA開発
• UIを記録し再生させることができる
• Windows UI, Web UIの記録&再生
• マイクロソフトから提供されている100以上のアクションを選択すればRPAフ
ローを作成できる
• 例外処理,If分岐,Loop処理実装可能

4. できないこと
• Windows OS以外では動作しない
• Mac,Linuxでは動かない
• 定形外の動作
• ランダムな動作の自動実行化は困難
• バックグランド実行
• ユーザがPCを利用をしながら裏で動作はできない
• 誰も触っていない状況で実行することが推奨される
• 素早い動作
• パフォーマンスが重視される動作は不得意
• 1実行/秒のような動作は他手段を検討した方がよい
• タイマー起動
• 時間になったら起動する場合は有償オプション要購入
• イベントによる起動
• 以下のようなイベントによる自動起動は有償オプション要購入
• ファイルがおかれたら
• メールが届いたら
• コードによる開発
• ROBIN言語という独自言語で実装するが資料はあまりない
• 言語による開発の場合はpyautoguiなど別手段での実装が良さそう
• 作成したフローの共有
• ROBIN言語によるコピペ共有は可能
• 有償オプションは共有可能
×Windows OS以外×
×ランダムな動きの自動化×
×素早さが求められる自動化×

5. できたこと
1. 特定アプリケーションの実行
1. アプリケーションの自動起動
2. 特定ウィンドウへのフォーカス
3. テキスト入力
1. LoginID/パスワードの自動入力
4. ボタン押下
1. OK,Cancelボタンの押下
5. 特定キーの送信
1. ファンクションキー,tabキー送信
6. 画像検索
1. 特定画像へのマウス移動
7. 画面情報のテキスト化
1. OCRによるテキスト化
2. 特定テキストへのマウス移動
8. マウスクリック
1. 左右クリック,ダブルクリック
9. ファイルの読込
1. CSV,Excelなどの読込

6. DEMO
電子登記による合同会社設立をRPAで