SlideShare a Scribd company logo
RPAツール“Power Automate
Desktop”によるWindows UI
への自動入力デモ
合同会社フシギラボ
岸本拓也
2023/2
会社紹介
• 社名: 合同会社フシギラボ
• 代表社員: 岸本拓也
• 設立: 2021/11
• 事業内容:
データベース技術に特化し、企業様向けにサービスを提供しています。企業様が持つデータの価値
をより高めるために、データベース移行支援・データベースシステム運用・データ統合アプリ作成
の3事業を展開しています。
• 代表略歴:
1994/4 金融向けシステム運用部門担当としてエンジニアキャリアスタート
1999/5 土木設計事務所へ転職。Oracle DBに出会う
2003/5 DBコンサルティング会社へ転職
2020/2 フリーランスのDBエンジニアとして独立
2021/11 合同会社へ法人成
事業紹介
主に取り組んでいる事業
• データベース移行支援
• オンプレ->クラウド
• 商用DB->OSS DB
• DB統合
• データベースシステム運用
• リモートDBA
• 障害対応
• パフォーマンスチューニング
• 監視システム構築
• DB統合アプリ作成
• 各種DBへ定期的にデータ連携
• データ加工
• Webスクレイピングアプリ開発
提供可能な技術領域
• ソフトウェアエンジニアリング
• プロジェクトマネジメント
• DB論理/物理設計
• システム運用管理
• 高可用性設計
• 耐障害性,高パフォーマンス
• 事業ドメイン
• だいたいなんでも(100+サイト経験あり)
• 販売管理システムが多め
• RDBMS
• Oracle,PostgreSQL,MySQL,MS SQL
• 言語
• Python,Ruby,Shell,PL/SQL,SQL
• クラウド
• AWS,Azure,GCP
今後取り組みたい事業
• データ統合基盤を構築した後の保守案件を増やしたい
• データ利活用アプリケーションの構築
• 現在Microsoft Power Platformによるローコード開発に取り組んでいます
• パフォーマンスチューニング
• 火消プロジェクト参画多数。特に流通業が多いです
• データ取込アプリケーションの構築
• RPAによる既存システムへのデータ連携
• 現在OBICへのデータ連携にてpythonによるRPAの開発に取り組んでいます
• OSS(embulk)によるデータレイクへのデータ連携
• スクラッチ開発(python,ruby)によるデータレイクへのデータ連携
My Vision
“データがより価値を高めるた
めの活動を社会に提供する”
Power Automate Desktop?
• Microsoftが2021/3に発表したRPAツール
• Windows11へはデフォルトでインストールされています
• Windows10は別途インストールが必要
• 無料で利用できる
• マイクロソフトアカウント or O365などの組織アカウントが必要
できること
• コードを書く必要はない
• GUIによるRPA開発
• UIを記録し再生させることができる
• Windows UI, Web UIの記録&再生
• マイクロソフトから提供されている100以上のアクションを選択すればRPAフ
ローを作成できる
• 例外処理,If分岐,Loop処理実装可能
できないこと
• Windows OS以外では動作しない
• Mac,Linuxでは動かない
• 定形外の動作
• ランダムな動作の自動実行化は困難
• バックグランド実行
• ユーザがPCを利用をしながら裏で動作はできない
• 誰も触っていない状況で実行することが推奨される
• 素早い動作
• パフォーマンスが重視される動作は不得意
• 1実行/秒のような動作は他手段を検討した方がよい
• タイマー起動
• 時間になったら起動する場合は有償オプション要購入
• イベントによる起動
• 以下のようなイベントによる自動起動は有償オプション要購入
• ファイルがおかれたら
• メールが届いたら
• コードによる開発
• ROBIN言語という独自言語で実装するが資料はあまりない
• 言語による開発の場合はpyautoguiなど別手段での実装が良さそう
• 作成したフローの共有
• ROBIN言語によるコピペ共有は可能
• 有償オプションは共有可能
×Windows OS以外×
×ランダムな動きの自動化×
×素早さが求められる自動化×
できたこと
1. 特定アプリケーションの実行
1. アプリケーションの自動起動
2. 特定ウィンドウへのフォーカス
3. テキスト入力
1. LoginID/パスワードの自動入力
4. ボタン押下
1. OK,Cancelボタンの押下
5. 特定キーの送信
1. ファンクションキー,tabキー送信
6. 画像検索
1. 特定画像へのマウス移動
7. 画面情報のテキスト化
1. OCRによるテキスト化
2. 特定テキストへのマウス移動
8. マウスクリック
1. 左右クリック,ダブルクリック
9. ファイルの読込
1. CSV,Excelなどの読込
DEMO
電子登記による合同会社設立をRPAで
RPAでできること比較表(python VS PowerAutomateDesktop)
python PowerAutomateDesktop
RPAできることカテゴリ RPAでできること 無償 無償 有償 確認した機能 実装した機能
RPA起動タイミングの操作
手動起動 〇 〇 〇 PowerAutomateDesktop起動後に実行 〇
特定時刻による自動起動 〇 × 〇 未検証
特定フォルダファイル有無 〇 × 〇 csvファイルの有無検知 〇
指定条件メール受信 〇 × 〇 未検証
指定条件Teams受信 〇 × 〇 未検証
プログラム(pythonなど)から起動 〇 × × 未検証
PowerAutomateから起動 × × 〇 PowerAutomateからpythonコード起動はできない(azure functionsは可能)
アプリ操作
特定アプリケーション自動起動 〇 〇 〇 RDP自動起動 〇
特定ウィンドウ表示待機 〇 〇 〇 各遷移画面識別 〇
テキスト入力 〇 〇 〇 認証情報入力,ファイル読込行入力 〇
ボタン押下 〇 〇 〇 OK/Cancelボタン押下
特定画像へのマウス移動 〇 〇 〇 右記OBICメニュー選択
画像情報のテキスト化 〇 〇 〇 右記画像を文字列="商品単価マスタメンテ"として識別
マウスクリック 〇 〇 〇 左右クリック,ダブルクリック
特定キーの送信 〇 〇 〇 ファンクションキー,tabキー送信 〇
ファイル読み書き
ファイルの読込 〇 〇 〇 CSV,Excelなどの読込
ファイルの書込 〇 〇 〇 未検証
文字コード変換(unicode⇔sjis) 〇 × × csvファイルの文字コード変換処理(unicode->sjis) 〇
表示画面の保存 〇 〇 〇 データ取込成否結果ウィンドウを取得し画像として指定フォルダへ保管 〇
RPA動作成功結果を通知する
Teamsへの通知 〇 〇 〇 データ取込成否結果を特定チャネルへ送信 〇
Mailへの通知 〇 〇 〇 未検証
RPA動作失敗結果を通知する
Teamsへの通知 〇 〇 〇 データ取込成否結果を特定チャネルへ送信 〇
Mailへの通知 〇 〇 〇 未検証
その他
処理のレコーディング 〇 〇 〇 excelマクロのように操作を記録し再生できる.pythonでもsikulixで実装できる
作成したプログラムの共有 〇 × 〇
Windows環境以外での実行 〇 × ×
素早い動作 × × × RPAの処理を1分以内で完了させることは困難
バックグラウンドでの実行 × × × RPA実行中にPCに触ると誤作動する可能性がある
サマリ(python vs PowerAutomateDesktop)
• Python,PowerAutomateDektop双方概ねやりたいことはできる
• ただしRPAで以下の2点は実現が難しい
• バックグラウンド処理。処理完了を見守ってください
• 素早く処理を終える。 < 60秒 はちょっと荷が重い
• PowerAutomateDesktopで自動起動するには要ライセンス購入
• PowerAutomateからpython起動するには工夫が必要(azure
functionsから起動)
• PowerAutomateDesktopでファイルの文字コード変換
(Unicode->SJIS)はできない(power shellで作りこめばできる)
岸本の使ってみた感想
岸本はPythonを10年以上使っているので感想にはバイアスがかかっています
• PowerAutomateDesktopの良かった点
• Win11では初期導入されており使い始めやすい
• レコーディング機能とGUI操作でやりたいことが実現できる
• PowerAutomateDesktopのがんばってほしい点
• RPA自動起動できない(有償版はできる)
• Documentがまとまっていない(本とか買えばいいのかも)
• 仕様書が見つからない
• 逆引きHow toはまとまっている
• GUI操作が煩わしい
• GUIでの開発スピードは遅い
• 開発はCUIで完結したい
• ROBIN言語でできる。しかし仕様書が見つからない。
• 処理速度が遅い
• デフォルトのアイドルタイムとか調整すれば速くなるのかも
RPA開発で必要となる設計書を簡単に作る
• 皆さんが資料を作るのが大変なので↓レベルで作って相談して
くれるとRPA開発を始めやすいです。
実行順序 なにを どうする 成功処理
1sharepoint上のフォルダ 特定フォルダファイルを確認 RPA起動
2csvファイル unicode->sjis変換 処理続行
3RDP接続 特定アプリ起動 処理続行
4RDP認証情報 テキスト入力する 処理続行
5OBICメニュー選択画面 一括取込を選択 処理続行
6一括取込画面 チェックボックスを選択 処理続行
7CSVファイル名フルパス ファイル名入力 処理続行
8一括取込完了画面 画面キャプチャ 処理続行
9一括取込失敗画面 画面キャプチャ 処理続行
10最前面出力画面 画面キャプチャ 処理続行
11画面キャプチャ画像 特定フォルダへ保管 処理続行
12obic7クライアント 終了する 処理続行
13csvファイル 特定フォルダへ移動 処理続行
14完了ステータス teamsへ通知 完了
14CSVファイル名フルパス teamsへ通知 完了
14最終画面キャプチャ teamsへ通知 完了

More Related Content

Similar to RPA tool

【kintone hive 上海】ウィングアーク上海講演資料_160918
【kintone hive 上海】ウィングアーク上海講演資料_160918【kintone hive 上海】ウィングアーク上海講演資料_160918
【kintone hive 上海】ウィングアーク上海講演資料_160918Cybozucommunity
 
Automation with SoftLayer and Zabbix
Automation with SoftLayer and ZabbixAutomation with SoftLayer and Zabbix
Automation with SoftLayer and Zabbixsoftlayerjp
 
第14回SIA例会プレゼン資料
第14回SIA例会プレゼン資料第14回SIA例会プレゼン資料
第14回SIA例会プレゼン資料Tae Yoshida
 
IBM XCITE Spring 2015 - XPages application success story and IBM Bluemix
IBM XCITE Spring 2015 - XPages application success story and IBM BluemixIBM XCITE Spring 2015 - XPages application success story and IBM Bluemix
IBM XCITE Spring 2015 - XPages application success story and IBM BluemixAtsushi Sato
 
Windows Phone / iOS / Android アプリ同時開発のススメ
Windows Phone / iOS / Android アプリ同時開発のススメWindows Phone / iOS / Android アプリ同時開発のススメ
Windows Phone / iOS / Android アプリ同時開発のススメYoshito Tabuchi
 
【ブログdeホームページ】サービス概要
【ブログdeホームページ】サービス概要【ブログdeホームページ】サービス概要
【ブログdeホームページ】サービス概要ブログdeホームページ
 
スマートフォンアプリケーション開発の最新動向
スマートフォンアプリケーション開発の最新動向スマートフォンアプリケーション開発の最新動向
スマートフォンアプリケーション開発の最新動向Tsutomu Ogasawara
 
Material DesignをPolymerで表現しよう(神戸ITフェスティバル × HTML5fun@神戸)
Material DesignをPolymerで表現しよう(神戸ITフェスティバル × HTML5fun@神戸)Material DesignをPolymerで表現しよう(神戸ITフェスティバル × HTML5fun@神戸)
Material DesignをPolymerで表現しよう(神戸ITフェスティバル × HTML5fun@神戸)Masayuki Abe
 
LogDept All-in-one
LogDept All-in-oneLogDept All-in-one
LogDept All-in-oneLogDept. LLC
 
2012 05-19第44回cocoa勉強会発表資料
2012 05-19第44回cocoa勉強会発表資料2012 05-19第44回cocoa勉強会発表資料
2012 05-19第44回cocoa勉強会発表資料OCHI Shuji
 
【Pamphlet】一括請求assist ver.3
【Pamphlet】一括請求assist ver.3【Pamphlet】一括請求assist ver.3
【Pamphlet】一括請求assist ver.3ikkatuseikyuuassist
 
2022_1210_WordpressMeetup.pdf
2022_1210_WordpressMeetup.pdf2022_1210_WordpressMeetup.pdf
2022_1210_WordpressMeetup.pdfNaotaka Saito
 
Power BI セミナー @ 名古屋 #2
Power BI セミナー @ 名古屋 #2Power BI セミナー @ 名古屋 #2
Power BI セミナー @ 名古屋 #2Takeshi Kagata
 
G's Academy メンター資料 / 20180216
G's Academy メンター資料 / 20180216G's Academy メンター資料 / 20180216
G's Academy メンター資料 / 20180216真一 藤川
 
インタリオカンファレンス案内(修正版)3
インタリオカンファレンス案内(修正版)3インタリオカンファレンス案内(修正版)3
インタリオカンファレンス案内(修正版)3Tomoaki Sawada
 
Prejob wordpress v2_1121
Prejob wordpress v2_1121Prejob wordpress v2_1121
Prejob wordpress v2_1121Shohei Aoyama
 
Prejob wordpress v2_1121
Prejob wordpress v2_1121Prejob wordpress v2_1121
Prejob wordpress v2_1121Shohei Aoyama
 

Similar to RPA tool (20)

【kintone hive 上海】ウィングアーク上海講演資料_160918
【kintone hive 上海】ウィングアーク上海講演資料_160918【kintone hive 上海】ウィングアーク上海講演資料_160918
【kintone hive 上海】ウィングアーク上海講演資料_160918
 
Gproduct資料
Gproduct資料Gproduct資料
Gproduct資料
 
会社紹介
会社紹介会社紹介
会社紹介
 
Automation with SoftLayer and Zabbix
Automation with SoftLayer and ZabbixAutomation with SoftLayer and Zabbix
Automation with SoftLayer and Zabbix
 
第14回SIA例会プレゼン資料
第14回SIA例会プレゼン資料第14回SIA例会プレゼン資料
第14回SIA例会プレゼン資料
 
IBM XCITE Spring 2015 - XPages application success story and IBM Bluemix
IBM XCITE Spring 2015 - XPages application success story and IBM BluemixIBM XCITE Spring 2015 - XPages application success story and IBM Bluemix
IBM XCITE Spring 2015 - XPages application success story and IBM Bluemix
 
Windows Phone / iOS / Android アプリ同時開発のススメ
Windows Phone / iOS / Android アプリ同時開発のススメWindows Phone / iOS / Android アプリ同時開発のススメ
Windows Phone / iOS / Android アプリ同時開発のススメ
 
【ブログdeホームページ】サービス概要
【ブログdeホームページ】サービス概要【ブログdeホームページ】サービス概要
【ブログdeホームページ】サービス概要
 
スマートフォンアプリケーション開発の最新動向
スマートフォンアプリケーション開発の最新動向スマートフォンアプリケーション開発の最新動向
スマートフォンアプリケーション開発の最新動向
 
Material DesignをPolymerで表現しよう(神戸ITフェスティバル × HTML5fun@神戸)
Material DesignをPolymerで表現しよう(神戸ITフェスティバル × HTML5fun@神戸)Material DesignをPolymerで表現しよう(神戸ITフェスティバル × HTML5fun@神戸)
Material DesignをPolymerで表現しよう(神戸ITフェスティバル × HTML5fun@神戸)
 
LogDept All-in-one
LogDept All-in-oneLogDept All-in-one
LogDept All-in-one
 
2012 05-19第44回cocoa勉強会発表資料
2012 05-19第44回cocoa勉強会発表資料2012 05-19第44回cocoa勉強会発表資料
2012 05-19第44回cocoa勉強会発表資料
 
【Pamphlet】一括請求assist ver.3
【Pamphlet】一括請求assist ver.3【Pamphlet】一括請求assist ver.3
【Pamphlet】一括請求assist ver.3
 
2022_1210_WordpressMeetup.pdf
2022_1210_WordpressMeetup.pdf2022_1210_WordpressMeetup.pdf
2022_1210_WordpressMeetup.pdf
 
dotNET600 PowerBI
dotNET600 PowerBIdotNET600 PowerBI
dotNET600 PowerBI
 
Power BI セミナー @ 名古屋 #2
Power BI セミナー @ 名古屋 #2Power BI セミナー @ 名古屋 #2
Power BI セミナー @ 名古屋 #2
 
G's Academy メンター資料 / 20180216
G's Academy メンター資料 / 20180216G's Academy メンター資料 / 20180216
G's Academy メンター資料 / 20180216
 
インタリオカンファレンス案内(修正版)3
インタリオカンファレンス案内(修正版)3インタリオカンファレンス案内(修正版)3
インタリオカンファレンス案内(修正版)3
 
Prejob wordpress v2_1121
Prejob wordpress v2_1121Prejob wordpress v2_1121
Prejob wordpress v2_1121
 
Prejob wordpress v2_1121
Prejob wordpress v2_1121Prejob wordpress v2_1121
Prejob wordpress v2_1121
 

Recently uploaded

FIDO Alliance Osaka Seminar: CloudGate.pdf
FIDO Alliance Osaka Seminar: CloudGate.pdfFIDO Alliance Osaka Seminar: CloudGate.pdf
FIDO Alliance Osaka Seminar: CloudGate.pdfFIDO Alliance
 
YugabyteDB適用に向けた取り組みと隠れた魅力 (DSS Asia 2024 発表資料)
YugabyteDB適用に向けた取り組みと隠れた魅力 (DSS Asia 2024 発表資料)YugabyteDB適用に向けた取り組みと隠れた魅力 (DSS Asia 2024 発表資料)
YugabyteDB適用に向けた取り組みと隠れた魅力 (DSS Asia 2024 発表資料)NTT DATA Technology & Innovation
 
FIDO Alliance Osaka Seminar: NEC & Yubico Panel.pdf
FIDO Alliance Osaka Seminar: NEC & Yubico Panel.pdfFIDO Alliance Osaka Seminar: NEC & Yubico Panel.pdf
FIDO Alliance Osaka Seminar: NEC & Yubico Panel.pdfFIDO Alliance
 
【DLゼミ】XFeat: Accelerated Features for Lightweight Image Matching
【DLゼミ】XFeat: Accelerated Features for Lightweight Image Matching【DLゼミ】XFeat: Accelerated Features for Lightweight Image Matching
【DLゼミ】XFeat: Accelerated Features for Lightweight Image Matchingharmonylab
 
LoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアル
LoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアルLoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアル
LoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアルCRI Japan, Inc.
 
FIDO Alliance Osaka Seminar: PlayStation Passkey Deployment Case Study.pdf
FIDO Alliance Osaka Seminar: PlayStation Passkey Deployment Case Study.pdfFIDO Alliance Osaka Seminar: PlayStation Passkey Deployment Case Study.pdf
FIDO Alliance Osaka Seminar: PlayStation Passkey Deployment Case Study.pdfFIDO Alliance
 
2024年5月25日Serverless Meetup大阪 アプリケーションをどこで動かすべきなのか.pptx
2024年5月25日Serverless Meetup大阪 アプリケーションをどこで動かすべきなのか.pptx2024年5月25日Serverless Meetup大阪 アプリケーションをどこで動かすべきなのか.pptx
2024年5月25日Serverless Meetup大阪 アプリケーションをどこで動かすべきなのか.pptxssuserbefd24
 
論文紹介: Exploiting semantic segmentation to boost reinforcement learning in vid...
論文紹介: Exploiting semantic segmentation to boost reinforcement learning in vid...論文紹介: Exploiting semantic segmentation to boost reinforcement learning in vid...
論文紹介: Exploiting semantic segmentation to boost reinforcement learning in vid...atsushi061452
 
FIDO Alliance Osaka Seminar: Welcome Slides.pdf
FIDO Alliance Osaka Seminar: Welcome Slides.pdfFIDO Alliance Osaka Seminar: Welcome Slides.pdf
FIDO Alliance Osaka Seminar: Welcome Slides.pdfFIDO Alliance
 
FIDO Alliance Osaka Seminar: LY-DOCOMO-KDDI-Mercari Panel.pdf
FIDO Alliance Osaka Seminar: LY-DOCOMO-KDDI-Mercari Panel.pdfFIDO Alliance Osaka Seminar: LY-DOCOMO-KDDI-Mercari Panel.pdf
FIDO Alliance Osaka Seminar: LY-DOCOMO-KDDI-Mercari Panel.pdfFIDO Alliance
 
MPAなWebフレームワーク、Astroの紹介 (その2) 2024/05/24の勉強会で発表されたものです。
MPAなWebフレームワーク、Astroの紹介 (その2) 2024/05/24の勉強会で発表されたものです。MPAなWebフレームワーク、Astroの紹介 (その2) 2024/05/24の勉強会で発表されたものです。
MPAなWebフレームワーク、Astroの紹介 (その2) 2024/05/24の勉強会で発表されたものです。iPride Co., Ltd.
 
論文紹介: Offline Q-Learning on diverse Multi-Task data both scales and generalizes
論文紹介: Offline Q-Learning on diverse Multi-Task data both scales and generalizes論文紹介: Offline Q-Learning on diverse Multi-Task data both scales and generalizes
論文紹介: Offline Q-Learning on diverse Multi-Task data both scales and generalizesatsushi061452
 
2024年度_サイバーエージェント_新卒研修「データベースの歴史」.pptx
2024年度_サイバーエージェント_新卒研修「データベースの歴史」.pptx2024年度_サイバーエージェント_新卒研修「データベースの歴史」.pptx
2024年度_サイバーエージェント_新卒研修「データベースの歴史」.pptxyassun7010
 

Recently uploaded (14)

FIDO Alliance Osaka Seminar: CloudGate.pdf
FIDO Alliance Osaka Seminar: CloudGate.pdfFIDO Alliance Osaka Seminar: CloudGate.pdf
FIDO Alliance Osaka Seminar: CloudGate.pdf
 
YugabyteDB適用に向けた取り組みと隠れた魅力 (DSS Asia 2024 発表資料)
YugabyteDB適用に向けた取り組みと隠れた魅力 (DSS Asia 2024 発表資料)YugabyteDB適用に向けた取り組みと隠れた魅力 (DSS Asia 2024 発表資料)
YugabyteDB適用に向けた取り組みと隠れた魅力 (DSS Asia 2024 発表資料)
 
【AI論文解説】Consistency ModelとRectified Flow
【AI論文解説】Consistency ModelとRectified Flow【AI論文解説】Consistency ModelとRectified Flow
【AI論文解説】Consistency ModelとRectified Flow
 
FIDO Alliance Osaka Seminar: NEC & Yubico Panel.pdf
FIDO Alliance Osaka Seminar: NEC & Yubico Panel.pdfFIDO Alliance Osaka Seminar: NEC & Yubico Panel.pdf
FIDO Alliance Osaka Seminar: NEC & Yubico Panel.pdf
 
【DLゼミ】XFeat: Accelerated Features for Lightweight Image Matching
【DLゼミ】XFeat: Accelerated Features for Lightweight Image Matching【DLゼミ】XFeat: Accelerated Features for Lightweight Image Matching
【DLゼミ】XFeat: Accelerated Features for Lightweight Image Matching
 
LoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアル
LoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアルLoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアル
LoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアル
 
FIDO Alliance Osaka Seminar: PlayStation Passkey Deployment Case Study.pdf
FIDO Alliance Osaka Seminar: PlayStation Passkey Deployment Case Study.pdfFIDO Alliance Osaka Seminar: PlayStation Passkey Deployment Case Study.pdf
FIDO Alliance Osaka Seminar: PlayStation Passkey Deployment Case Study.pdf
 
2024年5月25日Serverless Meetup大阪 アプリケーションをどこで動かすべきなのか.pptx
2024年5月25日Serverless Meetup大阪 アプリケーションをどこで動かすべきなのか.pptx2024年5月25日Serverless Meetup大阪 アプリケーションをどこで動かすべきなのか.pptx
2024年5月25日Serverless Meetup大阪 アプリケーションをどこで動かすべきなのか.pptx
 
論文紹介: Exploiting semantic segmentation to boost reinforcement learning in vid...
論文紹介: Exploiting semantic segmentation to boost reinforcement learning in vid...論文紹介: Exploiting semantic segmentation to boost reinforcement learning in vid...
論文紹介: Exploiting semantic segmentation to boost reinforcement learning in vid...
 
FIDO Alliance Osaka Seminar: Welcome Slides.pdf
FIDO Alliance Osaka Seminar: Welcome Slides.pdfFIDO Alliance Osaka Seminar: Welcome Slides.pdf
FIDO Alliance Osaka Seminar: Welcome Slides.pdf
 
FIDO Alliance Osaka Seminar: LY-DOCOMO-KDDI-Mercari Panel.pdf
FIDO Alliance Osaka Seminar: LY-DOCOMO-KDDI-Mercari Panel.pdfFIDO Alliance Osaka Seminar: LY-DOCOMO-KDDI-Mercari Panel.pdf
FIDO Alliance Osaka Seminar: LY-DOCOMO-KDDI-Mercari Panel.pdf
 
MPAなWebフレームワーク、Astroの紹介 (その2) 2024/05/24の勉強会で発表されたものです。
MPAなWebフレームワーク、Astroの紹介 (その2) 2024/05/24の勉強会で発表されたものです。MPAなWebフレームワーク、Astroの紹介 (その2) 2024/05/24の勉強会で発表されたものです。
MPAなWebフレームワーク、Astroの紹介 (その2) 2024/05/24の勉強会で発表されたものです。
 
論文紹介: Offline Q-Learning on diverse Multi-Task data both scales and generalizes
論文紹介: Offline Q-Learning on diverse Multi-Task data both scales and generalizes論文紹介: Offline Q-Learning on diverse Multi-Task data both scales and generalizes
論文紹介: Offline Q-Learning on diverse Multi-Task data both scales and generalizes
 
2024年度_サイバーエージェント_新卒研修「データベースの歴史」.pptx
2024年度_サイバーエージェント_新卒研修「データベースの歴史」.pptx2024年度_サイバーエージェント_新卒研修「データベースの歴史」.pptx
2024年度_サイバーエージェント_新卒研修「データベースの歴史」.pptx
 

RPA tool

  • 2. 会社紹介 • 社名: 合同会社フシギラボ • 代表社員: 岸本拓也 • 設立: 2021/11 • 事業内容: データベース技術に特化し、企業様向けにサービスを提供しています。企業様が持つデータの価値 をより高めるために、データベース移行支援・データベースシステム運用・データ統合アプリ作成 の3事業を展開しています。 • 代表略歴: 1994/4 金融向けシステム運用部門担当としてエンジニアキャリアスタート 1999/5 土木設計事務所へ転職。Oracle DBに出会う 2003/5 DBコンサルティング会社へ転職 2020/2 フリーランスのDBエンジニアとして独立 2021/11 合同会社へ法人成
  • 3. 事業紹介 主に取り組んでいる事業 • データベース移行支援 • オンプレ->クラウド • 商用DB->OSS DB • DB統合 • データベースシステム運用 • リモートDBA • 障害対応 • パフォーマンスチューニング • 監視システム構築 • DB統合アプリ作成 • 各種DBへ定期的にデータ連携 • データ加工 • Webスクレイピングアプリ開発 提供可能な技術領域 • ソフトウェアエンジニアリング • プロジェクトマネジメント • DB論理/物理設計 • システム運用管理 • 高可用性設計 • 耐障害性,高パフォーマンス • 事業ドメイン • だいたいなんでも(100+サイト経験あり) • 販売管理システムが多め • RDBMS • Oracle,PostgreSQL,MySQL,MS SQL • 言語 • Python,Ruby,Shell,PL/SQL,SQL • クラウド • AWS,Azure,GCP
  • 4. 今後取り組みたい事業 • データ統合基盤を構築した後の保守案件を増やしたい • データ利活用アプリケーションの構築 • 現在Microsoft Power Platformによるローコード開発に取り組んでいます • パフォーマンスチューニング • 火消プロジェクト参画多数。特に流通業が多いです • データ取込アプリケーションの構築 • RPAによる既存システムへのデータ連携 • 現在OBICへのデータ連携にてpythonによるRPAの開発に取り組んでいます • OSS(embulk)によるデータレイクへのデータ連携 • スクラッチ開発(python,ruby)によるデータレイクへのデータ連携
  • 6. Power Automate Desktop? • Microsoftが2021/3に発表したRPAツール • Windows11へはデフォルトでインストールされています • Windows10は別途インストールが必要 • 無料で利用できる • マイクロソフトアカウント or O365などの組織アカウントが必要
  • 7. できること • コードを書く必要はない • GUIによるRPA開発 • UIを記録し再生させることができる • Windows UI, Web UIの記録&再生 • マイクロソフトから提供されている100以上のアクションを選択すればRPAフ ローを作成できる • 例外処理,If分岐,Loop処理実装可能
  • 8. できないこと • Windows OS以外では動作しない • Mac,Linuxでは動かない • 定形外の動作 • ランダムな動作の自動実行化は困難 • バックグランド実行 • ユーザがPCを利用をしながら裏で動作はできない • 誰も触っていない状況で実行することが推奨される • 素早い動作 • パフォーマンスが重視される動作は不得意 • 1実行/秒のような動作は他手段を検討した方がよい • タイマー起動 • 時間になったら起動する場合は有償オプション要購入 • イベントによる起動 • 以下のようなイベントによる自動起動は有償オプション要購入 • ファイルがおかれたら • メールが届いたら • コードによる開発 • ROBIN言語という独自言語で実装するが資料はあまりない • 言語による開発の場合はpyautoguiなど別手段での実装が良さそう • 作成したフローの共有 • ROBIN言語によるコピペ共有は可能 • 有償オプションは共有可能 ×Windows OS以外× ×ランダムな動きの自動化× ×素早さが求められる自動化×
  • 9. できたこと 1. 特定アプリケーションの実行 1. アプリケーションの自動起動 2. 特定ウィンドウへのフォーカス 3. テキスト入力 1. LoginID/パスワードの自動入力 4. ボタン押下 1. OK,Cancelボタンの押下 5. 特定キーの送信 1. ファンクションキー,tabキー送信 6. 画像検索 1. 特定画像へのマウス移動 7. 画面情報のテキスト化 1. OCRによるテキスト化 2. 特定テキストへのマウス移動 8. マウスクリック 1. 左右クリック,ダブルクリック 9. ファイルの読込 1. CSV,Excelなどの読込
  • 11.
  • 12. RPAでできること比較表(python VS PowerAutomateDesktop) python PowerAutomateDesktop RPAできることカテゴリ RPAでできること 無償 無償 有償 確認した機能 実装した機能 RPA起動タイミングの操作 手動起動 〇 〇 〇 PowerAutomateDesktop起動後に実行 〇 特定時刻による自動起動 〇 × 〇 未検証 特定フォルダファイル有無 〇 × 〇 csvファイルの有無検知 〇 指定条件メール受信 〇 × 〇 未検証 指定条件Teams受信 〇 × 〇 未検証 プログラム(pythonなど)から起動 〇 × × 未検証 PowerAutomateから起動 × × 〇 PowerAutomateからpythonコード起動はできない(azure functionsは可能) アプリ操作 特定アプリケーション自動起動 〇 〇 〇 RDP自動起動 〇 特定ウィンドウ表示待機 〇 〇 〇 各遷移画面識別 〇 テキスト入力 〇 〇 〇 認証情報入力,ファイル読込行入力 〇 ボタン押下 〇 〇 〇 OK/Cancelボタン押下 特定画像へのマウス移動 〇 〇 〇 右記OBICメニュー選択 画像情報のテキスト化 〇 〇 〇 右記画像を文字列="商品単価マスタメンテ"として識別 マウスクリック 〇 〇 〇 左右クリック,ダブルクリック 特定キーの送信 〇 〇 〇 ファンクションキー,tabキー送信 〇 ファイル読み書き ファイルの読込 〇 〇 〇 CSV,Excelなどの読込 ファイルの書込 〇 〇 〇 未検証 文字コード変換(unicode⇔sjis) 〇 × × csvファイルの文字コード変換処理(unicode->sjis) 〇 表示画面の保存 〇 〇 〇 データ取込成否結果ウィンドウを取得し画像として指定フォルダへ保管 〇 RPA動作成功結果を通知する Teamsへの通知 〇 〇 〇 データ取込成否結果を特定チャネルへ送信 〇 Mailへの通知 〇 〇 〇 未検証 RPA動作失敗結果を通知する Teamsへの通知 〇 〇 〇 データ取込成否結果を特定チャネルへ送信 〇 Mailへの通知 〇 〇 〇 未検証 その他 処理のレコーディング 〇 〇 〇 excelマクロのように操作を記録し再生できる.pythonでもsikulixで実装できる 作成したプログラムの共有 〇 × 〇 Windows環境以外での実行 〇 × × 素早い動作 × × × RPAの処理を1分以内で完了させることは困難 バックグラウンドでの実行 × × × RPA実行中にPCに触ると誤作動する可能性がある
  • 13. サマリ(python vs PowerAutomateDesktop) • Python,PowerAutomateDektop双方概ねやりたいことはできる • ただしRPAで以下の2点は実現が難しい • バックグラウンド処理。処理完了を見守ってください • 素早く処理を終える。 < 60秒 はちょっと荷が重い • PowerAutomateDesktopで自動起動するには要ライセンス購入 • PowerAutomateからpython起動するには工夫が必要(azure functionsから起動) • PowerAutomateDesktopでファイルの文字コード変換 (Unicode->SJIS)はできない(power shellで作りこめばできる)
  • 14. 岸本の使ってみた感想 岸本はPythonを10年以上使っているので感想にはバイアスがかかっています • PowerAutomateDesktopの良かった点 • Win11では初期導入されており使い始めやすい • レコーディング機能とGUI操作でやりたいことが実現できる • PowerAutomateDesktopのがんばってほしい点 • RPA自動起動できない(有償版はできる) • Documentがまとまっていない(本とか買えばいいのかも) • 仕様書が見つからない • 逆引きHow toはまとまっている • GUI操作が煩わしい • GUIでの開発スピードは遅い • 開発はCUIで完結したい • ROBIN言語でできる。しかし仕様書が見つからない。 • 処理速度が遅い • デフォルトのアイドルタイムとか調整すれば速くなるのかも
  • 15. RPA開発で必要となる設計書を簡単に作る • 皆さんが資料を作るのが大変なので↓レベルで作って相談して くれるとRPA開発を始めやすいです。 実行順序 なにを どうする 成功処理 1sharepoint上のフォルダ 特定フォルダファイルを確認 RPA起動 2csvファイル unicode->sjis変換 処理続行 3RDP接続 特定アプリ起動 処理続行 4RDP認証情報 テキスト入力する 処理続行 5OBICメニュー選択画面 一括取込を選択 処理続行 6一括取込画面 チェックボックスを選択 処理続行 7CSVファイル名フルパス ファイル名入力 処理続行 8一括取込完了画面 画面キャプチャ 処理続行 9一括取込失敗画面 画面キャプチャ 処理続行 10最前面出力画面 画面キャプチャ 処理続行 11画面キャプチャ画像 特定フォルダへ保管 処理続行 12obic7クライアント 終了する 処理続行 13csvファイル 特定フォルダへ移動 処理続行 14完了ステータス teamsへ通知 完了 14CSVファイル名フルパス teamsへ通知 完了 14最終画面キャプチャ teamsへ通知 完了

Editor's Notes

  1. Automate easily with a visual design Record desktop and web actions in a single flow Choose from hundreds of prebuilt actions Safeguard your automation Extend automation to the cloud