Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
PyAutoGUI等Pythonライブラリによる自動化支援
2016/7/24	テスト自動化研究会 事例報告
井芹 洋輝
【アウトライン】
Part.1		PyAutoGUI &	PyUnitによるGUIベースのテスト自動化
(おまけ)Part...
宣伝
• U30テスト設計コンテスト(30歳以下のテスコン) 開催します!
• チュートリアル開催中。募集は来月予定
• 審査委員長を担当しています
• http://aster.or.jp/business/contest/rulebooku...
Part.1	
PyAutoGUI &	PyUnitによる
GUIベースのテスト自動化
PyAutoGUIとは
• マウス操作、キーボード操作、スクリーンショット操作を自動化するPython
向けライブラリ
• https://pyautogui.readthedocs.io/
• コンセプト
• 可能な限りシンプルかつ直感的に使...
PyAutoGuiの例:APIの例
import	pyautogui
pyautogui.moveTo(100,	200)	#座標100、200にマウスを移動させる
pyautogui.click()	#マウスをクリックする
pyautogui...
PyAutoGuiの例:詳細なパラメータ指定の例
#画面上でhoge.pngとマッチする座標を取得
pyautogui.locateOnScreen(‘hoge.png’)
#グレースケールでマッチングして座標を取得
pyautogui.loc...
PyUnit
• ライブラリ名unittest。Python向け標準xUnitフレームワーク
• シンプルで汎用性が高い
• ツールチェーンも自由に構築できる
• Jenkis向けXML生成、テスト結果集計などテスト用機能を手軽に利用できる
PyAutoGUI &	PyUnit
• PyUnitでテストフレームワーク構築
実行、結果評価をPyAutoGuiで実装
• PyUnitの機能を使いながら、GUIベースのテスト自動化を実現
• 用途を絞ればSikuli程度のツールは簡単に組...
PyAutoGUIデモ:タッチパッド操作テスト自動化
• 指定のタッチバッド操作でMac	OS情報画面を表示できることを自動テスト
PyAutoGUIデモ:タッチパッド操作テスト自動化
#macアイコンをクリック
position	=	pyautogui.locateCenterOnScreen('mac_icon.png')
pyautogui.click(positio...
PyAutoGuiの問題点
• GUI&キャプチャ画像操作しばり
• 画像のマッチングで誤差の許容範囲を指定できない
• 透過効果や強調処理(影、フェード処理など)に弱い
• 処理が遅い
Part.2	
PyAutoGUI &	PyUnit
+色々なPythonライブラリ活用
色々なPythonライブラリの活用
• Pythonはテスト自動化で活用できるライブラリが多数公開されてる
• GUI操作(pyautogui等)、ブラウザ操作(selenium.webdriver等)、Excel操作(openpyxl)、
画...
matplotlib
• MATLABを参考にしたライブラリ。
MATLABのような高機能グラフを簡単に出力できる。
• ※テスト自動化用途ではないが、MATLABでシミューレションや検証を行っ
ている人なら、自動化環境の補助チェックとしてスム...
matplotlibデモ
• プログレスバーのテスト自動化(PyAutoGUIで操作を自動化)
• 自動操作で得られたデータを目視確認できるようにグラフ化
プログレスバー画面
テスト対象ソフトウェア
PyUnit
PyAutoGUI
1.自動タ...
statsmodels(+pandas,	numpy)
• 連続系のモデルやデータの分析ライブラリ
• statsmodels.formula
• Rを参考にしたAPIを使える
• モデルの式を文字列で記述できる
statsmodels.formula
• モデル式
• 「log(OutputData)	=	係数a×log(InputData)+係数b」
• Pythonでの記述(線形回帰分析)
• 「sm.ols(formula=“np.log(Out...
statsmodels.formula
(2)線形回帰分析でモデルの各係数や、モデルとデータの差異を分析
(略)
R-squared: 0.779
(略)
coef std err t P>|t| [95.0% Conf. Int.]
----...
statsmodels.formulaデモ:プログレスバーの自動テスト
• PyAutoGUIで自動操作。プログレスバー進捗を連続キャプチャで取得
• プログレスバーの進捗推移を、線形回帰分析でモデル化。モデルの係数
で、プログレスバーの進捗が...
statsmodels.formulaデモ:プログレスバーの自動テスト
#プログレスバーの進捗の回帰分析結果を取得
def analysis_trend(time,	data):
trend_data =	pd.DataFrame([time,...
statsmodels.formulaデモ:プログレスバーの自動テスト
(続き)
#プログレスバー進捗取得
progress_pos =	[]
progress_time =	[]
start_time =	time.time()
time.s...
Part.3
OpenCVによる
現実空間のテスト自動化
OpenCV
• オープンソースのコンピュータビジョンのライブラリ
• 基本的な画像処理全般に対応。その他、録画・キャプチャ・カメラ制御、
キーボード操作などを扱える
• ロボットの移動制御やLED表示等、現実空間のテストの自動化を単独でサ
ポ...
OpenCVデモ:クレーンロボットのテスト自動化
• Macbook Proのカメラで動画撮影。OpenCVでクレーン位置を解析
• テスト自動化環境の配置チェックと、クレーン制御機能テスト(クレーン位
置が指示通りである事をテスト)を自動化
...
OpenCV余談
• 近年のPythonでは、コンピュータビジョンやデータ分析のライブラリが充実
• 誰でも手軽にコンピュータビジョンベースの自動テストを構築できるようになった
• テストオラクルやシミュレーションのモデル作成も敷居が下がった
...
おわり
Upcoming SlideShare
Loading in …5
×

PyAutoGUI等Pythonライブラリによる自動化支援

9,299 views

Published on

7/24 STAR定例会

Published in: Software
  • Be the first to comment

PyAutoGUI等Pythonライブラリによる自動化支援

  1. 1. PyAutoGUI等Pythonライブラリによる自動化支援 2016/7/24 テスト自動化研究会 事例報告 井芹 洋輝 【アウトライン】 Part.1 PyAutoGUI & PyUnitによるGUIベースのテスト自動化 (おまけ)Part.2 PyAutoGUI & PyUnit +色々なPythonライブラリ活用 (おまけ)Part.3 OpenCVによる現実空間のテスト自動化
  2. 2. 宣伝 • U30テスト設計コンテスト(30歳以下のテスコン) 開催します! • チュートリアル開催中。募集は来月予定 • 審査委員長を担当しています • http://aster.or.jp/business/contest/rulebooku30.html
  3. 3. Part.1 PyAutoGUI & PyUnitによる GUIベースのテスト自動化
  4. 4. PyAutoGUIとは • マウス操作、キーボード操作、スクリーンショット操作を自動化するPython 向けライブラリ • https://pyautogui.readthedocs.io/ • コンセプト • 可能な限りシンプルかつ直感的に使える • どんな環境(e.g. win or mac or linux)でも同じように動く • テスト自動化ツールというわけではないですが、お手軽に自動化ツールを 組めるため今回紹介
  5. 5. PyAutoGuiの例:APIの例 import pyautogui pyautogui.moveTo(100, 200) #座標100、200にマウスを移動させる pyautogui.click() #マウスをクリックする pyautogui.typewrite('Hello world!') #文字を打つ pyautogui.keyDown('shift') #シフトキーを押しっぱなしにする position = pyautogui.locateCenterOnScreen('target.png') #target.pngと一致 する場所の中心の座標を取得する 平易な1ステートメントでGUI操作を記述
  6. 6. PyAutoGuiの例:詳細なパラメータ指定の例 #画面上でhoge.pngとマッチする座標を取得 pyautogui.locateOnScreen(‘hoge.png’) #グレースケールでマッチングして座標を取得 pyautogui.locateOnScreen(‘hoge.png’, grayscale=True) #指定の領域から座標を取得 pyautogui.locateOnScreen(‘hoge.png’, region=(0,0, 300, 400)) #処理実行のインターバルを変更 pyautogui.PAUSE = 0.2 デフォルトはシンプルに、必要に応じて詳細に
  7. 7. PyUnit • ライブラリ名unittest。Python向け標準xUnitフレームワーク • シンプルで汎用性が高い • ツールチェーンも自由に構築できる • Jenkis向けXML生成、テスト結果集計などテスト用機能を手軽に利用できる
  8. 8. PyAutoGUI & PyUnit • PyUnitでテストフレームワーク構築 実行、結果評価をPyAutoGuiで実装 • PyUnitの機能を使いながら、GUIベースのテスト自動化を実現 • 用途を絞ればSikuli程度のツールは簡単に組める
  9. 9. PyAutoGUIデモ:タッチパッド操作テスト自動化 • 指定のタッチバッド操作でMac OS情報画面を表示できることを自動テスト
  10. 10. PyAutoGUIデモ:タッチパッド操作テスト自動化 #macアイコンをクリック position = pyautogui.locateCenterOnScreen('mac_icon.png') pyautogui.click(position) #情報表示メニューをクリック position = pyautogui.locateCenterOnScreen('about.png') pyautogui.click(position) #表示を待つ time.sleep(1) #表示確認 position = pyautogui.locateOnScreen('os_info.png') self.assertNotEqual(position, None)
  11. 11. PyAutoGuiの問題点 • GUI&キャプチャ画像操作しばり • 画像のマッチングで誤差の許容範囲を指定できない • 透過効果や強調処理(影、フェード処理など)に弱い • 処理が遅い
  12. 12. Part.2 PyAutoGUI & PyUnit +色々なPythonライブラリ活用
  13. 13. 色々なPythonライブラリの活用 • Pythonはテスト自動化で活用できるライブラリが多数公開されてる • GUI操作(pyautogui等)、ブラウザ操作(selenium.webdriver等)、Excel操作(openpyxl)、 画像処理(opencv等)、文字識別(tesseract等)、機械学習(TensorFlow、scikit-learn等)、 その他諸々・・ • Pythonベースでテスト自動化フレームワークを組むと、それらライブラリの 活用が可能になる
  14. 14. matplotlib • MATLABを参考にしたライブラリ。 MATLABのような高機能グラフを簡単に出力できる。 • ※テスト自動化用途ではないが、MATLABでシミューレションや検証を行っ ている人なら、自動化環境の補助チェックとしてスムーズに導入できる
  15. 15. matplotlibデモ • プログレスバーのテスト自動化(PyAutoGUIで操作を自動化) • 自動操作で得られたデータを目視確認できるようにグラフ化 プログレスバー画面 テスト対象ソフトウェア PyUnit PyAutoGUI 1.自動タッチパッド操作 2. 連続画面キャプチャ 3. プログレスバーの時間 経過に対する推移 4. 時間×進捗のグラフ matplotlib
  16. 16. statsmodels(+pandas, numpy) • 連続系のモデルやデータの分析ライブラリ • statsmodels.formula • Rを参考にしたAPIを使える • モデルの式を文字列で記述できる
  17. 17. statsmodels.formula • モデル式 • 「log(OutputData) = 係数a×log(InputData)+係数b」 • Pythonでの記述(線形回帰分析) • 「sm.ols(formula=“np.log(OutputData) ~ np.log(InputData)”, data=datalist)」 (1) OutputDataとInputDataを指定する
  18. 18. statsmodels.formula (2)線形回帰分析でモデルの各係数や、モデルとデータの差異を分析 (略) R-squared: 0.779 (略) coef std err t P>|t| [95.0% Conf. Int.] --------------------------------------------------------------------------- Intercept 2.4606 0.325 7.578 0.000 1.794 3.127 np.log(Ouput Data) 0.9564 0.098 9.766 0.000 0.755 1.157 log(Output Data) = 係数a×log(Input Data)+係数b モデルとの合致性パラメータを複数出力
  19. 19. statsmodels.formulaデモ:プログレスバーの自動テスト • PyAutoGUIで自動操作。プログレスバー進捗を連続キャプチャで取得 • プログレスバーの進捗推移を、線形回帰分析でモデル化。モデルの係数 で、プログレスバーの進捗が意図通りか自動テストする プログレスバー機能 テスト対象ソフトウェア PyUnitPyAutoGUI 1.自動タッチパッド操作 2. 連続画面キャプチャ 3. プログレスバーの時間 経過に対する推移 statsmodels 4. プログレスバー進捗の 近似モデルのパラメータ 5. 合否結果
  20. 20. statsmodels.formulaデモ:プログレスバーの自動テスト #プログレスバーの進捗の回帰分析結果を取得 def analysis_trend(time, data): trend_data = pd.DataFrame([time, data]).T trend_data.columns = ["time", "progress"] result = sm.ols(formula = "progress ~ np.log(time)", data=trend_data).fit() return result.params class TestProgressBar(unittest.TestCase): def test_progress_bar(self): #処理高速化のため、GUI操作対象の領域を特定してそこだけ操作するようにする target_area = pyautogui.locateOnScreen('target_area.png') target_region = location_to_region(target_area) #プログレスバーの開始と終了の座標および長さを取得(進捗の取得のため) start_position = pyautogui.locateOnScreen('progress_start.png', grayscale=True, region=target_region) end_position = pyautogui.locateOnScreen('progress_end.png', region=target_region) length = end_position[0] - start_position[0] #プログレスバー 開始操作 position = pyautogui.locateCenterOnScreen('start_button.png', region=target_region) pyautogui.click(transform_coord(position)) (続く)
  21. 21. statsmodels.formulaデモ:プログレスバーの自動テスト (続き) #プログレスバー進捗取得 progress_pos = [] progress_time = [] start_time = time.time() time.sleep(1) while True: position = pyautogui.locateCenterOnScreen('progress_current.png', region=target_region) if position == None: break progress_pos.append((position[0] - start_position[0]) * 100 / length) progress_time.append(time.time() - start_time) #モデルとの合致性確認 result = analysis_trend(progress_time, progress_pos) self.assertTrue(result[0] < 20) self.assertTrue(result[1] > 50 and result[1] < 100) 今回のモデル:progress_pos= result[1]×log(progress_time)+result[0]
  22. 22. Part.3 OpenCVによる 現実空間のテスト自動化
  23. 23. OpenCV • オープンソースのコンピュータビジョンのライブラリ • 基本的な画像処理全般に対応。その他、録画・キャプチャ・カメラ制御、 キーボード操作などを扱える • ロボットの移動制御やLED表示等、現実空間のテストの自動化を単独でサ ポートできる
  24. 24. OpenCVデモ:クレーンロボットのテスト自動化 • Macbook Proのカメラで動画撮影。OpenCVでクレーン位置を解析 • テスト自動化環境の配置チェックと、クレーン制御機能テスト(クレーン位 置が指示通りである事をテスト)を自動化 クレーンロボット 1.動作指示通信 2.動画撮影 PC PyUnit OpenCV 3.ロボット位置情報 (クレーンの遠さと 座標位置) 4.テスト結果 通信制御 ※準備が間に合わなかった ので今回は人間で代用
  25. 25. OpenCV余談 • 近年のPythonでは、コンピュータビジョンやデータ分析のライブラリが充実 • 誰でも手軽にコンピュータビジョンベースの自動テストを構築できるようになった • テストオラクルやシミュレーションのモデル作成も敷居が下がった 高精度を求めなければ機械学習のアプローチでモデルを構築できるようになった • Pythonは組み込みエンジニアにとって重要な基礎教養
  26. 26. おわり

×