Uploaded byAkinori Kohno
データ分析スクリプトのツール化入門 - PyConJP 2016
PyConJP2016トーク Pythonによるデータ分析スクリプトのEXE化・GUI付与
データ分析スクリプトのツール化入門 - PyConJP 2016
- 1.
- 2. 自己紹介 なまえ ：どんあき @dondokono 何してる人 ：金融機関でリスク管理 デリバティブ関連のデータ分析 バックグラウンド：素粒子理論やってました プログラミング得意じゃないです… Python歴：１年とちょっと 社内で布教中 1 息子 可愛いです笑
- 3.
- 4.
- 5.
- 6.
- 7.
- 8.
- 9.
- 10.
- 11.
- 12.
- 13.
- 14.
- 15.
- 16. Pyinstallerについて 15 • 最近でも頻繁にメンテされているフリージングパッケージ • Github:https://github.com/pyinstaller/pyinstaller • Python 2.7, 3.3-3.5まで対応 • Windows, Mac OSでも使用可能 フリージングしたプラットフォーム上でのみ動作 • メジャーなパッケージはバンドル Libraries like PyQt5, PyQt4, PySide, wxPython, matplotlib or Django are fully supported (公式より引用) pandas, scipy, scikit-learn, seabornなども動作 • Stackoverflowなどでの情報が多い ←これ重要
- 17. 他のPythonのフリージング関連パッケージ • Py2exe (2.7,3.4) https://pypi.python.org/pypi/py2exe 元々Python2系で有名だったもの、軽量・高速 2014-10-21以降更新もなく辛い エラーでまくる • cx_freeze (2.7, 3.4) http://cx-freeze.readthedocs.io/en/latest/index.html 2014-12-26が最後のアップデート setup関連のscriptは頑張って書く必要がある印象 16
- 18.
- 19.
- 20. インストール前準備 今回は下記環境での動作確認を行っています Windows 10 64bit Anaconda4.1.1 (64bit) condaで仮想的な作業環境を構築することを推奨します あとnumpyとかscipy入れるの面倒 PySideの都合で3.4ですが3.5でもいけます… Mac OSでもフリージングしてアプリにすることもできます 本発表では説明しません (発表者Macなくせに) 19
- 21. インストール時の諸注意(Windows) 環境が汚くなる可能性があるのでcondaで別環境構築推奨 Anaconda利用時のsetuptoolsのバージョンに注意 19.2にダウングレード > conda installsetuptools==19.2 ここではpipでなくcondaでやることがポイント レジストリ書換え要求が出ることがありますがスルーしても使えます 20
- 22. インストール時の諸注意(pyenv) Mac OS, Linux系でpyenvを使用されている場合 次でinstallしましょう https://github.com/pyinstaller/pyinstaller/wiki/FAQ >env PYTHON_CONFIGURE_OPTS="--enable-framework" pyenv install 3.5.X 21
- 23.
- 24. フリーズ3分クッキング スクリプトを用意して以下のコマンドでチーン > pyinstaller hello.py--onefile 23 ここに完成品
- 25.
- 26. 補足 • 気長に固まるのを待ちます • import量によるけど数分から10分程 •exeが出来てても実行するとエラーが出たり… 根気よくエラー潰しが必要なパッケージも 25
- 27.
- 28. 欠点：デカイ 27 • 先ほどのhelloスクリプト • パッケージ追加時 importpandasだけ追記した場合 で、デカイ なので手放しで使いまくれるわけでもなく…
- 29.
- 30.
- 31.
- 32.
- 33.
- 34.
- 35. こんな感じの結果が出ます 34 • 黒い画面から実行 • cluster数= 3の場合の例 色で3種類に区分けされた右図が出る
- 36.
- 37. 完成！？…のはずが • EXEを実行してみると幾つかエラー • typedefsモジュールが見つからない scikit-learnのclusters/neighbors/typedefs.pydのことを指してるらしい 組み込むときは事前にsklearn.neighbors.typedefs.pydにリネーム 場所→/anaconda3/env/<env_name>/Lib/site_packages/sklearn/neighbors/ • Intel MKL XXXが見つからない 以下にあるmkl_XXX.dllを組み込む 場所→ /anaconda3/env/<env_name>/Library/bin/ 36
- 38. (よくある)エラー対策 • pyinstallerが見つけられないもの • (自動で作られる)specファイルに明示的に記載 onefileにするときに一緒にまとめてくれる •デバッグ時は--onedirオプションで確認するのをオススメ • 以下は今回の例 37 sklearn_example.spec
- 39. 無事起動 • specファイルに指定して実行する場合 > pyinstallersklearn_example.spec で実行 通常は自動生成されoptionもここに埋め込まれる 38
- 40.
- 41.
- 42.
- 43. GUIをつけてあげましょう • プログラミング出来ない人も安心！ • なんか見た目がまぁまぁなツールが簡単に！！ •Pyinstallerのnoconsoleオプションでもう怖くない！！！ • モテる！！！！（といいな 42
- 44. PythonのGUI関連パッケージ • PySide • PyQt •Tkinter • Kivy などなど… 43
- 45. PySideについて • QtのPythonバインディング ただし、ライセンスが緩めてある • GUIを作るGUIツール「QtDesigner」が使える！ プログラムからGUIをゴリゴリ書かなくて済む オブジェクトの配置をこなれた感じに楽にできる • Pyinstallerで固めることで使ってもらいやすい！ 44
- 46. 他のGUIツール • PyQt Qtそのものなので凝ったものを作れる ライセンス・商業利用注意 • Tkinter デフォルトでついてるやつ 標準感ある •Kivy 現在発展中のGUI作成ライブラリ スマホ向けのGUIも作れる ドキュメント日本語化も進んでるみたいですよ！ 45
- 47. PySideのインストール • 動作確認環境 Windows10 64bitAnaconda 4.1.1 Python3.4.5 （前半と同じ） • インストール方法（今回環境ではエラー） > pip install PySide • MSVC errorが出る場合 > pip install PySide –only-binary :all: でインストール可能 46
- 48. PySideのインストール（Mac OS X） •Macかつanacondaを使わない場合 > brew install qt でQtを事前に入れてからPySideを入れましょう 47
- 49. Qt Designer • 置いてある場所 PySideがインストールされた場所にあるはず /Anaconda3/envs/<env_name>/Lib/site-packages/PySide •今回の使用バージョン QtDesigner v4.8.5 48
- 50.
- 51.
- 52. お手軽GUI作成の流れ • Qt DesignerでWidgetを作る •Qt DesignerでSlotを作る • Pythonスクリプトを繋げる 51
- 53.
- 54. お手軽GUI作成 –Widget編 ① ベースのDialogを決める ②Layoutsをレイヤーのように重ねてオブジェクトを配置 Layoutsにポイポイっとオブジェクトを放り込む spacerを入れるとそれっぽくなる ③ プロパティから細かいサイズや設定などは調整 53
- 55.
- 56.
- 57. お手軽GUI作成 –Slot編 ① EditSignal/Slotを選択 ② ボタンなどから矢印を引っ張る 特に他のオブジェクトと連携しなければ何もない場所を終端に ③ このSlot名を呼び出す箇所にやりたい動作を書く 56
- 58.
- 59. お手軽GUI作成 –接続編 ① QtDesignerの.uiファイルを.pyファイルへ変換 >pyside-uic.exe -o hello_gui.py hello.ui 変換ツールが標準付属(pyside-uic.exe) anaconda3/envs/<env_name>/Scripts ② mainのスクリプトを書く ③ Slotがある場合はSlotの動作を書く 58
- 60.
- 61.
- 62.
- 63.
- 64. Hello GUI tool! •これをpyinstallerで固めればOK > pyinstaller hello_gui.py --onefile – noconsole • Python環境不要でEXEファイルとして動作！ 63
- 65.
- 66. 先ほどのデータ分析スクリプトをTool化 65 • 次をGUIで選択可能にしてみる • k-meansのcluster数 •inputのCSVファイル • outputの出力先フォルダ
- 67.
- 68.
- 69.
- 70.
- 71. 最後にフリージング • 前半部で設定したspecファイルと同様に設定 • >pyinstaller sklearn_gui.spec specファイル内にて--onefile, --noconsoleオプション使用 • フリーズ完成 70
- 72.
- 73.
- 74. 【応用】さらにこじゃれた感じにするために • import logging 各スクリプトにloggerを用意してログ出力する機能をつける •import traceback エラー時のtracebackを出力 • Sphinxを用いてツール全体のドキュメントを作る ReadTheDocsのスタイルが個人的には好きです 73
- 75.
- 76.
- 77. まとめ • PyinstallerでPython環境無しでPython スクリプトを動作 特殊なパッケージを組み込む際は根気よく戦う •PySideなどGUIパッケージで誰でも使いやすく PySideだとQt Designerが使えてGUI初心者でも比較的楽 どちらも紹介した以上に豊富な機能を備えています Python普及の一助に 76