PredictionIOを利用して、データ管理から予測API作成までの開発方法を紹介します。

1. Apache
BizReach, Inc.
Shinsuke SugayaPredictionIO勉強会 第3回
SparkMLを使った開発方法

2. 自己紹介
名前：菅谷 信介
会社：株式会社ビズリーチ AI室
興味があること：
・機械学習やDeep Learning等で解決方法を考える
・オープンソースのプロダクトを作る

3. Topics
PredictionIOを利用した開発の
一連の流れを考えてみる

4. 第三回目にして
ようやく実用的な話が
できる気が…

5. 概要

6. PIOでの開発の前提
・今回はデータの管理からAPI化まで紹介する
・学習はPython/PySparkで行う
・Spark 2.x以上が必要

7. PIOでの開発の流れ
1. PredictionIOを構築
2. イベントサーバにデータ投入
3. Jupyterでデータ分析・モデル構築
4. Pythonファイル化して、PIOでモデル作成
5. PIOで予測API公開

8. 開発の流れ

9. PIOの導入
まだPython対応がリリースされていない…
(PIO-116のIssueで対応中)
・PIO環境の構築方法は第二回の資料を参照
https://www.slideshare.net/shinsuke/predictionio-77450768
・Python対応ブランチからPIOをcloneして利用
https://github.com/marevol/incubator-predictionio/tree/pyspark

10. PIOテンプレート作成
・PIOで学習するにはテンプレートの作成が必要
・実際に作るにはサンプルをベースにすると便利
・今回はサンプルテンプレートを利用
https://github.com/jpioug/predictionio-template-iris
https://github.com/jpioug/predictionio-template-boston-house-prices
$ git clone https://github.com/jpioug/predictionio-template-iris.git

11. アプリ登録
・PIOで利用するにはアプリ登録が必要
・pio app newを実行
→IrisAppとして登録
→トークンは任意
$ pio app new --access-key IRIS_TOKEN IrisApp

12. データの投入
・イベントサーバにデータを入れる
https://github.com/jpioug/predictionio-template-iris/blob/master/data/import_eventserver.py
・自前のプロジェクトで利用する場合は同様に入れる
→各種SDKがある
$ python data/import_eventserver.py

13. テンプレートのビルド
・テンプレートをビルドする(.scalaが対象)
→モデルの保存やAPI化でScalaが利用されるため
$ pio build

14. データの分析など
・Jupyterとかでデータを分析、モデルを検討したい
→pio-shellでPySpark&Jupyterを実行する
→eda.ipynbを開く
→SparkMLでモデルを作れる
https://github.com/jpioug/predictionio-template-iris/blob/master/eda.ipynb
$ PYSPARK_PYTHON=$PYENV_ROOT/shims/python
PYSPARK_DRIVER_PYTHON=$PYENV_ROOT/shims/jupyter
PYSPARK_DRIVER_PYTHON_OPTS="notebook" pio-shell --with-pyspark

15. 学習モデル作成
・pio trainでPythonファイルを実行
→学習モデルの作成はバッチ処理化したい
→Jupyterで作成したものを.pyにするだけ
→モデルの保存はrun_pio_workflow(model)を呼ぶ
https://github.com/jpioug/predictionio-template-iris/blob/master/train.py
$ pio train --main-py-file train.py

16. 予測APIの調整
・自前のプロジェクトに適用する場合
→予測APIのリクエストとレスポンスを調整
→Algorithm.scalaを修正
https://github.com/jpioug/predictionio-template-iris/blob/master/src/main/scala/
org/jpioug/template/iris/Algorithm.scala

17. アプリのデプロイ
・API化するためにはアプリをデプロイする
→pio deployを実行する
$ pio deploy

18. 予測APIにアクセス
・localhost:8000/queries.jsonにアクセス
→Bodyに予測対象の情報を渡す
$ curl -s -H "Content-Type: application/json"
-d '{"attr0":5.1,"attr1":3.5,"attr2":1.4,"attr3":0.2}'
http://localhost:8000/queries.json

19. まとめ
・データの管理からAPI化まで実現
・SparkMLのアルゴリズムでモデルを作れる

20. Apache
Thank You