Amazonでのレコメンド生成における深層学習とAWS利用について

1. 1 Amazonでのレコメンド生成における深層学習とAWS利用について Ryosuke Iwanaga Solutions Architect Amazon Web Services Japan

2. 2 自己紹介 • Ryosuke Iwanaga (岩永亮介) – Twitter/GitHub @riywo • Amazon Web Services Japan • Solutions Architect – Web, Gaming – Big Data / Machine Learning / DevOps / Container • Before Amazon – Software Engineer / Ops Engineer / DBA / etc.

3. 3 Agenda • 機械学習とAmazon / AWS • 深層学習によるAmazonのレコメンド生成

4. 4 機械学習とAmazon / AWS

5. 5 機械学習とは？ • 傾向やパターンを発見するために機械を利用し、過去の実績データに基づく数学的な予測モデルを計算する • MLモデルは過去に基づきもっともらしい結果の”知見”を提供する – 機械学習は、単に過去にすでに起こった状態というよりむしろ、未来に起こりうる結果を導き出す • 過去のデータや統計モデルは、可能性を正確にするために利用される

6. 6 学習タスク推論タスク BIGDATA Labels 学習済みモデル Apple:0.9 Orange:0.1 Strawberry: 0.2 Banana:0.1 学習推論エンジン結果教師データ機械学習の構成ここだけ提供しているSaaSも多いデバイス側で動作させる場合も多い大量の計算リソースが必要「今日の天気は？」「晴れです」推論エンジン学習初期パラメータニューラルネットワーク定義結果配布配布

7. 7 Amazonと機械学習 http://www.allthingsdistributed.com/2011/04/the_amazoncom_2010_shareholder.html

8. 8 Amazonと機械学習 Alexa Prize 高度な会話ができる人工知能 (AI) を現実にするため、 Amazon では今年から Alexa Prize を毎年開催することにしました。会話 AI 分野の発展を目的とし毎年開催する大学生対象のこのコンテストで、Amazon は初年度において 250 万ドルを投資しました。コンテストの結果発表は2017年のre:Invent予定 https://aws.amazon.com/jp/blogs/news/first-annual-alexa-prize-2-5-million-to-advance-conversational-ai/

9. 9 re:Invent • AWSの最大イベント今年は11/28-12/2 • 機械学習のセッションも豊富 – State of the Union: Amazon Alexa and Recent Advances in Conversational AI – FINRA: Building a Secure Data Science Platform on AWS – Bringing Deep Learning to the Cloud with Amazon EC2 – Fraud Detection with Amazon Machine Learning on AWS – Data Science and Healthcare: Running Large Scale Analytics and Machine Learning on AWS – Deep Learning in AlexaTransforming Industrial Processes with Deep Learning – Developing Classification and Recommendation Engines with Amazon EMR and Apache Spark – Using MXNet for Recommendation Modeling at Scale – Scalable Deep Learning Using MXNet – 絶賛追加中！ https://reinvent.awsevents.com/

10. 10 MAC401 - Scalable Deep Learning Using MXNet • MXNetのコントリビュータでAWS社員のMu Liが講師のハンズオン • アジェンダ – Module 1. Background on Deep Learning – Module 2. Walkthrough on Setting up AMIs, CloudFormation Templates and other Deep Learning Frameworks on AWS – Module 3. A Peek Under the MXNet Hood (MXNet Internals) – Module 4. Hands on with MXNet: NDArrays, Symbols, And Mechanics of Training Deep Neural Networks – Module 5. Hands on with MXNet: Application Examples Targeting Compute Vision and Recommendation Engines https://www.portal.reinvent.awsevents.com/connect/sessionDetail.ww?SESSION_ID=8523 http://mxnet.io/

11. 11 Machine Learning on AWSの選択肢 • Amazon Machine Learning – あらゆるスキルレベルの開発者が機械学習のテクノロジーを利用できるマネージドサービス • Amazon EMRの利用 – Apache SparkやHadoopを利用した分散処理 • On Amazon EC2 – 様々な機械学習ライブラリを利用可能 – GPUインスタンスを活用したDeep Learning

12. 12 高性能GPUインスタンスタイプ • NVIDIA K80を最大16GPU搭載 • 最大64 vCPUのIntel Broadwell プロセッサと、最大 732GiB RAM • Elastic Network Adaptor (ENA)による20Gbps ネットワーク P2 インスタンス p2.xlarge: $ 0.90 per hour (us-east-1)〜利用可能リザーブドインスタンスやスポットインスタンスももちろん可能 https://aws.amazon.com/jp/blogs/news/new-p2-instance-type-for-amazon-ec2-up-to-16-gpus/

13. 13 深層学習によるAmazonのレコメンド生成

14. 14 Amazonの製品レコメンデーション • 製品A, B, C …, Zを買った人が、次に購入しそうな製品はなんでしょう？ • 推論の入出力 – 入力: 各お客様の購入履歴 – 出力: 各お客様の、各製品に対する購入確率 • 課題 – 製品数・お客様数が膨大なため、学習・推論に時間がかかる

15. 15 ニューラルネットワークを使った場合出力層 (10K-10M) 入力層 (10K-10M) 隠れ層 (100-1K) 製品カタログに対して、お客様の購入履歴は極端に小さい →ほとんどの重みがゼロ（疎なネットワーク）愚直にニューラルネットワークを計算すると、ほとんどの計算は0×0

16. 16 Amazon DSSTNE: Deep Sparse Scalable Tensor Network Engine  AmazonがOSSとしてリリースしたニューラルネットワークのフレームワーク  巨大疎データと全結合レイヤに対して最適化されている  モデル並列の複数GPUサポートが、とても効率的  100%の決定論的な実行  SM 3.x, 5.x, 6.xを完全にサポート (Kepler以上のGPU)  標準で分散学習をサポート (約20行のMPI呼び出し)  よくあるユースケース  製品レコメンデーション (製品数は膨大だが、各人の購入履歴は小さい)  自然言語学習 (語彙数は膨大だが、各文脈で使われるのはごく一部) https://github.com/amznlabs/amazon-dsstne

17. 17 GPUを利用した深層学習とCPUを利用した前後処理 • GPUは超並列学習・推論に最適 – アルゴリズム、パラメータ、フレームワークを変えながら最適なものを選択 – → 入出力を変えずに、学習器のみを入替えたい • 機械学習はその前後の処理も重要 – データ整形、異常値排除等CPUが得意な処理 – →大量のデータを、分散処理したい

18. 18 Amazonのレコメンド生成基盤 • GPUとCPUを扱うジョブを、単一のインタフェースからインタラクティブに利用可能 – Amazon EMR + Apache Spark + Apache Zeppelin • GPUジョブのスケジューリングと学習器入替えを容易にするために、Dockerを利用 – Amazon ECS + Docker + GPU instances

19. 19 アーキテクチャ

20. 20 学習: モデル並列 • ネットワークが巨大なため、高々12GBしかないGPUメモリでは足りない • モデル並列: 複数のGPUに対して、ニューラルネットのパラメータを分散並列して計算させる – データはどのGPUでも同じように全データを扱う • 1インスタンスにある複数のGPUを利用

21. 21 学習: モデル並列

22. 22 推論: データ並列 • 学習されたモデルを使い、全お客様に対してレコメンデーション(Top N)を生成する – 各お客様向けの推論はEmbarrassingly Parallel(互いに関連しない) • 複数インスタンスにあるGPUに対して、それぞれお客様向けの推論タスクを割り振る • インスタンス数を2倍にすれば、予測時間は1/2

23. 23 推論: データ並列

24. 24 詳細な情報はAWSのブログをご覧下さい • Apache SparkとAmazon DSSTNEを使った、Amazon規模のレコメンデーション生成 – 今回も紹介しているアーキテクチャの詳細な解説です • GPU高速化のワークロードをAmazon ECS上で管理する – 上記のアーキテクチャを簡単に試すことができるAWS CloudFormationテンプレート付きです • 来週10/27には、Hadoop Summit Tokyo 2016でも同様の事例を発表します。 – http://hadoopsummit.org/tokyo/

25. 25 まとめ • Amazon/AWSには豊富な機械学習の事例がある – AWSの強力なクラウドのパワーがその源泉 – P2インスタンス！ – 今年もre:Inventで多数の事例が発表予定 • Amazonの製品レコメンデーション – 課題解決のために、深層学習のフレームワークを開発・公開 – AWSを使ってスケーラブルな基盤を構築 – あなたも今すぐ試せる！(自分でやってみるのが一番の理解)

26. 26