Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Retty流
「2200万ユーザさんを支える機械学習基盤」
の作り方
Masato Taruishi
CTO@Retty
TFUG#3
Who am I?
■ Masato Taruishi
■ 学生時代
✓ Debian Project 公式開発者
✓ Debian-JP Project 理事会役員
■ Career
✓ Red Hat / VA Linux (Eng / S...
機械学習環境(アキバで買い物して自作!!)
Retty流『2200万ユーザを支える機械学習基盤』の作り方
http://qiita.com/taru0216/items/dda1f9f11397f811e98a
ネタのつもりで公開したら思ったより好評。
発表の機会をいただくことが出来ました
Agenda
■ Rety の紹介 (会社、サービス、データ)
■ Retty 機械学習基盤の紹介 (Docker 周り)
✓ 機械学習でやっている事の詳細は別の機
会、または次の氏原の発表で触れたいと
思います
Rettyの紹介(会社、サービス、データ)
Retty のビジョン
食を通じて世界中の人々をHAPPYに
Retty について
Retty株式会社
• 設立:2010年11月
• サービスリリース:2011年5月
• 社員:約80人 ※エンジニア約25名
Retty のサービス
「人から探せる」グルメサービスを運営
「リアルな友達」
「食に詳しく好みの合う人」
月間利用者数 2200 万人以上 (2016/5月)
「人から探す」をもっとわかりやすく
「この人のおすすめは自分に合っていそう」
というのが直感的にわかるユーザ体験
https://retty.me/top-users/
詳細はアプリで
Retty は飲食店に関する CGM (UGC) です
2011~2015 2016~
グルメ情報と
グルメユーザさん集め
投稿内容の分析・編集・公開と
グルメ TOPUSER さんの発掘
グルメ情報に関する信頼性等向上の取り組み
■ 信頼性
✓ 実名・顔写真公開による投稿
− 顔の見えるサービスという世界観を創る
✓ 投稿内容をリアルな友達・知人に見てもらう
− 責任ある投稿を促す
■ 権利関係
✓ 二次著作の許諾
− ユーザさ...
ユーザさん・飲食店さん双方が Happy になる世界
■ みんながHappyになる Win-Win 関係
✓ オススメのお店を投稿するコンセプト (リコメンド)
− ≠評価 (レビュー)
✓ オススメ情報を適切なユーザさんに届けるマッチング
投...
Retty のデータの種類と規模
様々な種類のデータを組み合わせて、
人をHappyにするサービス構築を目指しています!
自然
言語
画像
お店
人
口コミ300万件
1000万枚
全国80万店舗のお店情報
=> 2年で約50%が閉店するといわ...
Retty 機械学習マシンの紹介 (Docker 周りを中心に)
GPU付自作PCを全自動ネットインストールでセットアップ
使い方 (ssh してログインして使う)
どのマシンにログインしても同じデータがあります
nvidia-smi
ブラウザで開発もできます
アーキテクチャ全体像
Hardware - Akiba 1-x
OS
hdd
Distributed
storage
Container
Home
Container
Containers
Network
GPU
CPU,
devices
Co...
根幹はRubuntu Server (Retty ubuntu) と Kubernetes
(Docker)
Hardware - Akiba 1-x
OS
hdd
Home
Container
GPU
CPU,
devices
Configu...
開発者は Docker コンテナを使う
Hardware - Akiba 1-x
OS
hdd
Home
Container
GPU
CPU,
devices
Configuration
Kubernetes (docker)
手元のマシンでも動きます
docker run -it --rm --privileged retty2-runtime-dev
すべての Docker イメージはコア Docker から継承
retty2-runtime-core
retty2-runtime-cuda
retty2-runtime-anaconda
retty2-runtime-builder
ret...
docker build は configure && make -j で
http proxy cache ローカル対応で docker build が超高速
public データのダウンロード速度最大 350MB/s
docker イメージが簡単に作れすぎるので
シェルプロンプトにビルドバージョンを記載
build の自動化
Kubernetes の Daemon Set機能で全マシンにデプロイ
Kubernetes は juju & MAAS でネット自動インストール
ノートPCにも同じ環境を用意しました
Rubuntu Server + Ubuntu Desktop + Ubuntu BugFixes
おまけ
■ Retty 機械学習基盤は sshd でログインできる ubuntu があれば使
えます。そのため大量のGPU環境の確保が容易です。
✓ http://jp.techcrunch.com/2017/02/22/20170221goo...
最後に
Rettyはグルメなユーザさんがオススメする、信頼できる飲食店の情報を
わかりやすく提供していきます
「人から探す」グルメサービスの開発に興味の
ある方、ご応募お待ちしております
Retty はこんな会社です
ご清聴ありがとうございました.
Upcoming SlideShare
Loading in …5
×

TFUG#3 Retty流 「2200万ユーザさんを支える機械学習基盤」 の作り方

2,421 views

Published on

TFUG で Retty 機械学習基盤について発表しました。

http://qiita.com/taru0216/items/dda1f9f11397f811e98a

Published in: Engineering
  • Be the first to comment

TFUG#3 Retty流 「2200万ユーザさんを支える機械学習基盤」 の作り方

  1. 1. Retty流 「2200万ユーザさんを支える機械学習基盤」 の作り方 Masato Taruishi CTO@Retty TFUG#3
  2. 2. Who am I? ■ Masato Taruishi ■ 学生時代 ✓ Debian Project 公式開発者 ✓ Debian-JP Project 理事会役員 ■ Career ✓ Red Hat / VA Linux (Eng / Sales) − OS / コンパイラ / ミドルウェア ✓ Google (SWE/SRE) − アプリ・サーバサイド・インフラ・Corp ✓ Rakuten (Eng) − Private Cloud ✓ Retty (CTO) − なんでも屋
  3. 3. 機械学習環境(アキバで買い物して自作!!) Retty流『2200万ユーザを支える機械学習基盤』の作り方 http://qiita.com/taru0216/items/dda1f9f11397f811e98a
  4. 4. ネタのつもりで公開したら思ったより好評。 発表の機会をいただくことが出来ました
  5. 5. Agenda ■ Rety の紹介 (会社、サービス、データ) ■ Retty 機械学習基盤の紹介 (Docker 周り) ✓ 機械学習でやっている事の詳細は別の機 会、または次の氏原の発表で触れたいと 思います
  6. 6. Rettyの紹介(会社、サービス、データ)
  7. 7. Retty のビジョン 食を通じて世界中の人々をHAPPYに
  8. 8. Retty について Retty株式会社 • 設立:2010年11月 • サービスリリース:2011年5月 • 社員:約80人 ※エンジニア約25名
  9. 9. Retty のサービス 「人から探せる」グルメサービスを運営 「リアルな友達」 「食に詳しく好みの合う人」 月間利用者数 2200 万人以上 (2016/5月)
  10. 10. 「人から探す」をもっとわかりやすく 「この人のおすすめは自分に合っていそう」 というのが直感的にわかるユーザ体験 https://retty.me/top-users/
  11. 11. 詳細はアプリで
  12. 12. Retty は飲食店に関する CGM (UGC) です 2011~2015 2016~ グルメ情報と グルメユーザさん集め 投稿内容の分析・編集・公開と グルメ TOPUSER さんの発掘
  13. 13. グルメ情報に関する信頼性等向上の取り組み ■ 信頼性 ✓ 実名・顔写真公開による投稿 − 顔の見えるサービスという世界観を創る ✓ 投稿内容をリアルな友達・知人に見てもらう − 責任ある投稿を促す ■ 権利関係 ✓ 二次著作の許諾 − ユーザさん投稿の分析・編集・公開などを行う許 諾を受けている
  14. 14. ユーザさん・飲食店さん双方が Happy になる世界 ■ みんながHappyになる Win-Win 関係 ✓ オススメのお店を投稿するコンセプト (リコメンド) − ≠評価 (レビュー) ✓ オススメ情報を適切なユーザさんに届けるマッチング 投稿ユーザさん 飲食店さん ファン ユーザさん どなたの発言かがわかる (*) 飲食店さんも含めた Web of Trust (信頼の輪) 信頼 信頼
  15. 15. Retty のデータの種類と規模 様々な種類のデータを組み合わせて、 人をHappyにするサービス構築を目指しています! 自然 言語 画像 お店 人 口コミ300万件 1000万枚 全国80万店舗のお店情報 => 2年で約50%が閉店するといわれている => 「ネットに情報はない」ためそれを作るノウハ ウが大事 ユーザーさんの行動、数千億 ソーシャルグラフ 【Keywords】 Deep Learning Word2Vec LDA/LSI/TFIDF SVM/LR/RandomForest LP/ILP/0-1ILP/NLP Recommendation Automation Data Visualization
  16. 16. Retty 機械学習マシンの紹介 (Docker 周りを中心に)
  17. 17. GPU付自作PCを全自動ネットインストールでセットアップ
  18. 18. 使い方 (ssh してログインして使う)
  19. 19. どのマシンにログインしても同じデータがあります
  20. 20. nvidia-smi
  21. 21. ブラウザで開発もできます
  22. 22. アーキテクチャ全体像 Hardware - Akiba 1-x OS hdd Distributed storage Container Home Container Containers Network GPU CPU, devices Configuration Container Qemu KVM Kubernetes (docker) qemu on docker
  23. 23. 根幹はRubuntu Server (Retty ubuntu) と Kubernetes (Docker) Hardware - Akiba 1-x OS hdd Home Container GPU CPU, devices Configuration Kubernetes (docker)
  24. 24. 開発者は Docker コンテナを使う Hardware - Akiba 1-x OS hdd Home Container GPU CPU, devices Configuration Kubernetes (docker)
  25. 25. 手元のマシンでも動きます docker run -it --rm --privileged retty2-runtime-dev
  26. 26. すべての Docker イメージはコア Docker から継承 retty2-runtime-core retty2-runtime-cuda retty2-runtime-anaconda retty2-runtime-builder retty2-runtime-dev retty2-tech-home 監視エージェント・ログ・証明書管理・ パッケージ監視(セキュリティ対策)など retty2 開発環境 on retty2 cuda anaconda / tensorflow / chainer / mxnet / cabocha / mxnet / fasttext ….. shell / editors / tmux / screen …. ssh / samba ...
  27. 27. docker build は configure && make -j で http proxy cache ローカル対応で docker build が超高速 public データのダウンロード速度最大 350MB/s
  28. 28. docker イメージが簡単に作れすぎるので シェルプロンプトにビルドバージョンを記載
  29. 29. build の自動化
  30. 30. Kubernetes の Daemon Set機能で全マシンにデプロイ
  31. 31. Kubernetes は juju & MAAS でネット自動インストール
  32. 32. ノートPCにも同じ環境を用意しました Rubuntu Server + Ubuntu Desktop + Ubuntu BugFixes
  33. 33. おまけ ■ Retty 機械学習基盤は sshd でログインできる ubuntu があれば使 えます。そのため大量のGPU環境の確保が容易です。 ✓ http://jp.techcrunch.com/2017/02/22/20170221google-launches-gpu -support-for-its-cloud-platform/
  34. 34. 最後に Rettyはグルメなユーザさんがオススメする、信頼できる飲食店の情報を わかりやすく提供していきます 「人から探す」グルメサービスの開発に興味の ある方、ご応募お待ちしております
  35. 35. Retty はこんな会社です
  36. 36. ご清聴ありがとうございました.

×