Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
SQLを書くだけで
APIが作れる基盤
2018.11.06 Michihisa HIRATSUKA
平塚 迪久(ひらつか みちひさ)です
• リクルートライフスタイル 新卒⼊社 3年⽬
• techeten mihirat
• blog http://techeten.xyz
• 仕事
• データ基盤の開発・運⽤
• Web開発 : Flas...
CETチーム
プランナー
サイエンティスト
エンジニア
利益創出
サービス横断の利益創出チームにいます
アタリを探すABテストをたくさん回して
レコメンド
やりましょう
ユーザーの
離脱下げたい
⼈⼯知能!
トレンドの
予測がしたい
アタリを⾒つけて
磨き込むのが
筋のよい進め⽅
分析して、良さそう
=> 早くABテストしたい
=> 早く本番から呼べるようにしたい
=> 早くAPIを作れる基盤がほしい
Bigtable
⼤規模な
Read/Writeができる
KVS
GKE
httpでkeyをGETすると
Valueが取り出せるAPIクライアント
“key, value”のCSVを
S3にアップロードすると
Bigtableに書き込むデータローダー
GCE
user1, item1
user2, item2
user3, item3
…
recommend.csv
をS3にアップロード
.js
アプリ
サーバ
user1, item1
user2, item2
user3, item3
…
.js
アプリ
サーバ
user1, item1
user2, item2
user3, item3
…
https://endpoint/user1
に対して、item1を返却
「CSV作成バッチ」⽣産の⽇々
=> 効率化したい
GAE
BigQueryに対して
クエリを⾃動発⾏する
アプリケーション
.yaml
.sql“key, value”を作るSQLと
実⾏スケジュールなどの設定を
pushすると
定期実⾏した
SQLの結果を
データローダーへ
連携して書き込み
.yaml
.sql
サイエンティストは
SQLと設定だけ書けば
APIが作成できる世界に
もちろん
リアルタイム更新もできます
ログ
ログ収集基盤
Pub/Sub Dataflow
ログ
ログを使って
リアルタイムなAPIレスポンスの更新
.yaml
.sql
.csv
全体像
この基盤で作られた
130+ のAPI、活躍してます
Jupyterだけで機械学習を
実サービス展開できる基盤 も開発中
https://engineer.recruit-lifestyle.co.jp/techblog/2018-10-04-ml-platform/
Cloud Next 登壇などもしています
https://www.youtube.com/watch?v=X_yavAFAE4I
https://pt.slideshare.net/RecruitLifestyle/gcp-118777332...
⼀緒に開発しませんか!
■Recruiting site: https://engineer.recruit-lifestyle.co.jp/recruiting/
■Tech Blog: https://engineer.recruit-li...
Upcoming SlideShare
Loading in …5
×

SQLを書くだけでAPIが作れる基盤

754 views

Published on

2018/11/06開催の「Data Driven Developer Meetup #2 【基盤】」での発表資料です。
チームで運用して3年ほどになる、サイエンティストとエンジニアが効率よく
機械学習や分析結果をプロダクトへ反映するための基盤の紹介です。
https://d3m.connpass.com/event/104858/

Published in: Technology
  • Be the first to comment

SQLを書くだけでAPIが作れる基盤

  1. 1. SQLを書くだけで APIが作れる基盤 2018.11.06 Michihisa HIRATSUKA
  2. 2. 平塚 迪久(ひらつか みちひさ)です • リクルートライフスタイル 新卒⼊社 3年⽬ • techeten mihirat • blog http://techeten.xyz • 仕事 • データ基盤の開発・運⽤ • Web開発 : Flask / Rails / Go / Vue.js
  3. 3. CETチーム プランナー サイエンティスト エンジニア 利益創出 サービス横断の利益創出チームにいます
  4. 4. アタリを探すABテストをたくさん回して レコメンド やりましょう ユーザーの 離脱下げたい ⼈⼯知能! トレンドの 予測がしたい
  5. 5. アタリを⾒つけて
  6. 6. 磨き込むのが 筋のよい進め⽅
  7. 7. 分析して、良さそう => 早くABテストしたい => 早く本番から呼べるようにしたい => 早くAPIを作れる基盤がほしい
  8. 8. Bigtable ⼤規模な Read/Writeができる KVS
  9. 9. GKE httpでkeyをGETすると Valueが取り出せるAPIクライアント
  10. 10. “key, value”のCSVを S3にアップロードすると Bigtableに書き込むデータローダー GCE
  11. 11. user1, item1 user2, item2 user3, item3 … recommend.csv をS3にアップロード
  12. 12. .js アプリ サーバ user1, item1 user2, item2 user3, item3 …
  13. 13. .js アプリ サーバ user1, item1 user2, item2 user3, item3 … https://endpoint/user1 に対して、item1を返却
  14. 14. 「CSV作成バッチ」⽣産の⽇々 => 効率化したい
  15. 15. GAE BigQueryに対して クエリを⾃動発⾏する アプリケーション
  16. 16. .yaml .sql“key, value”を作るSQLと 実⾏スケジュールなどの設定を pushすると
  17. 17. 定期実⾏した SQLの結果を データローダーへ 連携して書き込み .yaml .sql
  18. 18. サイエンティストは SQLと設定だけ書けば APIが作成できる世界に
  19. 19. もちろん リアルタイム更新もできます
  20. 20. ログ ログ収集基盤
  21. 21. Pub/Sub Dataflow ログ ログを使って リアルタイムなAPIレスポンスの更新
  22. 22. .yaml .sql .csv 全体像
  23. 23. この基盤で作られた 130+ のAPI、活躍してます
  24. 24. Jupyterだけで機械学習を 実サービス展開できる基盤 も開発中 https://engineer.recruit-lifestyle.co.jp/techblog/2018-10-04-ml-platform/
  25. 25. Cloud Next 登壇などもしています https://www.youtube.com/watch?v=X_yavAFAE4I https://pt.slideshare.net/RecruitLifestyle/gcp-118777332 http://www.itmedia.co.jp/enterprise/articles/1809/18/news002.html https://cloudonair.withgoogle.com/events/cloud-onair-japan-q3-2018/watch?talk=tky_uc_q3&reg= https://www.slideshare.net/GoogleCloudPlatformJP/cloud-onair-2018712/GoogleCloudPlatformJP/cloud-onair-2018712
  26. 26. ⼀緒に開発しませんか! ■Recruiting site: https://engineer.recruit-lifestyle.co.jp/recruiting/ ■Tech Blog: https://engineer.recruit-lifestyle.co.jp/techblog/

×