【BigData-JAWS 勉強会#14】で発表した内容です （https://jawsug-bigdata.connpass.com/event/101211/） リクルートライフスタイルではデータ基盤としてRedshiftを使用しています。 基盤チームとしてデータ量や社内ユーザーを増やしたいという思いがある一方で、 そうすることでRedshiftの負荷や運用負荷も上がってしまうという悩みがありました。 その双方の問題を解決するためにリクルートライフスタイルではchatopsという手段を取り、 chatbotを開発することでユーザーの欲しいタイミングで欲しい情報を準備することに成功しました。 本発表ではその具体的な方法をchatbotならではのメリットと共にご紹介できればと思います。 またお時間があればデータ連携以外に関するbotのご紹介もできればと思っています。

1. (株)リクルートライフスタイル
ネットビジネス本部
データマネジメントグループ
櫻井 裕司
リクルートライフスタイル分析基盤チーム
新人が世話するデータ連携bot達のお話
２年目

2. データ基盤にまつわる「ユーザーの不」を
いかにライトに解決していったか
2

3. 好きなタイミングで質問ください！
（緊張も和らぎます...w）
3

4. 名前 ： 櫻井裕司
出身 ： 神戸
趣味 ： ダンス, カラオケ
大学 ： 海でドローン
言語 ： Fortran, Ruby, python...
仕事 ： Chatbot,
データ基盤開発,
飲食領域データ接続
最近 ： ヒゲ脱毛はじめました
4(C) Recruit Technologies Co.,Ltd. All rights reserved.

5. エンジニアリングで地盤を固める
1年目
• データ基盤運用
• 社内webアプリ開発
• Chatops
• インフラコード化
• 飲食領域データ接続
• やらかし１
5(C) Recruit Technologies Co.,Ltd. All rights reserved.
• Ruby on Rails
• python
• terraform
• Jenkins
• SQL
• docker
• AWS
• redash

6. エンジニアリングで地盤を固める
1年目
• データ基盤運用
• 社内webアプリ開発
• Chatops
• インフラコード化
• 飲食領域データ接続
• やらかし１
6(C) Recruit Technologies Co.,Ltd. All rights reserved.
• Ruby on Rails
• python
• terraform
• Jenkins
• SQL
• docker
• AWS
• redash
3並列 無限lambda
起動回数 5億回
料金 ？万円

7. 若いうちに幅を広げたい
1年目
• データ基盤運用
• 社内webアプリ開発
• Chatops
• インフラコード化
• 飲食領域データ接続
• やらかし１
7(C) Recruit Technologies Co.,Ltd. All rights reserved.
2年目
• データパイプライン開発
• 要件定義
• やらかし2
• Ruby on Rails
• python
• terraform
• Jenkins
• SQL
• docker
• AWS
• redash
• tableau

8. 若いうちに幅を広げたい
1年目
• データ基盤運用
• 社内webアプリ開発
• Chatops
• インフラコード化
• 飲食領域データ接続
• やらかし１
8(C) Recruit Technologies Co.,Ltd. All rights reserved.
2年目
• データパイプライン開発
• 要件定義
• やらかし2
• Ruby on Rails
• python
• terraform
• Jenkins
• SQL
• docker
• AWS
• redash
• tableau
BQアクセスログデータ消し忘れ
330 TB
料金 ？？？万円

9. 9

10. 様々なサービスのデータを管理しています
10

11. とにかくでかく、みんなが使う
11
4000 テーブル
120 TB
1200 ユーザー
20000 query/day

12. 「データを見る」文化の土台は不安定
Redshiftへの負荷が高く
例えばETL処理は夜23時過ぎまでかかる
12

13. キュー待ちで30秒結果が返ってこないことも...
コミット数
300越え
待ち時間
30秒越
平均実行時間
約10秒
13

14. 「でかさ」と「使い勝手」は天秤状態
14
data
data
data
data
※画像はイメージです

15. 負荷分散のために退避環境導入
15

16. データ鮮度を犠牲にDBを軽くする
毎週作り替え！
16

17. ひとまずクラスターを増やしてカバーできた
17
data data
data
data
data
data
data
※画像はイメージです

18. ひとまずクラスターを増やしてカバーできた
18
data data
data
data
data
data
data
一方ユーザビリティは低下
※画像はイメージです

19. 今日はお話しませんが中長期案
19
Redshift
Spectrum
イベントドリブン
ETL FW
DB使い分け
データレイク
イベントドリブン
パイプライン

20. 今日はお話しませんが中長期案
20
Redshift
Spectrum
イベントドリブン
ETL FW
DB使い分け
データレイク
イベントドリブン
パイプラインユーザーは待ってくれない！

21. これらができるまでのお話...
21

22. データ基盤にまつわる「ユーザーの不」を
いかにライトに解決していったか
（再掲）
22

23. ユーザー側の課題として大きく３つあった
1. 「work領域に作ったテーブルが消えちゃう！」
2. 「早いけど金曜日のデータしかない。。。」
3. 「あの環境にしかデータがない！」
23

24. ユーザー側の課題として大きく３つあった
1. 「work領域に作ったテーブルが消えちゃう！」
2. 「早いけど金曜日のデータしかない。。。」
3. 「あの環境にしかデータがない！」
24

25. データが消えるとは？？
毎週作り替え！
25

26. 「データ残したい」と「容量削減したい」の板挟み
26
いらないデータ消さないじゃん...
作ったデータ残しておいて！

27. 「データ残したい」と「容量削減したい」の板挟み
27
いらないデータ消さないじゃん...
作ったデータ残しておいて！
毎回依頼を受けて対応

28. 欲しいデータだけ残してスリムに！
28
いらないデータ消さないじゃん...
作ったデータ残しておいて！
必要な時だけ勝手に残してもらえばいい！

29. 復活予約はChatbotで！
29
これ予約して！
カシコマリマシタ... ヨヤクデキマシタ！

30. ユーザー主導でデータを残す
30
毎週土曜
バックアップ
毎週日曜 復元
毎週作り替え！

31. ユーザー側の課題として大きく３つあった
1. 「work領域に作ったテーブルが消えちゃう！」
2. 「早いけど金曜日のデータしかない。。。」
3. 「あの環境にしかデータがない！」
31

32. データ鮮度が犠牲に。。。
毎週作り替え！
32

33. 「DB早くして！」と「新しいデータ欲しい！」の板挟み
33
鮮度を犠牲に早くしたんだよね...
最新データが見たい！

34. 早いDBで新鮮なデータを分析！
34
鮮度を犠牲に早くしたんだよね...
最新データが見たい！
必要な時だけ勝手に最新化してもらえばいい！

35. 最新化はChatbotで！
35
これ新しくして！
カシコマリマシタ...
ロードデキマシタ！

36. ユーザー主導でデータを残す
36
必要な時だけロード

37. ユーザー側の課題として大きく３つあった
1. 「work領域に作ったテーブルが消えちゃう！」
2. 「早いけど金曜日のデータしかない。。。」
3. 「あの環境にしかデータがない！」
37

38. 複数DWH仕様によってデータ不整合問題が顕在化
38
データを移すのが大変...
本番にしかデータない！！

39. 複数DWH仕様によってデータ不整合問題が顕在化
39
データを移すのが大変...
本番にしかデータない！！
必要な時だけ勝手にデータ移動してもらえばいい！

40. 複数DWH仕様によってデータ不整合問題が顕在化
40
データを移すのが大変...
本番にしかデータない！！
必要な時だけ勝手にデータ移動してもらえばいい！
勝手にはさすがに厳しい...

41. データ移動の工数削減
41

42. 「ユーザビリティ」と「でかさの両立」
42
data
data
data
data
data
data
※画像はイメージです

43. Botが得意なところ
1. 部分的に権限を移譲しやすい
2. ユーザー装着コストが低い
3. 開発コストが低い
43

44. その他BOTの紹介
1. ミニドラbot
2. インスタンス操作bot
3. BIツール（Tableau）のワークブック操作bot
44

45. 【ミニドラbot】ちょっといいことをやってくれる
• 要認証社内コンフル のページ名を取ってくる
• windows, mac間で共有フォルダのパス変換
45

46. 【instance bot】インスタンス操作をするbot
46

47. 47
【tableau bot】BIツールのワークブック操作をするbot

48. 今後の展望
• Botの機能自体もユーザーに作ってもらう
• より細かく権限委譲が出来ている状態
48

49. データから離れましたが、
ご静聴ありがとうございました！！
時間があればbotの基盤のお話を。。。
49

50. データ基盤ではなくChatbot基盤のお話
50

51. 以前は１台ずつ作っていた
51

52. 以前は１台ずつ作っていた
52

53. 以前は１台ずつ作っていた
53
火消しのためssh祭り

54. 以前は１台ずつ作っていた
54
疎結合かつスケーラブルに作り直す！

55. スケーラブルかつ疎結合
55
共通botで
受付
API以降で
振り分け
各機能
インフラのコード化
デプロイ自動化
秘密情報の一元管理

56. スケーラブルかつ疎結合
56

57. スケーラブルかつ疎結合
57
共通botで
受付
API以降で
振り分け
各機能
インフラのコード化
デプロイ自動化
秘密情報の一元管理

58. スケーラブルかつ疎結合
58

59. スケーラブルかつ疎結合
59
疎結合＋スケーラブル
単一機能だけの修理・開発

60. 価値の数値化もしています！
60
削減時間 = 利用回数 * 推定削減時間

61. 悩み...
1. ETLと分離して作っている
2. 基盤と機能が分離している（terraformとdocker）
3. リスク回避の価値は数値化できていない
61