AWS summit 2019にて発表しました。

1. CTO of the year 2018によるLean開発話【データレイク編】
～とにかくデータレイクにすべてのデータを投げ込もう！
とりあえずs3に置けばなんとかなるから！～
atama plus株式会社
川原尊徳

2. 対象となる聞き手
• atama plus株式会社がどうやってleanにデータレイクを構
築し、価値のあるデータを引き出しているかを知りたい方
• とりあえずデータレイクというものをお手軽に始めたいと
思っている方
• データ収集に対する向き合い方に迷いがある方
• どこに、どんな形式で、どれを保管したらいいの？
※以下は対象外
• データレイクについての手法の体系的な整理を知りたい方
• データレイクの高度な活用法を知りたい方
2

3. 名称： atama plus株式会社
設立： 2017年4月3日
所在地： 東京都中央区日本橋堀留町1-8-12 さくら堀留ビル7F
株主： 創業メンバー、DCM Ventures、ジャフコ
資金調達： 計20億円
AIで、一人ひとりに最適な教材を
作成しています。
アタマ先生
会社紹介
3

4. （9歳からプログラミング開始）
2000年 東京大学入学
2004年 東京大学工学部卒業
2006年 東京大学大学院情報理工学系研究科修了
2006年 Microsoft入社
Hotmail開発
データサイエンティスト等歴任
2017年 atama plus株式会社共同創業
2018年 CTO of the year 2018受賞
川原 尊徳
38歳
取締役
自己紹介
4

5. 学習時間を最短にします。
一人ひとりの「得意」「苦手」「伸び」「つまずき」「集中状態」、
すべてをAIが分析し、「自分専用レッスン」をつくります。 5

6. 数I【正弦定理】が苦手！
こんな時どうしますか？
6

7. 従来の学習方法
・・・
説明 例題 演習
「正弦定理」を何度も繰り返し学習・・・
7

8. atama+の学習方法
つまずきの原因を特定し、必要な箇所を必要な教材で学習
数I 数A中学範囲
演習
診断 講義 講義
8

9. 目標 忘却度
習熟度
回答時間
集中度
学習履歴
診断
単元 A
演習
単元 C
講義
単元 B
学校進度 etc.
1問解く毎に
update
AIが生徒の数だけ「自分専用レッスン」を作成
自分専用レッスン
復習
単元 D
9

10. みなさんデータはちゃんと収集していますか？
10
バグを調査している人
開発者
新機能作ってる人
システムの挙動を調査
している人
影響を受けているユーザーの人数どのぐらい？
どのくらい急いだらいいのか判断したいんだけど。
エラーの数はわかるけど人数はわからないです。。。
ブラウザとアプリ両方使ってる有料課金ユーザーって、
この画面でどんな行動とってるかわかる？
開発者
行動ログはとってるんですが、ユーザーのタイプ別に
はとっていないのでわからないです。。。
ユーザーがオススメされたアイテムではないアイテム
をクリックしたときに、他に何がおススメされていた
かわかる？
開発者
クリックされたアイテムはとっているんですが、その
時他に何が表示されていたかはとっていないのでわか
らないです。。。

11. 全部事前に想定してデータ取るなんて無理だ
よ・・・とお嘆きのあなた。
そう。データレイクならすべてを解決してくれ
る・・・！
11

12. データレイクとは
• データレイクは、規模にかかわらず、すべての構造化データ
と非構造化データを保存できる一元化されたリポジトリです。
• データをそのままの形で保存できるため、データを構造化し
ておく必要がありません。
• また、ダッシュボードや可視化、ビッグデータ処理、リアル
タイム分析、機械学習など、さまざまなタイプの分析を実行
し、的確な意思決定に役立てることができます。
(AWSの”データレイクとは”のページより https://aws.amazon.com/jp/big-data/datalakes-and-analytics/what-is-a-data-lake/)
→めっちゃ便利そう！！
12

13. データレイクの登場によるデータ保存ポリシーの変化
従来の手法
• どこに?
• データベースに
• どうやって?
• 読み込み時の都合に合わせたフォー
マットで
• どれを?
• アクションにつながるデータのみを
データレイク前提での手法
(程度問題はあると思いますが・・・)
• どこに?
• ログに
• どうやって?
• 書き込み時の都合に合わせたフォー
マットで
• どれを?
• 必要となる可能性のあるもの全てを
13

14. 14
・・・でもお高いんでしょう・・・？
構築も大変そう・・・

15. atama plusのデータレイク構築は超簡単/超安価だった！
15
Amazon Simple
Storage Service
(S3)
Amazon Athena
Step 2:
herokuからログをs3に流
し込む設定をする。
(papertrailのGUIで完結)
→保管部分構築完了！
Step 1:
S3にbucketを作る
Step 3:
Athenaでテーブルを作成
する(数十行のコード)
→クエリ部分構築完了！

16. 実際にエラーによって影響を受けたユーザーを抽出したケース
WITH dataset
AS (SELECT id,
source_name,
program,
dt,
Reverse(Substr(Reverse(Substr(message,
Strpos(message, '{'))),
Strpos
(Reverse(Substr(message, Strpos(message,
'{'))), '}'))
)
AS json
FROM herokulog
WHERE dt >= '2019-03-15'
AND dt < '2019-03-20'
AND message LIKE
'%OpenStudySessionView%status_code%400,%homework%
')
SELECT Json_extract_scalar(json,
'$.requesting_user_id') AS user_id,
dt
FROM dataset
16
JSONの中から簡単に値を取っ
てこれる
Jun 09 02:29:50 atamaplus-api-rc app/web.1:
[INFO] [94c9c57d-00d3-4c47-9928-0d262d97b752]
asctime:2019-06-09 18:29:49,825
logger:atamaplus_api_v3.views.progress.Progr
essView func:_log_request_parameters
messages:{"subject_group_id": "english",
"organization_user_id": "me",
"client_build_info": {"name": "student-app",
"version": "2.56.1", "version_code": "2019042501",
"deploy_info": {}}, "requesting_user_id": 21620,
"requesting_app_type": "student",
"requesting_session": "13f127e26b3fa8b4",
"requesting_session_segment": "16b3b84394d5e13",
"requesting_device_id": 4398} process:96
thread:140363046371840
ログの一部にJSONが書かれてい
る。
スキーマを決めてから書いている
のではなく、単にdictionaryの値を
ダンプしてるだけ。
実際のログ 実際のクエリ
Plain textからJSON部分を抜き出
す
エラーが出た時に出
るログをテキスト検
索により抽出

17. つまり・・・
1. 後から使うかも、、、と思ったらとりあえずログ
にJSONで吐いておく
2. ログはs3にためておく
3. 必要になったらAthenaでクエリする
以上で「あとから何とでもなるデータレイク」の完成！
(とりあえず、ですが…)
17

18. まとめ
とりあえずs3にすべてのデータを放り込んでおけば
後から何とでもなる!
オマケ：
• 実はatama plusにはAWS activateというstart up向け優遇プログラムが適用され
ており実質0円でAWSを利用させてもらっている。
• VCから資金調達するとこれのお誘いが来るらしい
18

19. We are hiring！
19
・Webエンジニア
・フロントエンドエンジニア
・データエンジニア
・アルゴリズム開発エンジニア
・インフラエンジニア
etc.
atama plus 採用