Submit Search
Upload
エンジニア勉強会資料_④Rtoaster×Myndエンジンによる興味キーワード分析機能開発事例
•
0 likes
•
1,556 views
BrainPad Inc.
Follow
2018年3月13日にブレインパッドが開催した「エンジニア向け勉強会」の講演資料です。
Read less
Read more
Engineering
Report
Share
Report
Share
1 of 22
Download Now
Download to read offline
Recommended
エンジニア勉強会資料_①ブレインパッドの中で僕たちは何を開発しているのか?
エンジニア勉強会資料_①ブレインパッドの中で僕たちは何を開発しているのか?
BrainPad Inc.
エンジニア勉強会資料_②エンジニア・デザイナ・プロダクトオーナーが推薦するプロトタイプドリブン開発
エンジニア勉強会資料_②エンジニア・デザイナ・プロダクトオーナーが推薦するプロトタイプドリブン開発
BrainPad Inc.
エンジニア勉強会資料_⑥エンジニアが主導する組織マネジメントや開発体制の継続的改善
エンジニア勉強会資料_⑥エンジニアが主導する組織マネジメントや開発体制の継続的改善
BrainPad Inc.
DMPの分析機能を実現する技術
DMPの分析機能を実現する技術
BrainPad Inc.
エンジニア勉強会資料_⑤広告プロダクトとプラットフォームの開発
エンジニア勉強会資料_⑤広告プロダクトとプラットフォームの開発
BrainPad Inc.
Business utilization of real estate image classification system using deep le...
Business utilization of real estate image classification system using deep le...
BrainPad Inc.
れこめん道~とあるエンジニアの苦闘の日々
れこめん道~とあるエンジニアの苦闘の日々
BrainPad Inc.
プロトタイプで終わらせない死の谷を超える機械学習プロジェクトの進め方 #MLCT4
プロトタイプで終わらせない死の谷を超える機械学習プロジェクトの進め方 #MLCT4
shakezo
More Related Content
What's hot
今後10年の機械学習ビジネスの可能性
今後10年の機械学習ビジネスの可能性
tomohiro furukawa
2018.08.21-機械学習工学研究会 現場を交えた勉強会発表資料
2018.08.21-機械学習工学研究会 現場を交えた勉強会発表資料
BrainPad Inc.
Mattermostが働き方を劇的改善!NRIの働き方改革の秘訣
Mattermostが働き方を劇的改善!NRIの働き方改革の秘訣
aslead
NRIが全社利用するビジネスチャットツールMattermostのご紹介
NRIが全社利用するビジネスチャットツールMattermostのご紹介
aslead
ブレインパッドにおける機械学習プロジェクトの進め方
ブレインパッドにおける機械学習プロジェクトの進め方
BrainPad Inc.
楽天技術研究所 Society 5.0 のクリエイティブ都市
楽天技術研究所 Society 5.0 のクリエイティブ都市
Rakuten Group, Inc.
20171201 deep learning lab albert
20171201 deep learning lab albert
Hirono Jumpei
カスタマーサクセスのためのデータ整備人の活動記録
カスタマーサクセスのためのデータ整備人の活動記録
syou6162
深層学習の導入で抱える課題とユースケース実例
深層学習の導入で抱える課題とユースケース実例
Hirono Jumpei
ぼくのかんがえたさいきょうの機械学習プロダクトの作り方
ぼくのかんがえたさいきょうの機械学習プロダクトの作り方
Ozawa Kensuke
ユーザに価値を届けるためのデータプラットフォームの考え方
ユーザに価値を届けるためのデータプラットフォームの考え方
Rakuten Group, Inc.
[自己PR]12/23 エンジニア"1on1"面談会
[自己PR]12/23 エンジニア"1on1"面談会
Toshi Matsumoto
データサイエンス業務と「ツール」
データサイエンス業務と「ツール」
The Japan DataScientist Society
NRI事例に学ぶ、”検索”による大規模システム開発の生産性向上
NRI事例に学ぶ、”検索”による大規模システム開発の生産性向上
aslead
楽天の次世代を支える AI Platform ~ チャットボット、マーケティング、そしてCreative AI
楽天の次世代を支える AI Platform ~ チャットボット、マーケティング、そしてCreative AI
Rakuten Group, Inc.
機械学習システムを受託開発 する時に気をつけておきたい事
機械学習システムを受託開発 する時に気をつけておきたい事
BrainPad Inc.
楽天における企業内スタートアップの取り組み
楽天における企業内スタートアップの取り組み
Rakuten Group, Inc.
データエンジニアとデータアナリストを兼任して良かったこと
データエンジニアとデータアナリストを兼任して良かったこと
Masatoshi Ida
分析手法のご紹介
分析手法のご紹介
Recruit Technologies
グローバル企業の中で「変化」を仕掛ける楽天技術研究所 Rakuten Institute of Technology の挑戦
グローバル企業の中で「変化」を仕掛ける楽天技術研究所 Rakuten Institute of Technology の挑戦
Rakuten Group, Inc.
What's hot
(20)
今後10年の機械学習ビジネスの可能性
今後10年の機械学習ビジネスの可能性
2018.08.21-機械学習工学研究会 現場を交えた勉強会発表資料
2018.08.21-機械学習工学研究会 現場を交えた勉強会発表資料
Mattermostが働き方を劇的改善!NRIの働き方改革の秘訣
Mattermostが働き方を劇的改善!NRIの働き方改革の秘訣
NRIが全社利用するビジネスチャットツールMattermostのご紹介
NRIが全社利用するビジネスチャットツールMattermostのご紹介
ブレインパッドにおける機械学習プロジェクトの進め方
ブレインパッドにおける機械学習プロジェクトの進め方
楽天技術研究所 Society 5.0 のクリエイティブ都市
楽天技術研究所 Society 5.0 のクリエイティブ都市
20171201 deep learning lab albert
20171201 deep learning lab albert
カスタマーサクセスのためのデータ整備人の活動記録
カスタマーサクセスのためのデータ整備人の活動記録
深層学習の導入で抱える課題とユースケース実例
深層学習の導入で抱える課題とユースケース実例
ぼくのかんがえたさいきょうの機械学習プロダクトの作り方
ぼくのかんがえたさいきょうの機械学習プロダクトの作り方
ユーザに価値を届けるためのデータプラットフォームの考え方
ユーザに価値を届けるためのデータプラットフォームの考え方
[自己PR]12/23 エンジニア"1on1"面談会
[自己PR]12/23 エンジニア"1on1"面談会
データサイエンス業務と「ツール」
データサイエンス業務と「ツール」
NRI事例に学ぶ、”検索”による大規模システム開発の生産性向上
NRI事例に学ぶ、”検索”による大規模システム開発の生産性向上
楽天の次世代を支える AI Platform ~ チャットボット、マーケティング、そしてCreative AI
楽天の次世代を支える AI Platform ~ チャットボット、マーケティング、そしてCreative AI
機械学習システムを受託開発 する時に気をつけておきたい事
機械学習システムを受託開発 する時に気をつけておきたい事
楽天における企業内スタートアップの取り組み
楽天における企業内スタートアップの取り組み
データエンジニアとデータアナリストを兼任して良かったこと
データエンジニアとデータアナリストを兼任して良かったこと
分析手法のご紹介
分析手法のご紹介
グローバル企業の中で「変化」を仕掛ける楽天技術研究所 Rakuten Institute of Technology の挑戦
グローバル企業の中で「変化」を仕掛ける楽天技術研究所 Rakuten Institute of Technology の挑戦
Similar to エンジニア勉強会資料_④Rtoaster×Myndエンジンによる興味キーワード分析機能開発事例
DataOps in Moneyforward
DataOps in Moneyforward
tetsuro ito
Contextual package
Contextual package
Shota Yasui
失敗談から学ぶ!アクションにつながるデータ分析のコツ[2014.12.11 開催セミナー]
失敗談から学ぶ!アクションにつながるデータ分析のコツ[2014.12.11 開催セミナー]
Dentsu Razorfish
DMPの仕組み
DMPの仕組み
Kenta Suzuki
小規模チームで Type script と向き合う話
小規模チームで Type script と向き合う話
Tatsuya Yamamoto
オープンソースで開くビッグデータの扉
オープンソースで開くビッグデータの扉
Open Source Software Association of Japan
dots.サービスのご説明@dots.2周年記念パーティ
dots.サービスのご説明@dots.2周年記念パーティ
dots.
自然言語処理紹介(就職編)
自然言語処理紹介(就職編)
長岡技術科学大学 自然言語処理研究室
プロトタイピングツール投入のケーススタディ
プロトタイピングツール投入のケーススタディ
力也 伊原
Visasq
Visasq
創史 花村
【会社概要資料】STC.pdf
【会社概要資料】STC.pdf
KosukeWada1
データサイエンティストのリアル-2015年~2019年 一般(個人)会員アンケートより
データサイエンティストのリアル-2015年~2019年 一般(個人)会員アンケートより
The Japan DataScientist Society
SIGSPATIAL2020 参加報告
SIGSPATIAL2020 参加報告
Fumihiko Takahashi
プラットフォーム開発でプロダクトマネージャがチャレンジすべきこと #pm_roppongi
プラットフォーム開発でプロダクトマネージャがチャレンジすべきこと #pm_roppongi
Daisuke Matsuda
デ部会 プロトタイプ
デ部会 プロトタイプ
Nobuhiko Futagami
マーケジンDMPセミナー final 0528
マーケジンDMPセミナー final 0528
Intimate Merger Inc.
迅速な意思決定のために必要なこと
迅速な意思決定のために必要なこと
Masahiro Hayashi
niconicoにおける継続的なデータ活用のためのHadoop運用事例
niconicoにおける継続的なデータ活用のためのHadoop運用事例
Makoto SHIMURA
大切なお客様を、一生のお客様に ~自社・競合データから導く、結果につながるデータ分析の最新事例~
大切なお客様を、一生のお客様に ~自社・競合データから導く、結果につながるデータ分析の最新事例~
株式会社Consumer first
The stumbling block of team development in the growth phase
The stumbling block of team development in the growth phase
ssuser1e9374
Similar to エンジニア勉強会資料_④Rtoaster×Myndエンジンによる興味キーワード分析機能開発事例
(20)
DataOps in Moneyforward
DataOps in Moneyforward
Contextual package
Contextual package
失敗談から学ぶ!アクションにつながるデータ分析のコツ[2014.12.11 開催セミナー]
失敗談から学ぶ!アクションにつながるデータ分析のコツ[2014.12.11 開催セミナー]
DMPの仕組み
DMPの仕組み
小規模チームで Type script と向き合う話
小規模チームで Type script と向き合う話
オープンソースで開くビッグデータの扉
オープンソースで開くビッグデータの扉
dots.サービスのご説明@dots.2周年記念パーティ
dots.サービスのご説明@dots.2周年記念パーティ
自然言語処理紹介(就職編)
自然言語処理紹介(就職編)
プロトタイピングツール投入のケーススタディ
プロトタイピングツール投入のケーススタディ
Visasq
Visasq
【会社概要資料】STC.pdf
【会社概要資料】STC.pdf
データサイエンティストのリアル-2015年~2019年 一般(個人)会員アンケートより
データサイエンティストのリアル-2015年~2019年 一般(個人)会員アンケートより
SIGSPATIAL2020 参加報告
SIGSPATIAL2020 参加報告
プラットフォーム開発でプロダクトマネージャがチャレンジすべきこと #pm_roppongi
プラットフォーム開発でプロダクトマネージャがチャレンジすべきこと #pm_roppongi
デ部会 プロトタイプ
デ部会 プロトタイプ
マーケジンDMPセミナー final 0528
マーケジンDMPセミナー final 0528
迅速な意思決定のために必要なこと
迅速な意思決定のために必要なこと
niconicoにおける継続的なデータ活用のためのHadoop運用事例
niconicoにおける継続的なデータ活用のためのHadoop運用事例
大切なお客様を、一生のお客様に ~自社・競合データから導く、結果につながるデータ分析の最新事例~
大切なお客様を、一生のお客様に ~自社・競合データから導く、結果につながるデータ分析の最新事例~
The stumbling block of team development in the growth phase
The stumbling block of team development in the growth phase
More from BrainPad Inc.
Oss LT会_20210203
Oss LT会_20210203
BrainPad Inc.
機械学習システムのアーキテクチャアラカルト
機械学習システムのアーキテクチャアラカルト
BrainPad Inc.
機械学習システム開発案件の事例紹介
機械学習システム開発案件の事例紹介
BrainPad Inc.
システム開発素人が深層学習を用いた画像認識で麻雀点数計算するLINEbotを作ったハナシ
システム開発素人が深層学習を用いた画像認識で麻雀点数計算するLINEbotを作ったハナシ
BrainPad Inc.
Python研修の作り方 - teaching-is_learning-
Python研修の作り方 - teaching-is_learning-
BrainPad Inc.
2018 builderscon airflowを用いて、 複雑大規模なジョブフロー管理 に立ち向かう
2018 builderscon airflowを用いて、 複雑大規模なジョブフロー管理 に立ち向かう
BrainPad Inc.
GKEとgRPCで実装する多言語対応・スケーラブルな内部API
GKEとgRPCで実装する多言語対応・スケーラブルな内部API
BrainPad Inc.
実証実験報告セミナー資料 20180328(抜粋版)
実証実験報告セミナー資料 20180328(抜粋版)
BrainPad Inc.
エンジニア勉強会資料_③Rtoasterの11年
エンジニア勉強会資料_③Rtoasterの11年
BrainPad Inc.
Big Data Analytics Tokyo講演資料
Big Data Analytics Tokyo講演資料
BrainPad Inc.
DeltaCubeにおけるユニークユーザー集計高速化(実践編)
DeltaCubeにおけるユニークユーザー集計高速化(実践編)
BrainPad Inc.
DeltaCubeにおけるユニークユーザー集計高速化(理論編)
DeltaCubeにおけるユニークユーザー集計高速化(理論編)
BrainPad Inc.
Developpers Summit2015 Autumn 講演資料
Developpers Summit2015 Autumn 講演資料
BrainPad Inc.
Python twitter data_150709
Python twitter data_150709
BrainPad Inc.
Sparkストリーミング検証
Sparkストリーミング検証
BrainPad Inc.
Sparkパフォーマンス検証
Sparkパフォーマンス検証
BrainPad Inc.
Apache Sparkについて
Apache Sparkについて
BrainPad Inc.
データサイエンティストとは? そのスキル/ナレッジレベル定義の必要性
データサイエンティストとは? そのスキル/ナレッジレベル定義の必要性
BrainPad Inc.
More from BrainPad Inc.
(18)
Oss LT会_20210203
Oss LT会_20210203
機械学習システムのアーキテクチャアラカルト
機械学習システムのアーキテクチャアラカルト
機械学習システム開発案件の事例紹介
機械学習システム開発案件の事例紹介
システム開発素人が深層学習を用いた画像認識で麻雀点数計算するLINEbotを作ったハナシ
システム開発素人が深層学習を用いた画像認識で麻雀点数計算するLINEbotを作ったハナシ
Python研修の作り方 - teaching-is_learning-
Python研修の作り方 - teaching-is_learning-
2018 builderscon airflowを用いて、 複雑大規模なジョブフロー管理 に立ち向かう
2018 builderscon airflowを用いて、 複雑大規模なジョブフロー管理 に立ち向かう
GKEとgRPCで実装する多言語対応・スケーラブルな内部API
GKEとgRPCで実装する多言語対応・スケーラブルな内部API
実証実験報告セミナー資料 20180328(抜粋版)
実証実験報告セミナー資料 20180328(抜粋版)
エンジニア勉強会資料_③Rtoasterの11年
エンジニア勉強会資料_③Rtoasterの11年
Big Data Analytics Tokyo講演資料
Big Data Analytics Tokyo講演資料
DeltaCubeにおけるユニークユーザー集計高速化(実践編)
DeltaCubeにおけるユニークユーザー集計高速化(実践編)
DeltaCubeにおけるユニークユーザー集計高速化(理論編)
DeltaCubeにおけるユニークユーザー集計高速化(理論編)
Developpers Summit2015 Autumn 講演資料
Developpers Summit2015 Autumn 講演資料
Python twitter data_150709
Python twitter data_150709
Sparkストリーミング検証
Sparkストリーミング検証
Sparkパフォーマンス検証
Sparkパフォーマンス検証
Apache Sparkについて
Apache Sparkについて
データサイエンティストとは? そのスキル/ナレッジレベル定義の必要性
データサイエンティストとは? そのスキル/ナレッジレベル定義の必要性
エンジニア勉強会資料_④Rtoaster×Myndエンジンによる興味キーワード分析機能開発事例
1.
Rtoaster × Myndエンジンによる 興味キーワード分析機能開発事例 Mynd株式会社 取締役
/ エンジニア 森口 正之 株式会社ブレインパッド DPG グループマネージャー 田崎 雄一郎 # brainpadtech
2.
自己紹介 2012年 4月 SNS系企業
新卒入社 ぴちぴちの社会人6年目です 2014年11月 ブレインパッド入社 データ マネジメント プラットフォーム グループ グループ マネージャー Rtoasterのユーザー分析機能や 外部パートナー連携など頑張ってます的な人です 来週からドイツ/フランス/スイス旅行なのでそわそわしてます
3.
興味キーワード分析機能について
4.
Rtoaster 分析機能について DMPに蓄積された行動情報をもとに、 様々な角度からどんなユーザーがいるかの分析を支援 ● 期間 ●
URL ● キーワード ● 属性 ● 自動分析 などなど
5.
キーワード分析機能 Rtoaster契約サイト 10,000人 寿司 カレー豆腐 ユーザーが何に興味を持っているか 直感的にわかりやすく、 次のアクションに繋げやすい 10人 2,000人 600人 うどん 米 ピザ クーポン発行 カレーに興味あるなら インド行くでしょ 🍣 📛 🍛
6.
キーワード分析機能の構成
7.
キーワード抽出部分について ● 自社製品のロジック部分考案にデータサイエンティストなどに 協力を依頼することはままある ○ 今回はキーワード機能ということで、自然言語処理の得意なMynd社と協力 ●
協業の中でうまくいったこと ○ 物理的に距離が近く、スムーズにコミュニケーションできた ○ キーワードデータをサマリ過ぎずに出力してもらうことで、 今回の機能向けに限定し過ぎたものとならず、 それを利用した新機能の検討などを我々だけで閉じることができた Mynd株式会社 2015年4月にブレインパッドグループにJOIN 自然言語処理系に強み あとで詳しく☆
8.
ユーザー分析システム 分析画面 データ集約基盤 キーワード分析機能 構成図 Rtoaster内部は マイクロサービス構成になってます 連携ハブシステム 自動レコメンドシステム airflowクラスタ Auto Scaling Group コアエンジン などなど SparkクラスタPrestoクラスタ
9.
処理部分のインスタンス構成 ● master node ○
1台 ○ r4.xlarge ● core / task node ○ 計20台 ○ r4.xlarge 夜間バッチ負荷のため多め 今後オートスケール予定 ● job-manager ○ 1台 ○ c4.xlarge ● job-worker ○ 2〜10台 ○ c4.2xlarge 並列実行にコア数が欲しいだけで こんな強い必要はない リリースしたばかりで負荷検証途中のため、やや力技の構成(参考値程度に) キーワード処理だけでなく全ての分析機能処理で共通利用
10.
● Array型の処理時間が遅かったため 文字列型で持ち、クエリを早くしている ● 約3000万UUの中から抽出する処理で ○
単一条件,AND条件で3秒程度 ○ OR条件だと25秒程度 ■ 400万UUくらいだと7秒程度 ● キーワード分析機能においては、 あまり凝った使い方はしていない ○ 単純に数を力でこなす感じ ● 別の分析機能ではSparkMLを利用して 機械学習とかもしている スケールさせやすい なんやかんや高速 リリース間隔早い 最近も月2回くらいリリース ただし追うのも大変 スケールさせやすい SparkMLなどライブラリも充実 ドキュメントや事例がWeb上に多い EMRでの構築事例も多い 事例ケースも多く最適解は難しいたまにバグもまじる 調整すべきパラメータが多い
11.
ここまでの伝えたいこと ● キーワード分析機能をMynd社と協力して実現した ○ 社内に自然言語処理や機械学習などに強みを持つメンバーがおり、 一緒に考えられるのはブレインパッドならではの安心感かと! ●
Spark, Presto, Airflowなどの大規模処理向けの アプリケーションを採用して処理をしています ○ エンジニア主体で技術採用も積極的に行えている ○ スモールなサービスだと使わなくても処理として事足りるので、 しっかり業務で携われるのはNo.1 DMPならではのデータ量 ● 分散処理からインフラから画面開発までまで ひとりひとりがフルスタックに開発してます
12.
Myndについて
13.
● 2010年4月 組み込み系開発企業
新卒入社 ● 2012年4月 Mynd社立ち上げ ● 2015年4月 BrainPadグループにJoin ● 2017年4月 現職 自己紹介 元々は組み込み系→ネイティブアプリも....→クラウドも....→なんか色々やってます
14.
● エンジニアばかりの小さな会社 ○ フルタイムメンバーは現在5人 ○
内4人がエンジニア ● 自然言語処理、機械学習に強みを持っています
15.
16.
17.
18.
キーワード抽出って何するの?
19.
...日本企業が世界で勝てない理由のひとつに、 各国政府への「ロビイング」の不足があります。 日本企業が今後... 日本企業 世界 各国政府 ロビイング 不足 今後 日本企業 世界 各国政府 ロビイング 不足 今後
20.
意外と簡単そう....?
21.
● システム化って難しいですよね.... ○ お客様に合わせた実装 ○
運用・保守 ● 他のモジュールではもっと凝った事もしています! ○ クラスタリング・意味タグ付与・etc とは言え....
22.
簡単だと思っていただけた方! 是非声をかけてください!
Download Now