12月3日 木曜日にGMO Yoursで開催された勉強会の発表資料です。GMOインターネット 次世代システム研究室の紹介もあります http://doda.jp/promo/seminar/geekrealvol2_tokyo.html

1. 最先端のデータ解析/Apache Sparkを
利用したレコメンドエンジン開発
サンプルデータの解析からビッグデータの解析へ∼
GMOインターネット株式会社 次世代システム研究室 アーキテクト
GMOアドパートナーズ株式会社 グループCTO室 アーキテクト
野田 純一

2. 1
2
3
アジェンダ
次世代システム研究室について
自己紹介
レコメンドエンジンの開発について
2

3. 3
次世代システム研究室ついて
次世代システム研究室はお客様の笑顔のため、No.1 サー
ビスを目指し、GMO インターネットグループの重要なプ
ロジェクトの成功を技術面でサポートする部署です。
R&Dだけの部署ではありません。

4. 4
作ってきたサービス

5. 5
ベトナムラボと協力してサービスを開発

6. 6
次世代システム研究室の研究開発
期末に次世代システム研究室の研究発表会を実施。研究内容は業
務に関すること、今後業務に活かせそうな最新技術。
!
• Apple Watch vs Android Wear
• HBase Impalaで作るアドテク「GMOプライベートDMP」
• リーンスタートアップ、アジャイル開発導入事例
最近の研究資料 http://recruit.gmo.jp/engineer/jisedai/topics/

7. 7
社外での活動（2015年）
時期 イベント名 内容
6月 HBase Meetup Tokyo
Summer 2015
「GMO Private DMP」の開発で得た
Hadoop関連のノウハウを発表
8月 dots.
ビッグデータオールスターズ
社内での研究成果を外部のイベントで
も共有
10月 Software Design
2015年11月号 記事掲載
Hadoop関連開発にConoHaを使った
場合のクラスタ構成やノウハウを掲載
12月 Embulk Meetup Tokyo #2 次世代システム研究室ブログの内容が
好評だったので勉強会でも発表
次世代システム室ブログ http://recruit.gmo.jp/engineer/jisedai/blog/

8. 1
2
3
アジェンダ
次世代システム研究室について
自己紹介
レコメンドエンジンの開発について
8

9. 9
自己紹介 経歴
所属
GMOインターネット株式会社 次世代システム研究室 アーキテクト
GMOアドパートナーズ株式会社 グループCTO室 アーキテクト
前職
2014 ∼
株式会社ディー・エヌ・エー
ソーシャルゲームのフレームワーク開発（WEB向け、アプリ向け）
GMOインターネット入社
GMO NIKKO社の「GMOプライベートDMP」の開発に関わる
レコメンドウィジェット「TAXEL」の開発中

10. 10
最近やっていること 「Sparkが熱い」
Software Design 2015年11月号
に執筆記事掲載。
ConoHaを使ったHadoopクラス
タの構成事例とSpark SQLを使っ
たデータ処理の実例を記述。
2015年11月 10日
Cloudera World Tokyo 2015でLT登壇
!
ClouderaはHadoopディストリビューショ
ンのメジャーなベンダー。Apache Spark
を使ったプログラムについて紹介。

11. 1
2
3
アジェンダ
次世代システム研究室について
自己紹介
レコメンドエンジンの開発について
11

12. 12
推薦記事
広告
リコメンドウィジェット

13. 13
リコメンドウィジェット関連用語
用語 解説
回遊率 回遊率とは特定のサイトを訪れた訪問者が、そのサイト内
の各ページをどれ位見て回ったかという判断指標です。訪
問ページ別の直帰率やリンク元ドメイン別直帰率、重要ペ
ージ到達率、ユーザごとの平均PV（Page View）などの
数値をもとに回遊の程度は判断されています。
SSP RTBの広告掲載(メディア)側システム ブラウザの広告枠に
対して一番入札額の高い(効果の高い)DSPを決定する。
ネイティブアド 広告をWEB画面やスマフォになじませる手法。

14. 14
ネイティブアドの種類
インフィード型 Facebookのフィード広告、Twitterのプ
ロモートツイートなど
検索連動型広告型 Yahoo、Google、Bing
レコメンドウィジェット型 アウトブレイン、popIn、loglyなど
プロモートリスティング型 「ぐるなび」や「食べログ」の検索連動
型広告、サービスの利用体験とシームレ
スにデザインされた広告
ネイティブ要素を持つイン
アド型
広告のデザインはメディアと親和性が高
くないがコンテンの親和性が高いもの
カスタム型 上記にあてはまらない手法。（もちろん
広告はメディアにあわせる）
参考: 日経BPムック「最新マーケティングの教科書2016」

15. 15
推薦記事表示までのフロー

16. 16
リコメンド記事の作成フロー

17. 17
Apache Sparkについて
オープンソースの並列分散処理基板
インメモリー処理
HadoopのMapReduceとは別アプローチ(DAG)での並列分散処理基板を行う
APIを利用できる言語はScala, Java, Python, R
クラスタ上での処理を前提としており、YARN, Mesos, Spark Standaloneが選
択できる

18. 18
Spark SQLの活用（データの集約）
[hive@slave_node1]$ spark-shell --master yarn-client!
import org.apache.spark.sql.hive.HiveContext !
val hiveCtx = new HiveContext(sc)!
val rows = hiveCtx.sql("select uid, url from access_log_data”)!
val rdd = rows.distinct.rdd !
val pairs = rdd.map( u => (u{0}.asInstanceOf[String],
u{1}.asInstanceOf[String])) !
val group = pairs.groupByKey()!
group.take(10)
クラスタで処理
Hiveテーブル使うため
HiveQL
重複行を削除
map形式に変換 (ユーザID => ページURL)
ユーザIDをキーにデータを集約する

19. 19
Spark MLlibの活用 (相関ルール)
相関ルール
「パンとバターの同時購入者の90％はミルクも購入する」というような関
係性を算出する。算出処理の引数に confidence(確信度)、support(支持
度)などの指標を与えてその数値以上の関係性を導き出す。
!
例だとpage1を見てる人にはpage2を推薦（その逆も）、page4を見て
る人にはpage5を推薦する（その逆も）・・といった記事ベースのリコメ
ンドを行う。

20. 20
import org.apache.spark.{SparkConf, SparkContext}!
import org.apache.spark.rdd.RDD!
import org.apache.spark.mllib.fpm.AssociationRules!
import org.apache.spark.mllib.fpm.FPGrowth.FreqItemset!
!
object ArSample {!
def main(args: Array[String]): Unit = {!
!
val conf = new SparkConf().setAppName("Ar Application")!
conf.setMaster("local[*]")!
val sc = new SparkContext(conf)!
!
val freqItemsets = sc.parallelize(Seq(!
new FreqItemset(Array("http://maru/page1"), 20L),!
new FreqItemset(Array("http://maru/page2"), 20L),!
new FreqItemset(Array("http://maru/page3"), 20L),!
new FreqItemset(Array("http://maru/page4"), 20L),!
new FreqItemset(Array("http://maru/page5"), 20L),
例なのでデータを増幅する FreqItemset(データパターン, 頻度)
例としてローカルで起動（本来はクラスタ）

21. 21
new FreqItemset(Array("http://maru/page1", "http://maru/page2"), 19L),!
new FreqItemset(Array("http://maru/page4", "http://maru/page5"), 18L)!
));!
!
val ar = new AssociationRules()!
.setMinConfidence(0.6)!
val results = ar.run(freqItemsets)!
!
results.collect().foreach { rule =>!
println("[" + rule.antecedent.mkString(",")!
+ "=>"!
+ rule.consequent.mkString(",") + "]," + rule.confidence)!
}!
!
sc.stop!
}!
}!
相関ルールのクラスを作成
Confidence(確信度)の指標を与える

22. 22
開発環境構成(ConoHaで構成)
マシン名 CPU メモリ
gateway 2コア 1GB
ci_ambari 4コア 4GB
master_node 6コア 8GB
slave_node 6コア 8GB
dev-web 2コア 1GB
dev-ap 3コア 2GB
dev-batch 3コア
ay
2GB

23. 23
GMOインターネット グループの強み
開発に必要なサーバーインフラをグループ内で調達可能。
Hadoopクラスタの調達、サーバー構成の調整がしやすい。

24. 24
ご清聴ありがとうございました
あんず＆このは
LINEスタンプ発売中