Hadoop Conference Japan 2009 #1

楽天の Hadoop 利用事例 (Hadoop Conference Japan 2009) 楽天株式会社　開発部　河村圭介｜2009年11月13日

自己紹介
河村　圭介
楽天開発部　エンジニア
[email_address]
@kkawamura

Ａｇｅｎｄａ１楽天の紹介２楽天のシステムのもつ課題３楽天の Hadoop 環境４利用事例をいくつか紹介５まとめと今後の展開

１楽天の紹介２楽天のシステムのもつ課題３楽天の Hadoop 環境４利用事例をいくつか紹介５まとめと今後の展開

楽天市場
店舗数：約 3 万店
商品数：約 4,000 万点
日本最大級のインターネットショッピングモール ※ 店舗数・商品数： 2009 年 9 月現在 ※ 流通総額： 2008 年 3Q-2009 年 2Q ※ 会員数： 2009 年 2Q

流通総額に見る成長流通総額推移 ( 単位：億 ) 178 707 1124 1899 3009 4236 5369 0 1000 2000 3000 4000 5000 6000 00 01 02 03 04 05 06 07 6638 457 08

楽天市場の規模感
＜ 2008 年＞
流通総額
6638 億円
会員数
4700 万人突破
年間受注件数
約 8447 万件

楽天グループ　ビジネスは拡大中 1997 年　　 1998 年　　 1999 年　　 2000 年　　　 2001 年　　　 2002 年　　 2003 年　　　　 2004 年　　　　 2005 年　　　　 2006 年　　　　 2007 年　　　　 2008 年 2009 年　　

３楽天の Hadoop 環境４利用事例をいくつか紹介５まとめと今後の課題１楽天の紹介２楽天のシステムのもつ課題

急成長の裏側
楽天会員は 1 ヶ月に 20 万 ID 増加
購買データ、アクセスログなどの各種ログも増え続ける
増え続けるデータの管理、処理

大規模データの解析処理
ビジネスロジック以外の部分の難易度が高い。
グループ内の各種サービスで似たような問題が発生。個別に実装していては開発効率が悪い。
処理効率スケーラビリティ開発生産性耐障害性

経緯
　
2008 年 4 月　楽天技術研究所で関連技術の検証開始
2008 年 8 月　社内のエンジニア有志で勉強会開始
データ管理については ROMA が選択肢のひとつ。データ処理は Hadoop でトライ

１楽天の紹介２楽天のシステムのもつ課題４利用事例をいくつか紹介５まとめと今後の課題３楽天の Hadoop 環境

楽天の Hadoop 環境
2008 年 4 月より検証環境を構築、検証開始
後半で西岡がご説明
楽天技術研究所
2009 年 3 月からトライアルで運用開始
マスタ 1 台、スレーブ 13 台
Hadoop 0.19.2
Intel( R ) Xeon(TM) CPU 3.06GHz (SingleCore) × 2 / Memory 4GB
トライアルで始めたため、一線を退いたサーバで構成。
複数サービス（アプリケーション）で環境をシェア
タスクバランスを Fair Scheduler でコントロール
楽　天　市　場

楽天の Hadoop 環境
広告のインプレッションログ解析
レコメンデーション
製品ランキングなどのデータ集計系
… 増加中
利　用　用　途既に複数のサービスで利用開始

１楽天の紹介２楽天のシステムのもつ課題３楽天の Hadoop 環境５まとめと今後の課題４利用事例をいくつか紹介

利用事例 1 ：広告ユニークユーザー分析

利用事例１：広告ユニークユーザー分析
Hadoop の利用用途
行動ターゲティング広告の
ユニークユーザー分析に利用している。
分析結果は、
マーケティングに利用される。

利用事例１：広告ユニークユーザー分析
ユニークユーザー分析とは
いつ、どこで、どんな人が、
どの広告に興味を示しているのか
を統計解析する処理。
ユーザーのニーズを汲み取りながら、
順次、分析機能をビルドアップさせている。

利用事例１：広告ユニークユーザー分析 Hadoop 導入の背景増え続ける広告配信量処理速度の向上リアルタイム性の向上行動ターゲティング広告の配信量（ = 配信ログ）は、およそ年 50% ずつ増加している。

利用事例１：広告ユニークユーザー分析処理の概要広告の配信ログをインプットにして、複数の map/reduce を組み合わせて統計解析し、ユーザーの利用目的に応じて、数種類のアウトプットを出力している。広告配信エンジン NAS Hadoop クラスタユーザー

利用事例１：広告ユニークユーザー分析 Hadoop 導入の効果そのスケーラビリティを手に入れた。導入前に、占有 Batch サーバーで稼動していた perl スクリプトと、複数サービスでシェアしているクラスタ上で稼動している map/reduce を比較すると、処理速度が約 580% 向上した。約 26 時間が、およそ 4 時間半程度に短縮された。

利用事例 2 ：レコメンデーション

楽天のレコメンデーションサービス、表示位置により使い分けています。楽天ブックス楽天ダウンロード楽天市場楽天レンタル

利用事例：レコメンデーション最近のお買い物からのおすすめ

利用事例２：レコメンデーション
購買データ
2 億件程度
１０ GB
Hadoop 楽天市場購買データ商品間の類似度データ複数のステップの Map Reduce を行い、商品間の類似度を算出

Map Reduce でレコメンド生成 itemA {(itemA,0.10),(itemB,0.04), …} itemB user1 user2
購買ログ
2 億件
１０ G
{(itemA,0.01), …} {(itemC,0.10), …} {(itemA,0.02), (itemC,0.01), …} Map Reduce を複数ステップ user1, itemA, itemB user2, itemB user3, itemA, itemB, itemC itemC {(itemA,0.02), …} user3 {(itemD,0.04), (itemE,0.01), …}

１楽天の紹介２楽天のシステムのもつ課題３楽天の Hadoop 環境４利用事例をいくつか紹介５まとめと今後の課題

まとめ
2009 年より運用開始
とはいえ、まだ色々試している状態。
現在のところ、ログ解析、集計、レコメンデーションに利用
慣れれば、開発生産性が非常に高い！
楽天の Hadoop
グループ内の各種サービスで、積極的に使っていく。
クラスタの状態監視など、運用面の整備
今後の課題

http://d.hatena.ne.jp	92
http://www.slideshare.net	57

Hadoop Conference Japan 2009 #1

by Rakuten, Inc on Dec 14, 2009

Accessibility

Categories

Tags

Upload Details

Usage Rights

2 Embeds 149

Statistics

Hadoop Conference Japan 2009 #1 — Presentation Transcript