Hadoop Conference Japan 2009 #1

楽天の Hadoop 利用事例 (Hadoop Conference Japan 2009) 楽天株式会社　開発部　河村圭介｜2009年11月13日

自己紹介 ,[object Object],[object Object],[object Object],[object Object]

Ａｇｅｎｄａ１楽天の紹介２楽天のシステムのもつ課題３楽天の Hadoop 環境４利用事例をいくつか紹介５まとめと今後の展開

１楽天の紹介２楽天のシステムのもつ課題３楽天の Hadoop 環境４利用事例をいくつか紹介５まとめと今後の展開

楽天市場 ,[object Object],[object Object],日本最大級のインターネットショッピングモール ※ 店舗数・商品数： 2009 年 9 月現在 ※ 流通総額： 2008 年 3Q-2009 年 2Q ※ 会員数： 2009 年 2Q

流通総額に見る成長流通総額推移 ( 単位：億 ) 178 707 1124 1899 3009 4236 5369 0 1000 2000 3000 4000 5000 6000 00 01 02 03 04 05 06 07 6638 457 08

楽天市場の規模感 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

楽天グループ　ビジネスは拡大中 1997 年　　 1998 年　　 1999 年　　 2000 年　　　 2001 年　　　 2002 年　　 2003 年　　　　 2004 年　　　　 2005 年　　　　 2006 年　　　　 2007 年　　　　 2008 年 2009 年

３楽天の Hadoop 環境４利用事例をいくつか紹介５まとめと今後の課題１楽天の紹介２楽天のシステムのもつ課題

急成長の裏側 ,[object Object],[object Object],増え続けるデータの管理、処理

大規模データの解析処理 ,[object Object],[object Object],処理効率スケーラビリティ開発生産性耐障害性

経緯 ,[object Object],[object Object],[object Object],データ管理については ROMA が選択肢のひとつ。データ処理は Hadoop でトライ

１楽天の紹介２楽天のシステムのもつ課題４利用事例をいくつか紹介５まとめと今後の課題３楽天の Hadoop 環境

楽天の Hadoop 環境 ,[object Object],[object Object],楽天技術研究所 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],楽　天　市　場

楽天の Hadoop 環境 ,[object Object],[object Object],[object Object],[object Object],利　用　用　途既に複数のサービスで利用開始

１楽天の紹介２楽天のシステムのもつ課題３楽天の Hadoop 環境５まとめと今後の課題４利用事例をいくつか紹介

利用事例 1 ：広告ユニークユーザー分析

利用事例１：広告ユニークユーザー分析 ,[object Object],[object Object],[object Object],[object Object],[object Object]

利用事例１：広告ユニークユーザー分析 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

利用事例１：広告ユニークユーザー分析 Hadoop 導入の背景増え続ける広告配信量処理速度の向上リアルタイム性の向上行動ターゲティング広告の配信量（ = 配信ログ）は、およそ年 50% ずつ増加している。

利用事例１：広告ユニークユーザー分析処理の概要広告の配信ログをインプットにして、複数の map/reduce を組み合わせて統計解析し、ユーザーの利用目的に応じて、数種類のアウトプットを出力している。広告配信エンジン NAS Hadoop クラスタユーザー

利用事例１：広告ユニークユーザー分析 Hadoop 導入の効果そのスケーラビリティを手に入れた。導入前に、占有 Batch サーバーで稼動していた perl スクリプトと、複数サービスでシェアしているクラスタ上で稼動している map/reduce を比較すると、処理速度が約 580% 向上した。約 26 時間が、およそ 4 時間半程度に短縮された。

利用事例 2 ：レコメンデーション

楽天のレコメンデーションサービス、表示位置により使い分けています。楽天ブックス楽天ダウンロード楽天市場楽天レンタル

利用事例：レコメンデーション最近のお買い物からのおすすめ

利用事例２：レコメンデーション ,[object Object],[object Object],[object Object],Hadoop 楽天市場購買データ商品間の類似度データ複数のステップの Map Reduce を行い、商品間の類似度を算出

Map Reduce でレコメンド生成 itemA {(itemA,0.10),(itemB,0.04), …} itemB user1 user2 ,[object Object],[object Object],[object Object],{(itemA,0.01), …} {(itemC,0.10), …} {(itemA,0.02), (itemC,0.01), …} Map Reduce を複数ステップ user1, itemA, itemB user2, itemB user3, itemA, itemB, itemC itemC {(itemA,0.02), …} user3 {(itemD,0.04), (itemE,0.01), …}

１楽天の紹介２楽天のシステムのもつ課題３楽天の Hadoop 環境４利用事例をいくつか紹介５まとめと今後の課題

まとめ ,[object Object],[object Object],[object Object],[object Object],楽天の Hadoop ,[object Object],[object Object],今後の課題

Hadoop Conference Japan 2009 #1

Recommended

Recommended

More Related Content

Viewers also liked

Viewers also liked (20)

Similar to Hadoop Conference Japan 2009 #1

Similar to Hadoop Conference Japan 2009 #1 (20)

More from Rakuten Group, Inc.

More from Rakuten Group, Inc. (20)

Recently uploaded

Recently uploaded (10)

Hadoop Conference Japan 2009 #1

Editor's Notes