Web mining20110123 out

お金をかけず広告配信のログ分析システムを作った話 Kauli株式会社高田勝裕

はじめに• 本日は，私が分析システムを開発したときに，いかにお金をかけないように工夫してシステムを構築したかを説明します• ビジネス側面での運用を重視しています

アジェンダ• 自己紹介• なぜお金をかけないのか• 現在のシステムの概要• 可用性や安定性をあげる努力• まとめ

自己紹介• 高田勝裕, Ph.D. • Handle: Karubi Namuru • Twitter: @karubi • Facebook: http://www.facebook.com/karubi/• 職業：Kauli株式会社代表 • 2009年9月に「Kauli」アドネットワークサービスを開始，現在は広告枠の収益最大化プラットフォームとして提供 • アルゴリズムの開発，分析システムの構築，そして広告営業 • ここ10年は海外も含めて広告の仕事ばかりです

なぜ広告配信で分析システムが必要か• 配信する広告を閲覧者のニーズに合致させるため閲覧者の興味を引く，または潜在的な需要を喚起する• 広告主に多くの成果を上げてもらうため予算内で広告主のサイトに最大の見込み客を送る• メディア（サイトオーナー）の収益を増やすため表示回数において最大の報酬を提供する

なぜお金をかけないのか• 使えるお金に限界がある → まずは営業にお金をかけるべき• 他社が高級なシステムを導入している → 商用DWHとかSPSSとかスタートアップには無理• 趣味の世界 → OSSを使い倒したり，300円のサーバで処理させたり• 思想の世界 → お金をかけたら負けだと思った

システムの要件• 使える分析システムには計算能力が必要• アルゴリズムを時々変えたいので依存性を排除する• 必要なときにリソースを投入・開放できる仕組み• OSSでやりくり• その時々で最も安いリソースに乗り換えたい

おおまかな分析システムの概要前処理 Lucene 計算ストレージサーバ Hadoop Mahout HBase

各パートの役割概要• 前処理 • アクセスログをユニークユーザごとにまとめる仕事 • まとめたログを必要な粒度にばらす仕事• 計算 • まとまったデータを分析する仕事 • 分析結果を評価する仕事

前処理の中身• データを整形する • Lucene • クローラが拾ってきたウェブページから得た特徴語等の処理 • その他• ユニークユーザ別にまとめる • Hadoop and HBase • 細かくログを切り刻む処理 • 個別のIDに応じて集合をつくる処理

前処理のこだわった点• 日々のログの量が一定ではない • 単純な作業だがHadoopにまかせること• アルゴリズムによってデータ構造を変えなければならない • Hadoop and Hbase の組み合わせで楽チン• 言語別の実装をできる限り楽をしたい • LuceneのAnalyserは多言語対応

具体的な前処理の仕事• 個々人の意識が明示的なデータの整形 • たとえば，クリック，「いいね！」，訪問時刻，ブラウザ（笑• 逆に暗黙的なデータの整形 • たとえば，訪問履歴（URLなど）や頻度，選択内容の組み合わせ，閲覧時間，特徴語• データセットにまとめる

計算の中身• 傾向に基づく分類• 頻出パターンの抽出 • Mahout

計算のこだわった点• アルゴリズムを時々変えること • Mahoutでサポートされた入力形式を守れば，データ入力の問題はない• ローカルサーバがあふれたときに，ネット上のリソースで仕事をさせたい • EC2にイメージをつくっていつでも起動できる

計算の具体的な仕事（１）明示的データ• 容易な方法で分析可能  演繹的（単純な加算や条件分岐）• 評価  大小条件の評価  プリセット値との対応付け

計算の具体的な仕事（２）暗黙的データ• データマイニング • 発掘や予測などの計算をおこなう  クリック，ウェブページコンテンツ，訪問頻度，ブラウザ，成果など，複数の要素の組み合わせを利用して，意味を持つ組み合わせを発掘する• 評価 • 正確性の評価  Recall（再現率），Precision（精度）  Coverage（全体カバー）や Diversity（多様性）

まとめ• 広告配信の分析システムをお金をかけず作ったことをお話しました• 御質問などは gogokarubi@gmail.com まで• なお，広告配信や分析に興味がある方はぜひ当方まで連絡をください！ • エンジニア（Python使い），学生インターンを募集中 • 広告営業も常時募集中です

http://www.nogutetu.com	1307
http://d.hatena.ne.jp	1077
http://webcache.googleusercontent.com	19
https://twitter.com	1
http://twitter.com	1

Web mining20110123 out

by karubi on Jan 23, 2011

Accessibility

Tags

Upload Details

Usage Rights

5 Embeds 2,405

Statistics

Web mining20110123 out — Presentation Transcript