オープンコミュニティ「要求開発アライアンス」(http://www.openthology.org)の2012年12月定例会発表資料です。
Open Community "Requirement Development Alliance" 2012/12 regular meeting of the presentation materials.
Hadoop Conference Japan 2011 Fall: マーケティング向け大規模ログ解析事例紹介Kenji Hara
2011/9/26にベルサール汐留で開催された『Hadoop Conference Japan 2011 Fall』(日本Hadoopユーザー会主催)での講演資料です。
講演概要
==
NTTコミュニケーションズは、Hadoopを利用してマーケッティング向けログ解析システムを開発しました。
本解析システムはアクセスログ、クエリログ、クリックログ、CGMデータを解析して特定の商品・サービスに対するインターネットユーザの興味やフィードバックを抽出でき、(1)評判分析、(2)関連語分析、(3)ユーザ興味推定、の3種の解析を行うことができます。
本発表では、上記ログ解析システムの機能の他に、Map処理の強化によるシャッフルサイズの削減方法、我々のHadoopクラスタの特徴についても紹介します。
NTT communication developed the Hadoop-based log analysis system for the marketing purpose. This system extract the interest or feedbacks of the specific goods/products, by analyzing the access logs, query logs, click logs and CGM data. The three types of the analysis are supported: 1) reputation analysis, 2) related-word analysis 3) user interest estimation.
This session also describes how to reduce the shuffle size, and the specifications of our Hadoop clusters.
オープンコミュニティ「要求開発アライアンス」(http://www.openthology.org)の2012年12月定例会発表資料です。
Open Community "Requirement Development Alliance" 2012/12 regular meeting of the presentation materials.
Hadoop Conference Japan 2011 Fall: マーケティング向け大規模ログ解析事例紹介Kenji Hara
2011/9/26にベルサール汐留で開催された『Hadoop Conference Japan 2011 Fall』(日本Hadoopユーザー会主催)での講演資料です。
講演概要
==
NTTコミュニケーションズは、Hadoopを利用してマーケッティング向けログ解析システムを開発しました。
本解析システムはアクセスログ、クエリログ、クリックログ、CGMデータを解析して特定の商品・サービスに対するインターネットユーザの興味やフィードバックを抽出でき、(1)評判分析、(2)関連語分析、(3)ユーザ興味推定、の3種の解析を行うことができます。
本発表では、上記ログ解析システムの機能の他に、Map処理の強化によるシャッフルサイズの削減方法、我々のHadoopクラスタの特徴についても紹介します。
NTT communication developed the Hadoop-based log analysis system for the marketing purpose. This system extract the interest or feedbacks of the specific goods/products, by analyzing the access logs, query logs, click logs and CGM data. The three types of the analysis are supported: 1) reputation analysis, 2) related-word analysis 3) user interest estimation.
This session also describes how to reduce the shuffle size, and the specifications of our Hadoop clusters.