Why I started Machine Learning Casual Talks? #MLCTAki Ariga
This document discusses the start of the author's Machine Learning Casual Talks series. It aims to share practical know-how about machine learning applications that is often omitted from academic papers. Topics will include automated testing, key performance indicators, moving beyond just accuracy metrics, and the importance of development data. The author hopes to encourage sharing of real-world experience from their own work at Cookpad.
マイクロソフトは より効率的、かつ大量のデータを使ったデータ分析のための基盤を急ピッチで拡充しています。
分析自体やデータ準備の前処理における手段の1つとして使って頂くことを想定している各種製品・サービスについて説明します。
具体的には、R の並列実行環境である Microsoft R Server、Power BI、並列処理基盤である Azure Data Lake Analytics、Azure Machine Learning を取り上げます。
NTTコミュニケーションズは、Hadoopを利用してマーケッティング向けログ解析システムを開発しました。本解析システムはアクセスログ、クエリログ、クリックログ、CGMデータを解析して特定の商品・サービスに対するインターネットユーザの興味やフィードバックを抽出でき、(1)評判分析、(2)関連語分析、(3)ユーザ興味推定、の3種の解析を行うことができます。本発表では、上記ログ解析システムの機能の他に、Map処理の強化によるシャッフルサイズの削減方法、我々のHadoopクラスタの特徴についても紹介します。
NTT communication developed the Hadoop-based log analysis system for the marketing purpose. This system extract the interest or feedbacks of the specific goods/products, by analyzing the access logs, query logs, click logs and CGM data. The three types of the analysis are supported: 1) reputation analysis, 2) related-word analysis 3) user interest estimation. This session also describes how to reduce the shuffle size, and the specifications of our Hadoop clusters.
28. session service url
abc... book h9p://〜
def... video h9p://〜
ghi... video_monthly h9p://〜
jkl... book h9p://〜
session service url
abc... all h9p://〜
def... all h9p://〜
ghi... all h9p://〜
jkl... all h9p://〜
abc... book h9p://〜
def... video h9p://〜
ghi... video_monthly h9p://〜
jkl... book h9p://〜
ログデータ
中間データ
LATERAL VIEW
28
29. SELECT
*
FROM
(
SELECT
session,
service,
url
FROM
activity
) a
LATERAL VIEW explode(array(site, 'all')) a as site
session service url
abc... book h9p://〜
def... video h9p://〜
ghi... video_monthly h9p://〜
jkl... book h9p://〜
session service url
abc... all h9p://〜
def... all h9p://〜
ghi... all h9p://〜
jkl... all h9p://〜
abc... book h9p://〜
def... video h9p://〜
ghi... video_monthly h9p://〜
jkl... book h9p://〜
29
30. SELECT
*
FROM
(
SELECT
*
FROM
activity
) a
LATERAL VIEW explode(array(site, 'all')) a as site
LATERAL VIEW explode(array(division, 'all')) a as division
LATERAL VIEW explode(array(service, 'all')) a as service
LATERAL VIEW explode(array(purchase_site, 'all')) a as site_kind
LATERAL VIEW explode(array(view_type, 'all')) a as view_type
30