• Share
  • Email
  • Embed
  • Like
  • Save
  • Private Content
Strata conference 2012
 

Strata conference 2012

on

  • 1,613 views

 

Statistics

Views

Total Views
1,613
Views on SlideShare
1,175
Embed Views
438

Actions

Likes
1
Downloads
14
Comments
0

5 Embeds 438

http://ipros-creators.tumblr.com 416
http://www.tumblr.com 14
http://safe.tumblr.com 6
http://optimizelyedit.appspot.com 1
http://www.linkedin.com 1

Accessibility

Categories

Upload Details

Uploaded via as Apple Keynote

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n

Strata conference 2012 Strata conference 2012 Presentation Transcript

  • U.S.出張 FB(Strata Conference 2012) IPROS 勉強会 2012/03/28 株式会社イプロス 山口隼也 @junya100
  • スケジュール 2/28(火)∼3/1(木):OReilly Strata Conference 2012
  • OReilly Strata Conference 2012 オライリーメディアが主催するBig Dataに関わる企業、エンジニア のためのカンファレンス 今回の副題は、 「Making Data Work」
  • オライリーが主催するカンファレンス(2012)
  • Strata Conference 2012 出展企業 ざっくり分けると・・・Hadoop関連、ストレージ関連、BI(解析)関連、ログ収集関連
  • 僕目線で見た今回のStrataのキーワード 1. Data Scientist2. ML(Machine Learning) 3. MRable
  • 1. Data Scientist データサイエンティスト日本語で訳すと「データ分析家」今後、10年で最も不足する職業 と言われている
  • 実際にどういうスキルを持った人のことか? ここ!
  • 背景 - データ量の増加
  • 背景 - Hardwareの進化
  • 背景 - Softwareの進化
  • Analytics From Traditional To Big Data BI & Analytics Big Data AnalyticsInfrastructure Traditional Data Big Data Management Management (Hadoop & NoSQL) (RDMS & EDW) Smaller;Traditional Bigger;Contemporary;
  • Analytics Traditional Data Professionals Data Analysts BI Team BI & Analytics Data Developers DBAs Warehouse EngineersInfrastructure Traditional Data Management IT or Ops (RDMS & EDW) Smaller;Traditional
  • Big Data Professionals Data ScientistsAnalytics Data Analysts Business Analysts Big Data Analytics Data DevelopersInfrastructure Big Data Management IT or Cloud Ops (Hadoop & NoSQL) Bigger;Contemporary;
  • Empowering Analytics Teams Data Scientists Data Analysts Business Analysts●Do Effective Groundwork ・Reach out for training and services ・Collaboration is King ・Don t silo the data or the knowledge●Involve Analytics team from the start ・Empower your data scientists, data and business analysts  with purpose-built strategic tooling ・ Use the cloud for ramping and, if possible, production ・ Don t route everything through IT. This isn t Grandma s BI.
  • 2. ML(Machine Learning) 機械学習
  • 機械学習とは、 コンピュータを用いて、データ集合に対して解析を行い、そのデータから有用な規則、ルー ル等を抽出すること
  • 実際、どのようなところに 使われているのか?
  • ・レコメンド・様々な分類(スパムフィルタ・・・)・音声認識・翻訳・様々な予測(株価予測)・もちろん、アドテク
  • 優れた機械学習アルゴリズムの条件・Must have parameter for dialing complexity up anddown・fast to train・doesnt need entire data set in memory at one time・MRable・easily implementation・handles numeric
  • 最近、注目されているアルゴリズム Glmnetone of the best algorithms in machine learning today. background - ordinary least squares regression, limitations of OLS
  • 3. MRable Map Reduceableの略Map Reduceに適用可能な並列処理が可能であること!
  • Hadoop Next(YARN - NextGen Hadoop Data Processing Framework) ●New Features  ・HDFS NameNode HA  ・compatible wire protocols  ・Full mavenize  ・Testing, "lots" of it  ・Benchmarks  ・Integration testing - HBase,Ping,Hive,Oozie ●Release  ・Beta:2012 Q2  ・Production:Mid-to-late 2012 Q2
  • (参考)Expediaの事例4,000+ technology workers 12,000+ servers22 indexes, 9 search heads >4TB per day indexed splunkを利用している
  • シリコンバレーのスタートアップ紹介
  • Treasure Data, Inc. の紹介2011年創業のPalo Altosに本拠地を置く スタートアップ 主要メンバー: 太田一樹 @kzk_mover CTO 古橋貞之 @frsyuki井上敬浩 @doryokujin Data Scientist
  • fluentd(ログ収集ツール)の提供、布教活動 を行いつつ、 様々な企業からログデータの 提供、ヴィジュアライズを行っている。 詳しくは、こちら http://blog.treasure-data.com/
  • Startup Showcase
  • やはり、実際にその場に行き、観て、 人と会い、話をする。 そこで得た刺激や経験が 最大の財産になる。