Strata conference 2012

  • 1,393 views
Uploaded on

 

More in: Technology
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Be the first to comment
No Downloads

Views

Total Views
1,393
On Slideshare
0
From Embeds
0
Number of Embeds
2

Actions

Shares
Downloads
15
Comments
0
Likes
1

Embeds 0

No embeds

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
    No notes for slide
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n

Transcript

  • 1. U.S.出張 FB(Strata Conference 2012) IPROS 勉強会 2012/03/28 株式会社イプロス 山口隼也 @junya100
  • 2. スケジュール 2/28(火)∼3/1(木):OReilly Strata Conference 2012
  • 3. OReilly Strata Conference 2012 オライリーメディアが主催するBig Dataに関わる企業、エンジニア のためのカンファレンス 今回の副題は、 「Making Data Work」
  • 4. オライリーが主催するカンファレンス(2012)
  • 5. Strata Conference 2012 出展企業 ざっくり分けると・・・Hadoop関連、ストレージ関連、BI(解析)関連、ログ収集関連
  • 6. 僕目線で見た今回のStrataのキーワード 1. Data Scientist2. ML(Machine Learning) 3. MRable
  • 7. 1. Data Scientist データサイエンティスト日本語で訳すと「データ分析家」今後、10年で最も不足する職業 と言われている
  • 8. 実際にどういうスキルを持った人のことか? ここ!
  • 9. 背景 - データ量の増加
  • 10. 背景 - Hardwareの進化
  • 11. 背景 - Softwareの進化
  • 12. Analytics From Traditional To Big Data BI & Analytics Big Data AnalyticsInfrastructure Traditional Data Big Data Management Management (Hadoop & NoSQL) (RDMS & EDW) Smaller;Traditional Bigger;Contemporary;
  • 13. Analytics Traditional Data Professionals Data Analysts BI Team BI & Analytics Data Developers DBAs Warehouse EngineersInfrastructure Traditional Data Management IT or Ops (RDMS & EDW) Smaller;Traditional
  • 14. Big Data Professionals Data ScientistsAnalytics Data Analysts Business Analysts Big Data Analytics Data DevelopersInfrastructure Big Data Management IT or Cloud Ops (Hadoop & NoSQL) Bigger;Contemporary;
  • 15. Empowering Analytics Teams Data Scientists Data Analysts Business Analysts●Do Effective Groundwork ・Reach out for training and services ・Collaboration is King ・Don t silo the data or the knowledge●Involve Analytics team from the start ・Empower your data scientists, data and business analysts  with purpose-built strategic tooling ・ Use the cloud for ramping and, if possible, production ・ Don t route everything through IT. This isn t Grandma s BI.
  • 16. 2. ML(Machine Learning) 機械学習
  • 17. 機械学習とは、 コンピュータを用いて、データ集合に対して解析を行い、そのデータから有用な規則、ルー ル等を抽出すること
  • 18. 実際、どのようなところに 使われているのか?
  • 19. ・レコメンド・様々な分類(スパムフィルタ・・・)・音声認識・翻訳・様々な予測(株価予測)・もちろん、アドテク
  • 20. 優れた機械学習アルゴリズムの条件・Must have parameter for dialing complexity up anddown・fast to train・doesnt need entire data set in memory at one time・MRable・easily implementation・handles numeric
  • 21. 最近、注目されているアルゴリズム Glmnetone of the best algorithms in machine learning today. background - ordinary least squares regression, limitations of OLS
  • 22. 3. MRable Map Reduceableの略Map Reduceに適用可能な並列処理が可能であること!
  • 23. Hadoop Next(YARN - NextGen Hadoop Data Processing Framework) ●New Features  ・HDFS NameNode HA  ・compatible wire protocols  ・Full mavenize  ・Testing, "lots" of it  ・Benchmarks  ・Integration testing - HBase,Ping,Hive,Oozie ●Release  ・Beta:2012 Q2  ・Production:Mid-to-late 2012 Q2
  • 24. (参考)Expediaの事例4,000+ technology workers 12,000+ servers22 indexes, 9 search heads >4TB per day indexed splunkを利用している
  • 25. シリコンバレーのスタートアップ紹介
  • 26. Treasure Data, Inc. の紹介2011年創業のPalo Altosに本拠地を置く スタートアップ 主要メンバー: 太田一樹 @kzk_mover CTO 古橋貞之 @frsyuki井上敬浩 @doryokujin Data Scientist
  • 27. fluentd(ログ収集ツール)の提供、布教活動 を行いつつ、 様々な企業からログデータの 提供、ヴィジュアライズを行っている。 詳しくは、こちら http://blog.treasure-data.com/
  • 28. Startup Showcase
  • 29. やはり、実際にその場に行き、観て、 人と会い、話をする。 そこで得た刺激や経験が 最大の財産になる。