U.S.出張 FB(Strata Conference 2012)   IPROS 勉強会 2012/03/28 株式会社イプロス 山口隼也     @junya100
スケジュール        2/28(火)∼3/1(木):OReilly Strata Conference 2012
OReilly Strata Conference 2012  オライリーメディアが主催するBig Dataに関わる企業、エンジニア     のためのカンファレンス        今回の副題は、 「Making Data Work」
オライリーが主催するカンファレンス(2012)
Strata Conference 2012 出展企業          ざっくり分けると・・・Hadoop関連、ストレージ関連、BI(解析)関連、ログ収集関連
僕目線で見た今回のStrataのキーワード    1. Data Scientist2. ML(Machine Learning)       3. MRable
1. Data Scientist  データサイエンティスト日本語で訳すと「データ分析家」今後、10年で最も不足する職業    と言われている
実際にどういうスキルを持った人のことか?              ここ!
背景 - データ量の増加
背景 - Hardwareの進化
背景 - Softwareの進化
Analytics                  From Traditional To Big Data                         BI & Analytics     Big Data AnalyticsInfra...
Analytics                 Traditional Data Professionals                                         Data Analysts          BI...
Big Data Professionals                                                        Data ScientistsAnalytics                    ...
Empowering Analytics Teams                          Data Scientists     Data Analysts                            Business ...
2. ML(Machine Learning)       機械学習
機械学習とは、  コンピュータを用いて、データ集合に対して解析を行い、そのデータから有用な規則、ルー   ル等を抽出すること
実際、どのようなところに  使われているのか?
・レコメンド・様々な分類(スパムフィルタ・・・)・音声認識・翻訳・様々な予測(株価予測)・もちろん、アドテク
優れた機械学習アルゴリズムの条件・Must have parameter for dialing complexity up anddown・fast to train・doesnt need entire data set in memory...
最近、注目されているアルゴリズム                    Glmnetone of the best algorithms in machine learning today.  background - ordinary lea...
3. MRable Map Reduceableの略Map Reduceに適用可能な並列処理が可能であること!
Hadoop Next(YARN - NextGen Hadoop Data Processing Framework)   ●New Features    ・HDFS NameNode HA    ・compatible wire prot...
(参考)Expediaの事例4,000+ technology workers     12,000+ servers22 indexes, 9 search heads   >4TB per day indexed   splunkを利用している
シリコンバレーのスタートアップ紹介
Treasure Data, Inc. の紹介2011年創業のPalo Altosに本拠地を置く       スタートアップ      主要メンバー:  太田一樹 @kzk_mover CTO     古橋貞之 @frsyuki井上敬浩 @do...
fluentd(ログ収集ツール)の提供、布教活動          を行いつつ、     様々な企業からログデータの 提供、ヴィジュアライズを行っている。          詳しくは、こちら  http://blog.treasure-data....
Startup Showcase
やはり、実際にその場に行き、観て、    人と会い、話をする。   そこで得た刺激や経験が     最大の財産になる。
Upcoming SlideShare
Loading in...5
×

Strata conference 2012

1,569
-1

Published on

Published in: Technology
0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
1,569
On Slideshare
0
From Embeds
0
Number of Embeds
3
Actions
Shares
0
Downloads
16
Comments
0
Likes
1
Embeds 0
No embeds

No notes for slide
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • Strata conference 2012

    1. 1. U.S.出張 FB(Strata Conference 2012) IPROS 勉強会 2012/03/28 株式会社イプロス 山口隼也 @junya100
    2. 2. スケジュール 2/28(火)∼3/1(木):OReilly Strata Conference 2012
    3. 3. OReilly Strata Conference 2012 オライリーメディアが主催するBig Dataに関わる企業、エンジニア のためのカンファレンス 今回の副題は、 「Making Data Work」
    4. 4. オライリーが主催するカンファレンス(2012)
    5. 5. Strata Conference 2012 出展企業 ざっくり分けると・・・Hadoop関連、ストレージ関連、BI(解析)関連、ログ収集関連
    6. 6. 僕目線で見た今回のStrataのキーワード 1. Data Scientist2. ML(Machine Learning) 3. MRable
    7. 7. 1. Data Scientist データサイエンティスト日本語で訳すと「データ分析家」今後、10年で最も不足する職業 と言われている
    8. 8. 実際にどういうスキルを持った人のことか? ここ!
    9. 9. 背景 - データ量の増加
    10. 10. 背景 - Hardwareの進化
    11. 11. 背景 - Softwareの進化
    12. 12. Analytics From Traditional To Big Data BI & Analytics Big Data AnalyticsInfrastructure Traditional Data Big Data Management Management (Hadoop & NoSQL) (RDMS & EDW) Smaller;Traditional Bigger;Contemporary;
    13. 13. Analytics Traditional Data Professionals Data Analysts BI Team BI & Analytics Data Developers DBAs Warehouse EngineersInfrastructure Traditional Data Management IT or Ops (RDMS & EDW) Smaller;Traditional
    14. 14. Big Data Professionals Data ScientistsAnalytics Data Analysts Business Analysts Big Data Analytics Data DevelopersInfrastructure Big Data Management IT or Cloud Ops (Hadoop & NoSQL) Bigger;Contemporary;
    15. 15. Empowering Analytics Teams Data Scientists Data Analysts Business Analysts●Do Effective Groundwork ・Reach out for training and services ・Collaboration is King ・Don t silo the data or the knowledge●Involve Analytics team from the start ・Empower your data scientists, data and business analysts  with purpose-built strategic tooling ・ Use the cloud for ramping and, if possible, production ・ Don t route everything through IT. This isn t Grandma s BI.
    16. 16. 2. ML(Machine Learning) 機械学習
    17. 17. 機械学習とは、 コンピュータを用いて、データ集合に対して解析を行い、そのデータから有用な規則、ルー ル等を抽出すること
    18. 18. 実際、どのようなところに 使われているのか?
    19. 19. ・レコメンド・様々な分類(スパムフィルタ・・・)・音声認識・翻訳・様々な予測(株価予測)・もちろん、アドテク
    20. 20. 優れた機械学習アルゴリズムの条件・Must have parameter for dialing complexity up anddown・fast to train・doesnt need entire data set in memory at one time・MRable・easily implementation・handles numeric
    21. 21. 最近、注目されているアルゴリズム Glmnetone of the best algorithms in machine learning today. background - ordinary least squares regression, limitations of OLS
    22. 22. 3. MRable Map Reduceableの略Map Reduceに適用可能な並列処理が可能であること!
    23. 23. Hadoop Next(YARN - NextGen Hadoop Data Processing Framework) ●New Features  ・HDFS NameNode HA  ・compatible wire protocols  ・Full mavenize  ・Testing, "lots" of it  ・Benchmarks  ・Integration testing - HBase,Ping,Hive,Oozie ●Release  ・Beta:2012 Q2  ・Production:Mid-to-late 2012 Q2
    24. 24. (参考)Expediaの事例4,000+ technology workers 12,000+ servers22 indexes, 9 search heads >4TB per day indexed splunkを利用している
    25. 25. シリコンバレーのスタートアップ紹介
    26. 26. Treasure Data, Inc. の紹介2011年創業のPalo Altosに本拠地を置く スタートアップ 主要メンバー: 太田一樹 @kzk_mover CTO 古橋貞之 @frsyuki井上敬浩 @doryokujin Data Scientist
    27. 27. fluentd(ログ収集ツール)の提供、布教活動 を行いつつ、 様々な企業からログデータの 提供、ヴィジュアライズを行っている。 詳しくは、こちら http://blog.treasure-data.com/
    28. 28. Startup Showcase
    29. 29. やはり、実際にその場に行き、観て、 人と会い、話をする。 そこで得た刺激や経験が 最大の財産になる。
    1. A particular slide catching your eye?

      Clipping is a handy way to collect important slides you want to go back to later.

    ×