Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Hadoop Conference Japan 2014 ご挨拶・Hadoopを取り巻く環境

26,640 views

Published on

日本Hadoopユーザー会主催
Hadoop Conference Japan 2014 Keynote資料
ご挨拶・Hadoopを取り巻く環境
https://hcj2014.eventbrite.com/

濱野 賢一朗 (日本Hadoopユーザー会、NTTデータ)

Published in: Technology

Hadoop Conference Japan 2014 ご挨拶・Hadoopを取り巻く環境

  1. 1. Hadoop Conference Japan 2014 ご挨拶・Hadoopを取り巻く環境 日本Hadoopユーザー会 濱野 賢一朗/Kenichiro Hamano (NTTデータ)
  2. 2. Twitterハッシュタグ #hcj2014 Twitter公式アカウント @hadoopconf
  3. 3. 第5回の今回は・・・ 参加登録者数 1296名 約65%がはじめて参加される方!
  4. 4. Hadoopのこれまで 「はじめて」 普及した並列分散処理 データ読み込みのスループットの最大化 → 全件データ (ビッグデータ) 処理の実現 シンプルなモデル (MapReduce) Map Shuffle Reduce
  5. 5. Hadoopは 絶賛 進化中 20142010 2011 201320122009 branch-2 2.2.0 2.3.0 2.4.02.0.0-alpha 2.1.0-beta branch-1 (branch-0.20) 1.0.0 1.1.0 1.2.1(stable)0.20.1 0.20.205 0.22.0 0.21.0 New append Security 0.23.0 0.23.11(final) NameNode Federation, YARN NameNode HA HDFS Snapshots NFSv3 support Windows Heterogeneous storage HDFS in-memory caching HDFS ACLs HDFS Rolling Upgrades Application History Server RM Automatic Failover
  6. 6. これからの Hadoop がリードする世界 YARNの登場により 複数の並列分散処理エンジンを併用できる環境 メモリの大容量化、10Gbpsネットワークの普及で インメモリ処理の実現性の向上 これまで培った MapReduce ベースの経験を元に 複数の並列分散処理システムを使い分ける時代に
  7. 7. Hadoopの利用経験 40.7% 15.8% 8.0% 9.3% 21.2% 5.1% 48.0% 19.2% 9.9%8.8% 12.3%前々回 前回 なし 3ヶ月未満 6ヶ月未満 1年未満 3年未満 3年以上 1.8% 44%以上の方が 6ヶ月以上の経験を持つ はじめる方も、安定して増えている 33.0% 16.4% 6.1% 8.9% 22.4% 13.2%今回
  8. 8. 利用しているエコシステム 271 Hive 570 289 194 191 163 143 Zookeeper HBase Fluentd Pig Mahout Sqoop ※ 重複選択可能 ※ 総回答数 1183 今回も圧倒的にHiveの利 用率の高さが目立つ。 前回との大きな違いは、 FluentdとImpala、Sparkの ランクイン! 141 108 104 Impala Spark Hue
  9. 9. Hadoop開発コミュニティへの参画 日本からのフィードバックも見受けられる状況 積極的に開発コミュニティに参画しましょう! 出典: http://ajisakaa.blogspot.com/2014/02/the-activities-of-apache-hadoop.html http://hortonworks.com/blog/innovations-contributions-apache-hadoop/ 2013年 Hadoop 貢献ソースコード行数 (所属企業別) 世界第9位
  10. 10. ご案内とお願い 会場内での撮影や取材は自由です カメラのシャッター音など 他の参加者に迷惑に ならないようご注意ください 発表資料のほとんどはWebで公開されてます Ustreamで各講演の様子を中継しています 無線LANの提供はありません イベント終了後に1F会場にて懇親会を行います (参加費 2000円)。当日参加も歓迎です!
  11. 11. 展示ブース A会場に、展示ブースが設置されています ランチタイムや休憩中などに、ぜひお立ち寄りくだ さい 出展社  Cloudera  SAS Institute Japan  Treasure Data  日本アイ・ビー・エム  MapR Technologies
  12. 12. メッセージボード Hadoopや周辺OSSのロゴ、所属企業のロゴを 描いてください → プレゼントもあります!
  13. 13. Keynote Speakers Doug Cutting Hadoop生みの親 Apache Software Foundation Cloudera Patrick Wendell Apache Spark 主要開発者 Databricks 太田 一樹 Treasure Data CTO

×