Advertisement

Hadoop Conference Japan 2014 ご挨拶・Hadoopを取り巻く環境

Jul. 9, 2014
Advertisement

More Related Content

Advertisement

Hadoop Conference Japan 2014 ご挨拶・Hadoopを取り巻く環境

  1. Hadoop Conference Japan 2014 ご挨拶・Hadoopを取り巻く環境 日本Hadoopユーザー会 濱野 賢一朗/Kenichiro Hamano (NTTデータ)
  2. Twitterハッシュタグ #hcj2014 Twitter公式アカウント @hadoopconf
  3. 第5回の今回は・・・ 参加登録者数 1296名 約65%がはじめて参加される方!
  4. Hadoopのこれまで 「はじめて」 普及した並列分散処理 データ読み込みのスループットの最大化 → 全件データ (ビッグデータ) 処理の実現 シンプルなモデル (MapReduce) Map Shuffle Reduce
  5. Hadoopは 絶賛 進化中 20142010 2011 201320122009 branch-2 2.2.0 2.3.0 2.4.02.0.0-alpha 2.1.0-beta branch-1 (branch-0.20) 1.0.0 1.1.0 1.2.1(stable)0.20.1 0.20.205 0.22.0 0.21.0 New append Security 0.23.0 0.23.11(final) NameNode Federation, YARN NameNode HA HDFS Snapshots NFSv3 support Windows Heterogeneous storage HDFS in-memory caching HDFS ACLs HDFS Rolling Upgrades Application History Server RM Automatic Failover
  6. これからの Hadoop がリードする世界 YARNの登場により 複数の並列分散処理エンジンを併用できる環境 メモリの大容量化、10Gbpsネットワークの普及で インメモリ処理の実現性の向上 これまで培った MapReduce ベースの経験を元に 複数の並列分散処理システムを使い分ける時代に
  7. Hadoopの利用経験 40.7% 15.8% 8.0% 9.3% 21.2% 5.1% 48.0% 19.2% 9.9%8.8% 12.3%前々回 前回 なし 3ヶ月未満 6ヶ月未満 1年未満 3年未満 3年以上 1.8% 44%以上の方が 6ヶ月以上の経験を持つ はじめる方も、安定して増えている 33.0% 16.4% 6.1% 8.9% 22.4% 13.2%今回
  8. 利用しているエコシステム 271 Hive 570 289 194 191 163 143 Zookeeper HBase Fluentd Pig Mahout Sqoop ※ 重複選択可能 ※ 総回答数 1183 今回も圧倒的にHiveの利 用率の高さが目立つ。 前回との大きな違いは、 FluentdとImpala、Sparkの ランクイン! 141 108 104 Impala Spark Hue
  9. Hadoop開発コミュニティへの参画 日本からのフィードバックも見受けられる状況 積極的に開発コミュニティに参画しましょう! 出典: http://ajisakaa.blogspot.com/2014/02/the-activities-of-apache-hadoop.html http://hortonworks.com/blog/innovations-contributions-apache-hadoop/ 2013年 Hadoop 貢献ソースコード行数 (所属企業別) 世界第9位
  10. ご案内とお願い 会場内での撮影や取材は自由です カメラのシャッター音など 他の参加者に迷惑に ならないようご注意ください 発表資料のほとんどはWebで公開されてます Ustreamで各講演の様子を中継しています 無線LANの提供はありません イベント終了後に1F会場にて懇親会を行います (参加費 2000円)。当日参加も歓迎です!
  11. 展示ブース A会場に、展示ブースが設置されています ランチタイムや休憩中などに、ぜひお立ち寄りくだ さい 出展社  Cloudera  SAS Institute Japan  Treasure Data  日本アイ・ビー・エム  MapR Technologies
  12. メッセージボード Hadoopや周辺OSSのロゴ、所属企業のロゴを 描いてください → プレゼントもあります!
  13. Keynote Speakers Doug Cutting Hadoop生みの親 Apache Software Foundation Cloudera Patrick Wendell Apache Spark 主要開発者 Databricks 太田 一樹 Treasure Data CTO
Advertisement