Hadoop Conference Japan 2013 Winter オープニングスライド

  • 2,441 views
Uploaded on

 

More in: Technology
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Be the first to comment
No Downloads

Views

Total Views
2,441
On Slideshare
0
From Embeds
0
Number of Embeds
1

Actions

Shares
Downloads
0
Comments
0
Likes
6

Embeds 0

No embeds

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
    No notes for slide
  • 皆さんおはようございます。 今回のカンファレンスをサポートさせて頂いております、リクルートテクノロジーズの米谷と申します。 わたくしからも簡単ではございますが、ご挨拶をさせて頂きたいと思います。
  • まず初めにリクルートテクノロジーズとはどんな会社であるかを紹介させてください。 昨年 10 月、リクルートはこのように7つの事業会社と3つの機能会社に分社化をしました。 その中でリクルートテクノロジーズは、 IT およびネットマーケティング基盤の専門組織として設立されました。主な機能はこちらに書かれているようなものになります。
  • さて、午後のセッションで弊社のエンジニアからもご紹介させて頂きますが、私たちが 4 年前に Hadoop に出会ってからこれまでの間、 リクルートグループだけ でも多くの 価値を世 の中 に提供 してきました。 2011 年にカンファレンスを後援させて頂いたのも、私たちが Hadoop の可能性を強く信じているからこそです。 Hadoop を通じて世の中に新たな価値を生み出すこと。そ れはとてもエキサイティング なことだと思います。 このような価値は、 エンジニアの みなさんの気づきと 工夫 、仕組み化がもたらすものだ と考えています。これら の知見を会社の枠を超えて共有 し、 世の中に変革をもたら していきたいと、私たちは考えています。
  • さてパンフレットにも書いてあります通り、今回のカンファレンスの キーメッセージ は 「一人ひとりの気づきから“未来”は創られる」 です。 カンファレンスが、今よりも便利で楽しい未来に向けての架け橋になればと考えています。そこで、ご来場された皆様よりメッセージを募集し たいと思い ます。 ・ 7F  国際会議場 受付ブース横 ・ 1F  レセプションホール A  ホール内 ・ 1F  レセプションホール B  ホール内 の計 3 箇所にメッセージボードを設置します。 hadoop に関する目標、エンジニアとしての夢など、どんなことでも結構です。メッセージを記入された方には ささやかながら記念品 をプレゼントします。皆様ふるってメッセージ を お書き込みください
  • リクルートテクノロジーズは、今よりも便利で楽しい未来を創るためにテクノロジーを磨きつづけるエンジニアをこれからも応援し続けたいと思います。 それでは以降のセッションを、存分にお楽しみください。ご清聴ありがとうございました。

Transcript

  • 1. Hadoop Conference Japan2013 Winterご挨拶・Hadoopを取り巻く環境日本Hadoopユーザー会濱野 賢一朗/Kenichiro Hamano (NTTデータ)
  • 2. まず・・・Twitterハッシュタグ#hcj13w
  • 3. これまでのHadoop Conference 第1回 『Hadoop Conference Japan 2009』– 2009年11月13日– 事前登録者数: 331名– 8講演– @TEPIA 先端技術館
  • 4. これまでのHadoop Conference 第2回 『Hadoop Conference Japan 2011』– 2011年2月22日– 事前登録者数: 348名– 7講演、6ライトニングトーク– @NTTデータ 本社ビル
  • 5. これまでのHadoop Conference 第3回 『Hadoop Conference Japan 2011 Fall』– 2011年9月26日– 事前登録者数: 1178名– 2トラック、14講演、9ライトニングトーク– @ベルサール汐留
  • 6. 今回のHadoop Conferenceとうとう 東京ビッグサイト での開催!– 今回は3トラック制– 21講演、9ライトニングトーク、5展示、2特別企画コミュティレベルで運営するには、そろそろ限界の規模だと思います今回は講演も公募しました– テクノロジー系、事例、ソリューションから選定– 海外トピックだけでなく、国内の活動・事例を広く取りあげたつもり
  • 7. Hadoopの利用経験前回 (2011 Fall) 参加者との比較40.7% 15.8% 8.0% 9.3% 21.2% 5.1%48.0% 19.2% 9.9%8.8% 12.3%前回今回なし 3ヶ月未満 6ヶ月未満1年未満3年未満 3年以上1.8%経験者層も経験年数もそれぞれ増加6ヶ月以上の経験を持つ方が +11.6%
  • 8. Hadoopのバージョン Hadoopの開発は活発に進んでいるが・・・ Hadoopのバージョンは、やや複雑な状況 (涙)Hadoop1.0系Hadoop2.0系従来0.20.2xxと呼ばれていたもの新機能開発版• NameNode HA• Federation• MapReduce 2.0などなど...
  • 9. 利用バージョン・ディストリビューション2 27 36CDH3 12 89 1268 61 685 33 267 24 322 20 274 24 14CDH4Apache0.20系Apache1.0系AWS EMRMapRApache0.21系利用予定 試験利用中 本番利用中2271376564634942その他・Apache版(2.0系) 39・CDH2 14・Apache版(その他) 5・Hortonworks Data Platform3※ 重複選択可能※ 総回答数 1102まだまだ 0.20系 の割合が高い利用予定の方はバージョンを選定できていない可能性
  • 10. HadoopエコシステムHDFSMapReducePig Hive MahoutZooKeeperHBase 急速に発展するエコシステムがHadoopの魅力のひとつ
  • 11. 利用しているエコシステム122Hive 24515389896736HBaseZooKeeperPigMahoutSqoopFlume※ 重複選択可能※ 総回答数 1102利用者(624件)に対して、約39%の方が Hive を利用。Pigも約14%の方が利用。HBaseも 約25% に及ぶ。
  • 12. Hadoop生みの親Doug Cutting 氏からのビデオメッセージ
  • 13. タイムテーブル/Time Tableどうせ見えない・・・手元のスケジュールを見てください!7F 国際会議場のトラック– テクノロジー系のテーマを中心に1F ホールAのトラック– 事例を中心に1F ホールBのトラック– ソリューションを中心にその他も含めて
  • 14. ライトニングトーク/LT (ランチタイム)Hive を普及させるのにぶち当たった壁(石川有, Mixi)HBaseを用いたグラフDB「Hornet」(鈴木俊裕, サイバーエージェント)エンタープライズとコミュニティ:赤象とカバの関係(下道高志, 日本オラクル)本当にCOBOLがHadoopで動くのか?!~NetCOBOLの真実~(上田 晴康, 富士通研究所)迅速で平和的なHadoopへのデータ収集の一例(大平哲也, NHN Japan)
  • 15. ライトニングトーク/LT (15:40~)MapReduce optimization by node/rack-level aggregation(小沢健史, NTT)High Availability for the HDFS NameNode(小林大輔, Cloudera)メインフレームとHadoopで大量のPDF帳票を出力してみた(三木大知, JSOL)
  • 16. 展示ブース1Fホール内に、展示ブースが設置されていますランチタイムや休憩中などに、ぜひお立ち寄りください出展社 Cloudera MapR Treasure Data /サイオステクノロジー(共同出展) 日本オラクル 日立製作所
  • 17. 特別企画 有志による持ち込み企画を募集しました → 2件なぜか・・・Hiveロゴが大人気! Hiveステッカー Hive Tシャツ
  • 18. 実行委員会/Staff濱野 賢一朗/Kenichiro Hamano (NTTデータ)太田 一樹/Kazuki Ohta (Treasure Data, Inc)中野 猛/Takeshi Nakano (リクルートテクノロジーズ)北岡 史也/Fumiya Kitaoka (リクルートテクノロジーズ)神林 飛志/Takashi Kambayashi (ノーチラス・テクノロジーズ)大谷 晋平/Shinpei Ohtani (Amazon Web Services)猿田 浩輔/Kousuke Saruta (NTTデータ)
  • 19. ご協力頂いている 皆さま後援・会場提供メディア協賛– 日経BP社 ITpro– Publickey– 技術評論社 Gihyo.jp
  • 20. 最後に・・・ 案内とお願いTwitter のハッシュタグは #hcj13w です会場内での撮影や取材は自由ですカメラのシャッター音など 他の参加者に迷惑にならないようご注意ください発表資料のほとんどはWebで公開されてますUstreamで各講演の様子を中継しています無線LANの提供はありませんランチは1F会場にてご用意しています (無料)イベント終了後に1F会場にて懇親会を行います(参加費 4000円)。当日参加も歓迎です!