1. はやわかり Hadoop shot6

2. Hadoop

3. 最近名前をよく聞く

4. たまに いる

5. 「おお、あの 新型 DB だろ？ 早いの？」

6. たまに いる

7. 「あのクラウドね。 SaaS だっけ？」

8. 「ああ、 Google のあれでしょ？」

9. おしい

10. 実態がよくわかってない人も多い

11. NO PROBLEM

12. 何ら恥じることはない

13. Hadoop とは

14. 並列分散処理基盤

15. ・・・

16. バッチ基盤 分析基盤

17. なんとなくわかる

18. 巨大な データ

19. 100GB のログ

20. これを 処理する

21. 並列 に

22. そして 安価 に

23. サーバを追加

24. =

25. 処理性能アップ

26. でも最も重要な点

27. 生態系

29. エコ システム

30. 全体を俯瞰

31. これ 重要

32. この LT の目的

33. ディストリビューション

34. そもそも 3 つ ある

35. Apache Hadoop

36. 本家 本元

37. 特徴

38. リリースが慎重

39. 様々な 要望

40. 色々な 事情

41. あるはず

42. 早く進化したい

43. もっと 機能追加したい

44. あるはず

45. OSS の ジレンマ

47. でも

48. 互換性 重視

49. 堅実 な進化

50. 大人 な OSS

51. Cloudera Hadoop

52. 米国 Cloudera 社

54. 特徴

55. エンタープライズ 向け？

56. 簡単

57. yum/ apt

58. 即 インストール

59. 設定も 楽ちん

60. 大量バグフィックス

61. 例えば

62. hadoop-0.20.1 +169

63. 169 個 の バグフィックス

64. Apache 版に貢献済

65. Cloudera Desktop

66. Hadoop の管理ツール

69. 超絶便利 ( まだ α )

70. Yahoo Hadoop

71. Yahoo で使用

72. 巨大クラスタでの実績

73. 品質向上 に全力

74. セキュリティ などの新機能

75. 勿論膨大なバグフィックス

76. Apache 版に貢献済

77. Hadoop を 支える トライアングル

78. Apache Hadoop Cloudera Hadoop Yahoo Hadoop フィードバック フィードバック 意見交換

79. 機能

80. 大量

81. Core Map Reduce HDFS Zoo Keeper HBase Pig Hive Chukwa Cloudera Desktop Avro Sqoop

82. Core

83. Hadoop の中核

84. 基本的な通信、 IO 、ファイルシステム、設定などなど

85. HDFS

86. H adoop D istributed F ile S ystem

87. Hadoop 分散ファイルシステム

88. 巨大ファイルを でかめのブロックに分割し、 管理・保存

89. ノード間は勝手にレプリケーションする

90. Elastic さを持つファイルシステム

92. NameNode は、ファイル名、ブロック、ノードの対応の管理

93. DataNode は、ブロックを 管理

94. Hadoop MapReduce

95. みんな大好き MapReduce プログラミング

96. 並列処理 プログラミング モデルの一種

97. Hadoop と プログラマの 基本的な 接点

98. Map : ある観点でデータをまとめる。

99. Reduce : ソート済みデータを集約・計算する

100. 仕組み

101. ジョブトラッカーと タスクトラッカー

102. ジョブトラッカー と タスクトラッカー

104. キモイ… .

105. じゃなくて

106. MapReduce ジョブを適切なタスクに分解し管理

107. ジョブトラッカーと タスクトラッカー

108. 分解された タスクを実行。

109. Map/Reduce タスクは 子 JVM 起動 して実行。

110. データがある ところで、 タスクを起動。

111. ここまでが 基本中の基本

112. こっからは 早足

113. HBase

114. Hadoop 上に構築した DB

115. BigTable クローン

116. Hadoop が本来不得意な 小口データ を効率よく処理

117. Hive/Pig

119. ちょ w

120. MapReduce を書くのが メンドイ

121. そんな人のための簡易言語

122. Pig のほうが独自っぽい

123. Pig は Yahoo が 作成

124. Hive は SQL っぽい

125. Hive は FaceBook が作成

126. Zoo Keeper

127. やあ

128. ちょ w

129. 分散協調サービス

130. リソースやデータの 調整役

131. Chukwa

132. データ収集システム

133. 小さな大量ログを Hadoop で扱い易く

134. 使ってる人いない ^^;?

135. Avro

136. シリアライズシステム

137. 非常に高速かつ柔軟

138. ベンチ マーク

140. 爆速

141. 現状 Hadoop に組み込まれていない

142. 今後 Avro ベースになるはず

143. 要注目

144. 他にも

145. Cascading

146. まとめ

147. Hadoop

148. ひとつの ミドルウェア

149. ではなく

150. 複数ミドルウェアを 支える

151. プラットフォーム

152. Have fun with Hadoop family !