大名古屋#4での第1回Hadoop関西勉強会の参加レポート

1. 大名古屋 #04
2010/08/22 You&I

2. • 2010/07/24(土)
– 30数名が参加。
• 株式会社ロックオン 会議室
– http://www.lockon.co.jp
– 会社の入り口には役員の顔写真とか役員
の一言が掲載されていた
– 畳のある打ち合わせスペースがあったり
– mixiとかの事務所のイメージ
– 凄かった

3. (@tamagawa_ryuji) (1/3)
• オープンソースのMapReduce/分散ストレージ
実装、Hadoopの紹介
– Hadoopを知らない人に向けたセッション
– HadoopはToolkitと捉えると良いというお話があ
った。
• Hadoopがやってくれる所は任せておいて、開発者は
データ処理にのみ注力

4. (@tamagawa_ryuji) (2/3)
– Hadoopの構成
• JobTrackerはHDFSのデータ配置状況をみて
タスクの分配を行う。
• Hadoop本のデータ配分の説明(P.69～70)は
現在の実装とは異なっている。
– Hadoopを使う上で優先して考慮すべき事
• ネットワーク帯域
• ディスク容量

5. (@tamagawa_ryuji) (3/3)
– Hadoopについては、Hadoop Conference
Japan 2009の資料が参考になる。
• http://atnd.org/events/1848
– Hadoopは象本で全体像を掴み、各論は英
語資料を参照せよ。
– ITエンジニアのTwitterでの情報交換は凄
い。積極的に利用すべき。
– 環境作るならClouderaのパッケージを利用
せよ。
• http://www.cloudera.com/

6. (@karate405) (1/2)
• Hadoop上のデータを用いるBIシステムについ
て
– Pentaho社が開発しているBI(ビジネスインテリジ
ェンス)ツールにHadoopが組み込まれ始めている
事例について紹介。
– BIツールの方はOSSとして公開されており、
SourceForge.netで公開されている。
• http://sourceforge.net/projects/pentaho
(GPL/LGPL/MPL 1.1)

7. (@karate405) (2/2)
– Pentaho社の取り組みは以下の通り。
• Hadoop上のデータに対する入出力する
ETL(Extraction, Transformation and Loading)ツー
ルを提供
• Hadoop上でETLを実行する為のツールを提供
• Hadoop Hiveユーザ向けにJDBCドライバーを提供
– HDFSのGUIツールのデモ。Eclipseプラグインと
して提供されている？I/Fは日本語対応していた。
– ツールは現在βテスト参加者向けに公開されて
おり、一般公開は９月頃を予定しているらしい。

8. (http://www.todo.ne.jp) 1(1/4)
• NTTデータにおけるHadoopへの取り組み
– プロセス指向からデータ指向へ。
• とりあえずデータを溜め込んで、どう使うかは後で考
える流れ。
• POSデータ等の今まで溜め込めなかったデータの活
用。
– NTTデータさんは、象さん好きの会社のようで、
PostgreSQLをよく利用しており、今度は
Hadoop。

9. 1(2/4)
– NTTデータはBizXaaS Hadoop構築・運用ソリュ
ーションの提供を開始。
• http://bizxaas.net/
– クラスタPCが故障して新しいPCを導入した場合、
Hadoop環境を自動構築出来るようになってい
る。以下の技術を利用している。
• Puppet
• RedHat Kickstart
• ＋α
– RPMのカスタマイズ
– スイッチの接続ポート位置からのホスト名の自動生成

10. 1(3/4)
– NTTデータとしては、これらの自動構成ツールに
ついてはいずれOSSとして公開したい。でも
Adobeに先を越されてしまった。
• InfoQ > Adobe が Hadoop のための Puppet レシピ
をリリース
• http://www.infoq.com/jp/news/2010/07/adobe-released-puppet-recipes

11. 1(4/4)
– HDFSにおいてSPOF(Single point of failure:単
一障害点)となるNameNodeの冗長化はどうす
る？普通は・・・
• Heartbeat + DRBD(Distributed Replicated Block
Device)
– NTTデータさんでは・・・
• XenによるFT(フォールトトレランス)
– 見かけ上は１台に見えるが、２台構成でメモリ状態等を
syncしている。

12. 2(1/4)
• Hadoop Summit 2010の話
– http://developer.yahoo.com/events/hadoopsummit2010/
– 米国Yahoo!主催のイベント。
– 日本から参加していたのは、NTTデータさんだけ
だった模様。またアジアからの参加は大陸系の方
々が多かった模様。
– 午前の部はビデオ公開されている。

13. 2(2/4)
• 午前の部の要約
– Yahoo!でのHadoopの利用
• Mass Technology, Mass Scale, Cloud Computing
• クリック解析
– 個人の嗜好を分析
• spamフィルタリング
– GmailやHotmailよりもフィルタリング性能は良い(Yahoo!
談)
– ※ あくまで米国向けサービスの話です。日本国内は別物で
あるとお考え下さい。

14. 2(3/4)
– Yahoo!のHadoopへの貢献
• セキュリティ対策としてKerberos認証の実装
• Oozie(濱野さんはウジーと表記。ウージーって聞こえ
ました。)
– Facebookの事例
• 80-90TB/day
• Hadoopのジョブの95%はHadoop Hiveを利用。
– HiPalというHiveラッパーというかHiveQLの作成ツールを利
用。
– こういったツールは、RubyベースでHadoopを利用している
Cookpadさんでも構築してますねー。

15. 2(4/4)
• 午後の部で気になったもの
– 天体画像処理へのHadoop適用
• 画像のモザイク処理(複数画像を重ね合わせてパノラ
マ画像を生成する)にHadoopを利用。
• FITS(The Flexible Image Transport System)ファイ
ル形式をHadoopのSequenceFile形式に変換して利
用しているらしい。
• Yahoo!色が強いイベントだったらしい。

16. (@sugipooh)
• いったいなんぼならHadoopできるねん？
– aftercare
• http://lxs.jp/wordpress/?p=221
– 発表資料
• http://www.slideshare.net/sugipooh/pdf-4898997
– HadoopのHDFSのクラスタを構築する場合に備
えて、Cloudera社が提唱しているH/Wスペックを
参考に各種ブレードサーバーの見積を行ったお
話。
• http://www.cloudera.
com/blog/2010/03/clouderas-support-team-shares-some-bas
ic-hardware-recommendations/

17. (@shot6) (1/3)
• Hadoopソースリーディングの会の紹介
– コミュニティ活動の紹介。
• イベント後にビアバスト(beer bust)を実施。
• 毎回参加者数が大変な事になっている。(第２回の時
は実参加者数が少なかったらしい)
• 最近はベンチャーキャピタルにHadoopって言うだけ
でお金が入ってくるらしい(※冗談です)
• 毎回登壇者の熱の入ったお話で予定時間を超過しま
くり。今回の関西勉強会でもそうでしたがw
• 色々と分科会が立ち上がってきている。内容がマニア
ック過ぎて参加者が静まりかえってしまい微妙な空気
になる事も。

18. (@shot6) (2/3)
– 今後としては少し内容を絞って、連載ものと単発
ものの組み合わせで活動。
– 現在の連載もの。
• Cloudera社のHadoopトレーニングに参加
(@okachimachiorz1さん)
• HBase入門
– 今後予定している連載もの。
• Data-Intensive Text Processing with
MapReduce本を読み解く
– http://www.amazon.co.jp/dp/1608453421
• Pig入門
• Oozie入門

19. (@shot6) (3/3)
– 近々発売のクラウドムック本にHadoopの記事を
寄稿したので、みんな買ってね！
• http://d.hatena.ne.jp/shot6/20100802#1280713701

20. • 濱野さん、杉田さん、さくらインターネットの田
中社長(@kunihirotanaka)の3人でのデータセ
ンター話が凄かった！
– さくらインターネットは石狩にデータセンターを建
設中でそれに絡んで、直流電源とかの話で色々と
盛り上がった。
• http://ishikari.sakura.ad.jp/