Hadoop　～Yahoo! JAPANの活用について～

オープンソースカンファレンス 2010 Tokyo/Fall Hadoop ～ Yahoo! JAPAN の活用について～ 2010/9/10 ヤフー株式会社 R&D 統括本部角田直行、吉田一星

自己紹介吉田一星（よしだ　いっせい） R&D 統括本部プラットフォーム開発本部検索開発部開発３ R&D 統括本部フロントエンド開発本部アプリケーション開発部開発４（兼） R&D 統括本部プラットフォーム開発本部要素技術開発部開発３（兼） 2008 年に Yahoo! JAPAN に入社検索プラットフォームや画像処理で Hadoop に関わる開発地図検索、地域プラットフォームでも Hadoop に関わる開発を経験

解決策としての Hadoop 大規模な処理、大容量のデータを扱うには 1 台のサーバでは不可能マルチコアによる並行処理アプローチは複雑すぎる数十～数千台規模で簡単にスケールする環境が不可欠 Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止この発表では、 Yahoo! JAPAN が Hadoop をどう活用しているかについて事例を交えて解説します

Hadoop とは大規模分散処理システム Google 　 MapReduce/GFS を論文を元に実装処理時間が数分～数時間かかるようなバッチ処理に向いている -> Web のように、即座に結果が返るような　　リアルタイム処理には不向き Java で書かれ、オープンソースとして公開 Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

Hadoop 関連プロダクト Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止大規模データ処理用スクリプト言語 Pig Hive Facebook が開発扱いが一般データベースに似ている A = load 'passwd' using PigStorage(':'); B = foreach A generate $0 as id; dump B; CREATE TABLE pokes (foo INT, bar STRING); SELECT a.foo FROM pokes a;

Hadoop 関連プロダクト Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 Hadoop 上に構築された列指向データベース Google BigTable のクローン HBase 機械学習ライブラリ Hadoop でスケール可 Mahout 複数の MapReduce ジョブなどを実行制御するワークフロー Oozie

eHarmony アメリカの 4% のカップルが eHarmony を通じて結婚毎日平均 236 人が結婚しているカップルのマッチングの計算に Hadoop を利用何十年もの研究と臨床実験に基づいたモデル新しいモデルも日々テストされているモデルの評価は、部屋にゴリラを入れて実験 Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

簡単に使える環境 Amazon Elastic MapReduce Hadoop の MapReduce を簡単に実行できる従量課金（ 100 台を 1 時間で、 1000 円程度） Hadoop の知識は必要だが、セットアップは最小限 Google BigQuery Google の MapReduce 環境を使える SQL ライクな命令（ Hive に似ている） REST API で簡単に実行できる Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

Hadoop Client Hadoop を Client と Server に分けて、運用を行っている他のサーバにある Hadoop クラスタのファイルの読み書きや、 Job の実行を簡単に行える Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 $ hadoop fs –put localfile hdfs://nn.example.com:9000/hadoop/hadoopfile $ hadoop fs –get hdfs://nn.example.com/user/hadoop/file localfile

Hadoop Client core-site.xml や mapred-site.xml に外部の Hadoop Server を指定し、 Hadoop Client としてパッケージ化 Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 <property> <name>fs.default.name</name> <value> hdfs://nn.example.com:9000 </value> </property> - core-site.xml <property> <name>mapred.job.tracker</name> <value> nn.example.com:9000 </value> </property> - mapred-site.xml

Hadoop Server 開発用クラスタと、検証用クラスタ、本番用クラスタがある本番用クラスタは、 DRBD で Namenode を冗長化別サーバから Hadoop Client で Job の実行や、ファイルの転送を行っている Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 Hadoop Client Hadoop Client Hadoop Client 開発用クラスタ検証用クラスタ本番用クラスタ

ファイルの転送基本的には、 Hadoop Client で転送 HTTP 経由で転送する場合もあり Datanode の HTTP Server から転送デフォルトでは GET しかできないが、パッチをあてて PUT/POST/DELETE もできるようにしている Thrift や FUSE 経由で転送しているサービスもある Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

Eclipse Plugin Eclipse Plugin を使えば、 Hadoop Client が入った状態になる直接、開発用クラスタに Job を投げて実行 VMWare 上に Hadoop クラスタを立ち上げる場合もあり Yahoo や Cloudera で、セットアップがほとんど必要ない VMWare のイメージファイルが公開されている Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

セキュリティ Hadoop Server のアカウントを持っていなくても、 Hadoop Client で、どこからでも Job を実行したり、ファイルの読み書きができる権限管理の仕組みはあるが、セキュリティの観点ではほとんど意味をなさない複数人でクラスタを共用する場合は問題解決法ネットワークを遮断して、ポートをアクセス制限誓約書を書かせる Hadoop with Security を後ほど紹介 Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

Hadoop の user/group なんとなく、シェルのログイン user/group が適用されているが・・・ Hadoop Client 側で、” whoami ” 、” bash –c groups ” コマンドを実行して取得しているだけちなみに Windows では取得できない Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止　 public final static String USER_NAME_COMMAND = " whoami "; 　 public static String[] getGROUPS_COMMAND() { return new String[]{" bash ", " -c ", " groups "}; } static String getUnixUserName() throws IOException { String[] result = executeShellCommand( new String[]{Shell.USER_NAME_COMMAND}); return result[0]; } UnixUserGroupInformation.java Shell.java

任意の user/group を指定 Hadoop Client の core-site.xml で、 hadoop.job.ugi を指定する MapReduce の Job ごとに動的に指定することも可能 Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 <property> <name> hadoop.job.ugi </name> <value> user,group </value> </property> JobConf conf = new JobConf(Test.class); conf.set(UnixUserGroupInformation.UGI_PROPERTY_NAME,” user,group ”); - core-site.xml - MapReduce

Hadoop with security いままでの Hadoop のセキュリティには問題がある Yahoo! Distribution Of Hadoop With Security Kerberos 認証ベースまだベータバージョン Hadoop 0.22 で正式サポート Hadoop 0.21 にも一応追加されているが、まだうまく動かない模様 C ｌ oudera Distribution Of Hadoop の次のバージョンにも追加 Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

クラスタ構築データ保存用途が計算用途より速いスピートで増大する CPU 、メモリともに余り気味 -> ディスク I/O がネックになっているのも原因の一つ CPU 数は抑えめに、ディスク数は多めにした方がよい -> かといって安いマシンで構築してはならない　　 ( コモディティのミスリーディング ) Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

パラメータチューニング mapred.tasktracker.map.tasks.maximum / mapred.tasktracker.reduce.tasks.maximum TaskTracker で同時に走る最大タスク数 Core の数 -1 ぐらいで最適なパフォーマンスが得られる mapred.child.java.opts 子プロセスの JVM オプション MapReduce から動的に設定でき、ある特定の Job で最大ヒープサイズを増やしたいときなどに指定する JVM オプション Namenode 、 Jobtracker など個別に設定可能 Xmx と Xms を同じにする、 GC などのチューニング Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

圧縮 gzip 、 bzip2 、 LZO 、 ZIP などの形式をサポート巨大な入力データは、 bzip2 で圧縮する場合が多い Bzip2 は、分割可能 gzip などは、分割できず、１ファイルにつき 1MapTask が立ち上がってしまう Map の出力は LZO で圧縮解凍、圧縮の速度が早い帯域が問題になる場合が多いため、圧縮した方がよい Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

ソートのチューニングソート実装 (map.sort.class) の変更デフォルトは QuickSort ログのソートは HeapSort の方が高速ソートに使うメモリサイズ (io.sort.mb) の変更デフォルトは 100MB 増やし過ぎると逆効果になることも Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

アプリケーション開発早めに本番データを使って本番環境でテストすべきテストデータでは起こらない事象が次々に起こる大量の Gzip ファイル処理で Mapper 数増大改行コードの混在 (LF 、 CR 、 CRLF) マイナーバージョンアップの変更から起きる不具合各ノード間の設定差異による不具合 … Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

まとめ Hadoop は大規模なデータを複数のマシンに分散して処理できるプラットフォーム Hadoop を使う企業は増え続けていて、不可欠な技術になりつつある Hadoop の利用例検索関係、ログ解析、機械学習など大規模データを扱う処理や、大量の計算が必要なバッチ処理に向いている Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

Hadoop ～Yahoo! JAPANの活用について～

More Related Content

What's hot

Viewers also liked

Similar to Hadoop ～Yahoo! JAPANの活用について～

More from Yahoo!デベロッパーネットワーク

Recently uploaded