Hadoop ~Yahoo! JAPANの活用について~

12,045 views

Published on

Published in: Technology
0 Comments
22 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
12,045
On SlideShare
0
From Embeds
0
Number of Embeds
1,425
Actions
Shares
0
Downloads
0
Comments
0
Likes
22
Embeds 0
No embeds

No notes for slide
  • 実際のサービスでないものもある、まだ開発中のものもある
  • Hadoop ~Yahoo! JAPANの活用について~

    1. 1. オープンソースカンファレンス 2010 Tokyo/Fall Hadoop ~ Yahoo! JAPAN の活用について~ 2010/9/10 ヤフー株式会社 R&D 統括本部 角田直行、吉田一星
    2. 2. 自己紹介 <ul><li>角田 直行 ( かくだ なおゆき ) </li></ul><ul><li>R&D 統括本部 プラットフォーム開発本部検索開発部 開発 3 </li></ul><ul><li>2005 年 ヤフー株式会社入社 </li></ul><ul><ul><li>ヤフー地図 </li></ul></ul><ul><ul><li>ヤフー路線 </li></ul></ul><ul><ul><li>ヤフー検索 … </li></ul></ul><ul><li>2010 年現在、検索プラットフォームを開発中 </li></ul>Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
    3. 3. 自己紹介 <ul><li>吉田一星 (よしだ いっせい) </li></ul><ul><li>R&D 統括本部プラットフォーム開発本部検索開発部開発3 </li></ul><ul><li>R&D 統括本部フロントエンド開発本部アプリケーション開発部開発4(兼) </li></ul><ul><li>R&D 統括本部プラットフォーム開発本部要素技術開発部開発3(兼) </li></ul><ul><li>2008 年に Yahoo! JAPAN に入社 </li></ul><ul><li>検索プラットフォームや画像処理で Hadoop に関わる開発 </li></ul><ul><li>地図検索、地域プラットフォームでも Hadoop に関わる開発を経験 </li></ul>
    4. 4. Agenda <ul><li>Introduction </li></ul><ul><li>Hadoop とは </li></ul><ul><li>事例紹介 </li></ul><ul><li>Hadoop 開発の流れ </li></ul><ul><li>得られた知見 </li></ul><ul><li>まとめ </li></ul>Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
    5. 5. Introduction Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
    6. 6. 有名なネットサービス Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 月間 485 億 3100 万 PV 1 日 5000 万 のつぶやき 商品数 6400 万 月間ユーザ数 5 億 人 各サービスとも日々成長を続けています
    7. 7. 莫大なデータ量との闘い <ul><li>成長を続けていくにはアクセスログ解析やデータマイニングなどが必須 </li></ul><ul><li>億単位の行 or テラバイト級のデータを短時間で処理したい </li></ul>Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 毎日処理しなければならない
    8. 8. Yahoo! JAPAN が扱うデータ Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 <ul><li>ログは 1 日分だけでもかなりのサイズになる </li></ul><ul><li>行数を数えるだけで数日かかる </li></ul>
    9. 9. 解決策としての Hadoop <ul><li>大規模な処理、大容量のデータを扱うには 1 台のサーバでは不可能 </li></ul><ul><li>マルチコアによる並行処理アプローチは複雑すぎる </li></ul><ul><li>数十~数千台規模で簡単にスケールする環境が不可欠 </li></ul>Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 この発表では、 Yahoo! JAPAN が Hadoop をどう活用しているか について事例を交えて解説します
    10. 10. Hadoop とは Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
    11. 11. Hadoop とは <ul><li>大規模分散処理システム </li></ul><ul><li>Google   MapReduce/GFS を論文を元に実装 </li></ul><ul><li>処理時間が数分~数時間かかるようなバッチ処理に向いている -> Web のように、即座に結果が返るような   リアルタイム処理には不向き </li></ul><ul><li>Java で書かれ、オープンソースとして公開 </li></ul>Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
    12. 12. Hadoop とは <ul><li>Doug Cutting 氏が生みの親 </li></ul><ul><ul><li>Lucene など有名 OSS を開発 </li></ul></ul><ul><li>Yahoo! Inc. 在籍時はフルタイムで開発 </li></ul><ul><li>現在は Cloudera に在籍 </li></ul>Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 ( 出典元 :Wikipedia)
    13. 13. Hadoop とは Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 大きく MapReduce と HDFS ( 分散ファイルシステム ) に分かれる
    14. 14. Hadoop MapReduce Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 長時間かかる巨大な処理を複数台のマシンに分散 ・・・ ・・・
    15. 15. Hadoop HDFS Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 ・巨大なファイルを複数台に分割 ・複数サーバの各 HDD を 1 つの HDD のように扱える
    16. 16. Hadoop 関連プロダクト Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 大規模データ処理用スクリプト言語 Pig Hive Facebook が開発 扱いが一般データベースに似ている A = load 'passwd' using PigStorage(':'); B = foreach A generate $0 as id; dump B; CREATE TABLE pokes (foo INT, bar STRING); SELECT a.foo FROM pokes a;
    17. 17. Hadoop 関連プロダクト Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 Hadoop 上に構築された列指向データベース Google BigTable のクローン HBase 機械学習ライブラリ Hadoop でスケール可 Mahout 複数の MapReduce ジョブなどを 実行制御するワークフロー Oozie
    18. 18. Hadoop の事例紹介 Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
    19. 19. Hadoop を活用している会社 Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 など・・・ 増え続けています!
    20. 20. The New York Times <ul><li>TimeMachine </li></ul><ul><ul><li>過去のアーカイブを公開 </li></ul></ul><ul><li>4TB の TIFF を PDF に </li></ul><ul><li>Amazon EC2 / S3 </li></ul><ul><ul><li>100 インスタンス </li></ul></ul><ul><ul><li>24 時間 </li></ul></ul><ul><ul><li>1500 ドル以下 </li></ul></ul><ul><li>MRToolKit を公開 </li></ul>Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
    21. 21. eHarmony <ul><li>アメリカの 4% のカップルが eHarmony を通じて結婚 </li></ul><ul><li>毎日平均 236 人が結婚している </li></ul><ul><li>カップルのマッチングの計算に Hadoop を利用 </li></ul><ul><li>何十年もの研究と臨床実験に基づいたモデル </li></ul><ul><li>新しいモデルも日々テストされている </li></ul><ul><li>モデルの評価は、部屋にゴリラを入れて実験 </li></ul>Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
    22. 22. FlightCaster <ul><li>飛行機の遅れを、航空会社の発表の数時間前に予報するサイト </li></ul><ul><li>以下の情報を元に推測 </li></ul><ul><ul><li>到着便情報 </li></ul></ul><ul><ul><li>天気予報 </li></ul></ul><ul><ul><li>FAA( 米国連邦航空局 ) の情報 </li></ul></ul><ul><ul><li>過去 10 年間の航空便のデータ </li></ul></ul><ul><li>Hadoop を使って予測の計算処理 </li></ul>Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
    23. 23. 簡単に使える環境 <ul><li>Amazon Elastic MapReduce </li></ul><ul><ul><li>Hadoop の MapReduce を簡単に実行できる </li></ul></ul><ul><ul><li>従量課金( 100 台を 1 時間で、 1000 円程度) </li></ul></ul><ul><ul><li>Hadoop の知識は必要だが、セットアップは最小限 </li></ul></ul><ul><li>Google BigQuery </li></ul><ul><ul><li>Google の MapReduce 環境を使える </li></ul></ul><ul><ul><li>SQL ライクな命令( Hive に似ている) </li></ul></ul><ul><ul><li>REST API で簡単に実行できる </li></ul></ul>Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
    24. 24. Yahoo! Inc. での事例紹介 Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
    25. 25. サーチアシスト <ul><li>入力した検索ワードに関連のありそうな単語を自動で補完 </li></ul><ul><li>さらに検索結果画面に関連コンセプトを表示 </li></ul><ul><li>データベースの構築に Hadoop を使用 </li></ul>Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
    26. 26. スポンサードサーチ <ul><li>広告の表示位置を計算し、配置 </li></ul>Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
    27. 27. Contents Optimization Knowledge Engine (COKE) <ul><li>どの記事をどの順番で表示するかを計算 </li></ul><ul><li>今までは編集者が決めていた </li></ul><ul><li>現在は編集者+ COKE </li></ul>Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
    28. 28. その他の事例 <ul><li>WebMap(Web ページのデータベース ) の構築 </li></ul><ul><li>新しい技術の評判抽出 </li></ul><ul><li>クロールしたデータの問題検証 </li></ul><ul><li>データ解析全般 </li></ul><ul><ul><li>ログ解析 </li></ul></ul><ul><ul><li>検索インデックスの生成 </li></ul></ul><ul><ul><li>機械学習 </li></ul></ul><ul><ul><li>広告最適化 </li></ul></ul>Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
    29. 29. Yahoo! JAPAN での事例 Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
    30. 30. 検索ログプラットフォーム <ul><li>社内の検索サービスのログ解析全般 </li></ul><ul><ul><li>Hive を独自に拡張して使用している </li></ul></ul><ul><li>様々な Yahoo! JAPAN のサービスにデータを提供 </li></ul>Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
    31. 31. Yahoo! 検索 <ul><li>関連検索ワード </li></ul><ul><li>キーワード入力補助 </li></ul><ul><li>ショートカットの表示制御 </li></ul><ul><li>検索ログプラットフォームのデータが元になっている </li></ul>Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
    32. 32. Yahoo! 検索ランキング <ul><li>検索ランキング、急上昇ワードランキングなど </li></ul><ul><li>都道府県別、性年代別のランキング( Yahoo! ラボ) </li></ul><ul><li>検索ログプラットフォームが提供したデータをさらに加工している </li></ul>Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
    33. 33. レコメンデーションプラットフォーム <ul><li>レコメンデーションサービスの計算処理に利用 </li></ul><ul><ul><li>ビヘイビアデータのクラスタリング計算 </li></ul></ul><ul><ul><li>クラスタとコンテンツデータのマッチング計算 </li></ul></ul><ul><li>Yahoo! オークションなど </li></ul>Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
    34. 34. モバイル検索 <ul><li>検索データを溜め込むストレージ </li></ul><ul><li>検索ランキング計算 </li></ul><ul><li>アンカーテキスト抽出 </li></ul><ul><li>ログ解析、クリックログの検索ランキング反映 </li></ul>Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
    35. 35. 地図検索 <ul><li>地図検索インデックス生成 </li></ul><ul><li>クリックログ集計・検索ランキング反映 </li></ul><ul><li>店舗やビルの一意性処理 </li></ul><ul><li>ログ解析 </li></ul>Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
    36. 36. 開いているお店検索 <ul><li>クロールデータから定休日や営業時間を抽出 </li></ul><ul><ul><li>クロール / 営業時間、定休日抽出 / 検索インデックス作成 </li></ul></ul><ul><li>Yahoo! ラボや iPhone 版 Safari の地図検索で公開 </li></ul>Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
    37. 37. その他の事例 <ul><li>広告プラットフォーム </li></ul><ul><li>検索サービス構築プラットフォーム( ABYSS ) </li></ul><ul><li>地域 API プラットフォーム( YOLP ) </li></ul><ul><li>Yahoo! JAPAN 研究所 </li></ul><ul><li>Etc… </li></ul>Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
    38. 38. Hadoop 開発の流れ Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
    39. 39. Hadoop 開発の流れ <ul><li>Yahoo! JAPAN で、どのように Hadoop 開発を行っているか? </li></ul><ul><li>サービスによって開発の方法は若干違うが、 ABYSS の例を紹介 </li></ul>Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
    40. 40. ABYSS とは? <ul><li>社内の検索サービスをホスティングするプラットフォーム </li></ul><ul><li>主に検索データのストレージとして Hadoop を利用 </li></ul><ul><li>検索データの解析処理などに MapReduce を使用 </li></ul>Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
    41. 41. Hadoop Client <ul><li>Hadoop を Client と Server に分けて、運用を行っている </li></ul><ul><li>他のサーバにある Hadoop クラスタのファイルの読み書きや、 Job の実行を簡単に行える </li></ul>Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 $ hadoop fs –put localfile hdfs://nn.example.com:9000/hadoop/hadoopfile $ hadoop fs –get hdfs://nn.example.com/user/hadoop/file localfile
    42. 42. Hadoop Client <ul><li>core-site.xml や mapred-site.xml に外部の Hadoop Server を指定し、 Hadoop Client としてパッケージ化 </li></ul>Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 <property> <name>fs.default.name</name> <value> hdfs://nn.example.com:9000 </value> </property> - core-site.xml <property> <name>mapred.job.tracker</name> <value> nn.example.com:9000 </value> </property> - mapred-site.xml
    43. 43. Hadoop Server <ul><li>開発用クラスタと、検証用クラスタ、本番用クラスタがある </li></ul><ul><li>本番用クラスタは、 DRBD で Namenode を冗長化 </li></ul><ul><li>別サーバから Hadoop Client で Job の実行や、ファイルの転送を行っている </li></ul>Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 Hadoop Client Hadoop Client Hadoop Client 開発用クラスタ 検証用クラスタ 本番用クラスタ
    44. 44. ファイルの転送 <ul><li>基本的には、 Hadoop Client で転送 </li></ul><ul><li>HTTP 経由で転送する場合もあり </li></ul><ul><li>Datanode の HTTP Server から転送 </li></ul><ul><li>デフォルトでは GET しかできないが、パッチをあてて PUT/POST/DELETE もできるようにしている </li></ul><ul><li>Thrift や FUSE 経由で転送しているサービスもある </li></ul>Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
    45. 45. Hadoop の開発 <ul><li>Eclipse で開発 </li></ul><ul><li>Mockito+JUnit や MRUnit で単体テスト </li></ul><ul><li>ただし、 DistributedCache などがテストできない </li></ul>Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
    46. 46. Eclipse Plugin <ul><li>Eclipse Plugin を使えば、 Hadoop Client が入った状態になる </li></ul><ul><li>直接、開発用クラスタに Job を投げて実行 </li></ul><ul><li>VMWare 上に Hadoop クラスタを立ち上げる場合もあり </li></ul><ul><li>Yahoo や Cloudera で、セットアップがほとんど必要ない VMWare のイメージファイルが公開されている </li></ul>Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
    47. 47. セキュリティ <ul><li>Hadoop Server のアカウントを持っていなくても、 Hadoop Client で、どこからでも Job を実行したり、ファイルの読み書きができる </li></ul><ul><li>権限管理の仕組みはあるが、セキュリティの観点ではほとんど意味をなさない </li></ul><ul><li>複数人でクラスタを共用する場合は問題 </li></ul><ul><li>解決法 </li></ul><ul><ul><li>ネットワークを遮断して、ポートをアクセス制限 </li></ul></ul><ul><ul><li>誓約書を書かせる </li></ul></ul><ul><ul><li>Hadoop with Security を後ほど紹介 </li></ul></ul>Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
    48. 48. Hadoop の user/group <ul><li>なんとなく、シェルのログイン user/group が適用されているが・・・ </li></ul><ul><li>Hadoop Client 側で、” whoami ” 、” bash –c groups ” コマンドを実行して取得しているだけ </li></ul><ul><li>ちなみに Windows では取得できない </li></ul>Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止   public final static String USER_NAME_COMMAND = &quot; whoami &quot;;   public static String[] getGROUPS_COMMAND() { return new String[]{&quot; bash &quot;, &quot; -c &quot;, &quot; groups &quot;}; } static String getUnixUserName() throws IOException { String[] result = executeShellCommand( new String[]{Shell.USER_NAME_COMMAND}); return result[0]; } UnixUserGroupInformation.java Shell.java
    49. 49. 任意の user/group を指定 <ul><li>Hadoop Client の core-site.xml で、 hadoop.job.ugi を指定する </li></ul><ul><li>MapReduce の Job ごとに動的に指定することも可能 </li></ul>Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 <property> <name> hadoop.job.ugi </name> <value> user,group </value> </property> JobConf conf = new JobConf(Test.class); conf.set(UnixUserGroupInformation.UGI_PROPERTY_NAME,” user,group ”); - core-site.xml - MapReduce
    50. 50. Hadoop with security <ul><li>いままでの Hadoop のセキュリティには問題がある </li></ul><ul><li>Yahoo! Distribution Of Hadoop With Security </li></ul><ul><ul><li>Kerberos 認証ベース </li></ul></ul><ul><ul><li>まだベータバージョン </li></ul></ul><ul><li>Hadoop 0.22 で正式サポート </li></ul><ul><ul><li>Hadoop 0.21 にも一応追加されているが、まだうまく動かない模様 </li></ul></ul><ul><li>C l oudera Distribution Of Hadoop の次のバージョンにも追加 </li></ul>Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
    51. 51. Hadoop を運用してきた中で 得られた知見 ~ Yahoo! JAPAN の場合~ Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
    52. 52. クラスタ構築 <ul><li>データ保存用途が計算用途より速いスピートで増大する </li></ul><ul><ul><li>CPU 、メモリともに余り気味 -> ディスク I/O がネックになっているのも原因の一つ </li></ul></ul><ul><ul><li>CPU 数は抑えめに、ディスク数は多めにした方がよい -> かといって安いマシンで構築してはならない    ( コモディティ のミスリーディング ) </li></ul></ul>Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
    53. 53. パラメータチューニング <ul><li>mapred.tasktracker.map.tasks.maximum / mapred.tasktracker.reduce.tasks.maximum </li></ul><ul><ul><li>TaskTracker で同時に走る最大タスク数 </li></ul></ul><ul><ul><li>Core の数 -1 ぐらいで最適なパフォーマンスが得られる </li></ul></ul><ul><li>mapred.child.java.opts </li></ul><ul><ul><li>子プロセスの JVM オプション </li></ul></ul><ul><ul><li>MapReduce から動的に設定でき、ある特定の Job で最大ヒープサイズを増やしたいときなどに指定する </li></ul></ul><ul><li>JVM オプション </li></ul><ul><ul><li>Namenode 、 Jobtracker など個別に設定可能 </li></ul></ul><ul><ul><li>Xmx と Xms を同じにする、 GC などのチューニング </li></ul></ul>Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
    54. 54. 圧縮 <ul><li>gzip 、 bzip2 、 LZO 、 ZIP などの形式をサポート </li></ul><ul><li>巨大な入力データは、 bzip2 で圧縮する場合が多い </li></ul><ul><ul><li>Bzip2 は、分割可能 </li></ul></ul><ul><ul><li>gzip などは、分割できず、1ファイルにつき 1MapTask が立ち上がってしまう </li></ul></ul><ul><li>Map の出力は LZO で圧縮 </li></ul><ul><ul><li>解凍、圧縮の速度が早い </li></ul></ul><ul><ul><li>帯域が問題になる場合が多いため、圧縮した方がよい </li></ul></ul>Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
    55. 55. ソートのチューニング <ul><li>ソート実装 (map.sort.class) の変更 </li></ul><ul><ul><li>デフォルトは QuickSort </li></ul></ul><ul><ul><li>ログのソートは HeapSort の方が高速 </li></ul></ul><ul><li>ソートに使うメモリサイズ (io.sort.mb) の変更 </li></ul><ul><ul><li>デフォルトは 100MB </li></ul></ul><ul><ul><li>増やし過ぎると逆効果になることも </li></ul></ul>Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
    56. 56. アプリケーション開発 <ul><li>早めに 本番データ を使って 本番環境 でテストすべき </li></ul><ul><li>テストデータでは起こらない事象が次々に起こる </li></ul><ul><ul><li>大量の Gzip ファイル処理で Mapper 数増大 </li></ul></ul><ul><ul><li>改行コードの混在 (LF 、 CR 、 CRLF) </li></ul></ul><ul><ul><li>マイナーバージョンアップの変更から起きる不具合 </li></ul></ul><ul><ul><li>各ノード間の設定差異による不具合 … </li></ul></ul>Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
    57. 57. まとめ Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
    58. 58. まとめ <ul><li>Hadoop は大規模なデータを複数のマシンに分散して 処理できるプラットフォーム </li></ul><ul><li>Hadoop を使う企業は増え続けていて、不可欠な技術に なりつつある </li></ul><ul><li>Hadoop の利用例 </li></ul><ul><ul><li>検索関係、ログ解析、機械学習など </li></ul></ul><ul><ul><li>大規模データを扱う処理や、大量の計算が必要な バッチ処理に向いている </li></ul></ul>Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
    59. 59. TechBlog Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 http://techblog.yahoo.co.jp/
    60. 60. Hadoop Hack Night Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 2010 年 3 月、 8 月に開催
    61. 61. ご静聴ありがとうございました! Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

    ×