Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

PHP と MySQL でカジュアルに MapReduce する (Short Version)

10,319 views

Published on

以下のスライドを再編集・一部加筆した Short Version です
http://www.slideshare.net/taketyan/php-mysql-mapreduce

Published in: Technology
  • Be the first to comment

PHP と MySQL でカジュアルに MapReduce する (Short Version)

  1. 1. PHP と MySQL で カジュアルにMapReduce する (Short Version) @yuya_takeyama
  2. 2. ショートバージョンで お送りします• MyMR on GitHub https://github.com/yuya-takeyama/mymr• PHP と MySQL でカジュアルに MapReduce する http://blog.yuyat.jp/archives/1706• もっとカジュアルに PHP と MySQL で MapReduce する http://blog.yuyat.jp/archives/1853• PHP と MySQL でカジュアルに MapReduce する (スライド・Long Version) http://www.slideshare.net/taketyan/php-mysql-mapreduce
  3. 3. お断りビッグデータの話は ありません
  4. 4. 問いMongoDB にあってMySQL にないもの なーんだ?
  5. 5. 構造化データ?自動シャーディング?自動フェイルオーバ?
  6. 6. MapReduce!
  7. 7. それ もカMapReduce! ジュ !! アル な
  8. 8. MongoDB は JavaScript で カジュアルにMapReduce できる
  9. 9. MySQL でもMapReduce したい!!!
  10. 10. MySQL でも それ もカMapReduce ジュ アル に!! したい!!!
  11. 11. モチベーション•プログラミングモデルとしてのMapReduce を使いたい• GROUP BY では難しい集計•MySQL を入出力にしたい• LL でサクッとやりたい
  12. 12. モチベーション•プログラミングモデルとしてのMapReduce を使いたい• GROUP BY では難しい集計•MySQL を入出力にしたい PHP である必要はあまり無い• LL でサクッとやりたい
  13. 13. MapReduce とは(word count による例)
  14. 14. MapReduce とはデータ処理のためのプログラミングモデル
  15. 15. 入力処理の流れ ↓ Map ↓ Shuffle ↓ Reduce ↓ 出力
  16. 16. Map•入力データを受け取り• 複数の Key/Value ペアを出力
  17. 17. •to be or not to be
  18. 18. •<"to", 1>•<"be", 1>•<"or", 1>•<"not", 1>•<"to", 1>•<"be", 1>
  19. 19. Shuffle•Map による Key/Value を• Key ごとにまとめて出力
  20. 20. •<"to", 1>•<"be", 1>•<"or", 1>•<"not", 1>•<"to", 1>•<"be", 1>
  21. 21. •<"be", [1, 1]>•<"not", [1]>•<"or", [1]>•<"to", [1, 1]>
  22. 22. Reduce•Shuffle による中間データを• 集約して答えを出力
  23. 23. •<"be", [1, 1]>•<"not", [1]>•<"or", [1]>•<"to", [1, 1]>
  24. 24. •<"be", 2>•<"not", 1>•<"or", 1>•<"to", 2>
  25. 25. 複数の関数の入出力を経て最終的な答えを出力
  26. 26. MySQL でもMapReduceしたい!!! (再)
  27. 27. というわけで作りました
  28. 28. MyMR https://github.com/yuya-takeyama/mymr•MySQL を入出力とする• PHP で Map/Reduce を書く• コマンドラインで実行
  29. 29. MyMR による処理の流れ•テーブルからレコードを読む•1 行 1 行に Map (PHP) を適用して 中間テーブルへ•MySQL による Shuffle•その結果に Reduce (PHP) を適用して 出力テーブルへ
  30. 30. に よ る yM RM 文章中の単語の数を数える例 (word count)
  31. 31. use MyMRBuilder; Map/Reduce の定義$builder = new Builder;$builder->setInputTable(root@localhost/db/texts);$builder->setOutputTable(root@localhost/db/word_counts);$builder->setMapper(function ($record, $emitter) {    $words = preg_split(/s+/u, $record[text]);    foreach ($words as $word) {        $emitter->emit($word, 1);    }});$builder->setReducer(function ($key, $values) {    $sum = 0;    foreach ($values as $count) {        $sum += $count;    }    return array(count => $sum);});return $builder;
  32. 32. use MyMRBuilder; Map/Reduce の定義$builder = new Builder;$builder->setInputTable(root@localhost/db/texts);$builder->setOutputTable(root@localhost/db/word_counts);$builder->setMapper(function ($record, $emitter) {    $words = preg_split(/s+/u, $record[text]);    foreach ($words as $word) { 入出力テーブルの指定        $emitter->emit($word, 1);    }});$builder->setReducer(function ($key, $values) {    $sum = 0;    foreach ($values as $count) {        $sum += $count;    }    return array(count => $sum);});return $builder;
  33. 33. use MyMRBuilder; Map/Reduce の定義$builder = new Builder;$builder->setInputTable(root@localhost/db/texts);$builder->setOutputTable(root@localhost/db/word_counts);$builder->setMapper(function ($record, $emitter) {    $words = preg_split(/s+/u, $record[text]);    foreach ($words as $word) {        $emitter->emit($word, 1);    } この辺が Map});$builder->setReducer(function ($key, $values) {    $sum = 0;    foreach ($values as $count) {        $sum += $count;    }    return array(count => $sum);});return $builder;
  34. 34. use MyMRBuilder; Map/Reduce の定義$builder = new Builder;$builder->setInputTable(root@localhost/db/texts);$builder->setOutputTable(root@localhost/db/word_counts);$builder->setMapper(function ($record, $emitter) {    $words = preg_split(/s+/u, $record[text]);    foreach ($words as $word) {        $emitter->emit($word, 1);    }});$builder->setReducer(function ($key, $values) {    $sum = 0;    foreach ($values as $count) {        $sum += $count;    }    return array(count => $sum); この辺が Reduce});return $builder;
  35. 35. 入力•to be or not to be
  36. 36. Mapfunction ($record, $emitter) {    $words = preg_split(/s+/u, $record[text]);    foreach ($words as $word) {        $emitter->emit($word, 1);    }}
  37. 37. Map レコードを 連想配列として受け取るfunction ($record, $emitter) {    $words = preg_split(/s+/u, $record[text]);    foreach ($words as $word) {        $emitter->emit($word, 1);    }}
  38. 38. Mapfunction ($record, $emitter) {    $words = preg_split(/s+/u, $record[text]);    foreach ($words as $word) {        $emitter->emit($word, 1);    }} text カラム内の 文字列をスペースで分割
  39. 39. Mapfunction ($record, $emitter) {    $words = preg_split(/s+/u, $record[text]);    foreach ($words as $word) {        $emitter->emit($word, 1);    }} Key/Value のペアとして 中間テーブルに INSERT
  40. 40. +----+--------------------+Map | id | text | +----+--------------------+ | 1 | to be or not to be | +----+--------------------+ ↓ レコードを連想配列として Map へ ↓ +----+---------+-------+ | id | key | value | +----+---------+-------+ | 1 | to | 1 | | 2 | be | 1 | | 3 | or | 1 | | 4 | not | 1 | | 5 | to | 1 | | 6 | be | 1 | +----+---------+-------+
  41. 41. +----+--------------------+Map | id | text | +----+--------------------+ | 1 | to be or not to be | +----+--------------------+ ↓ レコードを連想配列として Map へ ↓ +----+---------+-------+ | id | key | value | +----+---------+-------+ | 1 | to | 1 | | 2 | be | 1 | | 3 | or | 1 | | 4 | not value には JSON で入れるので | 1 | | 5 | to 構造化データも使用可能 | 1 | | 6 | be | 1 | +----+---------+-------+
  42. 42. +----+---------+-------+ | id | key | value |Shuffle +----+---------+-------+ | 1 | to | 2 | be | 1 | 1 | | | 3 | or | 1 | | 4 | not | 1 | | 5 | to | 1 | | 6 | be | 1 | +----+---------+-------+ ↓ キーで GROUP BY して ↓SELECT ↓ 値は GROUP_CONCAT ↓ `key`, +---------+--------+ GROUP_CONCAT(`value`) | key | values |FROM +---------+--------+ `中間テーブル` | be | 1,1 | | not | 1 |GROUP BY | or | 1 | `key` | to | 1,1 | +---------+--------+
  43. 43. Reducefunction ($key, $values) {    $sum = 0;    foreach ($values as $count) {        $sum += $count;    }    return array(count => $sum);}
  44. 44. Reduce Key Value の配列function ($key, $values) {    $sum = 0;    foreach ($values as $count) {        $sum += $count;    }    return array(count => $sum);}
  45. 45. Reduce Value を全て足すfunction ($key, $values) {    $sum = 0;    foreach ($values as $count) {        $sum += $count;    }    return array(count => $sum);}
  46. 46. Reducefunction ($key, $values) {    $sum = 0;    foreach ($values as $count) {        $sum += $count;    }    return array(count => $sum);} 返り値の連想配列を レコードとして INSERT
  47. 47. +---------+--------+ | key | values |Reduce +---------+--------+ | be | 1,1 | | not | 1 | | or | 1 | | to | 1,1 | +---------+--------+ ↓ キーと値の配列を Reduce へ ↓ +----+---------+-------+ | id | key | count | +----+---------+-------+ | 1 | be | 2 | | 2 | not | 1 | | 3 | or | 1 | | 4 | to | 2 | +----+---------+-------+
  48. 48. +---------+--------+ | key | values |Reduce +---------+--------+ | be | 1,1 | | not | 1 | | or | 1 | 実際にはデリミタとして改行を使用| to | 1,1 | +---------+--------+ 改行区切りの JSON になる ↓ キーと値の配列を Reduce へ ↓ +----+---------+-------+ | id | key | count | +----+---------+-------+ | 1 | be | 2 | | 2 | not | 1 | | 3 | or | 1 | | 4 | to | 2 | +----+---------+-------+
  49. 49. 今後の目標•非同期 INSERT による並列化• Hadoop へのシームレスな移行方法の提供
  50. 50. 今後の野望•V8 エンジンとかで•ストレージエンジン API を• カジュアルに叩いて•MapReduce したい
  51. 51. ご清聴 ありがとうございました

×