Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

MongoDBの可能性の話

2,184 views

Published on

道玄坂LTで発表した資料です!!!

Published in: Technology
  • Be the first to comment

MongoDBの可能性の話

  1. 1. ビッグデータの話 桑野 章弘
  2. 2. 雑か
  3. 3. MongoDBの可能性の話 桑野 章弘
  4. 4. 自己紹介 • 桑野 章弘 • 目黒のSA • Twitter: @kuwa_tw • 属性 • MongoDB 芸人 • 息子がかわいい芸人
  5. 5. ElastiCacheセミナー • やります!!!! • おらにえさん • 私 • サイバーエージェントの小貫様 • の3名!!!
  6. 6. ElastiCacheセミナー • やります!!!! • @oranie さん • 私(@kuwa_tw) • サイバーエージェントの小貫様 • の3名!!!
  7. 7. CAの社内イベントで はありません!!!
  8. 8. MongoDB
  9. 9. 解散!!!
  10. 10. MongoDB • ご存知MongoDB • ドキュメントストアのNoSQL • JavaScriptでクエリがかける • 冗長化もシャーディングもある • Version3.2が最新
  11. 11. 自己紹介
  12. 12. ログを貯めるなと言っただ
  13. 13. だからログを貯めるな と言っただろう!
  14. 14. と、いいたい所なんで すが
  15. 15. 本当に今のMongoDB でもログを貯めちゃ ダメなのか?
  16. 16. ちゅーことで
  17. 17. 今日の話 MongoDB にログを貯めてみる
  18. 18. ビッグデータ! (勢い)
  19. 19. ストレージエンジン • MMAPv1とWiredTiger • MMAPv1は全ての元凶 • WiredTigerは救世主になるのか
  20. 20. ためしてみること • キャッシュ以上のアクセスが頻発した 場合にどのくらい耐えられるのか • データBulkInsert • 大きいデータのRead
  21. 21. 実行環境 • MongoDBサーバ • c3.large • 負荷実行サーバ • c3.8xlarge
  22. 22. BulkInsert環境 • 160000000(一億六千万)オブジェク ト • 1スレッド並列
  23. 23. データインサート • MMAPv1 • WiredTiger
  24. 24. MMAPv1 • 完了まで8時間半程度 • 徐々にキャッシュの改廃が追いつかな くなりスローダウン • 80000->2000tpsへ…
  25. 25. WiredTiger • 完了まで2時間半 • 最初より遅くなってはくるが、コンス タントに速度は出ている • 70000->12000tps
  26. 26. MMAPは スローダウン
  27. 27. 設定した2GBのキャッシュ+ Dirtyなメモリの容量
  28. 28. MMAPへのデータ改廃が増 えるにしたがってReadが支 配的になる
  29. 29. Read環境 • 160000000(一億六千万)オブジェク トへのアクセス • 10000オブジェクトのレンジ取得 • 100スレッド並列 • 多めのオブジェクト数を少なめの並 列度想定
  30. 30. Read • MMAPv1 • WiredTiger
  31. 31. MMAPv1 • 10tps程度を安定して実行 • io waitが80%と支配的
  32. 32. WiredTiger • 10tps程度を安定して実行 • io waitが60%で持ちこたえている • たまーに30secくらいのすごい遅いクエ リがあるが、平均的には早い
  33. 33. 約2倍の スループット
  34. 34. io waitが80%
  35. 35. キャッシュ特性の違 い
  36. 36. 処理はどちらも できてる
  37. 37. いい話で終わると思った?
  38. 38. 検証時に食らった事 • CacheGBを間違えて実メモリより CacheGB増やしたらOOM • CacheGBを実メモリギリギリにしたら OOM • Aggregate Frameworkを複数同時にか けた結果OOM
  39. 39. んだけOOMすんねん!!
  40. 40. から油断するなと言っただろ
  41. 41. そして
  42. 42. この画像つかいすぎ
  43. 43. 結論
  44. 44. S3にexportして RedShiftかEMR(r y
  45. 45. も、いいんですが
  46. 46. WiredTigerであればロ グ貯めてもある程度 耐えられる
  47. 47. (こともある)
  48. 48. 今までログに使えなく て困ってた方はバー ジョンアップどうぞ !
  49. 49. (根性があれば)
  50. 50. れっつらもんご!
  51. 51. ElastiCacheセミナー • やります!!!! • おらにえさん • 私 • サイバーエージェントの小貫様 • の3名!!!

×