Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

割とよくやる使い方 20130419

558 views

Published on

  • Be the first to comment

  • Be the first to like this

割とよくやる使い方 20130419

  1. 1. 割とよくやる使い方
  2. 2. レプリケーションスレーブでの分割
  3. 3. 変更前構成図 バッチ処理が追いつかないようなケースがあった場合、 Master DB 1.Get data Master DB Full-text search replication AP AP Batch 2.Register Slave DB Slave DB …… Full-text search …… …… Batch …… Crawler Crawler …… again, again…
  4. 4. Spider投入後の構成図 レプリケーションスレーブで分割を行い、 バッチ処理の並列性を高めるのにSpiderを使います。 こうすることで、特定の処理のパフォーマンスの改善のみに フォーカスした分割を行うことができ、テスト工数も最小化できます。 Master DB Master DB Full-text search replication AP AP Batch 2.Register Slave DB Slave DB … Full-text search … … Batch … Crawler Crawler … DB tbl_a DB tbl_a DB tbl_a DB tbl_a DB tbl_a col_a%4=0 col_a%4=1 col_a%4=2 col_a%4=3 Data sharding by Spider 1.Get data DB DB tbl_atbl_a again, again… replication 1.Get data
  5. 5. 激しいログトラフィックをさばく
  6. 6. ログトラフィックをさばくためのサーバ構成図 まずBlackholeストレージエンジンのテーブルにログの書き込みを行い、 それをレプリケーションしてSpider経由で集計用のDBにかき集めます。 集計用DBにトリガを仕掛けて、 データの加工を合わせて行うということもよくやります。 AP … Statistical DBDB AP DB tbl_a DB tbl_a DB tbl_a … tbl_a tbl_a 1.Write log 2.Replication 3.Log data collecting using Spider Blackhole … Trigger

×