Download as PDF, PPTX
![日本最大級の
ファッションアプリ
[特徴]
ユーザーがファッションアイテムを組み合わせてコーデを作れる](https://image.slidesharecdn.com/iqon-151111031611-lva1-app6891/85/iQON-3-320.jpg)
![Download
Worker
Download
Worker
Sidekiq
queue
ECサイト
Sender ・・・
Message
Queue
1. enqueue
MySQL
2. dequeue
3. lock
DistMutex
4. download
5. save
6. enqueue
ページダウンロード
スケジューリング
1 request / s という紳士協定
時限付き分散Lock
(https://github.com/vasilyjp/redis-
dist-mutex)
→ワーカーの稼働率向上
[Ref]
vasily tech blog
Redis::DistMutex 時限付き分散ロックで効率
良くサイトクロールをしよう
(http://tech.vasily.jp/crawl-sites-with-
redis-dist-mutex/)](https://image.slidesharecdn.com/iqon-151111031611-lva1-app6891/85/iQON-13-320.jpg)
![[社内勉強会]Webエンジニアへ送るインフラのおすすめ本:記事7本](https://cdn.slidesharecdn.com/ss_thumbnails/web7-160309090005-thumbnail.jpg?width=640&height=640&fit=bounds)
iQONを支えるクローラーの裏側
- 1.
- 2.
- 3.
- 4.
- 5.
- 6.
- 7. 全体構成 Download Worker Parse Worker Sync Worker ImageProcess Worker Download Worker ImageProcess Worker ・・・ ・・・ ・・・ ・・・ クローリング処理を4つの段階に分けて分散処理 • ページダウンロード • DOM解析 •マスターテーブルへの同期 • 画像処理 ECサイト Sync Worker Parse Worker
- 8.
- 9. ページダウンロード Download Worker Download Worker Message Queue ECサイト Sender ・・・ Message Queue 1. enqueue MySQL 2.dequeue 3. lock DistMutex 4. download 5. save 6. enqueue
- 10. Download Worker Download Worker Message Queue ECサイト Sender ・・・ Message Queue 1. enqueue MySQL 2.dequeue 3. lock DistMutex 4. download 5. save 6. enqueue ページダウンロード
- 11. Download Worker Download Worker Message Queue ECサイト Sender ・・・ Message Queue 1. enqueue MySQL 2.dequeue 3. lock DistMutex 4. download 5. save 6. enqueue ページダウンロード クロール対象URLを決定 ECサイト 商品リストページ 過去にクロールした商品 (in DB)
- 12. Download Worker Download Worker Message Queue ECサイト Sender ・・・ Message Queue 1. enqueue MySQL 2.dequeue 3. lock DistMutex 4. download 5. save 6. enqueue ページダウンロード
- 13. Download Worker Download Worker Sidekiq queue ECサイト Sender ・・・ Message Queue 1. enqueue MySQL 2.dequeue 3. lock DistMutex 4. download 5. save 6. enqueue ページダウンロード スケジューリング 1 request / s という紳士協定 時限付き分散Lock (https://github.com/vasilyjp/redis- dist-mutex) →ワーカーの稼働率向上 [Ref] vasily tech blog Redis::DistMutex 時限付き分散ロックで効率 良くサイトクロールをしよう (http://tech.vasily.jp/crawl-sites-with- redis-dist-mutex/)
- 14. Download Worker Download Worker Sidekiq queue ECサイト Sender ・・・ Sidekiq queue 1. enqueue MySQL 2.dequeue 3. lock DistMutex 4. download 5. save 6. enqueue ページダウンロード
- 15. Download Worker Download Worker Sidekiq queue ECサイト Sender ・・・ Sidekiq queue 1. enqueue MySQL 2.dequeue 3. lock DistMutex 4. download 5. save 6. enqueue ページダウンロード ダウンロード open-uriでは機能不足 ・リダイレクト時の処理 ・POSTリクエスト ・UserAgent → net/httpをベースにした HTTPクライアントを実装
- 16. Download Worker Download Worker Sidekiq queue ECサイト Sender ・・・ Sidekiq queue 1. enqueue MySQL 2.dequeue 3. lock DistMutex 4. download 5. save 6. enqueue ページダウンロード
- 17. DOM解析 Parse Worker Parse Worker Message Queue ・・・ Message Queue DynamoDB 1. dequeue 4. save 5.enqueue DSL (XPATH, RegExp, etc.) rubyコード片 CrawlerGenerator generate 3. include3. include MySQL 2. load
- 18. DOM解析 Parse Worker Parse Worker Message Queue ・・・ Message Queue DynamoDB 2. dequeue 3. save 4.enqueue DSL (XPATH, RegExp, etc.) rubyコード片 CrawlerGenerator generate includeinclude CrawlerGenerator クローラー作成を効率化するための社内ツール 項目抽出のための設定を入稿できる
- 19.
- 20. CrawlerGenerator クローラー作成を効率化するための社内ツール • 項目抽出のための設定(XPATH, 正規表現,文字列操作)を入稿可能 • 入稿した項目はその場で正しいかどうかをプレビュー可能 • ツールでは手に負えない時にはrubyコードをマージすることも可能
- 21.
- 22. CrawlerGenerator • Chromeの拡張機能 XPATHHelperも利用 • XPATHを効率的に抽出 XPATH Helper(https://chrome.google.com/webstore/detail/xpath-helper/hgimnogjllphhhkhlmebbmlgjoejdpjl)
- 23. DOM解析 Parse Worker Parse Worker Message Queue ・・・ Message Queue DynamoDB 4. save 5. enqueue DSL (XPATH,RegExp, etc.) rubyコード片 CrawlerGenerator generate 3. include3. include dequeueしたジョブ毎に、 別々の設定をincluce MySQL 2. load 1. dequeue
- 24. DOM解析 Parse Worker Parse Worker Message Queue ・・・ Message Queue DynamoDB 4. save 5. enqueue DSL (XPATH,RegExp, etc.) rubyコード片 CrawlerGenerator generate 3. include3. include 解析結果のデータを DynamoDBに保存 MySQL 2. load 1. dequeue
- 25.
- 26.
- 27.
- 28.
- 29. 商品カテゴリの自動分類 ブランド情報と照合して異常を排除 ブランド カテゴリーの組み合わせがアリエナイ判定結果を排除 • 過去の人力判定結果から条件付確率p(カテゴリ¦ブランド)を求める • 扱っているカテゴリーがほぼ1つのブランドの誤判定の抑制に効果的
- 30.
- 31. マスターテーブルへの同期 Sync Worker Sync Worker Message Queue ・・・ Message Queue MySQL 1. dequeue 3. save 4.enqueue if item is new DyamoDB 2. load ParseWorkerがMySQLに対して直接書き込むと MySQLへの負荷が高まるので適度に速度を抑える
- 32.
- 33.
- 34.
- 35.