Download as PDF, PPTX
Dataflow(python)を使ってelasticsearchにデータを移行した話
- 1.
- 2. 自己紹介 • 山岡 亮（やまおかりょう） • （株）エーピーコミュニケーションズ • 新規自社サービス立ち上げ事業部に所属（5人） • NEIGHBORSというサービスを作っています (Riot.js + AppEngine Golang) • 仕事ではGCPしか使っていないのに AWS SA Professional持ちです （趣味で取りました） Qiita https://qiita.com/ryo-yamaoka Twitter https://twitter.com/mountainhill14
- 3.
- 4.
- 5.
- 6. 本日の内容 • NEIGHBORSで全文検索機能を作りたい • アプリケーション側はRSSから取得した記事をElasticsearchに 登録する処理を追加 •既存の記事（約600,000件のDatastore Entity）を別途移行した 時にやったこと、そこから脱線して遊んでみたことを共有します
- 7. 構成 • Datastore Property •記事タイトル • 記事概要 • URL • 登録日時 • Elasticsearch • ElasticCloud（GCP）を使用 asia-northeast-1はよ
- 8. 構成 • Datastore Property •記事タイトル • 記事概要 • URL • 登録日時 • Elasticsearch • ElasticCloud（GCP）を使用 asia-northeast-1はよ ←ここに対して全文検索をかけたい
- 9. 最初にやったこと • Dataflowを使う • Elasticsearchを扱うPythonライブラリがあったので、1エンティティずつ 投入する処理にした •Bulkじゃないので遅いだろうけど、まぁ1回ポッキリだしちょっとくらい 遅くてもいいやという軽い気持ちでやってみた
- 10.
- 11.
- 12. 3件/secくらい https://github.com/twitter/twemoji ・600,000 / 3/ 3,600 ≒ 55時間……？！ ・ワーカーをマシマシにしてみたが20件/secくらいが限界だった ・流石にちょっと安直過ぎた
- 13.
- 14. 次にやったこと • 真面目にAppEngineのTaskQueueでバッチを作った • 128件ずつのBulkでサクッと1,300件/secくらいのスループット •真っ当な手段で万事解決 • 残念ながら当然の結果
- 15.
- 16.
- 17.
- 18. どうする？ • やはりBulkを使おう • 当然全Entityを1つに集約するとデカすぎる •1つあたりxxx件にまとめる、的な都合の良い処理は無いっぽい • 全Entityに乱数を割り振ってそれをキーにして集約しよう
- 20. 結果 • 上手くいった • 5,000件/secくらいのスループットが出た •但しGCEで処理するので単価は高い
- 21. 結果 • 上手くいった • 5,000件/secくらいのスループットが出た •但しGCEで処理するので単価は高い • やっぱりこの程度の要件だったらTaskQueueのバッチ作った方がいい
- 22. 結果 • 上手くいった • 5,000件/secくらいのスループットが出た •但しGCEで処理するので単価は高い • やっぱりこの程度の要件だったらTaskQueueのバッチ作った方がいい • 残念ながら当然の結論
- 23.
- 24.
- 25.