Download as PDF, PPTX
BigQuery で 150万円 使ったときの話
- 1.
- 2.
- 3. 発表者について（現在） SENSY株式会社 所属 シニアエンジニア 「感性学習」「パーソナル人工知能」というコンセプトの製品の開発 BigQuery、Cloud Composer、Cloud AutoML…など、GCPを利用した データ処理や製品開発など （...今日はこの話はしません）
- 4.
- 5.
- 6.
- 7.
- 8. 当時のBigQuery界隈 ● 世間ではRedshiftと比較されることが多かった印象 ● 社内ではRedshift・Elasticsearch・MongoDB・BigQueryなどを使っていた ●パーティショニングができなかったので日毎のテーブルを作るのが一つの方法 だった
- 9.
- 10. 経緯 (1) 大量のゲームログの入っているテーブル を分割しようとした テーブルは月ごとに分かれていて、 各ロ グにはゲームのアクションなどに応じたタ グが振られていた それをタグごと・日ごとのテーブルに分割 しようとした timetag message 2015-01-01 00:00:00 quest {} 2015-01-01 00:00:00 event {} 2015-01-02 00:00:00 event {} time tag message 2015-01-01 00:00:00 quest {} time tag message 2015-01-01 00:00:00 event {} time tag message 2015-01-02 00:00:00 event {}
- 11. SELECT tag, time, message FROM <old table> WHERE tag =<tag name> AND time BETWEEN <start time> AND <end time>
- 12.
- 13.
- 14.
- 16.
- 17.
- 18.
- 19.
- 20.
- 21. 過剰に怖がらなくても良い ● BIツールや検索ツールを使っている ○ 重いクエリを何度も回してしまう確率を少なくできる ○必要なクエリが限られるのでキャッシュが効く ○ 余計な期間や列を検索しない ● 検索よりもストレージにかかる料金のほうが高かった ○ BIツールに組み込んだり、 ○ ディレクターやデータアナリストが分析で使ったりしていたにもかかわらず ● `for` 文で回すようなことをしないかぎり問題になるような量にはならない
- 22.
- 23.
- 24. 実運用への理解 ● 150万円使うだけのデータを集めるのは多くの個人や企業にとって難しい ● 単発のクエリでは問題になるレベルにはならない ●パーティショニングがあるので今はこのような操作をする必要がない（記事書い た直後に発表） ● 料金には上限を設定できる（記事書いた直後に発表）
- 25.
- 26.
- 27.
- 28. Googleがすごかった ユーザーに寄り添っている ● 今回の件のようなヒアリング ● StackOverflowなど、関連サイトもチェックしているらしい ●酒ゲーのような勉強会もユーザーと一緒に行っている いいサービスを作ろうとしていると感じる
- 29.
- 30.
- 31.
- 32.
- 33.
- 34. 料金 （asia-northeast1） アクティブ ストレージ $0.023per GB 長期保存 $0.016 per GB ストリーミング挿入 $0.012 per 200 MB クエリ（オンデマンド） $8.55 per TB https://cloud.google.com/bigquery/pricing?hl=ja
- 35. 無料枠 ● BigQueryへのデータのバッチ読み込み ● データのエクスポート ●削除 ○ テーブル ○ ビュー ○ パーティション ○ 関数 ○ データセット ● メタデータの操作 ● キャッシュされたクエリ ● エラーになるクエリ ● 1ヶ月あたりの最初の 10GBのストレージ ● 毎月最初の1TBのクエリ処理データ https://cloud.google.com/blog/products/data-analytics/cost-opt imization-best-practices-for-bigquery
- 36. 比較サービスはあまりない ● 多くのケースで、BigQueryは無料で使える可能性がある ● 保存容量や検索速度と、安さの両立は他サービスでは難しそう ○自分でインスタンスを建てるようなサービスで同じ機能を実現するのに相当な台数が必要 ● 比較対象はあまりない ● 長期間更新のないテーブルはストレージ料金も安くなる
- 37.
- 38. 便利 (1) ● BIツールなどたくさんのツールが対応している ●APIを使っていろいろなところから使える ● ライブラリも豊富 ● Googleサービスとの連携 ○ スプレッドシート ○ Google Analytics ○ その他 ● クエリの共有も容易（URLで共有できる）
- 39.
- 40. 便利 (2) ● 標準SQLが使えて、プログラマー以外も分析ができる ●権限がある限り、プロジェクトをまたいだ検索ができる ● 多少非効率なクエリを書いても、十分に早く結果が返ってくる
- 41.
- 42.
- 43. 費用管理 BigQueryに限らないが、Google Cloud Platformは「プロジェクト」という単位があ り、プロジェクトごとに費用がわかるので、ビジネス上の費用管理がしやすい。 同時にプロジェクトごとに権限管理もできるので、責任の範囲もコントロールできる。 権限がある限りプロジェクトをまたいでジョブ（クエリ）を実行することができる。 ※ ジョブ（クエリ）はプロジェクトに紐づく
- 44.
- 45.
- 46.
- 47.
- 48.
- 49.
- 50.
- 51.
- 52.