Download free for 30 days
Sign in
Upload
Language (EN)
Support
Business
Mobile
Social Media
Marketing
Technology
Art & Photos
Career
Design
Education
Presentations & Public Speaking
Government & Nonprofit
Healthcare
Internet
Law
Leadership & Management
Automotive
Engineering
Software
Recruiting & HR
Retail
Sales
Services
Science
Small Business & Entrepreneurship
Food
Environment
Economy & Finance
Data & Analytics
Investor Relations
Sports
Spiritual
News & Politics
Travel
Self Improvement
Real Estate
Entertainment & Humor
Health & Medicine
Devices & Hardware
Lifestyle
Change Language
Language
English
Español
Português
Français
Deutsche
Cancel
Save
Submit search
EN
Uploaded by
Kumano Ryo
PPTX, PDF
3,550 views
RDBのDBAから見た GCP Managed Database
第21回 中国地方DB勉強会 in 山口 (2017/08/26)
Technology
◦
Read more
4
Save
Share
Embed
Embed presentation
Download
Downloaded 14 times
1
/ 51
2
/ 51
3
/ 51
4
/ 51
5
/ 51
6
/ 51
7
/ 51
8
/ 51
9
/ 51
10
/ 51
11
/ 51
12
/ 51
13
/ 51
14
/ 51
15
/ 51
16
/ 51
17
/ 51
18
/ 51
19
/ 51
20
/ 51
21
/ 51
22
/ 51
23
/ 51
24
/ 51
25
/ 51
26
/ 51
27
/ 51
28
/ 51
29
/ 51
30
/ 51
31
/ 51
32
/ 51
33
/ 51
34
/ 51
35
/ 51
36
/ 51
37
/ 51
38
/ 51
39
/ 51
40
/ 51
41
/ 51
42
/ 51
43
/ 51
44
/ 51
45
/ 51
46
/ 51
47
/ 51
48
/ 51
49
/ 51
50
/ 51
51
/ 51
More Related Content
PPTX
Cloud Identity-Aware Proxy
by
Kumano Ryo
PDF
元OracleMasterPlatinumがCloudSpanner触ってみた
by
Kumano Ryo
PDF
SQLおじさん(自称)がBigQueryのStandard SQLを使ってみた
by
Kumano Ryo
PDF
Chugoku db 20th-postgresql-10-pub
by
Toshi Harada
PDF
Oratopostgres-hiroshima
by
Kosuke Kida
PDF
PostgreSQLレプリケーション(pgcon17j_t4)
by
Kosuke Kida
PPTX
GoogleCloudPlatform概要
by
Kumano Ryo
PDF
[Postgre sql9.4新機能]レプリケーション・スロットの活用
by
Kosuke Kida
Cloud Identity-Aware Proxy
by
Kumano Ryo
元OracleMasterPlatinumがCloudSpanner触ってみた
by
Kumano Ryo
SQLおじさん(自称)がBigQueryのStandard SQLを使ってみた
by
Kumano Ryo
Chugoku db 20th-postgresql-10-pub
by
Toshi Harada
Oratopostgres-hiroshima
by
Kosuke Kida
PostgreSQLレプリケーション(pgcon17j_t4)
by
Kosuke Kida
GoogleCloudPlatform概要
by
Kumano Ryo
[Postgre sql9.4新機能]レプリケーション・スロットの活用
by
Kosuke Kida
What's hot
PDF
トレジャーデータ 導入体験記 リブセンス編
by
Kentaro Yoshida
PPTX
gcpug_okinawa_#2_hiroshi_kawakami
by
Hiroshi Kawakami
PDF
Touch the mahout
by
Makoto Uehara
PPTX
Pysparkで始めるデータ分析
by
Tanaka Yuichi
PDF
サーバーサイドボトルネックの探し方
by
Yugo Shimizu
PDF
20140120 presto meetup
by
Ogibayashi
PDF
Chugoku db 17th-postgresql-9.6
by
Toshi Harada
PDF
Oss x user_meeting_6_postgres
by
Kosuke Kida
PPTX
EmbulkとDigdagとデータ分析基盤と
by
Toru Takahashi
PDF
爆速クエリエンジン”Presto”を使いたくなる話
by
Kentaro Yoshida
PPTX
データ履歴管理のためのテンポラルデータモデルとReladomoの紹介 #jjug_ccc #ccc_g3
by
Hiroshi Ito
PPTX
Gcpug tokyo february 2016
by
Makoto Uehara
PDF
JAWS-UG三都物語 クラウドとデバイスが連携するアジェンダ
by
Kenichi Yoshida
PPTX
DocumentDBクイックスタート(開発現場編)
by
Kazuyuki Miyake
PPTX
Azure Functionsを業務利用する時の勘所
by
裕之 木下
PDF
PostgreSQLでスケールアウト
by
Masahiko Sawada
PDF
Yahoo! JAPANのOracle構成-2017年版
by
Yahoo!デベロッパーネットワーク
PDF
【14-B-2】グリーを支えるデータ分析基盤の過去と現在(橋本泰一〔グリー〕)
by
Developers Summit
PDF
Drupal補完計画
by
Kuniyoshi Tone
PPTX
Gruntでjava script前作業の自動化!
by
Tanaka Yuichi
トレジャーデータ 導入体験記 リブセンス編
by
Kentaro Yoshida
gcpug_okinawa_#2_hiroshi_kawakami
by
Hiroshi Kawakami
Touch the mahout
by
Makoto Uehara
Pysparkで始めるデータ分析
by
Tanaka Yuichi
サーバーサイドボトルネックの探し方
by
Yugo Shimizu
20140120 presto meetup
by
Ogibayashi
Chugoku db 17th-postgresql-9.6
by
Toshi Harada
Oss x user_meeting_6_postgres
by
Kosuke Kida
EmbulkとDigdagとデータ分析基盤と
by
Toru Takahashi
爆速クエリエンジン”Presto”を使いたくなる話
by
Kentaro Yoshida
データ履歴管理のためのテンポラルデータモデルとReladomoの紹介 #jjug_ccc #ccc_g3
by
Hiroshi Ito
Gcpug tokyo february 2016
by
Makoto Uehara
JAWS-UG三都物語 クラウドとデバイスが連携するアジェンダ
by
Kenichi Yoshida
DocumentDBクイックスタート(開発現場編)
by
Kazuyuki Miyake
Azure Functionsを業務利用する時の勘所
by
裕之 木下
PostgreSQLでスケールアウト
by
Masahiko Sawada
Yahoo! JAPANのOracle構成-2017年版
by
Yahoo!デベロッパーネットワーク
【14-B-2】グリーを支えるデータ分析基盤の過去と現在(橋本泰一〔グリー〕)
by
Developers Summit
Drupal補完計画
by
Kuniyoshi Tone
Gruntでjava script前作業の自動化!
by
Tanaka Yuichi
Viewers also liked
PDF
インフラエンジニアのこれまでとこれから
by
Kumano Ryo
PDF
福岡クラウドUG-BigQuery
by
Wasaburo Miyata
PDF
GitHubとクラスメソッド勉強会資料_DevOpsとAWS
by
淳 千葉
PDF
Googleのインフラ技術に見る基盤標準化とDevOpsの真実
by
Etsuji Nakai
PDF
Google Container Engine (GKE) & Kubernetes のアーキテクチャ解説
by
Samir Hammoudi
PDF
英語が苦手な人もre:Inventを乗り切れるか?
by
友香 木村
PPTX
Zabbixによるオートスケーリングクラスタ監視とオペレーション自動化
by
真乙 九龍
PDF
こわくない Git
by
Kota Saito
PDF
PRML11.2-11.3
by
Etsuji Nakai
PDF
Semi-Supervised Classification with Graph Convolutional Networks @ICLR2017読み会
by
Eiji Sekiya
PDF
ICLR読み会 奥村純 20170617
by
Jun Okumura
PDF
[ICLR2017読み会 @ DeNA] ICLR2017紹介
by
Takeru Miyato
PDF
ICLR2017読み会 Data Noising as Smoothing in Neural Network Language Models @Dena
by
Takanori Nakai
PDF
言葉のもつ広がりを、モデルの学習に活かそう -one-hot to distribution in language modeling-
by
Takahiro Kubo
PPTX
医療データ解析界隈から見たICLR2017
by
RIKEN, Medical Sciences Innovation Hub Program (MIH)
PDF
170614 iclr reading-public
by
Katsuhiko Ishiguro
PPTX
当たり前を当たり前に:Agile2017レポート
by
LINE Corporation
PDF
インフラエンジニアってなんでしたっけ(仮)
by
Akihiro Kuwano
PDF
Q prop
by
Reiji Hatsugai
PPTX
AI and Machine Learning Demystified by Carol Smith at Midwest UX 2017
by
Carol Smith
インフラエンジニアのこれまでとこれから
by
Kumano Ryo
福岡クラウドUG-BigQuery
by
Wasaburo Miyata
GitHubとクラスメソッド勉強会資料_DevOpsとAWS
by
淳 千葉
Googleのインフラ技術に見る基盤標準化とDevOpsの真実
by
Etsuji Nakai
Google Container Engine (GKE) & Kubernetes のアーキテクチャ解説
by
Samir Hammoudi
英語が苦手な人もre:Inventを乗り切れるか?
by
友香 木村
Zabbixによるオートスケーリングクラスタ監視とオペレーション自動化
by
真乙 九龍
こわくない Git
by
Kota Saito
PRML11.2-11.3
by
Etsuji Nakai
Semi-Supervised Classification with Graph Convolutional Networks @ICLR2017読み会
by
Eiji Sekiya
ICLR読み会 奥村純 20170617
by
Jun Okumura
[ICLR2017読み会 @ DeNA] ICLR2017紹介
by
Takeru Miyato
ICLR2017読み会 Data Noising as Smoothing in Neural Network Language Models @Dena
by
Takanori Nakai
言葉のもつ広がりを、モデルの学習に活かそう -one-hot to distribution in language modeling-
by
Takahiro Kubo
医療データ解析界隈から見たICLR2017
by
RIKEN, Medical Sciences Innovation Hub Program (MIH)
170614 iclr reading-public
by
Katsuhiko Ishiguro
当たり前を当たり前に:Agile2017レポート
by
LINE Corporation
インフラエンジニアってなんでしたっけ(仮)
by
Akihiro Kuwano
Q prop
by
Reiji Hatsugai
AI and Machine Learning Demystified by Carol Smith at Midwest UX 2017
by
Carol Smith
RDBのDBAから見た GCP Managed Database
1.
https://gcpug.jp RDBのDBAから見た GCP Managed Database (Cloud
SQL / Big Query) 熊野 良(Ryo Kumano) 第21回 中国地方DB勉強会 in 山口 (2017/08/26)
2.
https://gcpug.jp - 本スライドは発表後、アップロードします。 - レイアウト崩れや明らかに間違った表現などは 修正後にアップロードをする場合があります。 -
基本的に自分で触って経験した内容を 発表させていただきます。 - H/W構成など、いわゆる「クラウドの向こう側」は 別途公開されている資料などを参照ください。 最初に
3.
https://gcpug.jp 熊野 良 (Ryo
Kumano) Twitter: @ryok0607 2014/06 〜 株式会社グルーヴノーツ(福岡) - 肩書:『サーバエンジニア・DBエンジニア』 -> 『クラウドエンジニア』 実務で触ったRDB(GCP Managed DB以外) - Oracle Database: 7.3.4 / 8.1 / 9.0.1 / 9.2 / 10.1 / 10.2 / 11.2 - MySQL: 4.0 / 5.1 / 5.5 / 5.6 過去に携わったDB関連業務 - DBA (動画配信サイト・ブログ・ソシャゲ / 営業支援ツール・大学講義履修) - Oracle Database サポートエンジニア - SI (DB設計・構築・コンサル) 自己紹介
4.
https://gcpug.jp 2点 宣伝させてください。 早速ですいませんが
5.
https://gcpug.jp 宣伝 その1
6.
https://gcpug.jp GoogleCloudPlatform 略してGCP 使ってますか?? 宣伝 その1
7.
https://gcpug.jp 情報収集 どうすればいいの? GCP、興味あるし使いたいけど...
8.
https://gcpug.jp GCPUG Google Cloud Platform
User Group https://gcpug.jp Slack: GCPUG Slack entry form (Google Forms) https://docs.google.com/forms/d/e/1FAIpQLScYxAGwuosFFNvH-5yOj-_p-pAKdqZpmM2cgKh9Q8Zu6531Bw/viewform GCPのユーザコミュニティがあるらしい
9.
https://gcpug.jp https://gcpug-hiroshima.connpass.com/ 中国地方には広島にある!
10.
https://gcpug.jp https://plus.google.com/communities/115366422273280046817 そして、岡山にもある!
11.
https://gcpug.jp https://gcpugfukuoka.connpass.com/ 福岡にもあるよ!
12.
https://gcpug.jp 宣伝 その2
13.
https://gcpug.jp 機械学習による様々な分析 - 需要予測 - 分類予測 -
画像解析 - 音声解析 - 言語翻訳 - 自然言語解析 もっと簡単に使いたいなぁ。。。 機械学習(ML)に興味あるんだけど
14.
https://gcpug.jp https://www.magellanic-clouds.com MAGELLAN BLOCKS
15.
https://gcpug.jp ここから本題
16.
https://gcpug.jp GCP Managed Database -
RDBのDBAから見た Cloud SQL - RDBのDBAから見た BigQuery Agenda
17.
https://gcpug.jp RDBのDBAから見た Cloud SQL
18.
https://gcpug.jp フルマネージドの MySQL および PostgreSQL
の データベース サービス (https://cloud.google.com/sql/?hl=ja より) PostgreSQLは2017/8/26現在はbeta Cloud SQL とは
19.
https://gcpug.jp レプリケーション、管理、バックアップで ユーザーの操作が不要になり、デベロッパーは 他の作業に時間を充てることができます。 (https://cloud.google.com/sql/?hl=ja より) ユーザーの操作? 他の作業? 「フルマネージド」とは
20.
https://gcpug.jp 操作が不要な訳ではない。 ALTER文やツール(mysqldump)ではなく ブラウザベースの画面(CloudConsole)から レプリケーション・管理・バックアップを 実施することが可能。 ユーザの操作が不要、とは
21.
https://gcpug.jp - スキーマ・テーブル設計/構築/メンテナンス - DBチューニング -
セキュリティ といった DBA本来の業務に注力できる! 他の作業、とは
22.
https://gcpug.jp Instanceあたり ●vCPU:32core ●RAM:208GB ●SSD:10TB まで搭載可能。 https://cloud.google.com/sql/pricing?hl=en#2nd-gen-instance-pricing Machine Type(H/Wスペック)
23.
https://gcpug.jp db-n1-highmem16 (vCPU:16core / RAM:104GB)で測定。 パフォーマンスは?(sysbenchで測定) Qiita:
Amazon Auroraと同じbenchmark testをGoogle Cloud SQLでやってみた http://qiita.com/kumanoryo/items/7141cbe4fe4d0a6f1de4
24.
https://gcpug.jp Read Replica 参照専用のCloud SQL
Instance いわゆるMySQLの Slave Database Failover Replica ホットスタンバイのCloud SQL Instance MasterDB障害検知・コマンド発行で切り替え Replication
25.
https://gcpug.jp Read Replica Read Replicaを追加するケース アクセス過多によるDB高負荷が発生している QPSがサービス要件を満たせない CPU(user)の高騰 コネクション数過多によるメモリ不足
26.
https://gcpug.jp Read Replica ダメなRead Replica追加例 Read
Replicaを1台だけ追加するのはダメ、絶対! Masterの負荷は下がったがRead Replicaの負荷が増設前と同等 増設前のMasterと同等の負荷
27.
https://gcpug.jp Read Replica 理想のRead Replica追加例 readが分散されるようRead
Replicaを 複数台構築。 Read Replicaが2台の場合 1台が応答不能になると 前述のダメな状態になるので 3台以上で構築する必要がある。
28.
https://gcpug.jp Failover Replica Failover Replicaを追加するケース サービスの停止が許されない環境 Master障害時にStandbyしているCloudSQLに切り替える MasterがSPOF(単一障害点)
29.
https://gcpug.jp Failover Replica Failover Replicaの追加例 障害発生時やメンテナンス時にMasterが切り替わってくれる
30.
https://gcpug.jp 昔はAPIでしかFailoverできなかったが gcloudコマンドでfailoverを手動で実行できる。 手動でFailoverさせる方法 $ gcloud sql
instances failover INSTANCE https://cloud.google.com/sdk/gcloud/reference/sql/instances/failover
31.
https://gcpug.jp 注意 オンプレミスのMySQLと ここが違う!
32.
https://gcpug.jp rootにSUPER権限がないので - sessionのkillができない。 - app用DBアカウントでログインしてkillする運用。 -
change master コマンドが実行できない。 - 手動オペレーションによるslave設定不可。 - Cloud SQLをmaster / 他環境をslaveは可能。 - Auroraをmaster / Cloud SQLをslaveにしたい。 rootにSUPER権限がない
33.
https://gcpug.jp replication中に select now() from
dual を実行し、応答有無を測定。 10回測定したところ - replication直後 - 50-80secの間 にそれぞれ応答が無い時間帯 があることがわかった。 Failover時に応答できないタイミングがある replication直後 20-30sec応答なし 5-10sec応答なし
34.
https://gcpug.jp RDBのDBAから見た Big Query
35.
https://gcpug.jp フルマネージド の エンタープライズ 向け アナリティクス
データ ウェアハウス です。 (https://cloud.google.com/bigquery/?hl=ja) より Big Query とは
36.
https://gcpug.jp - H/W障害対応作業 - オンプレだったら数百台規模のnodeやdiskを管理 -
毎月何かしらH/W交換するのしんどい - H/W増設作業 - オンプレの場合、データが増えてくるとnodeやdiskの 増設作業が発生する場合がある - サーバーラックに設置位置を決めるパズルは勘弁 フルマネージド・サーバーレスであることのメリット
37.
https://gcpug.jp BigQueryは大量のH/W管理作業から 解放される! データサイズもGB・TBはもちろん PBでもドンとこい! フルマネージド・サーバーレスであることのメリット
38.
https://gcpug.jp SQL:2011に準拠しているので DBAで培ったSQLスキルをBigQueryで使える。 機能(一部) - with句 - select句やwhere句でのサブクエリ -
相関サブクエリ(EXISTS) - ユーザ定義関数 SQL:2011 に準拠している
39.
https://gcpug.jp BigQueryはサーバレスなのでH/Wリソースを管 理・監視する必要がない。 故に 「誰だよ本番マスタDBに重いクエリ流した奴!」 っていうDBA警察をやる必要がなくなる。 Replication遅延もないしシステムも止まらない。 クソクエリを流してもシステムが落ちることがない
40.
https://gcpug.jp 注意 オンプレミス・クラウドの RDBとここが違う!
41.
https://gcpug.jp 料金体系はクエリとデータ量で課金される
42.
https://gcpug.jp 複雑なクエリだとさらに費用がかかることも
43.
https://gcpug.jp 非正規形にして一つのデータの中に複数行とか BigQueryではよくある。 JOINを避けて料金を抑えるテクニック。 RDBに慣れてると非常に違和感を感じる。 あと取得用のSQLがパッと出てこない。 正規化をしないという選択
44.
https://gcpug.jp OLTP用途のDBではないので、チューニングで速 度を稼ぐ、という事はやらない。(できない) 同じクエリでも実行速度はバラバラで、 連続で実行しても10sec単位で違うこともある。 チューニングで速度をあげる概念がない
45.
https://gcpug.jp BigQueryのコンセプトが H/Wを並べて力技(フルスキャン) という理由からかIndexがない。 前述のとおり速度チューニングの概念がないので そういうものだと割り切る。 tableにIndexがない
46.
https://gcpug.jp https://cloud.google.com/bigquery/docs/reference/standard-sql/data-manipulation-language#quotas DML文の実行回数制限(quota)がある
47.
https://gcpug.jp オペミスしてもROLLBACKできないよ! やるときは腹を括って実行しましょう。 transactionがない
48.
https://gcpug.jp GCPの無料トライアルを開始した時点で BigQueryのサンプルデータも触れる状態になっています。 ぜひBigQueryを触ってみて体験してみてください。 無料トライアル ($300/最大12ヶ月有効) https://cloud.google.com/free/?hl=ja ウェブ UI
を使用したクイックスタート https://cloud.google.com/bigquery/quickstart-web-ui BigQueryを触ってみよう
49.
https://gcpug.jp https://cloud.google.com/bigquery/sample-tables BigQueryのサンプルテーブル一覧
50.
https://gcpug.jp サンプル:シェイクスピアの作品から単語と数を格納
51.
https://gcpug.jp Thank You!
Download