Rとデータベースの連携 Google Bigqueryを使ってRへのデータインポート SQLとdplyrを利用

1. Rとデータベース
簑田 高志
2017/5/19
Tokyo.R #61

2. 目次

3. 1.自己紹介
2.データベースとは
3.Rからデータベースへ接続
4.SQLでデータを抜き出す
5.dplyrでデータを抜き出す
6.まとめ
* 特に断りの無い場合、スクリーンショット等はMacとなります

4. 自己紹介

5. • 名前 :簑田 高志
• Twitter :aad34210
• ブログ :http://pracmper.blogspot.com/
• 出身地 :熊本県
• 出身学部 :法学部
• 仕事 :E-commerceのアナリスト
インターネット広告のビジネスアナリスト

6. データベースとは

7. * https://ja.wikipedia.org/wiki/データベース
データベース（英: database, DB）とは、検索や
蓄積が容易にできるよう整理された情報の集まり。
通常はコンピュータによって実現されたものを指
すが、紙の住所録などをデータベースと呼ぶ場合
もある。コンピュータを使用したデータベース・
システムでは、データベース管理用のミドルウェ
アであるデータベース管理システムを使用する場
合も多い。

8. * https://rviews.rstudio.com/2017/05/17/databases-using-r/
データベースからデータをエクスポート、Rへインポートしてデー
タフレームに変換、R上で加工・解析
→ データのエクスポート、Rへのロードに時間が
かかってしまう

9. * https://rviews.rstudio.com/2017/05/17/databases-using-r/
データベース側のSQLエンジンを使ってある程度までは集計。
結果のみをR側に取得する
→ データのエクスポート、Rへのロードへの負荷
軽減

10. Rからデータベースへ接続

11. 今回使うデータベースは

12. 今回使うPackageは
•bigrquery
•dplyr

13. 始める前にGoogle Cloud Platformでアカウントを開設、プロジェクトを作成
しておいてください

14. Rからデータベースへ接続

15. Rに以下のコードを入力
# Packages
install.packages("bigrquery")
install.packages("dplyr")
library(bigrquery)
library(dplyr)

16. SQLでデータを抜き出す

17. Rに以下のコードを入力
## 接続情報（プロジェクトID）
prj <- “**********"
samp_sql <- "SELECT count(*) FROM
[bigquery-public-data:noaa_gsod.gsod1929]"
## SQLを投げる
query_exec(samp_sql , project = prj)

18. 初回に実行をすると、認証を求められます
> query_exec(samp_sql , project = prj)
Use a local file ('.httr-oauth'), to cache OAuth
access credentials between R sessions?
1: Yes
2: No
Selection: Yes

19. 以下のURLをブラウザに入力
Adding .httr-oauth to .gitignore
httpuv not installed, defaulting to out-of-band
authentication
Please point your browser to the following url:
https://accounts.google.com/o/oauth2/auth?clien
t_id=*************************

20. この画像が出てくるので、「許可」をクリック

21. 改めてquery_exec()を実行
> query_exec(samp_sql , project = prj)
Auto-refreshing stale OAuth token.
f0_
1 2081

22. 改めてquery_exec()を実行

23. dplyrでデータを抜き出す

24. 続いてdplyrでデータを抽出する
## src_bigquery()を使って説情報を入力。billingはプロジェクトIDを指定
## 第一、二引数はBigQueryのコンソールから適当に指定
gb <- src_bigquery("lookerdata" , "cdc" , billing = “*********")
## dplyrを使って項目確認
gb %>% tbl("project_tycho_reports") %>% head()
epi_week state loc loc_type disease cases incidence_per_100000
<int> <chr> <chr> <chr> <chr> <chr> <dbl>
1 199329 IA IOWA STATE PERTUSSIS 0 0
2 199330 IA IOWA STATE PERTUSSIS 0 0
3 199336 IA IOWA STATE PERTUSSIS 0 0
4 199342 IA IOWA STATE PERTUSSIS 0 0
5 199343 IA IOWA STATE PERTUSSIS 0 0
6 199344 IA IOWA STATE PERTUSSIS 0 0

25. summariseを使って集計してみる
## summariseを使って集計
gb %>% tbl("project_tycho_reports") %>% select(epi_week) %>%
summarise(n = n())
Source: query [?? x 1]
Database: bigquery [lookerdata:cdc]
n
<int>
1 759467

26. summariseを使ってデータフレームを作ってみる
## summariseを使って集計（データフレームへ）
bb <- gb %>% tbl("project_tycho_reports") %>% group_by(loc) %>%
summarise(n = n()) %>% as.data.frame()

27. BigQueryのエディタを使って確認
同じ数字がでていることを確認できた
件数は
166件

28. まとめ

29. • BigQueryを使う際にはプロジェクトIDが必要
• 一番最初は認証が必要（URLアクセスするだ
け）
• query_exec([SQL] , project = [プロジェクトID])
でSQLの実行
• src_bigquery()で接続情報設定
• 接続情報+ｔｂｌ（テーブル名）+dplyrで集計
• 接続情報+ｔｂｌ（テーブル名）
+dplyr+as.data.frame
でR上ででデータフレーム作成

30. Enjoy!

31. Appendix

32. • 経験上、複雑なデータモデル（Joinを多数利
用）を使って分析する場合、ｄｐｌｙｒで対応
できない可能性が高い
• （思った挙動にならない、DBサーバーに高い
負荷をかけてしまう）
• 分析用のデータセットを事前に作成しておいて、
それをｄｐｌｙｒで操作するほうが良い方法