11/25 Big Query Study Jam

1. BigQuery Basics
GDSC NCU Core Team Member
@Ming-Yu Ku

2. Agenda
• 取得Qwiki Lab的Credit
• SQL基本指令介紹
• 實際操作資料庫
• 資料匯入、匯出
• 報表生成
wifi：immgt
password：6650066500

3. 有了Credit後，可以...
開始Start Lab了嗎？

4. 在這之前，先介紹資料庫的指令
這四個是最基本的，一定要記起來！
• SELECT 查詢
• INSERT 插入(新增)
• UPDATE 更新
• DELETE 刪除

5. 幾個名詞
資料表 (table)

6. 幾個名詞
欄位 (column)

7. 幾個名詞
列 (row)

8. SELECT
指令：SELECT * FROM 資料表名稱; 註：* 是指「查詢該資料表所有欄位」

9. INSERT
指令：INSERT INTO 資料表名稱 SET (欄位名稱) VALUES (資料);

10. UPDATE
指令：UPDATE 資料表名稱 SET bike_id=3793;

11. UPDATE 遇到問題
指令：UPDATE 資料表名稱 SET bike_id=3793;
3793
3793
3793
3793
3793
3793
3793
3793

12. UPDATE 加上WHERE
UPDATE 資料表名稱 SET bike_id=3793 WHERE rental_id=46915469;
3793

13. DELETE
指令：DELETE FROM 資料表名稱 WHERE rental_id=46915469;

14. 有了Credit後，可以開始玩了！
https://www.cloudskillsboost.google/focuses/2802?parent=catalog

15. 拿配發的帳密登入GCP
記得開無痕，比較不容易出錯

16. 拿配發的帳密登入GCP
看到這個介面就表示成功啦！

17. 進入BigQuery的介面

18. Import public dataset

19. Click “London Bicycle Hires”
可以先輸入london
減少搜尋花的時間

20. Click “View Dataset”

21. Expand “bigquery-public-data”

22. Find “london_bicycles”

23. Click “PREVIEW”

25. 用EDITOR下SQL指令

26. 用EDITOR來查end_station_id
SELECT end_station_id FROM bigquery-public-data.london_bicycles.cycle_hire;

27. 查詢出來的結果

28. 匯出查詢的結果

29. 查詢出來的結果

30. 再介紹一些資料庫的指令
這五個也會常用到喔~行有餘力的話可以記起來！
• GROUP BY
• COUNT
• AS
• ORDER BY
• LIMIT

31. GROUP BY 分組
SELECT start_station_name FROM
bigquery-public-data.london_bicycles.cycle_hire GROUP BY start_station_name;

32. COUNT
SELECT start_station_name, COUNT(*) FROM
bigquery-public-data.london_bicycles.cycle_hire GROUP BY start_station_name;

33. AS
SELECT start_station_name, COUNT(*) AS c FROM
bigquery-public-data.london_bicycles.cycle_hire GROUP BY start_station_name;

34. ORDER BY ASC(升) / DESC(降)
SELECT start_station_name, COUNT(*) AS c FROM
bigquery-public-data.london_bicycles.cycle_hire
GROUP BY start_station_name ORDER BY c DESC;

35. LIMIT
SELECT start_station_name, COUNT(*) AS c FROM
bigquery-public-data.london_bicycles.cycle_hire
GROUP BY start_station_name ORDER BY c DESC LIMIT 3;

36. Create Cloud SQL Instance
請到：Navigation menu > SQL > CREATE INSTANCE

37. Create Cloud SQL Instance
接著請為這個MySQL取個名字及設定登入的密碼

38. 等Instance建立好
建立這個要花一些時間，可以先中場休息一下

39. Before Import CSV …
要先建一個bucket才行，請到：Navigation menu > Cloud Storage > Browser

40. Create a bucket

41. Create a bucket
要取個獨一無二的bucket name，直接複製GCP Project ID也行

42. Bucket建立成功！

43. Upload之前匯出的csv

44. Upload完成會看到的樣子

45. Instance建立完成
看到綠色的勾勾就表示建立完成，接著請點選右上方的Active Cloud Shell

46. 進入Cloud Shell視窗
應該會在瀏覽器中看到像這樣的視窗，即表示開啟成功！

47. 透過Cloud Shell啟用帳號
請輸入指令：gcloud auth list

48. 透過Cloud Shell連線至MySQL
請輸入指令：gcloud sql connect 剛才設定MySQL的名字 --user=root

49. Create MySQL Database and Table
輸入指令：CREATE DATABASE bike;
USE bike;
CREATE TABLE london1 (start_station_name VARCHAR(255), num INT);
CREATE TABLE london2 (end_station_name VARCHAR(255), num INT);
輸入完成後
會看到這樣的畫面：

50. 測試資料表有沒有建立成功
輸入指令：SELECT * FROM london1;
SELECT * FROM london2;
輸入完成，會看到：
那如果輸入：
SELECT * FROM london3;
會發生什麼事？

51. Import CSV

52. Import CSV

53. Import CSV
先挑其中一個import即可，之後再重覆一次即可

54. Set Destination
填剛設定的資料表名稱，例如：london1、london2

55. 測試table是否有資料
輸入指令：SELECT * FROM london1; 或 SELECT * FROM london2;
輸入完成，會看到：

56. 把多餘的資料刪除
輸入指令：DELETE FROM london1 WHERE num=0;
DELETE FROM london2 WHERE num=0;
輸入完成，會看到：

57. 開始製作報表
請先至：https://script.google.com/，並建立一個新的專案

58. 點選服務 (Services)

59. 設定服務為「BigQuery API」

60. 請貼上程式碼到script
請到這裡複製：報表的程式碼，並貼到script的「Code.gs」

61. 修改一些設定
這個區塊
可改可不改

62. 修改完後應該會跟這樣很像

63. 開始生成報表囉~

64. 開始生成報表囉~

65. 開始生成報表囉~

66. 去雲端硬碟看報表
可以直接點這裡：https://drive.google.com/drive/my-drive

67. 報表完成！

68. Contact Us
按讚、訂閱、開啟小鈴鐺
還有表單記得填！

69. National Central University