Google BigQuery introduction

1,372 views

Published on

Google Cloud Platforn - BigQuery簡介

Published in: Technology
0 Comments
3 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
1,372
On SlideShare
0
From Embeds
0
Number of Embeds
9
Actions
Shares
0
Downloads
33
Comments
0
Likes
3
Embeds 0
No embeds

No notes for slide

Google BigQuery introduction

  1. 1. Big uery Simon @ MiCloud
  2. 2. 資料 - The new Oil 翟本喬: ● 存得起來的,叫做 Storage (儲存) ● 看得到的,叫做Data (資 料) ● 看得懂的,叫做 Information (資訊) ● 用得出來的,才能夠叫做 Intelligent (智慧)
  3. 3. 資訊觀念已經改變
  4. 4. AP002 AP... APxyz RPT01 Data Warehouse COST!!! OLAP / Mining / Customize... AP001 Backup / House Keeping / Integrate... 傳統的大量資料做法 - Data Mining RPT02 RPT... RPTn
  5. 5. 現在的大量資料做法 - Hadoop COST!!! COST!!! Latency!!!
  6. 6. 其實技術淵源自Google
  7. 7. BigQuery做到了什麼 ● ● ● ● ● ● ● TB等級資料分析 最快速的資料探勘方式 SQL-like查詢語法 跨多個資料集合交互查詢 便宜、依使用量付費 及時回應、批次查詢 各式開發工具支援、Google Apps 整合
  8. 8. Google安全性與隱私權申明 ● 安全與隱私權總覽:https://support.google. com/a/answer/60762 ● 政策與原則 - 隱私權政策:http://www.google. com/policies/privacy/ ● SSAE 16 & ISAE 3402 Type II稽核
  9. 9. BigQuery的資料匯流 ● ● ● BigQuery ● JSON, CSV格式輸入 資料串流輸入 CloudStorage服務儲存體串聯 AppEngine記錄日誌串聯
  10. 10. 開發與支援工具 ● ● ● ● ● ● ● 網頁管理介面 指令列工具- bq指令 Apps Script支援 REST API SDK (client libraries) 第三方工具 第三方服務提供商
  11. 11. BigQuery架構延伸 Strategy Support Applications Apps Script AppEngine Datastore Cloud Storage AppEngine Log BigQuery Warehouse
  12. 12. Case Study - Boo-box 需求 : ● 實現一個強大的數據分析工具,迅速洞察廣告分佈。 ● 更有效地定位廣告來服務顧客。 ● 避免增加機械和專職工作人員 使用: ● 選擇BigQuery中google龐大的數據處理基礎設施的優勢 ● 使用簡單類似SQL的語言分析大數據集 ● 每月從分析上市350,000的blog和網站廣告的效果來改善目標 改善: ● 在五秒鐘內分析數十億行數據 ● 每年避免了需要購買額外的設備或工作人員 ● 改進決策、客戶服務和廣告支出詳細的報告
  13. 13. Case Study - SongPop 需求: ● 6人團隊,僅一人全職後端。 ● 每天需要處理和分配17TB的音樂和圖片。 使用: ● ● ● Google App Engine:節省設備採購及人力需求 Google Cloud Storage:儲存遊戲、音樂及影片檔案 Google BigQuery:分析及歸納遊戲使用資訊 改善: ● ● ● 僅需一位全職後端即可支援超過 6千萬用戶 僅需專注軟體安全,其他網路及作業系統安全由 Google負責 採用GAE後節省系統及資安硬體採購之維護成本
  14. 14. END http://cloud.google.com

×