SlideShare a Scribd company logo
1 of 18
Download to read offline
窮⼈人的BigQuery
Pycon 2014 PAC
1
Shih-En(NNNN)
⺫⽬目前是112 ⼯工科海洋所碩⼆二⽣生
QSearch 碼農
短暫的窮短暫的
review⼀一下事實...
Python is simple
⼤大家開始參與Big Data
Real-Time越來越重要
最好可以視覺化
參與Data Analysis
就要⽤用Python
1.row還不少, 但整體資料不⼤大
2.我不會(想)架Spark...
3.我不會(想)實作indexing program
4.我只想趕快洞察數據(我不會
D3.js)
對於新⼿手⽽而⾔言, 處理Data 時:
Google BigQuery
1.在幾秒鐘之內,便能從數 TB ⼤大⼩小的
資料集中找出所需資料。
2.BigQuery 可視需要擴充且簡單易⽤用,
可在短時間內提供您資料的分析數據。
Medium Data?
Google Analytics
Collection Processing Reporting
Collection Processing Reporting
Config
Querying
(regex supported)
- Visualization
- Alerts
- Collaboration
Index field
Real-time Collector

(Server-side,Client side)
CSV file
!
• 200,000 hits per user per day
• 10 million hits per month per
property
• 10GB Storage per
property(Non Premium).
!
• $0.005 (per GB processed)
• $0.026 (per GB/month)
Python 做了什麼?
Thank you.!
!
!

More Related Content

Viewers also liked

Combo8 第一天上雲端好嗎?
Combo8 第一天上雲端好嗎?Combo8 第一天上雲端好嗎?
Combo8 第一天上雲端好嗎?Shih-En Chou
 
2013 年多媒體網路期末專題
2013 年多媒體網路期末專題2013 年多媒體網路期末專題
2013 年多媒體網路期末專題Shih-En Chou
 
尋解式組織變革-Solution Focused Organization Change
尋解式組織變革-Solution Focused Organization Change尋解式組織變革-Solution Focused Organization Change
尋解式組織變革-Solution Focused Organization Change士杰 戴
 
幸福是什麼呢? Quotes from "Bonheur,c’est quoi?"
幸福是什麼呢? Quotes from "Bonheur,c’est quoi?"幸福是什麼呢? Quotes from "Bonheur,c’est quoi?"
幸福是什麼呢? Quotes from "Bonheur,c’est quoi?"士杰 戴
 
精華摘要:抱歉,我搞砸了你的公司 Quotes from "I’m Sorry I Broke Your Company When Management ...
精華摘要:抱歉,我搞砸了你的公司 Quotes from "I’m Sorry I Broke Your Company When Management ...精華摘要:抱歉,我搞砸了你的公司 Quotes from "I’m Sorry I Broke Your Company When Management ...
精華摘要:抱歉,我搞砸了你的公司 Quotes from "I’m Sorry I Broke Your Company When Management ...士杰 戴
 
策略企劃手法:如何撰寫策略故事
策略企劃手法:如何撰寫策略故事策略企劃手法:如何撰寫策略故事
策略企劃手法:如何撰寫策略故事士杰 戴
 
0521 Google AdWords基礎認證考試
0521 Google AdWords基礎認證考試0521 Google AdWords基礎認證考試
0521 Google AdWords基礎認證考試Kuan-hsin Lin
 
Adwords入門測驗 2015/8 考題分享
Adwords入門測驗 2015/8 考題分享Adwords入門測驗 2015/8 考題分享
Adwords入門測驗 2015/8 考題分享綐笙 蕭
 
Mobile game broadcasting for android
Mobile game broadcasting for androidMobile game broadcasting for android
Mobile game broadcasting for androidLIVEhouse.in
 
Facebook 精準廣告行銷術
Facebook 精準廣告行銷術Facebook 精準廣告行銷術
Facebook 精準廣告行銷術煜庭 邱
 
接受不完美的勇氣:佳句摘錄 Quotes from アルフレッド・アドラー 人生に革命が起きる100の言葉
接受不完美的勇氣:佳句摘錄 Quotes from アルフレッド・アドラー 人生に革命が起きる100の言葉接受不完美的勇氣:佳句摘錄 Quotes from アルフレッド・アドラー 人生に革命が起きる100の言葉
接受不完美的勇氣:佳句摘錄 Quotes from アルフレッド・アドラー 人生に革命が起きる100の言葉士杰 戴
 
精華摘要:哈佛最受歡迎的行銷課 Quotes from "Different: Escaping the Competitive Herd"
精華摘要:哈佛最受歡迎的行銷課 Quotes from "Different: Escaping the Competitive Herd"精華摘要:哈佛最受歡迎的行銷課 Quotes from "Different: Escaping the Competitive Herd"
精華摘要:哈佛最受歡迎的行銷課 Quotes from "Different: Escaping the Competitive Herd"士杰 戴
 
Google Analytics 網站分析: 學習心得分享
Google Analytics 網站分析: 學習心得分享Google Analytics 網站分析: 學習心得分享
Google Analytics 網站分析: 學習心得分享Bob Chao
 
不競爭的品牌個案研討:有時要贏得市場,就得放棄死盯著對手做改善
不競爭的品牌個案研討:有時要贏得市場,就得放棄死盯著對手做改善不競爭的品牌個案研討:有時要贏得市場,就得放棄死盯著對手做改善
不競爭的品牌個案研討:有時要贏得市場,就得放棄死盯著對手做改善士杰 戴
 
戴語錄(一) 勵志篇 Quotes of Mr.Dai
戴語錄(一) 勵志篇 Quotes of Mr.Dai戴語錄(一) 勵志篇 Quotes of Mr.Dai
戴語錄(一) 勵志篇 Quotes of Mr.Dai士杰 戴
 
戴語錄(二)生活(職場/愛情/人際關係)篇 Quotes of Mr.Dai
戴語錄(二)生活(職場/愛情/人際關係)篇 Quotes of Mr.Dai戴語錄(二)生活(職場/愛情/人際關係)篇 Quotes of Mr.Dai
戴語錄(二)生活(職場/愛情/人際關係)篇 Quotes of Mr.Dai士杰 戴
 
搶進美食街 年賺一千萬:心得摘要
搶進美食街 年賺一千萬:心得摘要搶進美食街 年賺一千萬:心得摘要
搶進美食街 年賺一千萬:心得摘要士杰 戴
 

Viewers also liked (20)

Combo8 第一天上雲端好嗎?
Combo8 第一天上雲端好嗎?Combo8 第一天上雲端好嗎?
Combo8 第一天上雲端好嗎?
 
陳小白先生 數位行銷職涯心得
陳小白先生 數位行銷職涯心得陳小白先生 數位行銷職涯心得
陳小白先生 數位行銷職涯心得
 
2013 年多媒體網路期末專題
2013 年多媒體網路期末專題2013 年多媒體網路期末專題
2013 年多媒體網路期末專題
 
尋解式組織變革-Solution Focused Organization Change
尋解式組織變革-Solution Focused Organization Change尋解式組織變革-Solution Focused Organization Change
尋解式組織變革-Solution Focused Organization Change
 
幸福是什麼呢? Quotes from "Bonheur,c’est quoi?"
幸福是什麼呢? Quotes from "Bonheur,c’est quoi?"幸福是什麼呢? Quotes from "Bonheur,c’est quoi?"
幸福是什麼呢? Quotes from "Bonheur,c’est quoi?"
 
精華摘要:抱歉,我搞砸了你的公司 Quotes from "I’m Sorry I Broke Your Company When Management ...
精華摘要:抱歉,我搞砸了你的公司 Quotes from "I’m Sorry I Broke Your Company When Management ...精華摘要:抱歉,我搞砸了你的公司 Quotes from "I’m Sorry I Broke Your Company When Management ...
精華摘要:抱歉,我搞砸了你的公司 Quotes from "I’m Sorry I Broke Your Company When Management ...
 
策略企劃手法:如何撰寫策略故事
策略企劃手法:如何撰寫策略故事策略企劃手法:如何撰寫策略故事
策略企劃手法:如何撰寫策略故事
 
0521 Google AdWords基礎認證考試
0521 Google AdWords基礎認證考試0521 Google AdWords基礎認證考試
0521 Google AdWords基礎認證考試
 
Adwords入門測驗 2015/8 考題分享
Adwords入門測驗 2015/8 考題分享Adwords入門測驗 2015/8 考題分享
Adwords入門測驗 2015/8 考題分享
 
Mobile game broadcasting for android
Mobile game broadcasting for androidMobile game broadcasting for android
Mobile game broadcasting for android
 
Facebook 精準廣告行銷術
Facebook 精準廣告行銷術Facebook 精準廣告行銷術
Facebook 精準廣告行銷術
 
接受不完美的勇氣:佳句摘錄 Quotes from アルフレッド・アドラー 人生に革命が起きる100の言葉
接受不完美的勇氣:佳句摘錄 Quotes from アルフレッド・アドラー 人生に革命が起きる100の言葉接受不完美的勇氣:佳句摘錄 Quotes from アルフレッド・アドラー 人生に革命が起きる100の言葉
接受不完美的勇氣:佳句摘錄 Quotes from アルフレッド・アドラー 人生に革命が起きる100の言葉
 
製作Google analytics流量分析計畫&後續維護
製作Google analytics流量分析計畫&後續維護製作Google analytics流量分析計畫&後續維護
製作Google analytics流量分析計畫&後續維護
 
精華摘要:哈佛最受歡迎的行銷課 Quotes from "Different: Escaping the Competitive Herd"
精華摘要:哈佛最受歡迎的行銷課 Quotes from "Different: Escaping the Competitive Herd"精華摘要:哈佛最受歡迎的行銷課 Quotes from "Different: Escaping the Competitive Herd"
精華摘要:哈佛最受歡迎的行銷課 Quotes from "Different: Escaping the Competitive Herd"
 
Google Analytics 網站分析: 學習心得分享
Google Analytics 網站分析: 學習心得分享Google Analytics 網站分析: 學習心得分享
Google Analytics 網站分析: 學習心得分享
 
App 的隱形殺手 - 留存率
App 的隱形殺手 - 留存率App 的隱形殺手 - 留存率
App 的隱形殺手 - 留存率
 
不競爭的品牌個案研討:有時要贏得市場,就得放棄死盯著對手做改善
不競爭的品牌個案研討:有時要贏得市場,就得放棄死盯著對手做改善不競爭的品牌個案研討:有時要贏得市場,就得放棄死盯著對手做改善
不競爭的品牌個案研討:有時要贏得市場,就得放棄死盯著對手做改善
 
戴語錄(一) 勵志篇 Quotes of Mr.Dai
戴語錄(一) 勵志篇 Quotes of Mr.Dai戴語錄(一) 勵志篇 Quotes of Mr.Dai
戴語錄(一) 勵志篇 Quotes of Mr.Dai
 
戴語錄(二)生活(職場/愛情/人際關係)篇 Quotes of Mr.Dai
戴語錄(二)生活(職場/愛情/人際關係)篇 Quotes of Mr.Dai戴語錄(二)生活(職場/愛情/人際關係)篇 Quotes of Mr.Dai
戴語錄(二)生活(職場/愛情/人際關係)篇 Quotes of Mr.Dai
 
搶進美食街 年賺一千萬:心得摘要
搶進美食街 年賺一千萬:心得摘要搶進美食街 年賺一千萬:心得摘要
搶進美食街 年賺一千萬:心得摘要
 

Similar to Pyconf2014 lightening

參考講義展示版-丘祐瑋-20170617-機器學習python入門者課程
參考講義展示版-丘祐瑋-20170617-機器學習python入門者課程參考講義展示版-丘祐瑋-20170617-機器學習python入門者課程
參考講義展示版-丘祐瑋-20170617-機器學習python入門者課程Beckett Hsieh
 
廣宣學堂Python金融爬蟲原理班 20170416
廣宣學堂Python金融爬蟲原理班 20170416廣宣學堂Python金融爬蟲原理班 20170416
廣宣學堂Python金融爬蟲原理班 20170416Paul Chao
 
周世恩/資料分析前的奏曲 : 談資料收集的挑戰
周世恩/資料分析前的奏曲 : 談資料收集的挑戰周世恩/資料分析前的奏曲 : 談資料收集的挑戰
周世恩/資料分析前的奏曲 : 談資料收集的挑戰台灣資料科學年會
 
Dtcc ibm big data platform 2012-final_cn
Dtcc ibm big data platform 2012-final_cnDtcc ibm big data platform 2012-final_cn
Dtcc ibm big data platform 2012-final_cnyp_fangdong
 
Google BigQuery introduction
Google BigQuery introductionGoogle BigQuery introduction
Google BigQuery introductionSimon Su
 
Data Analyse Black Horse - ClickHouse
Data Analyse Black Horse - ClickHouseData Analyse Black Horse - ClickHouse
Data Analyse Black Horse - ClickHouseJack Gao
 
Python introduction and data visualization publish
Python introduction and data visualization publishPython introduction and data visualization publish
Python introduction and data visualization publishcoolzzzx
 
2020_11 (南湖高中)用資料視覺化說故事
2020_11 (南湖高中)用資料視覺化說故事2020_11 (南湖高中)用資料視覺化說故事
2020_11 (南湖高中)用資料視覺化說故事彭其捷 Jack
 
Postmortem of 'Person of Interest' - Big data rc sharing
Postmortem of 'Person of Interest' - Big data rc sharingPostmortem of 'Person of Interest' - Big data rc sharing
Postmortem of 'Person of Interest' - Big data rc sharingGandalf Huang
 
暴走漫画数据挖掘从0到1
暴走漫画数据挖掘从0到1暴走漫画数据挖掘从0到1
暴走漫画数据挖掘从0到1Michael Ding
 
Docker + CI pipeline 的高效率 ChatBot 開發方法
Docker + CI pipeline 的高效率 ChatBot 開發方法Docker + CI pipeline 的高效率 ChatBot 開發方法
Docker + CI pipeline 的高效率 ChatBot 開發方法Philip Zheng
 
逻辑数据编织如何完善IT架构,盘活数据资产
逻辑数据编织如何完善IT架构,盘活数据资产逻辑数据编织如何完善IT架构,盘活数据资产
逻辑数据编织如何完善IT架构,盘活数据资产Denodo
 
How to run an AI Project @pixnet
How to run an AI Project @pixnetHow to run an AI Project @pixnet
How to run an AI Project @pixnet晨揚 施
 
選擇正確的Solution 來建置現代化的雲端資料倉儲
選擇正確的Solution 來建置現代化的雲端資料倉儲選擇正確的Solution 來建置現代化的雲端資料倉儲
選擇正確的Solution 來建置現代化的雲端資料倉儲Herman Wu
 
What is data engineer?資料工程師是什麼?
What is data engineer?資料工程師是什麼?What is data engineer?資料工程師是什麼?
What is data engineer?資料工程師是什麼?Anna Yen
 
A Concept of Network Analysis Tool by Data Mining
A Concept of Network Analysis Tool by Data MiningA Concept of Network Analysis Tool by Data Mining
A Concept of Network Analysis Tool by Data MiningJhang Raymond
 
2009/05/25第一學期期中報告
2009/05/25第一學期期中報告2009/05/25第一學期期中報告
2009/05/25第一學期期中報告bozhang1220
 
自下而上的数据仓库构建方法
自下而上的数据仓库构建方法自下而上的数据仓库构建方法
自下而上的数据仓库构建方法tongxiaojun
 
Report 106553012 - copy
Report 106553012 - copyReport 106553012 - copy
Report 106553012 - copyJacky Zou
 

Similar to Pyconf2014 lightening (20)

參考講義展示版-丘祐瑋-20170617-機器學習python入門者課程
參考講義展示版-丘祐瑋-20170617-機器學習python入門者課程參考講義展示版-丘祐瑋-20170617-機器學習python入門者課程
參考講義展示版-丘祐瑋-20170617-機器學習python入門者課程
 
廣宣學堂Python金融爬蟲原理班 20170416
廣宣學堂Python金融爬蟲原理班 20170416廣宣學堂Python金融爬蟲原理班 20170416
廣宣學堂Python金融爬蟲原理班 20170416
 
周世恩/資料分析前的奏曲 : 談資料收集的挑戰
周世恩/資料分析前的奏曲 : 談資料收集的挑戰周世恩/資料分析前的奏曲 : 談資料收集的挑戰
周世恩/資料分析前的奏曲 : 談資料收集的挑戰
 
Dtcc ibm big data platform 2012-final_cn
Dtcc ibm big data platform 2012-final_cnDtcc ibm big data platform 2012-final_cn
Dtcc ibm big data platform 2012-final_cn
 
Google BigQuery introduction
Google BigQuery introductionGoogle BigQuery introduction
Google BigQuery introduction
 
Data Analyse Black Horse - ClickHouse
Data Analyse Black Horse - ClickHouseData Analyse Black Horse - ClickHouse
Data Analyse Black Horse - ClickHouse
 
Python introduction and data visualization publish
Python introduction and data visualization publishPython introduction and data visualization publish
Python introduction and data visualization publish
 
2020_11 (南湖高中)用資料視覺化說故事
2020_11 (南湖高中)用資料視覺化說故事2020_11 (南湖高中)用資料視覺化說故事
2020_11 (南湖高中)用資料視覺化說故事
 
Postmortem of 'Person of Interest' - Big data rc sharing
Postmortem of 'Person of Interest' - Big data rc sharingPostmortem of 'Person of Interest' - Big data rc sharing
Postmortem of 'Person of Interest' - Big data rc sharing
 
暴走漫画数据挖掘从0到1
暴走漫画数据挖掘从0到1暴走漫画数据挖掘从0到1
暴走漫画数据挖掘从0到1
 
Docker + CI pipeline 的高效率 ChatBot 開發方法
Docker + CI pipeline 的高效率 ChatBot 開發方法Docker + CI pipeline 的高效率 ChatBot 開發方法
Docker + CI pipeline 的高效率 ChatBot 開發方法
 
逻辑数据编织如何完善IT架构,盘活数据资产
逻辑数据编织如何完善IT架构,盘活数据资产逻辑数据编织如何完善IT架构,盘活数据资产
逻辑数据编织如何完善IT架构,盘活数据资产
 
How to run an AI Project @pixnet
How to run an AI Project @pixnetHow to run an AI Project @pixnet
How to run an AI Project @pixnet
 
選擇正確的Solution 來建置現代化的雲端資料倉儲
選擇正確的Solution 來建置現代化的雲端資料倉儲選擇正確的Solution 來建置現代化的雲端資料倉儲
選擇正確的Solution 來建置現代化的雲端資料倉儲
 
What is data engineer?資料工程師是什麼?
What is data engineer?資料工程師是什麼?What is data engineer?資料工程師是什麼?
What is data engineer?資料工程師是什麼?
 
A Concept of Network Analysis Tool by Data Mining
A Concept of Network Analysis Tool by Data MiningA Concept of Network Analysis Tool by Data Mining
A Concept of Network Analysis Tool by Data Mining
 
2009/05/25第一學期期中報告
2009/05/25第一學期期中報告2009/05/25第一學期期中報告
2009/05/25第一學期期中報告
 
Data Pipeline Matters
Data Pipeline MattersData Pipeline Matters
Data Pipeline Matters
 
自下而上的数据仓库构建方法
自下而上的数据仓库构建方法自下而上的数据仓库构建方法
自下而上的数据仓库构建方法
 
Report 106553012 - copy
Report 106553012 - copyReport 106553012 - copy
Report 106553012 - copy
 

More from Shih-En Chou

雙重記錄。 為FB廣告導購做Double Check
 雙重記錄。 為FB廣告導購做Double Check 雙重記錄。 為FB廣告導購做Double Check
雙重記錄。 為FB廣告導購做Double CheckShih-En Chou
 
Google analytics 還原使用者操作現場
Google analytics 還原使用者操作現場Google analytics 還原使用者操作現場
Google analytics 還原使用者操作現場Shih-En Chou
 
Facebook Hack Presentation
Facebook Hack Presentation Facebook Hack Presentation
Facebook Hack Presentation Shih-En Chou
 

More from Shih-En Chou (7)

雙重記錄。 為FB廣告導購做Double Check
 雙重記錄。 為FB廣告導購做Double Check 雙重記錄。 為FB廣告導購做Double Check
雙重記錄。 為FB廣告導購做Double Check
 
Google analytics 還原使用者操作現場
Google analytics 還原使用者操作現場Google analytics 還原使用者操作現場
Google analytics 還原使用者操作現場
 
No idea event
No idea eventNo idea event
No idea event
 
Chrome dev tool
Chrome dev toolChrome dev tool
Chrome dev tool
 
Solr
SolrSolr
Solr
 
Google analytics
Google analyticsGoogle analytics
Google analytics
 
Facebook Hack Presentation
Facebook Hack Presentation Facebook Hack Presentation
Facebook Hack Presentation