SlideShare a Scribd company logo
1 of 17
Download to read offline
Python的数据工具箱 肖凯
关于我
• 喜欢折腾数据
• 1号店-商务智能部
• 《数据科学中的R语言》
哪一项最重要?
• 问题
• 数据
• 方法
• 工具
大纲
• 为何使用Python
• Python VS R
• 数据相关模块
• 学习资源
为何使用Python
• 填补数据研究和产品开发之间的鸿沟
• 配合数据科学家完成多领域任务(Bigdata/Deepleaning/NLP)
Python VS R
两种工具的相同点:
• 均为开源免费
• 均可在三种操作系统中运行
• 均有大量的用户群和社区支持
• 均有大量的扩展包和教程资源
• 调查显示它们是业界人士最为喜爱的两种工具
Python VS R
Python VS R
两种工具的差异点:
• Python是一种通用编程工具,R偏向于统计专业
• R有更为丰富的统计分析函数,Python长于机器学习
• R有更好的静态可视化包,Python正在进步
• Python和R的核心语法非常简洁,R包的语法兼收并蓄,
错综复杂
Python VS R
R:
results <- lm(y ~ x1 + x2 + x3, data=dataframe)
Python:
results = sm.OLS(y, X).fit()
Python VS R
R:
• 如果你不是计算机背景
• 未来有很强的学术化需求
Python:
• 如果你是计算机背景
• 未来有很强的工业化需求
数据相关模块
• IPython: 增强的交互式运行环境
• NumPy : 数组数据结构和矩阵计算
• SciPy : 科学计算
• Matplotlib : 数据绘图
• Pandas : 提供data frames数据结构
• Statsmodels:统计模型
• Scikit-learn:机器学习
• Pyspark:Spark接口
• NLTK:自然语言处理
• Networkx:社交网络分析
深度学习框架
• Theano:高效的数值计算库
• 与Numpy紧密结合
• 优化了速度和稳定性
• 利用GPU做高负荷运算
• 自动计算函数导数,适合深度学习
• Lasagne
• Keras
• Opendeep
• Blocks
基于keras构建CNN
分析流程中的Python
科学计算套件
推荐阅读
The End

More Related Content

Viewers also liked

Lawyer in Vietnam Oliver Massmann Capital Markets and Privatization THE BREAK...
Lawyer in Vietnam Oliver Massmann Capital Markets and Privatization THE BREAK...Lawyer in Vietnam Oliver Massmann Capital Markets and Privatization THE BREAK...
Lawyer in Vietnam Oliver Massmann Capital Markets and Privatization THE BREAK...Dr. Oliver Massmann
 
Las polillas de darwin
Las polillas de darwinLas polillas de darwin
Las polillas de darwinPaulo Arieu
 
DESIGN:RETAIL FORUM: In-Store Technology As Retailtainment: Bright Shiny Obje...
DESIGN:RETAIL FORUM: In-Store Technology As Retailtainment: Bright Shiny Obje...DESIGN:RETAIL FORUM: In-Store Technology As Retailtainment: Bright Shiny Obje...
DESIGN:RETAIL FORUM: In-Store Technology As Retailtainment: Bright Shiny Obje...Deborah Weinswig
 
CNE - Reitera advertencia sobre seguridad de los sistemas informáticos del fuero
CNE - Reitera advertencia sobre seguridad de los sistemas informáticos del fueroCNE - Reitera advertencia sobre seguridad de los sistemas informáticos del fuero
CNE - Reitera advertencia sobre seguridad de los sistemas informáticos del fueroCámara Nacional Electoral
 
Want To Open A Small Business? Move To One Of These 25 Cities.
Want To Open A Small Business? Move To One Of These 25 Cities.Want To Open A Small Business? Move To One Of These 25 Cities.
Want To Open A Small Business? Move To One Of These 25 Cities.When I Work
 
Sage CRM Success - Careology
Sage CRM Success - CareologySage CRM Success - Careology
Sage CRM Success - CareologyDavid Beard
 
What an Executive Coach Can Do For You
What an Executive Coach Can Do For YouWhat an Executive Coach Can Do For You
What an Executive Coach Can Do For YouMasterful Coaching
 
Wi-Fi Planning - The 7 Secrets
Wi-Fi Planning - The 7 Secrets Wi-Fi Planning - The 7 Secrets
Wi-Fi Planning - The 7 Secrets Ekahau_WiFi_Tools
 
Rafeeq Rehman - Breaking the Phishing Attack Chain
Rafeeq Rehman - Breaking the Phishing Attack ChainRafeeq Rehman - Breaking the Phishing Attack Chain
Rafeeq Rehman - Breaking the Phishing Attack Chaincentralohioissa
 
DHANWANTARI DISTRIBUTORS PVT.LTD
DHANWANTARI DISTRIBUTORS PVT.LTD DHANWANTARI DISTRIBUTORS PVT.LTD
DHANWANTARI DISTRIBUTORS PVT.LTD Suresh Savaj
 
Bài giảng chẩn đoán hình ảnh
Bài giảng chẩn đoán hình ảnhBài giảng chẩn đoán hình ảnh
Bài giảng chẩn đoán hình ảnhTiến Cường Trần
 

Viewers also liked (13)

Lawyer in Vietnam Oliver Massmann Capital Markets and Privatization THE BREAK...
Lawyer in Vietnam Oliver Massmann Capital Markets and Privatization THE BREAK...Lawyer in Vietnam Oliver Massmann Capital Markets and Privatization THE BREAK...
Lawyer in Vietnam Oliver Massmann Capital Markets and Privatization THE BREAK...
 
Las polillas de darwin
Las polillas de darwinLas polillas de darwin
Las polillas de darwin
 
DESIGN:RETAIL FORUM: In-Store Technology As Retailtainment: Bright Shiny Obje...
DESIGN:RETAIL FORUM: In-Store Technology As Retailtainment: Bright Shiny Obje...DESIGN:RETAIL FORUM: In-Store Technology As Retailtainment: Bright Shiny Obje...
DESIGN:RETAIL FORUM: In-Store Technology As Retailtainment: Bright Shiny Obje...
 
CNE - Reitera advertencia sobre seguridad de los sistemas informáticos del fuero
CNE - Reitera advertencia sobre seguridad de los sistemas informáticos del fueroCNE - Reitera advertencia sobre seguridad de los sistemas informáticos del fuero
CNE - Reitera advertencia sobre seguridad de los sistemas informáticos del fuero
 
Want To Open A Small Business? Move To One Of These 25 Cities.
Want To Open A Small Business? Move To One Of These 25 Cities.Want To Open A Small Business? Move To One Of These 25 Cities.
Want To Open A Small Business? Move To One Of These 25 Cities.
 
Group discussion
Group discussionGroup discussion
Group discussion
 
Sage CRM Success - Careology
Sage CRM Success - CareologySage CRM Success - Careology
Sage CRM Success - Careology
 
What an Executive Coach Can Do For You
What an Executive Coach Can Do For YouWhat an Executive Coach Can Do For You
What an Executive Coach Can Do For You
 
Wi-Fi Planning - The 7 Secrets
Wi-Fi Planning - The 7 Secrets Wi-Fi Planning - The 7 Secrets
Wi-Fi Planning - The 7 Secrets
 
Rafeeq Rehman - Breaking the Phishing Attack Chain
Rafeeq Rehman - Breaking the Phishing Attack ChainRafeeq Rehman - Breaking the Phishing Attack Chain
Rafeeq Rehman - Breaking the Phishing Attack Chain
 
The State of Digital Marketing in the Networked Age
The State of DigitalMarketing in the Networked AgeThe State of DigitalMarketing in the Networked Age
The State of Digital Marketing in the Networked Age
 
DHANWANTARI DISTRIBUTORS PVT.LTD
DHANWANTARI DISTRIBUTORS PVT.LTD DHANWANTARI DISTRIBUTORS PVT.LTD
DHANWANTARI DISTRIBUTORS PVT.LTD
 
Bài giảng chẩn đoán hình ảnh
Bài giảng chẩn đoán hình ảnhBài giảng chẩn đoán hình ảnh
Bài giảng chẩn đoán hình ảnh
 

Similar to Python中的数据工具箱

網頁爬蟲入門 Python web crawler at 淡江大學 20170930
網頁爬蟲入門 Python web crawler at 淡江大學 20170930網頁爬蟲入門 Python web crawler at 淡江大學 20170930
網頁爬蟲入門 Python web crawler at 淡江大學 20170930Tim Hong
 
The Data Science Program 讓公共服務變聰明的《資料科學計畫》 (蔣居裕)
The Data Science Program 讓公共服務變聰明的《資料科學計畫》 (蔣居裕)The Data Science Program 讓公共服務變聰明的《資料科學計畫》 (蔣居裕)
The Data Science Program 讓公共服務變聰明的《資料科學計畫》 (蔣居裕)codefortomorrow
 
构建网络工具箱
构建网络工具箱构建网络工具箱
构建网络工具箱Lv Jian
 
洞見未來,用python 與 r 結合深度學習技術預測趨勢
洞見未來,用python 與 r 結合深度學習技術預測趨勢洞見未來,用python 與 r 結合深度學習技術預測趨勢
洞見未來,用python 與 r 結合深度學習技術預測趨勢David Chiu
 
Introduction of libraries' big data in China
Introduction of libraries' big data in ChinaIntroduction of libraries' big data in China
Introduction of libraries' big data in Chinayuanxinz
 
從統計到資料科學
從統計到資料科學從統計到資料科學
從統計到資料科學Terence Huang
 
IT445_Week_11.pdf
IT445_Week_11.pdfIT445_Week_11.pdf
IT445_Week_11.pdfAiondBdkpt
 
思翱倍力:對於大數據應用的十個觀點與省思20160525
思翱倍力:對於大數據應用的十個觀點與省思20160525思翱倍力:對於大數據應用的十個觀點與省思20160525
思翱倍力:對於大數據應用的十個觀點與省思20160525張大明 Ta-Ming Chang
 
Python First Class
Python First ClassPython First Class
Python First ClassYao Zuo
 
如何,高效利用搜索引擎+构建网络工具箱
如何,高效利用搜索引擎+构建网络工具箱如何,高效利用搜索引擎+构建网络工具箱
如何,高效利用搜索引擎+构建网络工具箱84zhu
 
俞晨杰:Linked in大数据应用和azkaban
俞晨杰:Linked in大数据应用和azkaban俞晨杰:Linked in大数据应用和azkaban
俞晨杰:Linked in大数据应用和azkabanhdhappy001
 
What is data engineer?資料工程師是什麼?
What is data engineer?資料工程師是什麼?What is data engineer?資料工程師是什麼?
What is data engineer?資料工程師是什麼?Anna Yen
 
淺談大數據概念與應用
淺談大數據概念與應用淺談大數據概念與應用
淺談大數據概念與應用Jerry Tseng
 
Drbl clonezilla.basic v15
Drbl clonezilla.basic v15Drbl clonezilla.basic v15
Drbl clonezilla.basic v15hs1250
 
Report 106553012 - copy
Report 106553012 - copyReport 106553012 - copy
Report 106553012 - copyJacky Zou
 
Ready Programmer One
Ready Programmer OneReady Programmer One
Ready Programmer Oneflywindy
 
2012,我的技术之选
2012,我的技术之选2012,我的技术之选
2012,我的技术之选勇浩 赖
 
Big Data vs. Open Data
Big Data vs. Open DataBig Data vs. Open Data
Big Data vs. Open DataFred Chiang
 
Geo science cafe 如何找到一份满意的工作
Geo science cafe 如何找到一份满意的工作Geo science cafe 如何找到一份满意的工作
Geo science cafe 如何找到一份满意的工作kewuc
 
The practice of enjoying apache
The practice of enjoying apacheThe practice of enjoying apache
The practice of enjoying apachejixuan1989
 

Similar to Python中的数据工具箱 (20)

網頁爬蟲入門 Python web crawler at 淡江大學 20170930
網頁爬蟲入門 Python web crawler at 淡江大學 20170930網頁爬蟲入門 Python web crawler at 淡江大學 20170930
網頁爬蟲入門 Python web crawler at 淡江大學 20170930
 
The Data Science Program 讓公共服務變聰明的《資料科學計畫》 (蔣居裕)
The Data Science Program 讓公共服務變聰明的《資料科學計畫》 (蔣居裕)The Data Science Program 讓公共服務變聰明的《資料科學計畫》 (蔣居裕)
The Data Science Program 讓公共服務變聰明的《資料科學計畫》 (蔣居裕)
 
构建网络工具箱
构建网络工具箱构建网络工具箱
构建网络工具箱
 
洞見未來,用python 與 r 結合深度學習技術預測趨勢
洞見未來,用python 與 r 結合深度學習技術預測趨勢洞見未來,用python 與 r 結合深度學習技術預測趨勢
洞見未來,用python 與 r 結合深度學習技術預測趨勢
 
Introduction of libraries' big data in China
Introduction of libraries' big data in ChinaIntroduction of libraries' big data in China
Introduction of libraries' big data in China
 
從統計到資料科學
從統計到資料科學從統計到資料科學
從統計到資料科學
 
IT445_Week_11.pdf
IT445_Week_11.pdfIT445_Week_11.pdf
IT445_Week_11.pdf
 
思翱倍力:對於大數據應用的十個觀點與省思20160525
思翱倍力:對於大數據應用的十個觀點與省思20160525思翱倍力:對於大數據應用的十個觀點與省思20160525
思翱倍力:對於大數據應用的十個觀點與省思20160525
 
Python First Class
Python First ClassPython First Class
Python First Class
 
如何,高效利用搜索引擎+构建网络工具箱
如何,高效利用搜索引擎+构建网络工具箱如何,高效利用搜索引擎+构建网络工具箱
如何,高效利用搜索引擎+构建网络工具箱
 
俞晨杰:Linked in大数据应用和azkaban
俞晨杰:Linked in大数据应用和azkaban俞晨杰:Linked in大数据应用和azkaban
俞晨杰:Linked in大数据应用和azkaban
 
What is data engineer?資料工程師是什麼?
What is data engineer?資料工程師是什麼?What is data engineer?資料工程師是什麼?
What is data engineer?資料工程師是什麼?
 
淺談大數據概念與應用
淺談大數據概念與應用淺談大數據概念與應用
淺談大數據概念與應用
 
Drbl clonezilla.basic v15
Drbl clonezilla.basic v15Drbl clonezilla.basic v15
Drbl clonezilla.basic v15
 
Report 106553012 - copy
Report 106553012 - copyReport 106553012 - copy
Report 106553012 - copy
 
Ready Programmer One
Ready Programmer OneReady Programmer One
Ready Programmer One
 
2012,我的技术之选
2012,我的技术之选2012,我的技术之选
2012,我的技术之选
 
Big Data vs. Open Data
Big Data vs. Open DataBig Data vs. Open Data
Big Data vs. Open Data
 
Geo science cafe 如何找到一份满意的工作
Geo science cafe 如何找到一份满意的工作Geo science cafe 如何找到一份满意的工作
Geo science cafe 如何找到一份满意的工作
 
The practice of enjoying apache
The practice of enjoying apacheThe practice of enjoying apache
The practice of enjoying apache
 

More from Leo Zhou

第三名 3rd zhyict
第三名 3rd zhyict第三名 3rd zhyict
第三名 3rd zhyictLeo Zhou
 
异常检测在苏宁的实践
异常检测在苏宁的实践异常检测在苏宁的实践
异常检测在苏宁的实践Leo Zhou
 
第二名 2nd 火眼金睛
第二名 2nd 火眼金睛第二名 2nd 火眼金睛
第二名 2nd 火眼金睛Leo Zhou
 
第四名 4th H3C AI Institute
第四名 4th H3C AI Institute第四名 4th H3C AI Institute
第四名 4th H3C AI InstituteLeo Zhou
 
第一名 1st Bocoiops
第一名 1st Bocoiops第一名 1st Bocoiops
第一名 1st BocoiopsLeo Zhou
 
第六名 6th Aurora
第六名 6th Aurora第六名 6th Aurora
第六名 6th AuroraLeo Zhou
 
AI使能网络自动驾驶 AI Building Autonomous Driving Network
AI使能网络自动驾驶 AI Building Autonomous Driving NetworkAI使能网络自动驾驶 AI Building Autonomous Driving Network
AI使能网络自动驾驶 AI Building Autonomous Driving NetworkLeo Zhou
 
2.2 go在阿里云cdn系统的应用
2.2 go在阿里云cdn系统的应用2.2 go在阿里云cdn系统的应用
2.2 go在阿里云cdn系统的应用Leo Zhou
 
1.6 米嘉 gobuildweb
1.6 米嘉 gobuildweb1.6 米嘉 gobuildweb
1.6 米嘉 gobuildwebLeo Zhou
 
1.4 go在数据存储上面的应用—毛剑
1.4 go在数据存储上面的应用—毛剑1.4 go在数据存储上面的应用—毛剑
1.4 go在数据存储上面的应用—毛剑Leo Zhou
 
1.2 刘奇 go在分布式数据库中的应用
1.2 刘奇 go在分布式数据库中的应用1.2 刘奇 go在分布式数据库中的应用
1.2 刘奇 go在分布式数据库中的应用Leo Zhou
 
Protocol libraries the right way
Protocol libraries the right wayProtocol libraries the right way
Protocol libraries the right wayLeo Zhou
 
我的互联网运维理论与实践
我的互联网运维理论与实践我的互联网运维理论与实践
我的互联网运维理论与实践Leo Zhou
 
如何选择 Docker 监控方案
如何选择 Docker 监控方案如何选择 Docker 监控方案
如何选择 Docker 监控方案Leo Zhou
 
美团数据库运维平台介绍
美团数据库运维平台介绍美团数据库运维平台介绍
美团数据库运维平台介绍Leo Zhou
 
The net is dark and full of terrors - James Bennett
The net is dark and full of terrors - James BennettThe net is dark and full of terrors - James Bennett
The net is dark and full of terrors - James BennettLeo Zhou
 
Hypothesis randomised testing for django
Hypothesis randomised testing for djangoHypothesis randomised testing for django
Hypothesis randomised testing for djangoLeo Zhou
 
NoSQL@VIP — 唯品会NoSQL平台⾃动化发展及运维经验分享
NoSQL@VIP — 唯品会NoSQL平台⾃动化发展及运维经验分享NoSQL@VIP — 唯品会NoSQL平台⾃动化发展及运维经验分享
NoSQL@VIP — 唯品会NoSQL平台⾃动化发展及运维经验分享Leo Zhou
 
动静态混合网站或 APP的CDN优化方法
动静态混合网站或 APP的CDN优化方法动静态混合网站或 APP的CDN优化方法
动静态混合网站或 APP的CDN优化方法Leo Zhou
 
MySQL运维那些事
MySQL运维那些事 MySQL运维那些事
MySQL运维那些事 Leo Zhou
 

More from Leo Zhou (20)

第三名 3rd zhyict
第三名 3rd zhyict第三名 3rd zhyict
第三名 3rd zhyict
 
异常检测在苏宁的实践
异常检测在苏宁的实践异常检测在苏宁的实践
异常检测在苏宁的实践
 
第二名 2nd 火眼金睛
第二名 2nd 火眼金睛第二名 2nd 火眼金睛
第二名 2nd 火眼金睛
 
第四名 4th H3C AI Institute
第四名 4th H3C AI Institute第四名 4th H3C AI Institute
第四名 4th H3C AI Institute
 
第一名 1st Bocoiops
第一名 1st Bocoiops第一名 1st Bocoiops
第一名 1st Bocoiops
 
第六名 6th Aurora
第六名 6th Aurora第六名 6th Aurora
第六名 6th Aurora
 
AI使能网络自动驾驶 AI Building Autonomous Driving Network
AI使能网络自动驾驶 AI Building Autonomous Driving NetworkAI使能网络自动驾驶 AI Building Autonomous Driving Network
AI使能网络自动驾驶 AI Building Autonomous Driving Network
 
2.2 go在阿里云cdn系统的应用
2.2 go在阿里云cdn系统的应用2.2 go在阿里云cdn系统的应用
2.2 go在阿里云cdn系统的应用
 
1.6 米嘉 gobuildweb
1.6 米嘉 gobuildweb1.6 米嘉 gobuildweb
1.6 米嘉 gobuildweb
 
1.4 go在数据存储上面的应用—毛剑
1.4 go在数据存储上面的应用—毛剑1.4 go在数据存储上面的应用—毛剑
1.4 go在数据存储上面的应用—毛剑
 
1.2 刘奇 go在分布式数据库中的应用
1.2 刘奇 go在分布式数据库中的应用1.2 刘奇 go在分布式数据库中的应用
1.2 刘奇 go在分布式数据库中的应用
 
Protocol libraries the right way
Protocol libraries the right wayProtocol libraries the right way
Protocol libraries the right way
 
我的互联网运维理论与实践
我的互联网运维理论与实践我的互联网运维理论与实践
我的互联网运维理论与实践
 
如何选择 Docker 监控方案
如何选择 Docker 监控方案如何选择 Docker 监控方案
如何选择 Docker 监控方案
 
美团数据库运维平台介绍
美团数据库运维平台介绍美团数据库运维平台介绍
美团数据库运维平台介绍
 
The net is dark and full of terrors - James Bennett
The net is dark and full of terrors - James BennettThe net is dark and full of terrors - James Bennett
The net is dark and full of terrors - James Bennett
 
Hypothesis randomised testing for django
Hypothesis randomised testing for djangoHypothesis randomised testing for django
Hypothesis randomised testing for django
 
NoSQL@VIP — 唯品会NoSQL平台⾃动化发展及运维经验分享
NoSQL@VIP — 唯品会NoSQL平台⾃动化发展及运维经验分享NoSQL@VIP — 唯品会NoSQL平台⾃动化发展及运维经验分享
NoSQL@VIP — 唯品会NoSQL平台⾃动化发展及运维经验分享
 
动静态混合网站或 APP的CDN优化方法
动静态混合网站或 APP的CDN优化方法动静态混合网站或 APP的CDN优化方法
动静态混合网站或 APP的CDN优化方法
 
MySQL运维那些事
MySQL运维那些事 MySQL运维那些事
MySQL运维那些事
 

Python中的数据工具箱