許多人在剛拿到資料的時候， 常常會有手忙腳亂不知道從何下手。 這次的分享會告訴大家，在還沒開始建模之前， 如何透過探索性資料分析(Exploratory Data Analysis)， 使用資料視覺化的方式幫助你可以更順利的開始分析問題。

1. Tech Podcast Night #4
Analysis your data easier with EDA.

2. 關於我, Mia
工作。
＃Data Scientist
商業分析：透過數據分析協助優化行銷與業務決策。
機器學習與深度學習：電腦視覺、影像辨識。
＃Technical Sharing / Lecturing
資料視覺化(R), Azure Machine Learning Studio
＃Python, R, Azure Data Platform
＃Community
從Microsoft Sanddance 和
Azure Machine Learning Studio 開
始講起...
為什麼會想介紹今天的主題

3. Agenda
前言
為什麼會有EDA,
適合用在哪些場景？
有哪些指標可以看？代表什麼？
Data Scientist的工作內容來說。
商業分析與機器學習面來說。
數值探索。
圖像探索。
透過例子來看。
在這個case裡面我們想要解決什麼
問題？所以一開始我們可以從哪些
metric去了解這筆資料？
其他相關的例子。

4. 前言

5. EDA
Exploratory Data Analysis
探索式資料分析
背景
1977年約翰•圖克（John W. Tukey）寫的“探索性資料
分析”一書中已經創造了這個詞並發展了這個領域。
概括來講，EDA用於理解和總結資料集的 內容，通常
用於調查特定問題或更高級的建模。 EDA通常很大
程度上依賴於可視化資料來評估模式 並利用一些定
量方法來描述資料。

6. EDA
Exploratory Data Analysis
探索式資料分析
使用情境
- 以EDA做一份資料視覺化的報告
- 以EDA做建模分析的暖身操

7. EDA
Exploratory Data Analysis
探索式資料分析
資料科學家工作內容
- 80% of data science is
sourcing, cleaning, and preparing the data
資料診療室
- Build “data diagnostic” dashboard
- What’s interesting?
- What’s relevant for this use case?
- Any anomalies? Are thresholds useful?
- Stats count by X Y

8. 數值探索

9. Non-graphical EDA
Single Quantitative Variable
單一定量變數
舉例
Central Location,
Spread, Shape, Outliers.
Single Categorical Variable
單一類別變數
舉例
Gender, Race, Country
How does the distribution of
the DV vary as the IVs change?
DV
(Dependent Variable, 應變數)
IV
(Independent Variables, 自變項)

10. Non-graphical EDA What are we are looking for?
Single Quantitative Variable
單一定量變數
指標
Standard statistics
Mean,
Standard deviation,
Variance
Robust statistics
Median
Others
Q1, Q3,
Skewness, Kurtosis
Single Categorical Variable
單一類別變數
指標
Distribution of Categories
Frequency table
% of total
Statistics by category
How does the distribution of
the DV vary as the IVs change?
指標
Correlation
Missing Value

11. 圖像探索

12. Graphical EDA
Quantitative Univariate data
舉例
Side and Leaf plot
Frequency Histogram
Boxplot
Categorical Univariate Data
舉例
Bar graph
Pie chart
Multiple Variables
舉例
Scatterplot

13. Graphical EDA
Quantitative Univariate data
舉例
Side and Leaf plot
Frequency Histogram
Boxplot

14. Graphical EDA
Quantitative Univariate data
舉例
Side and Leaf plot
Frequency Histogram
Boxplot

15. Graphical EDA
Quantitative Univariate data
舉例
Side and Leaf plot
Frequency Histogram
Boxplot

16. Graphical EDA
Categorical Univariate Data
舉例
Bar graph
Pie chart

17. Graphical EDA
Multiple Variables
舉例
Scatterplot

18. Demo

19. Azure Machine Learning Studio
Titanic DataSet
2. Chose this module
1.Visualize
3. Chose this module

20. Summary

21. 前言
EDA 的使用場景
數值探索
針對單一變量或多變量，
我們會想要看哪些數 值。
圖像探索
透過圖像化探索，可以探
索到哪些單變數與多變數
的可能性？
Demo
Azure ML Studio
Microsoft Sanddance
Action Item
手邊的資料集有哪些？
今日的延伸閱讀？

22. Action Item
聊天或ＱＡ。
＃Data Scientist
＃Technical Sharing / Lecturing
＃Python, R, Azure Data Platform
＃Community
Reference。
本投影片的Reference
1.Experimental Design for Behavioral
and Social Sciences, from Stat CMU
2.Summarize Data
3.Compute Elementary Statistics
4.Exploratory Data Analysis :Billboard
Hot 100 data for the year 2000
5.Read More
台大 cs+x 期末報告
台大校園用電分析
台大管理學院的迷思
台大交換學生知多少
選擇大學- 大學條件分析
其他。
Email
mia5419@mail.com
facebook.com/mia5419
訂閱臉書：TechPodcastNight

23. 感謝
Tech Podcast Night
下次見 !