꿈꾸는데이터디자이너 R_vest 강의자료 입니다. www.facebook.com/datadesigner2015

1. Data Designer
Class 06
Data Wrangling

2. 꿈꾸는데이터디자이너 시즌2
Data Wrangling

3. 꿈꾸는데이터디자이너 시즌2
Data Wrangling
the process of manually converting or mapping data
from one "raw" form into another format
that allows for more convenient consumption of the data

4. 꿈꾸는데이터디자이너 시즌2
어떠한 형태의 데이터가 필요할까

5. 꿈꾸는데이터디자이너 시즌2
Wide format vs Long format
hour03 hour09 hour15 hour21
강릉 25.5 26.2 29.3 26
광주 25.5 27.9 33.4 27.6
대구 27.3 29.5 36.1 30.7
대전 26.1 28.9 33.3 28.4
부산 25.3 28 29.8 25.6
서울 26.1 26.8 31.1 27.9
인천 25.7 25.8 28.4 26.2
제주 26.8 28.6 29.9 26.8
춘천 23.8 23.6 32 26.2
포항 28.9 27.1 34.3 31.7
해남 24.4 27.4 29.5 26.2
location hour temp
강릉 hour03 25.5
광주 hour03 25.5
대구 hour03 27.3
대전 hour03 26.1
부산 hour03 25.3
서울 hour03 26.1
인천 hour03 25.7
제주 hour03 26.8
춘천 hour03 23.8
포항 hour03 28.9
해남 hour03 24.4
강릉 hour09 26.2

6. 꿈꾸는데이터디자이너 시즌2
Wide format
hour03 hour09 hour15 hour21
강릉 25.5 26.2 29.3 26
광주 25.5 27.9 33.4 27.6
대구 27.3 29.5 36.1 30.7
대전 26.1 28.9 33.3 28.4
부산 25.3 28 29.8 25.6
서울 26.1 26.8 31.1 27.9
인천 25.7 25.8 28.4 26.2
제주 26.8 28.6 29.9 26.8
춘천 23.8 23.6 32 26.2
포항 28.9 27.1 34.3 31.7
해남 24.4 27.4 29.5 26.2
- 엑셀 피벗테이블 등을 통해서 정리한 형태
- 보고서 등에 자주 등장
- 한정된 공간에 효율적으로 정보 배치
- 변수를 추가하기 어렵다
- 다양한 형태로 변환하기 힘들다

7. 꿈꾸는데이터디자이너 시즌2
Long format (tidy data)
- 하나의 변수가 하나의 열을 차지한다
- 다른 형태의 데이터로 변환하기 쉽다
- 시각화, 모델링이 편하다
- 데이터를 직접 보면서 확인하기는 힘들다
- 데이터의 부피가 커진다
location hour temp
강릉 hour03 25.5
광주 hour03 25.5
대구 hour03 27.3
대전 hour03 26.1
부산 hour03 25.3
서울 hour03 26.1
인천 hour03 25.7
제주 hour03 26.8
춘천 hour03 23.8
포항 hour03 28.9
해남 hour03 24.4
강릉 hour09 26.2

8. 꿈꾸는데이터디자이너 시즌2
Tidy Data

9. 꿈꾸는데이터디자이너 시즌2
Tidy data
- 각 변수는 하나의 열을 구성한다
- 각 관측치는 하나의 행을 구성한다
- 하나의 테이블에는
동일한 관측에 의해서 수집된 데이터가 담겨있다

10. 꿈꾸는데이터디자이너 시즌2
location hour temp
강릉 hour03 25.5
광주 hour03 25.5
대구 hour03 27.3
대전 hour03 26.1
부산 hour03 25.3
서울 hour03 26.1
인천 hour03 25.7
제주 hour03 26.8
춘천 hour03 23.8
포항 hour03 28.9
해남 hour03 24.4
강릉 hour09 26.2
Tidy data
변수
관측치

11. 꿈꾸는데이터디자이너 시즌2
Tidy data
movieNm cnt date week weeklyRank
aaa 100 2015-08-01 1 3
aaa 120 2015-08-08 2 3
aaa 240 2015-08-15 3 3
aaa 300 2015-08-22 4 2
bbb 200 2015-08-01 1 2
bbb 250 2015-08-08 2 2
bbb 300 2015-08-15 3 2
bbb 350 2015-08-22 4 1
ccc 700 2015-08-01 1 1
ccc 550 2015-08-08 2 1
ccc 320 2015-08-15 3 1
ccc 280 2015-08-22 4 3
영화의 일별 관객수와 주간 순위가 섞여있는 테이블을 생각해보자

12. 꿈꾸는데이터디자이너 시즌2
Tidy data
movieNm cnt date
aaa 100 2015-08-01
aaa 120 2015-08-08
aaa 240 2015-08-15
aaa 300 2015-08-22
bbb 200 2015-08-01
bbb 250 2015-08-08
bbb 300 2015-08-15
bbb 350 2015-08-22
ccc 700 2015-08-01
ccc 550 2015-08-08
ccc 320 2015-08-15
ccc 280 2015-08-22
movieNm week weeklyRank
aaa 1 3
bbb 1 2
ccc 1 1
aaa 2 3
bbb 2 2
ccc 2 1
aaa 3 3
bbb 3 2
ccc 3 1
aaa 4 2
bbb 4 1
ccc 4 3
영화의 일별 관객수 영화의 주간 순위
관측1 관측2

13. 꿈꾸는데이터디자이너 시즌2
Tidy Data가 필요한 이유

14. 꿈꾸는데이터디자이너 시즌2
RAW DATA 변형1 변형2 변형3 변형4
시각화1 시각화2 시각화3 시각화4

15. 꿈꾸는데이터디자이너 시즌2
RAW DATA TIDY DATA
시각화1
시각화2
시각화3
시각화4

16. 꿈꾸는데이터디자이너 시즌2
Tidy Data로 변환하기

17. 꿈꾸는데이터디자이너 시즌2
tidyr
install.packages('tidyr')
library(tidyr)
data.frame에만 적용할 수 있다.
다른 자료형에 적용하거나 더 광범위한 사용을 위해서는 reshape2 패키지를 이용

18. 꿈꾸는데이터디자이너 시즌2
tidyr::gather()
weather_wide = read.csv('weather_wide.csv', fileEncoding='UTF-8')
weather_long = gather(weather_wide, hour, temp, hour03:hour21)
wide format -> long format
gather(data, key column name, value column name, range of key column)
location hour03 hour09 hour15 hour21
강릉 25.5 26.2 29.3 26
광주 25.5 27.9 33.4 27.6
대구 27.3 29.5 36.1 30.7
대전 26.1 28.9 33.3 28.4
부산 25.3 28 29.8 25.6
... ... ... ... ...
location hour temp
강릉 hour03 25.5
광주 hour03 25.5
대구 hour03 27.3
대전 hour03 26.1
부산 hour03 25.3
... ... ...

19. 꿈꾸는데이터디자이너 시즌2
dplyr을 이용한 데이터 정제

20. 꿈꾸는데이터디자이너 시즌2
dplyr
install.packages('dplyr')
library(dplyr)
data.frame에만 적용할 수 있다.
데이터 프레임 이외에 다양한 자료형에 적용하려면 plyr 패키지를 이용할 수 있다

21. 꿈꾸는데이터디자이너 시즌2
dplyr::select()
- 지정한 열을 선택할 수 있다
- 열의 이름을 변경할 수 있다
select(data, column_name)
select(data, new_name = column_name)
select(weather_long, location, temp)
select(weather_long, loc = location, temp)

22. 꿈꾸는데이터디자이너 시즌2
dplyr::filter()
- 조건을 지정해서 원하는 행만 출력한다
- |연산자를 통해 OR연산을 수행할 수 있고,
AND연산은 조건을 comma로 이어 붙이면 가능하다
filter(data, column_name > value)
filter(weather_long, location == ' ')
filter(weather_long, location == ' ', temp > 26)
filter(weather_long, location == ' ' | location == ' ')

23. 꿈꾸는데이터디자이너 시즌2
dplyr::mutate()
- 연산을 통해 새로운 열을 생성한다
- 함수 내에서 생성한 열도 바로 연산에서 사용할 수 있다
- 상수를 지정하면 동일한 값으로 채운 열을 생성한다
mutate(data, new_column = value)
mutate(weather_long, mean_temp = mean(temp))
mutate(weather_long, mean_temp = mean(temp),
diff = temp - mean_temp)
mutate(weather_long, country = 'Korea')

24. 꿈꾸는데이터디자이너 시즌2
select, filter, mutate 실습
섭씨(C)에서 화씨(F)로 변환시키는 공식이
F = (9/5)*C + 32 라고 합니다
1) temp열의 온도값을 화씨로 변경하여 temp_f 라는 열을 생성해주세요
2) 화씨 온도가 90도를 넘는 경우만 찾아서 location과 temp 열만 출력해주세요

25. 꿈꾸는데이터디자이너 시즌2
dplyr::summarise()
- 데이터를 요약해준다
- group_by와 함께 사용할 수 있다
summarise(data, new_column = value)
summarise(weather_long, mean(temp))
summarise(weather_long, count = n())

26. 꿈꾸는데이터디자이너 시즌2
dplyr::group_by()
- 연산을 그룹별로 시행할 수 있도록 눈에 보이지 않는 그룹을 지정해준다
- mutate, summarise와의 조합으로 사용한다
- 그룹 지정을 해제하려면 ungroup()을 사용한다
group_by(data, coloumn_name)
group_by(weather_long, location)
group_by(weather_long, hour)

27. 꿈꾸는데이터디자이너 시즌2
dplyr::group_by()
- 연산을 그룹별로 시행할 수 있도록 눈에 보이지 않는 그룹을 지정해준다
- mutate, summarise와의 조합으로 사용한다
group_by(data, coloumn_name)
weather_loc = group_by(weather_long, location)
weather_hour = group_by(weather_long, hour)
summarise(weather_loc, mean_temp = mean(temp))
summarise(weather_hour, mean_temp = mean(temp))
mutate(weather_loc, mean_temp = mean(temp))
mutate(weather_hour, mean_temp = mean(temp))

28. 꿈꾸는데이터디자이너 시즌2
location hour temp
강릉 hour03 25.5
광주 hour03 25.5
대구 hour03 27.3
강릉 hour09 26.2
광주 hour09 27.9
대구 hour09 29.5
강릉 hour15 29.3
광주 hour15 33.4
대구 hour15 36.1
강릉 hour21 26
광주 hour21 27.6
대구 hour21 30.7
location hour temp
강릉 hour03 25.5
강릉 hour09 26.2
강릉 hour15 29.3
강릉 hour21 26
광주 hour03 25.5
광주 hour09 27.9
광주 hour15 33.4
광주 hour21 27.6
대구 hour03 27.3
대구 hour09 29.5
대구 hour15 36.1
대구 hour21 30.7

29. 꿈꾸는데이터디자이너 시즌2
dplyr::arrange()
- 지정한 열을 기준으로 정렬한다
- 열을 두 개 이상 지정하면 첫 번째 열의 값이 동점일 때 나머지 열을 기준으로 정렬
- 기본값은 오름차순이지만 desc()를 이용해서 내림차순 정렬을 시킬 수 있다
- group_by의 영향을 받는다
arrange(data, coloumn_name)
arrange(data, desc(coloumn_name))
arrange(weather_long, desc(temp), hour)
summary_loc = summarise(weather_loc, mean_temp = mean(temp))
arrange(summary_loc, mean_temp)
arrange(summary_loc, desc(mean_temp))

30. 꿈꾸는데이터디자이너 시즌2
실습
iris 데이터를 이용해서 종(Species)별로
1) Sepal.Width 열과 Sepal.Length 열의 평균을 구해주세요
2) max(),min()을 이용해서
각 종별로 Petal.Width의 최대값, 최소값을 구해주세요

31. 꿈꾸는데이터디자이너 시즌2
pipe operator
%>%

32. 꿈꾸는데이터디자이너 시즌2
magrittr

33. 꿈꾸는데이터디자이너 시즌2
%>%
f
%>% f

34. 꿈꾸는데이터디자이너 시즌2
%>%
f(x, y, z) 는
x %>% f(y, z) 와 같다
g(f(a, b), c) 는
a %>% f(b) %>% g(c) 와 같다

35. 꿈꾸는데이터디자이너 시즌2
%>%
summarise(group_by(weather_long, location),
mean_temp = mean(temp))
weather_long %>%
group_by(location) %>%
summarise(mean_temp = mean(temp))
아래의 두 코드는 같다

36. 꿈꾸는데이터디자이너 시즌2
pipe를 쓰는 이유

37. 꿈꾸는데이터디자이너 시즌2
weather_long 데이터를
location 변수를 기준으로 group_by해서
각 지역별로 온도의 평균을 구하고
지역별 평균에서 전체 평균을 뺀 값을 구해서
그 값이 0보다 큰 지역을 구한 다음에
지역과 평균 온도값만
평균 온도에 대해 내림차순으로 정렬해보자

38. 꿈꾸는데이터디자이너 시즌2
arrange(
select(
filter(
mutate(
summarise(
group_by(weather_long, location),
mean_temp = mean(temp)
),
diff = mean_temp - mean(mean_temp)
),
diff > 0
),
location, mean_temp
),
desc(mean_temp)
)

39. 꿈꾸는데이터디자이너 시즌2
weather_01 = group_by(weather_long, location)
weather_02 = summarise(weather_01,
mean_temp = mean(temp))
weather_03 = mutate(weather_02,
diff = mean_temp - mean(mean_temp))
weather_04 = filter(weather_03, diff > 0)
weather_05 = select(weather_04, location, mean_temp)
weather_06 = arrange(weather_05, desc(mean_temp))
weather_06

40. 꿈꾸는데이터디자이너 시즌2
weather_long %>%
group_by(location) %>%
summarise(mean_temp = mean(temp)) %>%
mutate(diff = mean_temp - mean(mean_temp)) %>%
filter(diff > 0) %>%
select(location, mean_temp) %>%
arrange(desc(mean_temp))
pipe를 이용해 정리하면 다음과 같다

41. 꿈꾸는데이터디자이너 시즌2
pipe를 쓰는 이유
- 가독성
- 불필요한 임시 변수를 줄일 수 있다
- 생각하는 순서대로 코드를 작성할 수 있다
주의해야 할 점
- pipe operator가 들어있는 패키지를 불러와야
사용할 수 있다
- pipe 를 사용하기 힘든 함수구조에 적용하면
오히려 코드가 더 복잡해질 수 있다
- pipe 연산자를 모르는 사람이 보면 이해하기 힘들다

42. 꿈꾸는데이터디자이너 시즌2
WELCOME TO
HADLEYVERSE

43. 꿈꾸는데이터디자이너 시즌2
과제입니당
- 꿈데디 1기 강의자료 실습해보기
http://lumiamitie.github.io/r_tutorial/Datadesigner01_cleansing
- weather_wide_full.csv 데이터
- tidy data로 변환하기
- 지역별, 시간대별 평균 구하기