DEVIEW2015 DAY2. data science with apache zeppelin

1. Data

2. Science

3. with

4.
Apache

5. Zeppelin
이문수

6.
NFLabs

7. contents
1. Data science lifecycle
2. Apache Zeppelin
3. Zeppelin in your team
4. Helium

8. 1.
Data Science Lifecycle

9. Data

10. Science
https://en.wikipedia.org/wiki/Data_analysis
다양한

11. 과정

12. Data

13. Science
MLlib
다양한

14. SW

15. Data

16. Science
다양한

17. 사람

18. 즉
7

19. 힘든

20. 삶

21. 힘든

22. 삶
.
.
.
.
30 대
400 GB / day ETL / aggregation
PHP web server
High chart
Data parsing
Traffic normalize
IP location lookup
Service account recognition
AccessLog
....
AdHoc
Batch

23. .
.
.
.
30 대
400 GB / day ETL / aggregation
PHP web server
High chart
Data parsing
Traffic normalize
IP location lookup
Service account recognition
AccessLog
....
AdHoc
Batch
데이터 넣는 과정에서
오류 발생하면 수동으로 재처리
새로운 분석 추가될때 마다
mongodb 에 스키마 관리
웹페이지 수정 및 차트 추가
Spark 에서 AdHoc query를
위해 Hive 에서 aggregation
을 미리 수행해야 하는 경우가
많은데, 소스가 따로 떨어져있어
서 관리가 잘안되고 실수가 자주
발생
Excel 로 리포트 만들어 이메일 보내면 매
일 매일 업데이트 해달라고 연락옴

24. 분석에

25. 집중할

26. 수

27. 없을까?

28. 적절한

29. 도구가

30. 필요
편리하고

31. 강력한

32. 분석

33. 언어

34.
인터렉티브

35. 속도

36.
라이브러리

37.
시각화

38.
공유/협업

39.
간편하고

40. 손쉬운

41. 시스템