발렌타인 웨비나 - Apache Spark 슬라이드 자료입니다.

3. • SCALA CRASH COURSE
• 스칼라 학교

4. •
•

9. 1. JAVA SDK INSTALL
2. 스파크 노트북 (HTTP://SPARK-NOTEBOOK.IO/)
3.
4.
5.

13. Reference: http://spark.apache.org/docs/latest/cluster-overview.html

14. •
•
•

15. •
•
•
•
•

17. •
•

18. Reference:
https://dzone.com/articles/big-data-
processing-spark

19. • TRANSFORMATION
•
•
•

20. • ACTION
•
•
•

21. •
•

22. •
• CANNOT BE OPTIMIZED BY SPARK
•

24. Reference: http://www.slideshare.net/databricks/2015-0616-spark-summit

25. •
• OPTIMIZED BY SPARK

26. Reference: http://www.slideshare.net/databricks/spark-sqlsse2015public

27. Reference: http://www.slideshare.net/databricks/spark-sqlsse2015public

28. • LOST TYPE SAFETY

33. •
•
•
•

34. •
•
•

36. •
•
•

38. 실습
ML 이론
선형대수, 통계, 프로그래밍

39. •
•
•

40. Hello World 부터
타이핑하고
시작하자

42. • 타이타닉 생존 예측프로젝트 목표
• 데이터 살펴보기데이터 이해
• 타이타닉 데이터데이터 준비
• ML 알고리즘 선택과 트레이닝 실행모델링
• 테스트 데이터를 사용해서 모델 평가평가
• 캐글에 올리기배포

43. 75%
•

44. •
•
•
•
•
•
Reference: https://www.kaggle.com/c/titanic/data

45. •
•
•
•
•
•
Reference: https://www.kaggle.com/c/titanic/data

46. •
•

47. •
•
•
•
•
•

48. •
• CHEAT SHEET
•

50. ML Workflow라고 생각하자
Workflow안에 두 단계 존재
- 파이프를 변형(모델)
- 파이프를 통해 결과 획득

52. Training
Data
맞춤형 파이프 라인 (Model)

53. Test
Data
Model
Result

54. 동영상 소개
Reference: https://en.wikipedia.org/wiki/Receiver_operating_characteristic

56. HOUSE PRICE PREDICTION

57. •
•