[KAIST 채용설명회] 데이터 엔지니어는 무슨 일을 하나요?

1. 채용 설명회 | DEVSISTERS 박주홍
데이터 엔지니어는 무슨 일을 하나요?
J.Park@devsisters.com

2. 2007 KAIST 입학
2013 DEVSISTERS
• Server Engineer
• Data Engineer
• KAIST 데이터 연구, CHI LBW 발표
• Data Science & Infrastructure 팀장

3. 2007 KAIST 입학
2013 DEVSISTERS
• Server Engineer
• Data Engineer
• KAIST 데이터 연구, CHI LBW 발표
• Data Science & Infrastructure 팀장
입학 후에 강산이 한번 바뀌고
2016 KAIST 수리과학과 졸업

4. 01 빅데이터가 뭔가요?

5. V3
Volume
Variety
Velocity

6. V4
Volume
Variety
Velocity
Value

7. V5
Volume
Variety
Velocity
Value
Veracity

8. VX
Volume
Variety
Velocity
Value
Veracity
V…
V…
V…
V…
V…

9. VX Plus
Volume
Variety
Velocity
Value
Veracity
V…
V…
V…
V…
V…
+…

10. 그것보다
Real World 에서 느끼는
빅데이터란

11. Single Server

12. Single Server
Out of Memory

13. Single Server
Disk Full

14. Big Data > Single Server

15. 02 그러면 데이터 엔지니어는 뭘 하나요?

16. Big Data > Single Server

17. Single Server → Multi Server

18. Big Data < Multi Server

19. Server Cluster

20. Server Cluster
Cluster Management
Parallel Computing
Load Balancing

21. 데이터 엔지니어는 빅데이터를 처리합니다.
빅데이터를 처리하기 위해 서버 클러스터를 사용합니다.

22. 서버 클러스터로 빅데이터를 처리하면서 발생하는 다양한
Cluster Management
Parallel Computing
Load Balancing
문제를 해결합니다.

23. 03 데브시스터즈에서는 어떻게 문제를 해결하나요?

24. Server Cluster

25. Server Cluster
Which
Where

27. Reference: www.jenunderwood.com

28. • 분산 처리 클러스터 엔진
• 메모리 기반의 빠른 분석 지원
• SQL, DataFrame 지원

30. EC2 S3

31. EC2
• Cloud Server
• 원하는 때 원하는 만큼 서버 생성
• 사용한 만큼 비용 지불

32. • Cloud Storage
• 병렬 업로드, 병렬 다운로드 지원
• 저장한 만큼 비용 지불
S3

34. EC2 Cluster

35. S3
EC2 Cluster

36. S3
EC2 Cluster

37. S3
EC2 Cluster

38. Two More Things

39. S3
EC2 Cluster

40. S3
EC2 Cluster

41. S3
EC2 Cluster
Airflow

43. New York 에서 진행된
Spark Summit 에 출장가서
Flintrock 개발자와 미팅

45. DEVSISTSERS 로
Flintrock 개발자를 초청해서
필요한 기능을 공동개발

47. S3
EC2 Cluster
Airflow

48. 04 DEVSISTERS 는 어떤 데이터 엔지니어를 뽑나요?

49. 1TB 이상 빅데이터를 처리해보신분

50. Reference: tvN 알바트로스

51. 데이터 엔지니어 신입의 경우
빅데이터를 1TB 이상 구할 수 없거나
빅데이터를 다룰 서버 클러스터가 없기 때문에
사실상 빅데이터를 다룬 경력이 있을 수가 없다.

52. 그래서 빅데이터 기술보다는
전산학 기본기와
데이터 엔지니어에게 필요한 자질을
중점으로 평가합니다.

53. Python
Linux

54. Python
Linux
Data Structure
System Engineering

55. 테스트를 확실하게 진행하는 꼼꼼함
실전에서 지속적으로 제품을 개선하는 책임감
Python
Linux
Data Structure
System Engineering

56. 빅데이터 세션은
일어서서 보는 정도가 아니라
강의장 밖에서도 본다.

57. 데이터 엔지니어로 성장하고 싶다면
막강한 권한과 자유로 기회를 제공하는
그렇지만 막중한 책임과 기대에 부응해야 하는
DEVSISTERS 로 오십시오.

58. 빅데이터 전투력 1024TB 을 넘겨보고 싶으신 분
빅데이터 전투력 측정기 폭발시키고 싶으신 분!
환영합니다
J.Park@devsisters.com