Data Engineer

1. ABOUT
데이터 엔지니어링 팀 리더
전득진
끊임없이 개발하고 실험하고
트러블슈팅을 즐기는 두려움 없는
20년차 엔지니어 입니다

2. ABOUT
우린 답을 찾을 것이다.
늘 그랫듯이
- 인터스텔라

3. PROJECT 1/3
• 11번가
• ‘19 데이터 플랫폼 구축
• 11번가 전체 데이터/워크로드 마이그레이션 (3000여대 à 500대, 33PB à
9PB)
• 2019 SK ICT Tech Summit 발표 - DP구축과 대용량 데이터 마이그레이션의
여정
• ‘20 데이터 플랫폼 운영
• 빅데이터 저장소(2 cluster) 및 분산처리 클러스터(3 cluster) 운영
• 사용자 로그/DB데이터/시스템 로그 수집
• 데이터 처리/분석/시각화/조회 도구 제공
• 데이터 보호/생명주기 관리
• 통합 모니터링 시스템 개발
• 광고/추천 Spark ML Job (10시간 à 1시간) 효율화, Yarn 클러스터 안정화
• 2020 SK ICT Tech Summit 발표 - 모니터링 시스템 구축 전략 및 과정
• ‘21 마이데이터 사업을 위한 분석계 구축
• AWS EMR/Athena/S3/Apache Ranger
• 짧은기간(2개월) 최소 인원(2명) 아키텍처 수립 및 구축 완료
• ‘21 데이터 플랫폼 증설 및 하둡 v3 업그레이드

4. PROJECT 2/3
• 인터파크
• ‘17 데이터 플랫폼 구축(Apache Hadoop v3.0Alpha1)
• 실시간 스트리밍 데이터 적재 및 실시간 분석 / 배치 처리
클러스터로 이원화하여 구축
• 최초의 데이터 서비스 개발 기반을 마련
• 사용자 행태분석 및 이동경로 분석 시스템
• ‘18 도서 추천 서비스 개발 (Spark/Doc2Vec/은전한닢 형태소
분석기 활용)
• 사내개발 추천 서비스 최초 적용 (기존 RecoPick 대체)
• ‘18 상품이미지 문자/메타데이터 추출 자동화 도구 개발
• ‘문자 자동추출하여 상품 설명에 사용하자’ 아이디어에서 출발
• OCR: GPU장비와 MXNet-WarpCTC(LSTM기반)를 활용한
상품이미지 내 문자/메타 데이터 추출 자동화 도구 개발

5. PROJECT 3/3
• 삼성전자 – Server Side Application Architect
• FindMyMobile, Samsung Link - 유럽, 미주, 아시아(3개 권역) 24 * 365
글로벌 서비스 개발 운영
• 16종류의 API, 2종류의 WEB UI 컴퍼넌트
• Global Server Load Balancing / Disaster Recovery / CDN (정적 컨텐츠 캐싱, 버저
컨트롤)
• DB Sharding, DB Geo-Replication
• DevOps - CI/CD
• 다양한 상황의 Troubleshooting (GC 정책, 쓰레드 덤프, 패킷 덤프)
• 다양한 웹/앱 어플리케이션 개발 경험
• IOT – 사물인터넷 산업표준 플랫폼 oneM2M Spec 구현
• Feature Phone
• XHTML 기반의 모바일 웹 어플리케이션 (미국 Helio사)
• Android
• 전화 /문자/ VoIP 통화 어플리케이션 (삼성전자 겔럭시 S KT향, U+향/ LG전자)
• 스팸차단 솔루션
• Spam Breaker (트리니티)
• 사내 고객/영업관리 솔루션
• 골프장 경영정보 시스템 (회원/부킹/회원권/식자재/매출…)
• imTEL 가맹점 관리/정산 시스템 / 회원 포털

6. PROFILE 1/2
• 발표/강의
• 발표 | 2019 SK ICT Tech Summit
• 발표 | 2013년 NIPA 소프트웨어 아키텍트
포럼 : 스마트워킹분과 - 스마트워킹
아키텍처 참조모델
• 강의 | 2011년 동의대 앱창작터
Android과정 - DB저장하기, SQLite - 7시간
• 강의 | 2011년 강남 토즈 Android Smart
Sensor 특강 - 1시간
• SK ICT Family간 기술교류
• SK Hynix / Cloud Cell – 데이터 플랫폼 구축
및 데이터 관리 도구/기법 소개
• 드림어스컴퍼니 / Flo 뮤직데이터 팀 –
데이터 거버넌스 정책 및 용법 소개
• SK Planger / 정기 미팅 – 개선 사례 공유

7. PROFILE 2/2
• 기술블로그 Pop-It 공동저자 활동
• https://www.popit.kr/author/Jeon%20Deuk%20Jin
• 오프소스 활동
• Apache Pulsar 메뉴얼 한글화 2.2.0 버전
https://pulsar.apache.org/docs/ko/2.2.0/pulsar-2.0/

8. Vision
MORE WONDERFUL SERVICE
AS A DATA ENGINEER