고객 중심 서비스 출시를 위한 준비 “온오프라인 고객 데이터 통합” – 김준형 AWS 솔루션즈 아키텍트, 김수진 아모레퍼시픽:: AWS C...Amazon Web Services Korea
AWS의 빅데이터 서비스들이 데이터 파이프라인 상에서 어떻게 활용 되는지와 데이터 모델링과 플랫폼 구축을 100% 내재화 하여 AWS와 함께 고객기반 서비스의 경쟁력을 강화 해나가는 고객 사례를 전해 드립니다. 국내 뷰티산업을 리딩 하고 있는 아모레퍼시픽에서 온/오프라인 고객 정보를 AWS 기반의 Data Lake로 통합 하고 고객 관점의 데이터 서비스를 출시 하는데 속도를 높이고 있는 성공 스토리를 직접 전해 드립니다.
2005년 구글맵으로 부터 시작된 웹 기반 지도 API 서비스는 웹 2.0의 데이터 플랫폼 서비스의 주요 사례로 떠올랐다. 그 이후 야후!, 마이크로소프트 등에서 지도 플랫폼 서비스와 API 제공이 잇달았으며, 국내에서도 다음이 최초로 항공 사진(스카이뷰)과 거리 사진(로드뷰)을 제공하고 네이버도 참여함으로서 로컬 기반 서비스의 폭발적 성장의 견인차 역할을 하였다. 노키아의 Here 및 오픈스트릿맵 등 제 3의 사업자 및 협업 기반 플랫폼이 성장하였으며, Open Layer 라이브러리 및 Open GIS 등 다양한 공개 소프트웨어 들도 함께 성장하였다.
특히, 스마트폰의 보급과 아울러 모바일용 지도 SDK를 적극 보급 및 지원하는 추세로 기존의 Ajax 기반의 이미지 기반 웹 지도 표현 기술은 WebGL 혹은 Canvas를 통해 3차원 기술을 도입하면서 웹 호환성 및 성능을 동시에 높히고 있다. 구글 스케치업을 통해 시작된 공간 3차원 서비스는 약간 주춤하지만 45도 이미지너리 및 DEM 기반 데이터는 계속 추가되고 있다.
최근에는 구글맵 엔진 서비스와 같은 전문 사용자의 참여를 이끌어 내어 클라우드 소싱 형태의 지도 데이터 생성 커뮤니티를 통해 저개발 국가 및 북한과 같은 미공개 지도 데이터 생산을 만들고 있다.
2011년부터 구글 부터 지도 API 서비스 유료화를 단행하여 보안 강화 및 품질 및 성능 향상을 통해 제 3자 재판매를 통한 사업을 진행하고 있다. 또한, 최근 많은 기업들이 글로벌 홈페이지에 자사의 위치나 고객센터를 이용자들이 찾는데 활용하고 있으며, 이를 활용해 물류•관제•입지분석•위험관리•마케팅 등에 활용하고 있다.
현재 글로벌 지도 API 플랫폼은 단순히 베이스맵을 지원하는데 그치지 않고 공간 정보를 시각화 및 표현하는데 필요한 다양한 기능을 제공하면서, 정보 전달 역할을 강화하고 있다. 또한, Mapbox 등 지도 타일의 다양한 스타일과 테마 기능을 통해 좀 더 미려한 지도를 제공하기도 한다.
향후 글로벌 지도 API 플랫폼은 단보다 고도화된 시스템을 활용해 데이터 분석 및 2차원 시각화 그리고 3차원 공간 정보 활용으로 진화하고 있다.
Cloud-Native Architecture
MSA(Micro Service Architecture)
MDA(Micro Data Architecture)
MIA(MIcro Inference Architecture)
MSA-Service Mesh
MDA-Data Mesh
MIA-AI Inference Mesh
Kubernetes
Container
Kubeflow
Volcano
Apache Ynikorn
ChatGPT
AGI(Artificial General Intelligence)
ASI(Artificial Specialized Intelligence)
초-전환시대
초-연결시대
SQream GPU DBMS
Cloud와 Cloud Native의 목표는.. 왜? 어떻게? 뭐가 좋아지나...
1. (왜) 가속화된 초-전환, 초-연결 IT 환경변화에 대비하기 위해서
2. (어떻게-H/W) IT H/W 부분은 IaaS 서비스화하여
점유된, Over Subscription된 H/W(Server, Network, Storage)들 모아서 Pool화하고, 가상화기술을 통해 Tenant로 자원들을 분리해 서비스화해 제공하고
필요시 적시에 Pool의 가상H/W를 제공하고, 상황에 따라 확장・축소(Scale in/out, up/down)하면서, 축소된 자원을 다른 요청들을 위해 빠르게 재-할당하는 유연성을 제공하고
3. (어떻게-S/W) S/W 부문도
PaaS, SaaS 적극 활용으로 App.개발 시간을 단축하고
App.분야인 기존 MACRO Service Architecture형 Monolith Architecture(Web-WAS-DB)를 작게 쪼개서 변화에 빠르게 적응할 수 있는 MSA(Micro Service Architecture)로 변경하여 Service Mesh형으로 관리하고
Data분야도 Data Warehouse, DataLake(Bigdata), LakeHouse등 기존 MACRO Data Architecture를 MSA형식으로 MDA(Micro Data Architecture)로 전환 후 Data Mesh형태로 관리하고,
AI로 동적프로그램 생성하여 App.개발시간 단축하고, AI분야도 초-거대 AI구현(MACRO)보다는 작은|특화된 Deep Learning Network(Model)들로 작게 쪼개서 MIA(Micro Inference Architecture)로 비지니스 환경에 적용하고 Inference Mesh형태로 관리하는 시스템으로 전환하고
4. (어떻게-조직) 조직구조도 CI/CD형 DevOps환경, 데이타,트랜잭션중심업무중심, 기술중심 문제해결중심, 직능중심조직직무중심조직으로 전환하면
5. (좋아지는 것) 초-전환, 초-연결 환경에 빠르고, 지속적으로 적응할 수 IT as a Product 환경을 구현하는 것
Chaos Engineering을 위한 최신 도구 업데이트 - 윤석찬 (AWS 테크에반젤리스트)Channy Yun
- 발표 영상: https://www.youtube.com/watch?v=mLWD4KCQuT4
카오스 엔지니어링(Chaos Engineering)을 테스트해 볼 수 있는 각종 도구에 대해 최신 업데이트를 해드립니다. 로컬 장애 주입용 도구 부터, AWS System Manager기반 Runcommand 도구, AWS Lambda 도구, 그리고 ToxiProxy, ChaosToolkit 같은 오픈 소스 기반 도구와 간단한 데모를 함께 보여드립니다.
How to Measure DevRel's Perfomances: From Community to Business - Channy Yun ...Channy Yun
Developer relations are an impactable to generate business values in many software companies who hope to gain mindshare of developers in various approaches from contributing open sources to gaining meaningful sales leads. In this session, you’ll learn about how to measure the perfomrmance of developer relations for building community, increasing impacts and generating leads for sales.
https://tokyo-2018.devrel.net/speakers/yun/
카오스 엔지니어링(Chaos Engineering)이란 프로덕션 서비스의 각종 장애 조건을 견딜 수 있는 시스템의 신뢰성을 확보하기 위해 분산 시스템을 실험 하고 배우는 분야입니다. 즉, 개발자들이 현실 세계에서 발견되는 시스템 장애를 미리 탐지하여 복원성 높은 아키텍처를 구성하는 방법을 공유합니다.클라우드 컴퓨팅의 발전과 데브옵스 방법론을 기반으로 자동화를 통해 좀 더 쉽게 개발자들이 직접 분산 시스템을 통제된 환경에서 실험을 하는 동안 나오는 결과를 관찰함으로써 현실에서 실제 행동 방법을 배울 수 있습니다. 본 세션에서는 카오스 엔지니어링의 기본 개념과 함께 Kubernetes용 Chaos Tool인 KubeMonkey를 통해 무작위로 클러스터의 포드를 삭제하여 장애 복구 서비스 아키텍처를 검증하는 방법을 설명합니다.
클라우드 컴퓨팅과 Daum의 사례- 윤석찬 (KREN 연구 협력 포럼, 2013) Channy Yun
출처: http://www.koren.or.kr/board/board.php?task=view&db=data2&no=44
<개발자에서>
최근에 클라우드 기술이 부각되면서 다음에서도 발빠르게 사내 프라이빗 클라우드 서비스를 준비중이다. 가장 먼저 한 일은 사내 개발자들이 언제든지 자신의 가상머신(VM)을 할당 받아 테스트해 볼 수 있는 사내 클라우드 플랫폼 구축이었다.
2011년 초 오픈소스인 클라우드스택을 최적화해 구축했으며, 개발자들은 공용 테스트 서버나 서비스 서버에서 못하던 자신만의 최신 기술 습득이나 테스트를 아무 구애 받지 않고 자기 서버에서 해 볼 수 있게 됐다. 이 플랫폼은 앞으로 클라우드 파운더리 기반의 사내 PaaS과 하둡 테스트베드로도 활용하고 있으며, 실제 다음 서비스에서 클라우드 컴퓨팅 기술을 활용하는 기초가 되고 있다.
- http://www.bloter.net/archives/107844
DockerCon 2014에서 Adrian Cockcroft가 발표한 The state of the art in Microservice 중 해외 사례 발췌본
https://blog.docker.com/2014/12/dockercon-europe-keynote-state-of-the-art-in-microservices-by-adrian-cockcroft-battery-ventures/
1. 빅데이터 및 API 기술 동향
Channy Yun
@channyun
Daum Developers Network & Affiliates
http://dna.daum.net
2. API Strategy & Practice 콘퍼런스 개요
• 웹 플랫폼 기업 중심 REST/JSON/OAuth 같은 Open API 기술이 보
편화된 후, 2~3년전부터 기업형 혹은 비 플랫폼 기업을 위한 API 솔
루션 및 효율적 운영 기술을 개발하는 스타트업들이 늘어나고 있음
.
– API Management(인증, 키관리, 문서화, 샘플코드)
– REST Application Frameworks
– OAuth, Proxy, Cache Server
– Data Analytics
– API Directory
• 구글, 아마존, 이베이, 페이스북, 트워터 등 주요 플랫폼 벤더가 참
여하지 않은 API 산업에 대한 첫 콘퍼런스임
– ProgrammableWeb, 3Scale, Layer 7, Mashery, Mashpe 같은 업체들
이 주축이 되어 개최
– 350여명 참가자 및 50여개 벤더 및 스타트업 참여
– http://apistrategyconference.com/
– http://eventifier.co/event/apistrat13/slides
2
4. 주요 시사점 (1)
• (1) 구글, 아마존, 페북 같은 대형 업체는 없지만 API 산업이 작은 기
업들로 부터 bottom-up으로 견고해지고 있다. SOA가 그 반대로 실
패한 것과 대비. 사람을 위한 기술은 언제나 성공한다는 점...
• (2) API 333 목표 "3초만에 API 기능을 바로 이해시키고 30초만에
API 키를 발급 받아 3분안에 첫번째 호출을 할 수 있게 해야한다."
via @olensmar
• (3) API 설계 구현 운영 보안 같은 세션에 사람이 많았지만 소셜, 결
제 및 음악 같은 신규 API 시장에 대한 관심도 뜨거웠다. 소프트웨
어 기술 자체가 변하고 있다는 느낌...
• (4) Netflix의 독특한 API 사례 1) 초기 외부 제공이었으나 현재 99%
내부 사용 중 2) 800여개 단말에 API 제공 중 3) REST 방식에 문제
가 있어 경험 중심으로 바꾸는 중
4
7. 효율적 API 설계 및 개발 - Swagger
• Machine-Readable
– Auto documentation, health-check and sample code generator
– Distributed Design
– Make client libraries “your way”
http://developers.helloreverb.com/swagger/
7
8. 주요 시사점(2)
• (1) API를 무료로만 제공하는 시대는 지났다. 내외부 ROI 분석 통해
수익화 가능해졌다. API 수익 모델을 묻지 말고, 나의 수익 모델에
맞는 API가 무엇인지 고민해서 API안에 수익 모델을 같이 설계해야
...
• (2) 스타트업도 공룡 기업의 틈새를 API로 사업을 하면 네트워크 효
과를 얻을 수 있다. 금융 데이터 API 유료제공하는 xignite.com 이
대표적 사례. 한 VC는 자사 투자 업체의 80%가 API를 소유하고 있
다고.
• (3) 공공(정부) API 세션에는 사람이 몇 명 없었다. 정부 주도 모델
은 비지니스와 개발자 커뮤니티와 괴리가 있다는 것을 반증. 미 정
부 api.data.gov가 이제 나온걸 보면... 정부 주도의 한국과 역시 대
조적~
• (4) API 구조와 설계, 운영에 대한 세션에 참가자들이 몰리는 것으
로 보아 효율적 운영과 서비스에 관심이 많았음.
8
9. API 비즈니스 모델
(1) Free (2) Developer Pays (3) Developer Gets Paid (4) Indirect
Pay as You Go Affiliate Revenue Share Content Acquistion
Tiered Pricing CPA Content Syndication
Freemium CPC API as SaaS service
Unit-based Pricing Intenal API use case
Transaction Fee
9
12. O’reilly Strata 2013
• DW, BI 분야의 주요 콘퍼런스로서 2011년 부터 Hadoop 및 Big
Data 키워드를 통해 데이터 산업 분야 키워드를 리딩하고 있음
• 빅데이터 분야 주요 업체들 모두 참여
12
13. 올해 주요 키워드
• (1) Smart Data : 단순한 빅데이터가 아니라 의미를 뽑아 낼 수 있는
데이터를 찾아내는 것이 중요함
• (2) Real Time: 실시간으로 들어오는 대량 데이터에 대한 분석 기법
및 이를 더 빠르게 전달하는 방법에 대한 탐구
– Apache Drill, Storm
• (3) New Map/Reduce 기법
– Spark, Spark Streaming, Shark
• (4) Mobile: 모바일의 활동 및 데이터가 PC의 3배 이상이므로 이에
대한 데이터 분석 필요
• 주요 슬라이드 및 영상 제공 중
– http://strataconf.com/strata2013/public/schedule/proceedings
13
15. Day 1 Review
• Beyond Hadoop
– Berkeley Stack
• Spark, Shark, and Spark Streaming.
• Iterative Job에 대한 성능 향상 (머신러닝/그래프 탐색)
• Interactive Data Mining에 대한 최적화 (R/Excel/Python 등)
• 스토리지 In/Out 대신 주요 데이터셋을 메모리에 올려서 Iternation에 최적
화 시킴
• SQL 기반의 Shark 도 동시 제공, Python,
• http://spark-project.org
– Related Works
• Impala (Cloudera), Apache Drill (MapR), Hawq (Greenplum, announced
today), Stinger (Hortonworks).
• Easy Analytics
– Python Data Science, with an interactive shell called iPython
Notebook
16. Day 2 Review
• Big Data for Game
– EA Games
– Real-time processing of big data because it's critical to monetization
of their games, now that games are free and sales come from in-
game ad placement and sales of virtual goods.
• Big Data for Mobile
– Increasing Mobile Big Data
16
17. Day 3 Review
• Intel, EMC- own Hadoop distribution.
– Everywhere Intel
• 분석 기술의 변화
– 1세대: desktop (or single server), R
– 2세대: Map Reduce (e.g. Mahout)
– 3세대: post-Map Reduce (e.g. Spark)
• "Excel Big Data" - Microsoft
– point-and-click querying of HDFS that translates into Map/Reduce.
• 주요 트렌드
– Hadoop distribution competition is hot and getting hotter
– Bring SQL to Big Data is gaining acceptance as the preferred way to
democratize Big Data.
17
18. • 국내 주요 참석 기업: KT Cloudware, Daum, NCSoft, SKPlanet 등
18
19. References
• Articles
– From Strata, the New Big Data on the Block, Steve Miller, Information
Management.
– Strata Keynoters show big data in action , FierceBigData.
– O'Reilly Strata: Busting Big Data Adoption Myths-Part 1, SQL Server Team.
– O'Reilly Strata: Busting Big Data Adoption Myths-Part 2, SQL Server Team
– Big Data insights from the Wikibon project:
– Contextual + Situational Awareness: The Next Big Thing in Big Data, Silicon
Angle
– Summary of My First Trip to Strata, Ryan Rosario, Byte Mining Blog.
– Strata Trip Report: Days 0 & 1, Michael Malak
– Strata Trip Report: Day 2, Michael Malak
– Strata Trip Report: Day 3, Michael Malak
• Video
– http://www.youtube.com/playlist?list=PL055Epbe6d5ZEYjq8K7CA37-1fEST-
yWe
19