공용준(Andrew.kong) / kakao corp.(cloud part)
---
오프소스 기반의 클라우드 플랫폼인 9rum을 소개합니다. 확장성 있는 클라우드와 컨테이너 기반 서비스를 위한 클라우드를 만들기 위해 어떤 기술들을 만들어 적용했고 어떤 과정을 거쳐 갔는지에 대해서 이야기합니다. 그리고 9rum 서비스가 카카오의 개발 문화에 어떻게 기여하는지 설명합니다.
La plataforma Azure está compuesta por más de 200 productos y servicios en la nube diseñados para ayudarle a dar vida a nuevas soluciones que permitan resolver las dificultades actuales y crear el futuro. Cree, ejecute y administre aplicaciones en varias nubes, en el entorno local y en el perímetro, con las herramientas y los marcos que prefiera.
공용준(Andrew.kong) / kakao corp.(cloud part)
---
오프소스 기반의 클라우드 플랫폼인 9rum을 소개합니다. 확장성 있는 클라우드와 컨테이너 기반 서비스를 위한 클라우드를 만들기 위해 어떤 기술들을 만들어 적용했고 어떤 과정을 거쳐 갔는지에 대해서 이야기합니다. 그리고 9rum 서비스가 카카오의 개발 문화에 어떻게 기여하는지 설명합니다.
La plataforma Azure está compuesta por más de 200 productos y servicios en la nube diseñados para ayudarle a dar vida a nuevas soluciones que permitan resolver las dificultades actuales y crear el futuro. Cree, ejecute y administre aplicaciones en varias nubes, en el entorno local y en el perímetro, con las herramientas y los marcos que prefiera.
Tech talk on what Azure Databricks is, why you should learn it and how to get started. We'll use PySpark and talk about some real live examples from the trenches, including the pitfalls of leaving your clusters running accidentally and receiving a huge bill ;)
After this you will hopefully switch to Spark-as-a-service and get rid of your HDInsight/Hadoop clusters.
This is part 1 of an 8 part Data Science for Dummies series:
Databricks for dummies
Titanic survival prediction with Databricks + Python + Spark ML
Titanic with Azure Machine Learning Studio
Titanic with Databricks + Azure Machine Learning Service
Titanic with Databricks + MLS + AutoML
Titanic with Databricks + MLFlow
Titanic with DataRobot
Deployment, DevOps/MLops and Operationalization
[Agenda]
*토크쇼 주제: Cloud Native를 위한 컨테이너 플랫폼 구현과 활용 이야기
1. 시장 및 기술동향 소개 & Container & Kubernetes 소개
2. Red Hat OpenShift를 왜 써야 할까요?
3. OpenShift Infra 구성 방안은 어떻게 되나요?
4. OpenShift와 Kubernetes의 주요 차이점은 무엇일까요?
5. 완전한 오픈소스 기반 OpenShift로 PaaS를 빠르게 구축이 가능 하나요?
6.컨테이너플랫폼의 운영을 효율적으로 하기위한 표준화에는 어떤 것이 필요할까요?
7. Red Hat OpenShift를 이용하여 기존의 시스템을 마이그레이션 하는 방법은 무엇인가요?
8. 개발자와 운영자가 일을 수월하게 할 수 있도록 도움을 준다고 하는데 어떠한 부분인가요?
9. Red Hat OpenShift 구축 성공 사례가 있나요?
클라우드 개념부터 클라우드와 함께하는 중요 기술들에 대해 살펴보며, 클라우드 컴퓨팅에 대한 이해와 기술 트렌드를 살펴보실 수 있습니다 | From the concept of cloud to important technologies with the cloud, you can see the understanding of cloud computing and technology trends.
※다운로드하시면 더 선명한 자료를 보실 수 있습니다.
PAYCO 쇼핑의 아키텍처를 MSA로 변경하면서 겪은 삽질을 공유합니다.
레거시 서비스에서 서비스를 분리해내는 방법과 순서, 이후 고려해야 할 사항을 공유하고자 합니다.
목차
1. PAYCO 쇼핑?
2. 프로젝트 진행 과정
3. 아키텍처 공유
대상
- MSA, Spring cloud, Docker, Ansible 등을 실무에 적용하는 방법에 관심이 있는 분
- Spring Cloud를 써서 MSA로 개발하고 싶은데 어디서부터 손대야 할지 모르는 분
■관련 동영상: https://youtu.be/l195D5WT_tE
According to Gartner, “By 2018, organizations with data virtualization capabilities will spend 40% less on building and managing data integration processes for connecting distributed data assets.” This solidifies Data Virtualization as a critical piece of technology for any flexible and agile modern data architecture.
This session will:
• Introduce data virtualization and explain how it differs from traditional data integration approaches
• Discuss key patterns and use cases of Data Virtualization
• Set the scene for subsequent sessions in the Packed Lunch Webinar Series, which will take a deeper dive into various challenges solved by data virtualization.
Agenda:
• Introduction & benefits of DV
• Summary & Next Steps
• Q&A
Watch full webinar here: https://goo.gl/EFQNFs
This webinar is part of the Data Virtualization Packed Lunch Webinar Series: https://goo.gl/W1BeCb
This presentation covers Azure App Services in general and Web Apps specifically. Another technologies described are WebJobs, Visual Studio Online, Mobile Apps etc.
Organizations are grappling to manually classify and create an inventory for distributed and heterogeneous data assets to deliver value. However, the new Azure service for enterprises – Azure Synapse Analytics is poised to help organizations and fill the gap between data warehouses and data lakes.
BI: new of the buzz words that everyone is talking about but what is it? How can it be used to make a impact in my organization? How do I get started? This session was delivered for SharePoint Saturday Reston.
본 강연에서는 AWS 파트너인 Treasure data의 솔루션을 이용하여 클라우드 환경에서 손쉽게 빅데이터 분석 및 적용하는 법에 대하여 살펴봅니다. 모범 사례에 따른 사용법을 소개하고 JP Morgan 등 해외 선도 고객 사례를 공유합니다.
연사: 고영혁 대표, Treasure Data
1. Enablement & Deployment
- 오프라인 기초 교육 (격주로 진행)
- 무료 온라인 학습 페이지 (기능별, 주제별, 웹 세미나, 유튜브 강의)
- 도움말 & 유저 커뮤니티
- Tableau Blueprint
2. References
- Tableau Public: Best 시각화 예시, 샘플 대시보드 검색
- Tableau Conference & Tableau Experience
3. Tableau Certification
- Desktop: Specialist, Associate, Professional | Server: Associate, Professional
- https://www.tableau.com/ko-kr/learn/certification
Tech talk on what Azure Databricks is, why you should learn it and how to get started. We'll use PySpark and talk about some real live examples from the trenches, including the pitfalls of leaving your clusters running accidentally and receiving a huge bill ;)
After this you will hopefully switch to Spark-as-a-service and get rid of your HDInsight/Hadoop clusters.
This is part 1 of an 8 part Data Science for Dummies series:
Databricks for dummies
Titanic survival prediction with Databricks + Python + Spark ML
Titanic with Azure Machine Learning Studio
Titanic with Databricks + Azure Machine Learning Service
Titanic with Databricks + MLS + AutoML
Titanic with Databricks + MLFlow
Titanic with DataRobot
Deployment, DevOps/MLops and Operationalization
[Agenda]
*토크쇼 주제: Cloud Native를 위한 컨테이너 플랫폼 구현과 활용 이야기
1. 시장 및 기술동향 소개 & Container & Kubernetes 소개
2. Red Hat OpenShift를 왜 써야 할까요?
3. OpenShift Infra 구성 방안은 어떻게 되나요?
4. OpenShift와 Kubernetes의 주요 차이점은 무엇일까요?
5. 완전한 오픈소스 기반 OpenShift로 PaaS를 빠르게 구축이 가능 하나요?
6.컨테이너플랫폼의 운영을 효율적으로 하기위한 표준화에는 어떤 것이 필요할까요?
7. Red Hat OpenShift를 이용하여 기존의 시스템을 마이그레이션 하는 방법은 무엇인가요?
8. 개발자와 운영자가 일을 수월하게 할 수 있도록 도움을 준다고 하는데 어떠한 부분인가요?
9. Red Hat OpenShift 구축 성공 사례가 있나요?
클라우드 개념부터 클라우드와 함께하는 중요 기술들에 대해 살펴보며, 클라우드 컴퓨팅에 대한 이해와 기술 트렌드를 살펴보실 수 있습니다 | From the concept of cloud to important technologies with the cloud, you can see the understanding of cloud computing and technology trends.
※다운로드하시면 더 선명한 자료를 보실 수 있습니다.
PAYCO 쇼핑의 아키텍처를 MSA로 변경하면서 겪은 삽질을 공유합니다.
레거시 서비스에서 서비스를 분리해내는 방법과 순서, 이후 고려해야 할 사항을 공유하고자 합니다.
목차
1. PAYCO 쇼핑?
2. 프로젝트 진행 과정
3. 아키텍처 공유
대상
- MSA, Spring cloud, Docker, Ansible 등을 실무에 적용하는 방법에 관심이 있는 분
- Spring Cloud를 써서 MSA로 개발하고 싶은데 어디서부터 손대야 할지 모르는 분
■관련 동영상: https://youtu.be/l195D5WT_tE
According to Gartner, “By 2018, organizations with data virtualization capabilities will spend 40% less on building and managing data integration processes for connecting distributed data assets.” This solidifies Data Virtualization as a critical piece of technology for any flexible and agile modern data architecture.
This session will:
• Introduce data virtualization and explain how it differs from traditional data integration approaches
• Discuss key patterns and use cases of Data Virtualization
• Set the scene for subsequent sessions in the Packed Lunch Webinar Series, which will take a deeper dive into various challenges solved by data virtualization.
Agenda:
• Introduction & benefits of DV
• Summary & Next Steps
• Q&A
Watch full webinar here: https://goo.gl/EFQNFs
This webinar is part of the Data Virtualization Packed Lunch Webinar Series: https://goo.gl/W1BeCb
This presentation covers Azure App Services in general and Web Apps specifically. Another technologies described are WebJobs, Visual Studio Online, Mobile Apps etc.
Organizations are grappling to manually classify and create an inventory for distributed and heterogeneous data assets to deliver value. However, the new Azure service for enterprises – Azure Synapse Analytics is poised to help organizations and fill the gap between data warehouses and data lakes.
BI: new of the buzz words that everyone is talking about but what is it? How can it be used to make a impact in my organization? How do I get started? This session was delivered for SharePoint Saturday Reston.
본 강연에서는 AWS 파트너인 Treasure data의 솔루션을 이용하여 클라우드 환경에서 손쉽게 빅데이터 분석 및 적용하는 법에 대하여 살펴봅니다. 모범 사례에 따른 사용법을 소개하고 JP Morgan 등 해외 선도 고객 사례를 공유합니다.
연사: 고영혁 대표, Treasure Data
1. Enablement & Deployment
- 오프라인 기초 교육 (격주로 진행)
- 무료 온라인 학습 페이지 (기능별, 주제별, 웹 세미나, 유튜브 강의)
- 도움말 & 유저 커뮤니티
- Tableau Blueprint
2. References
- Tableau Public: Best 시각화 예시, 샘플 대시보드 검색
- Tableau Conference & Tableau Experience
3. Tableau Certification
- Desktop: Specialist, Associate, Professional | Server: Associate, Professional
- https://www.tableau.com/ko-kr/learn/certification
* 행사 정보 :2016년 10월 14일 MARU180 에서 진행된 '데이터야 놀자' 1day 컨퍼런스 발표 자료
* 발표자 : Dylan Ko (고영혁) Data Scientist / Data Architect at Treasure Data
* 발표 내용
- 데이터사이언티스트 고영혁 소개
- Treasure Data (트레저데이터) 소개
- 데이터로 돈 버는 글로벌 사례 #1
>> MUJI : 전통적 리테일에서 데이터 기반 O2O
- 데이터로 돈 버는 글로벌 사례 #2
>> WISH : 개인화&자동화를 통한 쇼핑 최적화
- 데이터로 돈 버는 글로벌 사례 #3
>> Oisix : 머신러닝으로 이탈고객 예측&방지
- 데이터로 돈 버는 글로벌 사례 #4
>> 워너브로스 : 프로세스 자동화로 시간과 돈 절약
- 데이터로 돈 버는 글로벌 사례 #5
>> Dentsu 등의 애드테크(Adtech) 회사들
- 데이터로 돈을 벌고자 할 때 반드시 체크해야 하는 것
A Modern Data Integration Approach to Transform and Amplify Your Business (데이...Denodo
Watch full webinar here: https://bit.ly/3N5ufSC
In this session we will look at the key trends in data integration and in particular the role of the data fabric. We will discuss the physical v’s logical approaches and how data virtualization is a key technology to power the logical data fabric. The session will also cover how quick a return on investment may be achieved, examining the ke y findings of the Forrester total economic impact report and data virtualization.
[Bespin Global 파트너 세션] 분산 데이터 통합 (Data Lake) 기반의 데이터 분석 환경 구축 사례 - 베스핀 글로벌 장익...Amazon Web Services Korea
기업 환경에 따라 차이는 있겠지만, 최근 대부분의 기업은 데이터 분석 환경이 구축되어 있고, 이를 기반으로 데이터를 분석하고 있습니다. 그럼에도 불구하고 현업에서는 분석하고자 하는 데이터가 없거나 변화하는 비즈니스 요건을 반영하지 못한다는 불만을 제기하고, 분석 환경을 제공하는 IT운영팀은 변화하는 비즈니스 요건에 따라 분석 환경을 적시에 제공하기 쉽지 않다는 어려움을 토로하고 있습니다. 이 해결책으로 운영시스템에 데이터베이스 형태로 존재하고 있거나, 현업의 PC에서 수작업으로 작성한 정형, 비정형 파일을 통합 관리할 수 있고, 또한 인프라 환경의 확장 및 변경을 보다 유연하게 할 수 있는 AWS Cloud 기반의 분석 환경 구축 사례를 소개하고자 합니다.
다시보기 링크: https://youtu.be/YvYfNZHMJkI
2. Help people see and
understand their data
는 사람들이 데이터를 보고, 이해할 수
있도록 도와줍니다
3. 유통망을 통합한다면 공급망에 어떠한
변화가 발생할까?
가치가 높은 고객 중 만족스럽지 못한
서비스를 경험한 고객은 누구인가?
비용 최소화를 유지하면서 정책 및 규정을
100% 준수할 수 있는 방법은 무엇인가?
시행하고 있는 오프라인 광고는
어떤 효과가 있는가?
현재 운영하고 있는 소셜미디어상 피드백이
우리의 고객 경험에 어떤 영향을 주고 있는가?
각 지역별 이익에 가장 영향을 미치는
상품군은 무엇인가?
여러분들의 데이터에 던질 수 있는 수많은 질문들…
다양하고 복잡한 비즈니스 환경 속에서 데이터로부터 의미있는 정보를 얻기위해
많은 시간과 노력을 투자하고 계십니까?
4. 대부분의 고객 다수의 고객 소수의 고객
• 분석은 매우 어렵기 때문에
실제 비즈니스에 적용하지 않음
• 데이터/분석에 대한 필요성 부재
• 엑셀을 이용한 시간 소비 빈약한
분석 결과
• 본업이 아닌 엑셀을 다루고 데이터를
분석하는데 대부분의 시간을 소비
• 대규모의 엔지니어와 수준 높은
전문가들에게 분석을 의존함
• IT 중심의 데이터 분석 다양한
비즈니스 질문에 대한 한계
• 느린 처리 시간
전통적인 방식은 복잡하고 유연하지 않으며 그 처리속도도 빠르지 못합니다. 이제
실제 사용자가 데이터를 보고 이해 할 수 있어야 합니다
5. 기존 접근 방법 Tableau 접근 방법
복잡한 제품군
전문가 지원 필수
사전 정의된 모델
고가의 도입 비용
대규모 커스커마이징
엄격한 제공 규칙
느린 처리 속도
한정된 수혜자
데이터에 대한 끊임 없는 질문과 그 해답을 데이터 소비 추체가 쉽고, 빠르고,
강력하게, 장소에 구애받지 않고 얻을 수 있어야 합니다
6. “모든 사람들이 쉽고 빠르게 데이터를 이해 할 수 있도록…”
Tableau는 2003년 스탠포드 대학교 연구과정을 통해 설립되었습니다
Chairman & co-founder
Christian Chabot
Chief Scientist &
co-founder
Pat Hanrahan
(Pixar 창립멤버)
CDO & co-founder
Chris Stolte
7. 사용자가 직접 빅데이터, 클라우드를 아우르는 모든 데이터를 연결,
분석함으로써 실질적인 Self-Service Data Analysis가 가능해졌습니다
8. 직관적인
드래그&드랍 인터페이스
쉬운 데이터 매쉬업
필터 사용의 용이함
신속한 데이터 전환
- 100MM / 1초
대규모의
엔지니어 조직
고도의
전문가
분석에 소요되는 긴
기간
데이터 저장소 별
데이터 추출
복잡한 소프트웨어
커스터마이제이션
진부한
보고서
더 이상
불필요한
요소들
Tableau의 직관적이고 사용하기 쉬운 인터페이스는 사용자들이 빠르고
간편하게 데이터를 분석할 수 있도록 도와줍니다
9. “Tableau는 ‘Magic Quadrant’와
연인(sweetheart)사이이다”
— Gartner
“Tableau는 in-house개발 영역에서
매우 큰 차이로 가장 높은 점수를 받았다.
Tableau와 근접한 제품은 거의 없었다”
— BARC
“Tableau는 지속적으로 기준을
만들어가고 있다…”
— Forrester
“Tableau 만큼 고객기반의 열렬한
지지자들을 가진 회사는 드물것이다”
— Gartner
Tableau는 2017년 Gartner Magic Quadrant의 Business Intelligence &
Analytics Platform 분야에서 5년 연속 ‘리더’로 선정 되었습니다
12. Tableau Desktop
각종 데이터소스에 연결, 분석하여 대시보드, 리포트를 생산하는 분석 플랫폼
• 데이터 탐색, 시각화, 분석용 사용자 툴
• Windows의 기본 단축키 채용. Excel의 시트 개념 채용.
• IE의 화면 구성을 채용하여 인터넷을 사용 하는 유저라면 직관적으로
사용 가능
간편한 분석
• 대용량 분석에 적합한 In-memory Engine 탑재
• 대부분의 DBMS 및 상용 Hadoop 등에 대하여 Native
Connector 제공
• File과 Memory의 자원 관리를 담당하는 Optimizer
• 이 기종 데이터 소스를 별도의 통합 작업 없이 자체적으로
블렌딩(blending)
• 다양한 화면 도구를 통해 다채로운 비주얼라이제이션 제공
• 사용자의 데이터 선택에 최적의 화면을 자동 구성해주는 Best
Practice VizQL™ Engine
시각적 분석
13. • Drag & Drop 기반의 Analysis 플랫폼
• 기존 Excel 사용자라면 익숙하게 사용가능
• 파워풀 하지만 직관적인 인터페이스
• 최고의 대시보드/비주얼라이제이션 생산성
Tableau Desktop
직관적이고 사용하기 쉬운 Drag & Drop 기반의 사용자 인터페이스
14. • 최적화된 데이터 엔진을 통해 데이터 소스에 빠른 속도로
접근 – ODBC 연결보다 2.5배 빠른 속도
• 추출 기능 사용 시 In-memory 형태로 데이터 저장 및
처리
• 독자적인 VizQL™ 엔진을 통해 비주얼라이제이션 쿼리
속도 최적화
• 분석을 진행하는 운용 및 사용이 간편하여 빠른 속도로
분석 진행
• 최적의 데이터 압축 / 처리방식을 통해 사용자에게
최상의 성능 제공
Tableau Desktop
특허기술인 VizQL™과 데이터엔진을 통해 신속한 분석 결과 제공
15. • Major Vendor DB는 물론, 상용화 된 대부분의
Global DB에 Native connector를 제공
• Desktop Professional을 통해 연결된 데이터
소스들은 기종에 상관없이 블렌딩 가능
• 사용자는 더 이상 DB나 데이터 소스의 특성에
관해 이해 할 필요가 없음
• 데이터의 존재여부와 위치만 확인하면 즉시 분석
가능
Tableau Desktop
모든 상용DB, 빅데이터 및 클라우드 데이터 소스 연결 및 이기종 블렌딩 가능
16. Tableau Server &
Tableau Online*
For Organizations
• BI시스템의 종결자
• 웹 대시보드와 어플리케이션
• 보안 정보 관리 가능
• 전사로의 확장성 지원
(*) Tableau Online은 Tableau Server의
클라우드 버전
17. • Desktop™ Professional을 통해 생산된
리포트를 공유하고 조직내 의견을 교환/공유
• Desktop™ Professional과 동일한 리포트
구성 작업을 웹 환경에서 지원
• 업로드 된 리포트와 대시보드 관리
• 사용자 권한 관리 등의 리소스 매니지먼트
Reporting Server Role
• 분석에 필요한 데이터를 서버에 파일 혹은 메모리에 적재하여
이를 활용해 분석 진행
• 기존 리포트 생성에 활용 되었던 메타데이터를 재활용
• 데이터 원본과 데이터 동기화를 위한 ETL 모듈 탑재
Data Server Role
Tableau Server
Desktop을 통해 만들어진 대시보드를 다중 보안 환경에서 다양한 방법으로 공유
Tableau
Data
Server
18. • Tableau Server는 크게 페이지를 퍼블리싱하고 메타 정보 공유 공간을 제공하는 Publishing
Portal 과 시스템 관련 관리 도구와 모니터링 도구를 제공하는 Management Portal 로 구분
Publishing Portal Management Portal
Tableau Server
대시보드와 메타정보를 공유하는 공간과 관리 포탈로 구성
19. • 웹으로 게시된 리포트는 각종 웹브라우저와 Microsoft Sharepoint™에 완벽하게 호환
• 동료가 생산한 리포트를 재활용 할 수 있으며 공유된 데이터 소스와 메타 정보를 활용하여 새로운
리포트를 손쉽게 구성
Tableau Server
모든 웹브라우저와 호환, 편집기능 제공으로 데스크탑 없이 편집 및 수정 가능
20. • 웹브라우저 지원
Microsoft Internet Explorer 7 이상
Mozilla FireFox 3.x 이상 버전
Apple Safari 3.x 이상 버전
Google Chrome
• 태블릿, 스마트폰 환경에서 사용자 편의가 충분히
고려된 전용 앱 제공
• Social Network Service 기반의 정보 공유 기반
• 색채 배합에서부터 사용자가 무엇이 중요한지
집중하게 만드는 최적의 UI 제공
Tableau Server
웹브라우저 외 태블릿, 스마트폰 사용자들을 위한 전용 앱 제공
21. Tableau 아키텍처
VizQL
Server
Data
Server
Application
Server
Fast Data
Engine
SQL
Connector
MDX
Connector
Data Marts
Data
Warehouse
Files Cubes
Gateway/ Load Balancer
Repository
데이터
소스
데이터
커넥터
Main
Component
게이트웨이
클라이언트
Desktop Browser Mobile
Tableau Data Engine
Technology
• In-memory
• Column store
• Highly compressed
• 최적화된 API 제공
• 64-bit (32-bit 제공)
Tableau Native Query
Technology
• 대화형 데이터베이스 쿼리
• IT 보안 정책 활용
• 직접 연결(데이터 저장소 불필요)
• 실시간 데이터 결과 보장
• 데이터 통합 지원
VizQL™ Technology
• 데이터베이스 질의 결과를
시각화 하여 제공
• 시각화 특허 엔진
2
3
1
1
2
3
22. Tableau Public
For Public Websites
• 퍼블릭 웹사이트에 게시할 수 있는 오픈
인터랙티브 디스커버리
• 온라인 스토리텔링
• On-demand 플랫폼
• 누구나 무료로 사용 가능
• http://public.tableau.com/