Spark
Hadoop
HDFS
Spark Cluster
Docker
Google Cloud Platform
GCP
DataProc
Google Cloud Storage
Google Vision API
Google Translation API
Google Natural Language API
Elastic Stack 을 이용한 게임 서비스 통합 로깅 플랫폼 - elastic{on} 2019 SeoulSeungYong Oh
elastic{on} 2019 Seoul 에서 발표한 데브시스터즈(Devsisters Corp.) 의 Elastic Stack 기반 게임 서비스 통합 로깅 플랫폼 소개 발표 자료입니다.
발표 영상은 https://www.elastic.co/kr/elasticon/tour/2019/seoul/devsisters-game-service-integration-logging-platform-using-elastic-stack 에서 보실 수 있습니다.
데브시스터즈 데이터 레이크 구축 이야기 : Data Lake architecture case study (박주홍 데이터 분석 및 인프라 팀...Amazon Web Services Korea
데브시스터즈 데이터 레이크 구축 이야기 : Data Lake architecture case study
이 세션에서는 데브시스터즈의 Case Study를 통하여 Data Lake를 만들고 사용하는데 있어 요구 되는 사항들에 대해 공유합니다. 여러 목적에 맞는 데이터를 전달하기 위해 AWS 를 활용하여 Data Lake 를 구축하게된 계기와 실제 구축 작업을 하면서 경험하게 된 것들에 대해 말씀드리고자 합니다. 기존 인프라 구조 대비 효율성 및 비용적 측면을 소개해드리고, 빅데이터를 이용한 부서별 데이터 세분화를 진행할 때 어떠한 Architecture가 사용되었는지 소개드리고자 합니다.
Spark
Hadoop
HDFS
Spark Cluster
Docker
Google Cloud Platform
GCP
DataProc
Google Cloud Storage
Google Vision API
Google Translation API
Google Natural Language API
Elastic Stack 을 이용한 게임 서비스 통합 로깅 플랫폼 - elastic{on} 2019 SeoulSeungYong Oh
elastic{on} 2019 Seoul 에서 발표한 데브시스터즈(Devsisters Corp.) 의 Elastic Stack 기반 게임 서비스 통합 로깅 플랫폼 소개 발표 자료입니다.
발표 영상은 https://www.elastic.co/kr/elasticon/tour/2019/seoul/devsisters-game-service-integration-logging-platform-using-elastic-stack 에서 보실 수 있습니다.
데브시스터즈 데이터 레이크 구축 이야기 : Data Lake architecture case study (박주홍 데이터 분석 및 인프라 팀...Amazon Web Services Korea
데브시스터즈 데이터 레이크 구축 이야기 : Data Lake architecture case study
이 세션에서는 데브시스터즈의 Case Study를 통하여 Data Lake를 만들고 사용하는데 있어 요구 되는 사항들에 대해 공유합니다. 여러 목적에 맞는 데이터를 전달하기 위해 AWS 를 활용하여 Data Lake 를 구축하게된 계기와 실제 구축 작업을 하면서 경험하게 된 것들에 대해 말씀드리고자 합니다. 기존 인프라 구조 대비 효율성 및 비용적 측면을 소개해드리고, 빅데이터를 이용한 부서별 데이터 세분화를 진행할 때 어떠한 Architecture가 사용되었는지 소개드리고자 합니다.
클라우드 컴퓨팅과 Daum의 사례- 윤석찬 (KREN 연구 협력 포럼, 2013) Channy Yun
출처: http://www.koren.or.kr/board/board.php?task=view&db=data2&no=44
<개발자에서>
최근에 클라우드 기술이 부각되면서 다음에서도 발빠르게 사내 프라이빗 클라우드 서비스를 준비중이다. 가장 먼저 한 일은 사내 개발자들이 언제든지 자신의 가상머신(VM)을 할당 받아 테스트해 볼 수 있는 사내 클라우드 플랫폼 구축이었다.
2011년 초 오픈소스인 클라우드스택을 최적화해 구축했으며, 개발자들은 공용 테스트 서버나 서비스 서버에서 못하던 자신만의 최신 기술 습득이나 테스트를 아무 구애 받지 않고 자기 서버에서 해 볼 수 있게 됐다. 이 플랫폼은 앞으로 클라우드 파운더리 기반의 사내 PaaS과 하둡 테스트베드로도 활용하고 있으며, 실제 다음 서비스에서 클라우드 컴퓨팅 기술을 활용하는 기초가 되고 있다.
- http://www.bloter.net/archives/107844
매년 11월말 AWS re:Invent 행사에서는 내년 클라우드 기술을 전망할 수 있는 새로운 서비스를 대거 출시했습니다. 올해 리인벤트 행사에서 발표된 신규 서비스 중 개발자들이 관심을 가질만한 서비스를 선보이는 시간으로 데모와 함께 소개합니다. 특히, AWS re:Invent에서 새로 출시한 Amazon CodeBuild, AWS X-Ray 등의 서비스를 통한 민첩한 데브옵스 방법을 알려드립니다. 리인벤트에서 발표된 신규 서비스로 클라우드 기술의 미래를 살펴보세요.
클라우드의 전개 유형별 특징을 살펴보고 클라우드로 전환하기 위해 고려해야 할 사항과 실제 사례를 공유합니다.
목차
1. 클라우드 세상
2. 클라우드 유형
3. 클라우드 도입 전략
4. 고객 사례
5. 요약
대상
- 클라우드에 관심이 있는 분
- 클라우드 전환을 고려하시는 분
- 잠깐 휴식을 취하고 싶은 개발자
All about Data Center Migration Session 1. <Case Study> 오비맥주 사례로 알아보는 DC 마이그레...BESPIN GLOBAL
기존 레거시(Legacy) 시스템이 가지고 있는 변화하는 기술에 대한 빠른 대응과 비즈니스 어플리케이션 배포의 한계 등을 극복하기 위한 대안인 클라우드 도입.
클라우드 국내 도입 현황과 클라우드로 마이그레이션을 해야 하는 이유를 실제 사례를 통해 알려드립니다.
클라우드를 통해 비즈니스 혁신을 가속화하고 쉽고 정학하게 구현하실 수 있습니다.
[목차]
1. 클라우드 국내 도입 현황과 클라우드로 마이그레이션을 해야 하는 이유
2. 클라우드 마이그레이션의 기본 프로세스, 전략, 비용 절감 효과, 로드맵
3. 베스핀글로벌 구축 사례 : 오비맥주의 마이그레이션 사례 공유
클라우드 컴퓨팅과 Daum의 사례- 윤석찬 (KREN 연구 협력 포럼, 2013) Channy Yun
출처: http://www.koren.or.kr/board/board.php?task=view&db=data2&no=44
<개발자에서>
최근에 클라우드 기술이 부각되면서 다음에서도 발빠르게 사내 프라이빗 클라우드 서비스를 준비중이다. 가장 먼저 한 일은 사내 개발자들이 언제든지 자신의 가상머신(VM)을 할당 받아 테스트해 볼 수 있는 사내 클라우드 플랫폼 구축이었다.
2011년 초 오픈소스인 클라우드스택을 최적화해 구축했으며, 개발자들은 공용 테스트 서버나 서비스 서버에서 못하던 자신만의 최신 기술 습득이나 테스트를 아무 구애 받지 않고 자기 서버에서 해 볼 수 있게 됐다. 이 플랫폼은 앞으로 클라우드 파운더리 기반의 사내 PaaS과 하둡 테스트베드로도 활용하고 있으며, 실제 다음 서비스에서 클라우드 컴퓨팅 기술을 활용하는 기초가 되고 있다.
- http://www.bloter.net/archives/107844
매년 11월말 AWS re:Invent 행사에서는 내년 클라우드 기술을 전망할 수 있는 새로운 서비스를 대거 출시했습니다. 올해 리인벤트 행사에서 발표된 신규 서비스 중 개발자들이 관심을 가질만한 서비스를 선보이는 시간으로 데모와 함께 소개합니다. 특히, AWS re:Invent에서 새로 출시한 Amazon CodeBuild, AWS X-Ray 등의 서비스를 통한 민첩한 데브옵스 방법을 알려드립니다. 리인벤트에서 발표된 신규 서비스로 클라우드 기술의 미래를 살펴보세요.
클라우드의 전개 유형별 특징을 살펴보고 클라우드로 전환하기 위해 고려해야 할 사항과 실제 사례를 공유합니다.
목차
1. 클라우드 세상
2. 클라우드 유형
3. 클라우드 도입 전략
4. 고객 사례
5. 요약
대상
- 클라우드에 관심이 있는 분
- 클라우드 전환을 고려하시는 분
- 잠깐 휴식을 취하고 싶은 개발자
All about Data Center Migration Session 1. <Case Study> 오비맥주 사례로 알아보는 DC 마이그레...BESPIN GLOBAL
기존 레거시(Legacy) 시스템이 가지고 있는 변화하는 기술에 대한 빠른 대응과 비즈니스 어플리케이션 배포의 한계 등을 극복하기 위한 대안인 클라우드 도입.
클라우드 국내 도입 현황과 클라우드로 마이그레이션을 해야 하는 이유를 실제 사례를 통해 알려드립니다.
클라우드를 통해 비즈니스 혁신을 가속화하고 쉽고 정학하게 구현하실 수 있습니다.
[목차]
1. 클라우드 국내 도입 현황과 클라우드로 마이그레이션을 해야 하는 이유
2. 클라우드 마이그레이션의 기본 프로세스, 전략, 비용 절감 효과, 로드맵
3. 베스핀글로벌 구축 사례 : 오비맥주의 마이그레이션 사례 공유
Just Model It 이벤트에서 사용할 Backend.AI 에 관한 소개입니다. Backend.AI의 개괄, 주요 기능 및 사용예들을 다룹니다. 또한 Backend.AI 를 이용한 End-to-end ML model 개발 시나리오도 소개합니다.
An Introduction to Backend.AI to use in Just Model It event. It covers the overview of Backend.AI, its main features and examples. It also introduces the scenario of developing end-to-end ML model using Backend.AI.
Backend.AI (https://backend.ai)는 클라우드 및 온-프레미스 환경에서 여러 사용자가 안전하고 효율적으로 컴퓨팅 자원을 공유할 수 있는 머신러닝에 특화된 인프라 관리 프레임워크입니다. 현재 널리 사용되고 있는 오픈소스 기술인 OpenStack, Kubernetes 등과 비교하여 어떤 특징과 차이점이 있는지 소개하고, 프레임워크의 구조와 기반 기술 및 응용 사례를 데모와 함께 소개합니다.
개발자를 위한 AWS re:Invent 신규 서비스 - 윤석찬 (AWS수석테크에반젤리스트) :: AWS Community Day 2020AWSKRUG - AWS한국사용자모임
AWS Community Day는 AWS를 사용하는 개발자 및 고급 사용자들이 주축이 되어 AWS 서비스 활용 방법 및 사용 대한 정보를 공유하는 기술 컨퍼런스입니다. 이번에는 지난 12월 미국 라스베가스에서 열린 AWS re:Invent 2019 행사에 직접 참여하셨던 분들이 꼽은 흥미로운 신규 서비스 소개와 아울러 인공지능, 서버리스, 컨테이너, 데브옵스 및 프론트엔드 분야의 다양한 애플리케이션 개발 및 구축 시, 개발자의 입장에서 AWS 클라우드 도입 및 활용 사례를 생생하게 전달해 드리는 시간이었습니다.
1. The document discusses OpenStack networking-sfc and flow analysis. It provides details on setting up an OpenStack environment with networking-sfc, including creating ports, virtual networks, and VMs for a service function chaining scenario. 2. Flow analysis is shown for the br-int and br-tun bridges, including resubmitting packets between tables based on port numbers or MAC address. 3. Key steps shown include installing networking-sfc, creating a virtual router, generating ports for each VM, and booting VMs with dual interfaces for the service function VMs.
The document discusses Neutron and SDN (Software Defined Networking) as solutions to problems with managing complex and dynamic data center networks. Neutron is OpenStack's networking component, which uses SDN approaches like OpenFlow to provide logical network abstractions and flexible virtual network configuration. SDN allows network policies to be programmed centrally and automated, improving network provisioning, management, and response to failures or changes. When combined with Neutron and an SDN controller like OpenDaylight, this enables on-demand, software-defined network services for OpenStack clouds.
OpenStack DVR (Distributed Virtual Router) allows L3 routing functions to be distributed across compute nodes by creating router namespaces on each compute node. This avoids bottlenecks and single points of failure at network nodes. DVR supports east-west inter-subnet routing, SNAT for external access without floating IPs, and floating IPs associated with internal VMs for direct external access. Traffic flows are encapsulated in VXLAN/GRE tunnels between compute nodes and routed appropriately within each node's router namespace.
OpenStack KOREA 정기 세미나_OpenStack meet iNaaS SDN ControllerYongyoon Shin
OpenStack meet iNaaS SDN Controller
The document discusses connecting the OpenStack cloud platform with the iNaaS SDN controller for virtual network management. It describes developing an iNaaS mechanism driver for the OpenStack Neutron ML2 plugin to enable network provisioning and control via the iNaaS controller. It also covers configuring DevStack and the ml2.conf file to use the custom driver and interface with iNaaS. A demo topology is shown integrating OpenStack, iNaaS and OpenFlow switches. Future work mentioned includes multi-domain support and high availability for iNaaS.
This document provides instructions for setting up a single server SDN testbed environment using Open vSwitch. It describes installing Ubuntu, configuring networking, installing necessary programs like Open vSwitch and DevStack, and configuring Open vSwitch bridges, tunnels, and virtual machines to emulate an SDN network on a single physical server.
1. The document discusses OpenStack Neutron and Open vSwitch (OVS), describing their architecture and configuration. It explains that Neutron uses OVS to provide virtual networking and switching capabilities between virtual machines.
2. Key components of the Neutron-OVS architecture include the Neutron server, OVS agents on compute nodes, and the OVS daemon that implements the switch in the kernel and userspace.
3. The document also provides examples of configuring an OVS bridge and ports for virtual networking in OpenStack.
2. Let’s Together
• OverView
• Google Cloud Acquisitions
• Google Cloud Security
• Google Cloud Platform
• Data Analytics
• Database Services
• Machine Learning Services
• Pricing & Support
• Developer Platform & Tools
• Infrastructure
3. History
• Google Cloud Next 2017 (2017.03.08. ~ 03.10. San Francisco)
• 12,000+ attendees
• 200+ sessions
• Google Cloud platform Services
• GCP, G Suite, Chrome, Maps and Education
• https://cloudnext.withgoogle.com/
• https://www.youtube.com/playlist?list=PLIivdWyY5sqI8RuUibiH8sMb1ExIw0lAR
5. AppBridge 인수
• 기업의 Google Cloud 도입을 위함
• AppBridge (https://www.appbridge.io/)
• Share point, Exchange, On-Premises 등 파일 스토
리지에서 G Suite 및 Google Drive로 마이그레이션
• 드롭박스나 MS의 원드라이브 등 기업용 파일 동기화
및 공유 서비스
6. Identity-Aware Proxy (IAP)
Data Loss Prevention (DLP)
Key Management Service (KMS)
Security Key Enforcement (SKE)
Google Vault
Titan
7. Cloud Identity-Aware Proxy
• Cloud IAP (Cloud Identity-Aware Proxy)
• https://cloud.google.com/iap/
• Google Cloud Paltform 에서 실행되는 클라우드
Application Access 제어
• VPN을 사용하지 않고 Application에 접근
• 어디서나 안전한 Application Access
• 사용자, ID, Group 별 Access 제한
• 통합 피싱 방지 보안 키 배포
8. Data Loss Prevention API
• DLP API (Data Loss Prevention API)
• https://cloud.google.com/dlp/
• 주요 데이터 관리
• 패턴, 형식 식별을 위한 API 제공
• 미리 정의 된 식별자 (40+)를 사용하여 데이터 분류
• 텍스트 및 이미지 지원
https://cloud.google.com/sensitive-data-classification/demo/#/
https://storage.googleapis.com/gweb-uniblog-publish-prod/original_images/DLP_API_Presentation_2.gif
9. Cloud Key Management Service
• Cloud KMS (Cloud Key Management Service)
• https://cloud.google.com/kms/
• 클라우드에서 사용할 암호화 키 생성, 삭제, 관리
10. Security Key Enforcement
• SKE (Security Key Enforcement)
• https://cloud.google.com/security-key/
• G Suite 및 GCP 리소스 접근을 위한 보안키
• 2단계 인증
• USB 타입의 키 버튼
11. Vault for Google Drive
• Vault (Google Vault)
• https://gsuite.google.com/products/vault/
• G Suite를 위한 eDiscovery 및 아카이빙 솔루션
• Vault를 사용하여 G Suite 라이프 사이클 관리
• 도메인에서 G Suite 데이터 검색
• 이메일 및 채팅 기록 보관
12. Titan
• 하드웨어 레벨의 인프라 액세스를 위한 인증 칩
• 특수 목적 칩
• 데이터 센터의 물리적 보안
• 클라우드 인프라에 대한 물리 장치간 액세스를 위한
인증 칩
13. BigQuery Data Transfer Service
Cloud Dataprep
New Commercial Datasets
Google Cloud Dataflow
Google Cloud Datalab
Google Cloud Dataproc
14. BigQuery Data Transfer Service
• Fully managed data import service for Google
BigQuery
• https://cloud.google.com/bigquery/transfer/
• Google에서 관리하는 모든 광고 데이터 세트 쿼리
• Google Adwards, DoubleClick Campaign Manager,
DoubleClick for Publishers, YouTube 콘텐츠 및 채널
보고서에서 데이터 쿼리
15. Cloud Dataprep
• Intelligent Data Preparation
• https://cloud.google.com/dataprep/
• 전용 데이터 엔지니어 리소스 없이 분석을 위한 데이터 시
각화
16. New Commercial Datasets
• 상업용 데이터 셋 제공
• Xignite: 금융 시장 데이터
• HouseCanary: 주거용 부동산 평가 데이터
• Remine: 주택 판매 시기 예측 데이터
• AccuWeather: 과거 기상 데이터
• Dow Jones: 뉴스 아카이브
“Google Cloud is making Dow Jones’ world-class content and
data easier to access than ever before. This will enable
analysts and developers to use modern data analytics and
machine-learning tools to integrate business-critical
information into their workflows.”
— Clancy Childs, Chief Product & Technology Officer, Dow
Jones
17. Python for Google Cloud Dataflow
• Cloud Dataflow
• https://cloud.google.com/dataflow/
• 파이프 라인 처리를 위한 서비스
• 일괄 처리 및 스트림 실행
• Java 환경만 지원하였으나 Python SDK 추가 지원
18. Stackdriver Monitoring for Cloud Dataflow
• Google Stackdriver
• https://cloud.google.com/stackdriver/
• GCP 및 AWS의 Application에 대한 모니터링 및 진단
• 모니터링 과 Dataflow 통합
• Cloud Dataflow 에 접근하여 분석하고 특정
Dataflow 작업 조건에 대한 경고 생성
19. Google Cloud Datalab
• Google Cloud Datalab
• https://cloud.google.com/datalab/
• 대화형 워크 플로우
• python 및 SQL 등 사용
• Jupyter 노트북 기반 환경
20. Cloud Dataproc
• Cloud Dataproc
• https://cloud.google.com/dataproc/
• Spark, Flink, Hadoop 파이프 라인 관리
• 대규모 데이터 세트 처리
21. Cloud SQL for Postgre SQL
Microsoft SQL Server Enterprise
Cloud SQL for MySQL improvements
Cloud Spanner
SSD persistent-disk performance improvements
Federated query on Cloud Bigtable
22. Cloud Spanner
• SQL DB 서비스
• 자동화된 수평확장 기능을 제공하는 관계형 DB
• 내부적인 동작 방식은 보이지 않음
• 3 노드 형식으로 셋팅하는 경우 읽기 초당 3만 쿼리/
쓰기 초당 6천 쿼리 성능 주장
23. Cloud Machine Learning Engine
Cloud Video Intelligence API
Cloud Vision API
Machine learning Advanced Solution Lab
Cloud Jobs API
Machine Learning Startup Competition
24. Cloud Machine Learning Service
• Cloud Machine Learning Service
• https://cloud.google.com/products/machine-
learning/
• https://cloud.google.com/ml-engine/
• 분산 클라우드 머신 러닝
• 몇시간 이내로 Terabytes 단위 모델링
• GCP와 통합되어 TensorFlow, Google Dataflow,
BigQuery, Cloud Datalab 확장 활용
25. Cloud Video Intelligence API
• Cloud Video Intelligence API
• https://cloud.google.com/video-intelligence/
• 동영상을 실시간으로 분석하여 장면전환 시점, 분위기, 출연
중인 사물 등을 분석하여 데이터를 제공
• ML (Machine Learning) API 공개 (Vision API)
• 쉽게 사용할 수 있도록 API 가공
• 퍼포먼스 및 커스텀 선택 가능
• GPU 장착 Compute Engine 추가
• 시간당 0.7$ (상당히 고가)
https://cloud.google.com/video-intelligence/
26. Cloud Vision API
• Cloud Vision API
• https://cloud.google.com/vision/
• 다양한 이미지 세트 분류
• Label detection
• Explicit Content Detection
• Face/Logo/Landmark Detection
• Integrate REST API
27. Machine Learning Advanced Solutions LAB
• ASL (Machine Learning Advanced Solutions LAB)
• https://cloud.google.com/asl/
• Google의 ML 전문가와 직접 협력하여 ML 적용
28. Cloud Jobs API
• Cloud Jobs API
• https://cloud.google.com/jobs-api/
• 구직자가 찾고있는 최적의 일자리 매칭
29. Google AppEngine Flex
Cloud Functions
Firebase integration with GCP
Cloud Container Builder
Community Tutorials
30. App Engine Flexible Environment
• App Engine Flexible
• https://cloud.google.com/appengine/docs/flexible/
• Runtime
• Java8/Servlet3.1/Jetty9/Python2.7/Python3.5/
Node.js/Ruby/PHP/.NET/GO 지원
• Infrastructure Customization
• Libraries Customization
• Performance
• 응용 프로그램의 각 인스턴으세 필요한 CPU, 메모리 지정
31. Cloud Functions
• Serverless Architecture
• https://cloud.google.com/functions/
• Cloud Pub/Sub && Cloud Functions (GCF)
• Cloud Pub/Sub
• 이벤트 발신자에서 수신자로 전달하는 역할
• Cloud Source Repo PUSH event/Cloud Logging event
• GCF
• 전달과정에서 실제 동작 수행
• Node.js 만 지원
32. Cloud Container Builder
• Container Builder
• https://cloud.google.com/container-builder/
• 배포 환경에 관계없이 GCP에 Docker 컨테이너 구축
• 소프트웨어를 컨테이너에 패키징
34. preemptible instance
• 선점(preemptible) 인스턴스
• 남는 자원을 임시로 사용하는 요금제
• 남아있는 구글 클라우드 리소스 일시 사용
• standard-1 (1vCPU + 3.75GB)
• 기본가격: 44.53$
• 지속사용에 대한 할인 적용: 31.17$
• 1년 약정: 25.29$
• 3년 약정: 18.07$
• 선점 인스턴스: 9.67$
• 단점
• 인스턴스 실행시 최대 24시간 사용 (24시간 이전에 서버 종료)
• 만약에 다른곳에서 더 많은 자원을 요청하면 해당 서비스가 종료
- 선점 인스턴스 사용 예 페르미랩
- 16만개의 vCPU , 320 TB RAM 을 사용하는데 시간당 1400$
- 대규모로 선점 인스턴스 사용하여 최대 80%까지 할인