2nd Open Cloud, Open Standard Seminar

Open Source, Open Cloud Engine
Open Cloud Engine Initiative
JY Jang, James Ahn, BG ...
Innovative Future Applications
Concerns in Future Applications

• Initial Cost
• Learning Curve
• Monetization
High Hardware Cost
and Complex Configuration
Learning Curves

•
•
•
•

Social
Cloud
Mobile
Big Data

Standard API
So, Future App will be
Running on

• Cloud

• Platform
Cloud Economy
Platform Business Model
– Win-win model
– Self-Motivated
– Lock-in
Remedy is PaaS
A PaaS provides development services on cloud.

Built-in PaaS Services

Your
Future
Apps

CLOUD IDE
But No Initiative here in Korea

So happen to start OCE!!!
Open Cloud Engine
SaaS

PaaS
IaaS
Open Cloud Engine
• Open Source PaaS Project
• Develop, Manage & Monetize Future
Application
– Open Source, Open Standard
...
Approach – Standard Model
•

Forrester‟s PaaS Reference Architecture Compliant Open PaaS

인프라 사용의
가상화

플랫폼 서비스
(비즈니스) 의
기반...
Members are…
•
•

MHR
•
•

SW Dev. & Modeling Tool Expert
Garuda Main Contributor

•
•

Big Data Expert
Flamingo Main Cont...
그리고 여러분 모두
…and all of you!
OCE Components

Netra

IaaS

Garuda

Flamingo

PaaS

Big Data
Platform
OCE Architecture
Future Apps.

Big Data
Apps.

Legacy
Apps.
&

Garuda

Flamingo

Netra

Extensions
What Garuda Provides
Cloud IDE /
SaaS
migrator
Dev
Portal
Developers
(Providers)

Model
Platform
(BPM/BRE/B
I)

eGov
Frame...
Development Process using Garuda
제공자-운영자-소비자가 참여하여 개발~앱스토어까지의 생태계 사이클을
참여자가 IaaS의 직접적인 핸들링 없이 지원

모델링 &

피드백

개발

웹에서 개발

...
eGov Framework based Garuda IDE
 표준 프레임워크 (이클립스) 기반의 개발 / 디버깅 / 개발자 협업 도구:
 기존 표준 프레임워크
(eGov Frmwk)의 확
장 플러그인으
• 기존 표준 ...
Garuda‟s Multi-tenancy Framework
MORE
TENANTS

...

App

App

App

App
(single instance)

WAS
VM

WAS
VM

WAS
VM

WAS

Har...
Garuda Demo
• E-Gov Framework based Development
• Migrating Existing Open Source Software
„Alfresco‟ into Garuda and makin...
What Flamingo Provides
Hadoop
Map-Reduce
Designer

Cloud IDE /
SaaS
migrator

Developers
(Providers)

Dev
Portal

Model
Pl...
Flamingo Big Data Platform
 빅데이터 분석 플로우 설계 및 실행, HDFS 관리, 배치 스케줄링
MapReduce 기반 협업 필터링 알고리즘

 MapReduce
Designer

• 웹 브라우...
Flamingo Big Data Platform
 빅데이터 분석 플로우 설계 및 실행, HDFS 관리, 배치 스케줄링
 HDFS 브라우저

• Hadoop의 HDFS를 윈도
의 익스플로러 스타일로
관리
• 파일 및 ...
New Flamingo
 Web OS 스타일 Big Data 작업 환경 최적화를 위해 도입
New Flamingo
 Apache Ambari와 통합하여 모니터링 및 프로비저닝 제공
New Flamingo
 다양한 분석 소프트웨어가 탑재하여 오픈소스로 제공
New Flamingo
 웹 브라우저에서 다양한 Hadoop Cluster 및 Amazon S3 Object Storage, 리눅스 서버의
파일 등을 관리하는 UI 제공 (UX 모두 동일)
New Flamingo
 웹 브라우저에서 다양한 Hadoop Cluster 및 Amazon S3 Object Storage, 리눅스 서버의
파일 등을 관리하는 UI 제공 (UX 모두 동일)
New Flamingo
 Apache Hive의 Query Editor를 내장하여 빅데이터 처리를 빠르게 수행
New Flamingo
 로그 수집기를 이용하여 로그 수집 및 원격 관리 그리고 워크플로우 실행
New Flamingo
 웹 기반 SSH 클라이언트
New Flamingo
 데이터 시각화 초기 모형 추가 (2014년도 본격 개발)
New Flamingo
• 수치 데이터 기초 통계 (9종) 산출
• 범주 데이터 기초 통계 (2종) 산출
• 수치/범주 데이터 기초 통계 분석

• 수치 데이터 확신도 기반 합계 산출

• 데이터 전처리(정규화) 분석
...
Flamingo Roadmap
구분
License

특징
• Apache License (Workflow Engine & Log Collector)
• GPL License (User Interface)
•
•
•
•
...
Flamingo Project Management
 Open Cloud Engine은 동일한 스타일로 전세계 통용되는 방식으로 프로젝트 관리
Flamingo Project Management
 Open Cloud Engine은 동일한 스타일로 전세계 통용되는 방식으로 프로젝트 관리
Flamingo Project Management
 Open Cloud Engine은 동일한 스타일로 전세계 통용되는 방식으로 프로젝트 관리
BTW, How about Infra for Legacy
Apps. and Extensions ?
• Embedded Platforms – Garuda and Flamingo
• Extension Platforms (M...
Our New Project : Netra
Building Infrastructure
for

developer & operator
Netra

1. 100+ Open Sources Template
2. Full Software Provisioning
3. Deployment
100+ Open Sources Template
100+ great open sources at your fingertip
Just Click to provision
Full Software Stack Provisioning
Netra DSL Template

Computing
Resource

Software Stack

Template "build-essential" do
act...
Deployment
Portability & Mobility

Netra Template

Deployment
Deploy Wordpress with Netra
1. Visit Stack Repository
Deploy Wordpress with Netra
2. Fill out forms
Deploy Wordpress with Netra
3. Select Servers
Deploy Wordpress with Netra
4. Type or skip parameters
Deploy Wordpress with Netra
5. Start Deployment
Deploy Wordpress with Netra
6. Progress
Deploy Wordpress with Netra
Netra

Dev Store
for infrastructure

By Stack Template & Automation
Big Picture
Future Apps.
Mobile

E-Gov
Frame

Big
Data

Legacy
Apps.
&
Extensions

Garuda
(PaaS)

Flamingo
(BigData Platfo...
OCE Umbrella

Developers

Operators
Reference: GSA‟s G-PaaS
Issue
•

Vision: Government PaaS savings are achieved in license
consolidation, reduced maintenanc...
Case: KIAT‟s R&D Cloud
IT 운영

운영자 포탈

표준 프레임
워크 개발 환
경

샌드박스

마켓플레이스
형상관리서버
(SVN/Git)

빌드서버
(Jenkins)

모델서버

(메타데이터 서버)

I...
Roadmap to Open Standard
기술관점

전략관점

기대효과

표준 프레임워크의 클라우드-Enabling
• IaaS 노하우 없이 멀티태넌시 애플리케이션을 만들 수 있다.

Yr. 1

국산/공개우선의

...
Vision: Virtual Enterprise Enabler
• Cloud computing –
Global Single Instance

Technology

• SNS, Smart Phone, LBS
• Video...
Activity Plan
• First Official Release : 20 Nov, 2013
– 릴리즈 기념 행사
•
•
•
•

제목: “클라우드 컴퓨팅과 비즈니스 프로세스 인텔리젼스”
장소: 대우 푸르지오 밸리 ...
Resources
• Official Web Site:
www.opencloudengine.org
• Wiki:
http://wiki.opencloudengine.org/
• Jira Issue Tracker:
http...
Open standard open cloud engine (3)
Upcoming SlideShare
Loading in …5
×

Open standard open cloud engine (3)

7,375 views

Published on

0 Comments
2 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
7,375
On SlideShare
0
From Embeds
0
Number of Embeds
6,091
Actions
Shares
0
Downloads
42
Comments
0
Likes
2
Embeds 0
No embeds

No notes for slide

Open standard open cloud engine (3)

  1. 1. 2nd Open Cloud, Open Standard Seminar Open Source, Open Cloud Engine Open Cloud Engine Initiative JY Jang, James Ahn, BG Kim www.opencloudengine.org
  2. 2. Innovative Future Applications
  3. 3. Concerns in Future Applications • Initial Cost • Learning Curve • Monetization
  4. 4. High Hardware Cost and Complex Configuration
  5. 5. Learning Curves • • • • Social Cloud Mobile Big Data Standard API
  6. 6. So, Future App will be Running on • Cloud • Platform
  7. 7. Cloud Economy
  8. 8. Platform Business Model – Win-win model – Self-Motivated – Lock-in
  9. 9. Remedy is PaaS A PaaS provides development services on cloud. Built-in PaaS Services Your Future Apps CLOUD IDE
  10. 10. But No Initiative here in Korea So happen to start OCE!!!
  11. 11. Open Cloud Engine SaaS PaaS IaaS
  12. 12. Open Cloud Engine • Open Source PaaS Project • Develop, Manage & Monetize Future Application – Open Source, Open Standard – Focused on Business Applications – Full Software Stack For PaaS – Simple. Easy of Use
  13. 13. Approach – Standard Model • Forrester‟s PaaS Reference Architecture Compliant Open PaaS 인프라 사용의 가상화 플랫폼 서비스 (비즈니스) 의 기반 제공 가입자의 셀프 서비스 • 개발자가 IaaS 핸들링을 할 줄 몰라도 추상화 된 API만으로 클라우드 앱을 개발 할 수 있다. • 개발자별 개발 환경서버의 설정이 없이도 곧 바로 개발이 가능하다. • 멀티태넌시 (다중 가입자) – 싱글 인스턴스에 대한 기반 프레임워크가 제공된다. • 빅데이터, N-Screen 및 모바일 개발을 위한 SW 인프라도 제공해준다. • 앱의 게시(광고), (퍼블릭인 경우) 가격책정, 계약(SLA체결), 빌링, SaaS ALM 통한 형상관 리, 테스팅, 디플로이(빌드) 자동화, 프로비저닝 자동화 등을 제공하여 제공자가 쉽게 단일 통합 아키텍처상에서 앱을 제공하고 성과를 측정할 수 있다. • 앱의 취득(구매), 사용자 (조직도)관리, SaaS 앱의 오케스트래이션 커스터마이징, 레거시와 의 통합설정, 데이터 통합, 메타데이터 설정 (브 랜드 등) 을 가입자가 직접 수행할 수 있다.
  14. 14. Members are… • • MHR • • SW Dev. & Modeling Tool Expert Garuda Main Contributor • • Big Data Expert Flamingo Main Contributor Open Stack Expert Netra Main Contributor • SW Eng. Tool Expert • Database Expert
  15. 15. 그리고 여러분 모두 …and all of you!
  16. 16. OCE Components Netra IaaS Garuda Flamingo PaaS Big Data Platform
  17. 17. OCE Architecture Future Apps. Big Data Apps. Legacy Apps. & Garuda Flamingo Netra Extensions
  18. 18. What Garuda Provides Cloud IDE / SaaS migrator Dev Portal Developers (Providers) Model Platform (BPM/BRE/B I) eGov Framework SelfService Portal Users (Tenants) App Store SaaS Security / Multi-tenancy Framework Metering / Billing WAS (Tomcat Extension)
  19. 19. Development Process using Garuda 제공자-운영자-소비자가 참여하여 개발~앱스토어까지의 생태계 사이클을 참여자가 IaaS의 직접적인 핸들링 없이 지원 모델링 & 피드백 개발 웹에서 개발 아키텍트 모델링 표준 프레임워크 개발 커뮤니티 앱스토어 셀프서비스 개발자 취득 & 클라우드 커스터마 테스트 이징 운영자 게시 가입자 (이미지) 빌드
  20. 20. eGov Framework based Garuda IDE  표준 프레임워크 (이클립스) 기반의 개발 / 디버깅 / 개발자 협업 도구:  기존 표준 프레임워크 (eGov Frmwk)의 확 장 플러그인으 • 기존 표준 프레임워크 기반에서 개발한 제품을 클라우드 전환 용이 • 표준 프레임워크의 다양 한 개발 지원 도구 재사 용  개발자 지원 도구 • 마켓플레이스, ALM접 근 • 워크리스트 컨셉  데이터 전자정부 1위 브랜드 밸류 • 해외시장 접근 전략 New Open Cloud Engine Server
  21. 21. Garuda‟s Multi-tenancy Framework MORE TENANTS ... App App App App (single instance) WAS VM WAS VM WAS VM WAS Hardware THE OTHERS SAME CAPACITY Hardware OCE +
  22. 22. Garuda Demo • E-Gov Framework based Development • Migrating Existing Open Source Software „Alfresco‟ into Garuda and making it Multitenancy Supported
  23. 23. What Flamingo Provides Hadoop Map-Reduce Designer Cloud IDE / SaaS migrator Developers (Providers) Dev Portal Model Platform (BPM/BRE/B I) HDFS Manager eGov Framework Hadoop Dashboard SelfService Portal App Store SaaS Security / Multi-tenancy Framework Metering / Billing WAS (Tomcat Extension) Hadoop Scheduler Users (Tenants)
  24. 24. Flamingo Big Data Platform  빅데이터 분석 플로우 설계 및 실행, HDFS 관리, 배치 스케줄링 MapReduce 기반 협업 필터링 알고리즘  MapReduce Designer • 웹 브라우저 기반 도구 • Hadoop의 MapReduce 지원 • 빅데이터 분석 모듈 연 계 동작 지원 • DAG(Directly Acyclic Graph) 기반 그래프 엔 진 탑재(OpenGraph) • 워크플로우 관리 • 워크플로우 실행  MapReduce 전처리 • 재사용 가능한 MapReduce 기반 전 처리 모듈 • Clean, Group By, Filter, Replace, Generate, Union, Rank 등등 지원 협업 필터링 알고리즘을 드래그 앤 드 롭 더블클릭 후 협업 필터링 파라미터 설 정 Pig Script 편집기를 이용하여 Pig Script를 작성 (예시)
  25. 25. Flamingo Big Data Platform  빅데이터 분석 플로우 설계 및 실행, HDFS 관리, 배치 스케줄링  HDFS 브라우저 • Hadoop의 HDFS를 윈도 의 익스플로러 스타일로 관리 • 파일 및 디렉토리 관리 • 업로드 및 다운로드  작업 스케줄링 • MapReduce Designer의 분석 플로우를 배치 작업 행태로 스케줄링 • Scale Out 형태의 클러스 터링 기반 스케줄러로 대 용량 배치의 분산 처리 • Cron Expression 지원 • 배치 작업의 생명 주기 관 리  대쉬보드  분석 플로우 실행 이력을 모니 터링하는 대쉬보드  분산 파일 시스템 (HDFS) 관리를 위한 HDFS 브라우저 • MapReduce Designer에 서 설계한 분석 워크플로 우의 실행 이력 모니터링 • 워크플로우, 액션 단위의 모니터링 ▼ 분석 워크플로우의 배치 스케줄링을 위한 작업 스케줄링
  26. 26. New Flamingo  Web OS 스타일 Big Data 작업 환경 최적화를 위해 도입
  27. 27. New Flamingo  Apache Ambari와 통합하여 모니터링 및 프로비저닝 제공
  28. 28. New Flamingo  다양한 분석 소프트웨어가 탑재하여 오픈소스로 제공
  29. 29. New Flamingo  웹 브라우저에서 다양한 Hadoop Cluster 및 Amazon S3 Object Storage, 리눅스 서버의 파일 등을 관리하는 UI 제공 (UX 모두 동일)
  30. 30. New Flamingo  웹 브라우저에서 다양한 Hadoop Cluster 및 Amazon S3 Object Storage, 리눅스 서버의 파일 등을 관리하는 UI 제공 (UX 모두 동일)
  31. 31. New Flamingo  Apache Hive의 Query Editor를 내장하여 빅데이터 처리를 빠르게 수행
  32. 32. New Flamingo  로그 수집기를 이용하여 로그 수집 및 원격 관리 그리고 워크플로우 실행
  33. 33. New Flamingo  웹 기반 SSH 클라이언트
  34. 34. New Flamingo  데이터 시각화 초기 모형 추가 (2014년도 본격 개발)
  35. 35. New Flamingo • 수치 데이터 기초 통계 (9종) 산출 • 범주 데이터 기초 통계 (2종) 산출 • 수치/범주 데이터 기초 통계 분석 • 수치 데이터 확신도 기반 합계 산출 • 데이터 전처리(정규화) 분석 • 수치 데이터 Min/Max 기반 정규화 변환 • 이진 벡터 데이터 기반 유사/상관 분석 • 특징 벡터 기반 데이터 유사/상관 분석 • 수치 벡터 데이터 기반 유사/상관 분석 • 문자열 데이터 유사/상관 분석 • K-Means 기반 군집 분석 (수치/범주 데이터) • 마이닝/기계학습 기반 분석 개발 • EM 기반 군집 분석 (수치 데이터) • ID3 기반 분류 분석 (범주 데이터) • CF 기반 사용자/아이템 유사도 계산 개발 • 내용 기반 아이템 유사도 계산 모듈 개발 • 실무 서비스 기반 분석 컴포넌트 개발 • 사용자 유사 기반 추천 생성 모듈 개발 • 아이템 유사 기반 추천 생성 모듈 개발
  36. 36. Flamingo Roadmap 구분 License 특징 • Apache License (Workflow Engine & Log Collector) • GPL License (User Interface) • • • • • • • • • • • Log Collector UI Workflow Engine Integration Pig Editor (편집/실행/저장/로그) Hive Editor (편집/실행/저장/로그) Hive Metastore Browser Hcatalog Integration Workflow Engine 고도화 Workflow Designer 통합 HDFS Browser Remote Workflow Engine Redesign Sprint 3/4 • • • • • • • • • Job Management UI 고도화 Log Collector UI 고도화 각종 History UI 추가 Ankus Integration Mahout Integration Data Visualization (초기 모형) Workflow Engine 고도화 Hadoop/Workflow Engine Admin Amazon S3/Local File System Browser Sprint 5/6 • • • • QA Test Ambari integration & Dashboard User Guide English/Korean Localization Sprint 1/2 비고 • 11월 말 • 기 개발된 모듈을 새로운 아키텍 처로 통합하고 • 새로운 기능 추가 • 12월 말 • 알고리즘 추가 • Flamingo 1.0 Alpha 릴리즈 • 릴리즈를 위한 각종 관리 • 12월 말
  37. 37. Flamingo Project Management  Open Cloud Engine은 동일한 스타일로 전세계 통용되는 방식으로 프로젝트 관리
  38. 38. Flamingo Project Management  Open Cloud Engine은 동일한 스타일로 전세계 통용되는 방식으로 프로젝트 관리
  39. 39. Flamingo Project Management  Open Cloud Engine은 동일한 스타일로 전세계 통용되는 방식으로 프로젝트 관리
  40. 40. BTW, How about Infra for Legacy Apps. and Extensions ? • Embedded Platforms – Garuda and Flamingo • Extension Platforms (Middleware such as DBMS, memory cache) • And many of Open Source Applications out there • Are needed to be hosted on top of an IaaS
  41. 41. Our New Project : Netra Building Infrastructure for developer & operator
  42. 42. Netra 1. 100+ Open Sources Template 2. Full Software Provisioning 3. Deployment
  43. 43. 100+ Open Sources Template 100+ great open sources at your fingertip Just Click to provision
  44. 44. Full Software Stack Provisioning Netra DSL Template Computing Resource Software Stack Template "build-essential" do action :install end directory node[:redis][:data_dir] do owner "redis" mode "0755" action :create end Web Server Server remote_file "#{Chef::Config[:file__path]}/" do source "https://github.com/v2.0.4-stable" action :create_if_missing end bash "compile_redis_source" do cwd Chef::Config[:file_cache_path] code <<-EOH tar zxf redis.tar.gz cd antirez-redis-55479a7 make && make install EOH include templateA end App Server Load Balancer Web Server Storage Cache Server Database Server Network
  45. 45. Deployment Portability & Mobility Netra Template Deployment
  46. 46. Deploy Wordpress with Netra 1. Visit Stack Repository
  47. 47. Deploy Wordpress with Netra 2. Fill out forms
  48. 48. Deploy Wordpress with Netra 3. Select Servers
  49. 49. Deploy Wordpress with Netra 4. Type or skip parameters
  50. 50. Deploy Wordpress with Netra 5. Start Deployment
  51. 51. Deploy Wordpress with Netra 6. Progress
  52. 52. Deploy Wordpress with Netra
  53. 53. Netra Dev Store for infrastructure By Stack Template & Automation
  54. 54. Big Picture Future Apps. Mobile E-Gov Frame Big Data Legacy Apps. & Extensions Garuda (PaaS) Flamingo (BigData Platform) Developers/ Vendors Netra (OpenStack-based IaaS) Operators Standard APIs and Interfaces App Store / Self Service Social Users/ Tenants
  55. 55. OCE Umbrella Developers Operators
  56. 56. Reference: GSA‟s G-PaaS Issue • Vision: Government PaaS savings are achieved in license consolidation, reduced maintenance and enterprise process improvement.
  57. 57. Case: KIAT‟s R&D Cloud IT 운영 운영자 포탈 표준 프레임 워크 개발 환 경 샌드박스 마켓플레이스 형상관리서버 (SVN/Git) 빌드서버 (Jenkins) 모델서버 (메타데이터 서버) IT 개발 부서 R&D Cloud PaaS 프로세스 엔진 (uEngine BPM) 엔진부 (개발, 배포, VM생성, Scale-out, 소멸 프로세스) 개발자 포 탈 Apache DeltaCloud /JCloud 다종 IaaS : 개발기 인스턴스 (IaaS 접근 추상화) 엔키아 / 오픈스택* 템플 릿 운영기 인스턴스 가입자 포 탈 (임차) 사용기관
  58. 58. Roadmap to Open Standard 기술관점 전략관점 기대효과 표준 프레임워크의 클라우드-Enabling • IaaS 노하우 없이 멀티태넌시 애플리케이션을 만들 수 있다. Yr. 1 국산/공개우선의 • 표준 프레임워크의 개발 프로세스 클라우드 스택화 외산 플랫폼의 위협 방어 • 마켓플레이스 제공 컴포넌트-애즈-어-서비스 • 표준 프레임워크의 공통 컴포넌트들을 오픈-API (SOA) 로 Yr. 2 매시업할 수 있도록함 • 셀프서비스 포탈에서 모델링/GUI도구를 통하여 현업이 한국대표 오픈 소스 프로잭트 국내 클라우드 기술의 보편화 공공/민간 스마트 오피스 공공 표준 클라우드 시나리오 커버리지 플랫폼으로의 혁신의 기회 도입기관 각자의 프로세스, 비즈니스 룰을 관리 QoS & 인터-클라우드 Yr. 3 • 클라우드 운영을 위한 SLA 준수, 보안 • 애플리케이션들을 융합하여 새로운 조합서비스가 가능하다(*CSB) • 가입기관별 공통영역 (공통 라이브러리, 공통 기능)이 중복없이 운영된다
  59. 59. Vision: Virtual Enterprise Enabler • Cloud computing – Global Single Instance Technology • SNS, Smart Phone, LBS • Video (audio) conference • BPM Security • VPN, encryption of data, restrictions on email • Secured collaborative environments • leadership provides direction, guidan ce, support, recognition • Set clear expectations People • Keep lines of communications open • Develop a culture of flexibility • Provide necessary feedback and support
  60. 60. Activity Plan • First Official Release : 20 Nov, 2013 – 릴리즈 기념 행사 • • • • 제목: “클라우드 컴퓨팅과 비즈니스 프로세스 인텔리젼스” 장소: 대우 푸르지오 밸리 (선릉) 11월 20일 12시~저녁 6시 참가신청: www.opencloudengine.org 내용: 제품소개 및 체험 행사 • Open User Meeting & Design Summit – 정식 릴리즈 이후 매월 2~3회 계획 – 사용자 의견 수렴 및 아키텍트 들과의 공동 설계 • Committer Meeting – 현재 매주 수요일 오픈 클라우드 엔진 센터 (선릉/역삼)에서 진행중 (커미터 참가 환영)
  61. 61. Resources • Official Web Site: www.opencloudengine.org • Wiki: http://wiki.opencloudengine.org/ • Jira Issue Tracker: http://jira.opencloudengine.org/ www.facebook.com/groups/opence

×