SlideShare a Scribd company logo
Storm
- Parallel and Distributed –
Taewoo Kim
Parallel
사전적 의미 : 평행한, 병렬의
- 1 -
작업을 동시에 수행
Parallel
- 2 -
같은 동작을 하는 Bolt를 여러 개
생성
주기적으로 동작하는 Spout로 부터
Stream을 받은 뒤 동일한 작업을
수행
Grouping을 통해서 신뢰성을 유지
Parallel
- 3 -
출처 : Getting Started with Storm
Distributed
- 4 -
사전적 의미 : 분산된
작업을 서로 다른 장비에서 수행
Distributed
- 5 -
출처 : Getting Started with Storm
Nimbus
관리 감독 Zookeeper
Cluster의 상태를 유지
Supervizor
Topology의 일부를 수행
Distributed
- 6 -
- How to make Storm Cluster?
>> Nimbus 설정
>> Zookeeper 설정
>> Supervisor 설정
- Remote Mode
>> StormSubmitter
- DRPC Topologies
>> Distributed Remote Procedure Calls
- Next Week
>> 분산 처리 환경 구축해보기

More Related Content

Viewers also liked

Realtime Big data Anaytics and Exampes of Daum (2013)
Realtime Big data Anaytics and Exampes of Daum (2013)Realtime Big data Anaytics and Exampes of Daum (2013)
Realtime Big data Anaytics and Exampes of Daum (2013)Channy Yun
 
Storm begins
Storm beginsStorm begins
Storm begins
SungMin OH
 
Storm - understand by coding
Storm - understand by codingStorm - understand by coding
Storm - understand by coding
Taewoo Kim
 
Real-time Big Data Analytics Practice with Unstructured Data
Real-time Big Data Analytics Practice with Unstructured DataReal-time Big Data Analytics Practice with Unstructured Data
Real-time Big Data Analytics Practice with Unstructured Data
Ted Won
 
하둡2 YARN 짧게 보기
하둡2 YARN 짧게 보기하둡2 YARN 짧게 보기
하둡2 YARN 짧게 보기
beom kyun choi
 
스사모 테크톡 - GraphX
스사모 테크톡 - GraphX스사모 테크톡 - GraphX
스사모 테크톡 - GraphX
SangWoo Kim
 
빅데이터 구축 사례
빅데이터 구축 사례빅데이터 구축 사례
빅데이터 구축 사례
Taehyeon Oh
 
지금 핫한 Real-time In-memory Stream Processing 이야기
지금 핫한 Real-time In-memory Stream Processing 이야기지금 핫한 Real-time In-memory Stream Processing 이야기
지금 핫한 Real-time In-memory Stream Processing 이야기
Ted Won
 
Chapter3 - learning spark
Chapter3 - learning sparkChapter3 - learning spark
Chapter3 - learning spark
Mungyu Choi
 
SPARK SQL
SPARK SQLSPARK SQL
SPARK SQL
Juhui Park
 
클라우드 서비스운영 플랫폼 가루다
클라우드 서비스운영 플랫폼 가루다클라우드 서비스운영 플랫폼 가루다
클라우드 서비스운영 플랫폼 가루다
상욱 송
 
NiFi 시작하기
NiFi 시작하기NiFi 시작하기
NiFi 시작하기
Byunghwa Yoon
 
Apache Zeppelin으로 데이터 분석하기
Apache Zeppelin으로 데이터 분석하기Apache Zeppelin으로 데이터 분석하기
Apache Zeppelin으로 데이터 분석하기
SangWoo Kim
 
Spark 의 핵심은 무엇인가? RDD! (RDD paper review)
Spark 의 핵심은 무엇인가? RDD! (RDD paper review)Spark 의 핵심은 무엇인가? RDD! (RDD paper review)
Spark 의 핵심은 무엇인가? RDD! (RDD paper review)
Yongho Ha
 
[241] Storm과 Elasticsearch를 활용한 로깅 플랫폼의 실시간 알람 시스템 구현
[241] Storm과 Elasticsearch를 활용한 로깅 플랫폼의 실시간 알람 시스템 구현[241] Storm과 Elasticsearch를 활용한 로깅 플랫폼의 실시간 알람 시스템 구현
[241] Storm과 Elasticsearch를 활용한 로깅 플랫폼의 실시간 알람 시스템 구현
NAVER D2
 
빅데이터 기술 현황과 시장 전망(2014)
빅데이터 기술 현황과 시장 전망(2014)빅데이터 기술 현황과 시장 전망(2014)
빅데이터 기술 현황과 시장 전망(2014)
Channy Yun
 
Resource Aware Scheduling in Apache Storm
Resource Aware Scheduling in Apache StormResource Aware Scheduling in Apache Storm
Resource Aware Scheduling in Apache Storm
DataWorks Summit/Hadoop Summit
 
Scaling Apache Storm - Strata + Hadoop World 2014
Scaling Apache Storm - Strata + Hadoop World 2014Scaling Apache Storm - Strata + Hadoop World 2014
Scaling Apache Storm - Strata + Hadoop World 2014
P. Taylor Goetz
 
Storm: distributed and fault-tolerant realtime computation
Storm: distributed and fault-tolerant realtime computationStorm: distributed and fault-tolerant realtime computation
Storm: distributed and fault-tolerant realtime computation
nathanmarz
 

Viewers also liked (20)

Realtime Big data Anaytics and Exampes of Daum (2013)
Realtime Big data Anaytics and Exampes of Daum (2013)Realtime Big data Anaytics and Exampes of Daum (2013)
Realtime Big data Anaytics and Exampes of Daum (2013)
 
Storm begins
Storm beginsStorm begins
Storm begins
 
Storm - understand by coding
Storm - understand by codingStorm - understand by coding
Storm - understand by coding
 
Real-time Big Data Analytics Practice with Unstructured Data
Real-time Big Data Analytics Practice with Unstructured DataReal-time Big Data Analytics Practice with Unstructured Data
Real-time Big Data Analytics Practice with Unstructured Data
 
기술6기 3조
기술6기 3조기술6기 3조
기술6기 3조
 
하둡2 YARN 짧게 보기
하둡2 YARN 짧게 보기하둡2 YARN 짧게 보기
하둡2 YARN 짧게 보기
 
스사모 테크톡 - GraphX
스사모 테크톡 - GraphX스사모 테크톡 - GraphX
스사모 테크톡 - GraphX
 
빅데이터 구축 사례
빅데이터 구축 사례빅데이터 구축 사례
빅데이터 구축 사례
 
지금 핫한 Real-time In-memory Stream Processing 이야기
지금 핫한 Real-time In-memory Stream Processing 이야기지금 핫한 Real-time In-memory Stream Processing 이야기
지금 핫한 Real-time In-memory Stream Processing 이야기
 
Chapter3 - learning spark
Chapter3 - learning sparkChapter3 - learning spark
Chapter3 - learning spark
 
SPARK SQL
SPARK SQLSPARK SQL
SPARK SQL
 
클라우드 서비스운영 플랫폼 가루다
클라우드 서비스운영 플랫폼 가루다클라우드 서비스운영 플랫폼 가루다
클라우드 서비스운영 플랫폼 가루다
 
NiFi 시작하기
NiFi 시작하기NiFi 시작하기
NiFi 시작하기
 
Apache Zeppelin으로 데이터 분석하기
Apache Zeppelin으로 데이터 분석하기Apache Zeppelin으로 데이터 분석하기
Apache Zeppelin으로 데이터 분석하기
 
Spark 의 핵심은 무엇인가? RDD! (RDD paper review)
Spark 의 핵심은 무엇인가? RDD! (RDD paper review)Spark 의 핵심은 무엇인가? RDD! (RDD paper review)
Spark 의 핵심은 무엇인가? RDD! (RDD paper review)
 
[241] Storm과 Elasticsearch를 활용한 로깅 플랫폼의 실시간 알람 시스템 구현
[241] Storm과 Elasticsearch를 활용한 로깅 플랫폼의 실시간 알람 시스템 구현[241] Storm과 Elasticsearch를 활용한 로깅 플랫폼의 실시간 알람 시스템 구현
[241] Storm과 Elasticsearch를 활용한 로깅 플랫폼의 실시간 알람 시스템 구현
 
빅데이터 기술 현황과 시장 전망(2014)
빅데이터 기술 현황과 시장 전망(2014)빅데이터 기술 현황과 시장 전망(2014)
빅데이터 기술 현황과 시장 전망(2014)
 
Resource Aware Scheduling in Apache Storm
Resource Aware Scheduling in Apache StormResource Aware Scheduling in Apache Storm
Resource Aware Scheduling in Apache Storm
 
Scaling Apache Storm - Strata + Hadoop World 2014
Scaling Apache Storm - Strata + Hadoop World 2014Scaling Apache Storm - Strata + Hadoop World 2014
Scaling Apache Storm - Strata + Hadoop World 2014
 
Storm: distributed and fault-tolerant realtime computation
Storm: distributed and fault-tolerant realtime computationStorm: distributed and fault-tolerant realtime computation
Storm: distributed and fault-tolerant realtime computation
 

More from Taewoo Kim

[김태우] Simplechat using firebase
[김태우] Simplechat using firebase[김태우] Simplechat using firebase
[김태우] Simplechat using firebase
Taewoo Kim
 
[김태우] 한국의 태초마을 유람기
[김태우] 한국의 태초마을 유람기[김태우] 한국의 태초마을 유람기
[김태우] 한국의 태초마을 유람기
Taewoo Kim
 
[김태우] Soscon 후기
[김태우] Soscon 후기[김태우] Soscon 후기
[김태우] Soscon 후기
Taewoo Kim
 
Eclipse 4 RCP - 2nd Week
Eclipse 4 RCP - 2nd WeekEclipse 4 RCP - 2nd Week
Eclipse 4 RCP - 2nd Week
Taewoo Kim
 
Eclipse rcp - first week
Eclipse rcp - first weekEclipse rcp - first week
Eclipse rcp - first week
Taewoo Kim
 
Operating system #1
Operating system #1Operating system #1
Operating system #1
Taewoo Kim
 
I know - Chrome and Plugin
I know - Chrome and PluginI know - Chrome and Plugin
I know - Chrome and Plugin
Taewoo Kim
 
Advanced operation system
Advanced operation systemAdvanced operation system
Advanced operation system
Taewoo Kim
 
Streaming join & lesson 4.
Streaming join & lesson 4.Streaming join & lesson 4.
Streaming join & lesson 4.
Taewoo Kim
 
[Taewoo Kim] Real-Time Analytics with Apache Storm
[Taewoo Kim] Real-Time Analytics with Apache Storm[Taewoo Kim] Real-Time Analytics with Apache Storm
[Taewoo Kim] Real-Time Analytics with Apache Storm
Taewoo Kim
 
Real-Time Analytics with Apache Storm
Real-Time Analytics with Apache StormReal-Time Analytics with Apache Storm
Real-Time Analytics with Apache Storm
Taewoo Kim
 
One Week Project #1
One Week Project #1One Week Project #1
One Week Project #1
Taewoo Kim
 
Real-time Video Analysis System
Real-time Video Analysis SystemReal-time Video Analysis System
Real-time Video Analysis System
Taewoo Kim
 
Big Data & Hadoop by Skidmarkii
Big Data & Hadoop by SkidmarkiiBig Data & Hadoop by Skidmarkii
Big Data & Hadoop by Skidmarkii
Taewoo Kim
 
Apache Storm by Skidmarkii
Apache Storm by SkidmarkiiApache Storm by Skidmarkii
Apache Storm by Skidmarkii
Taewoo Kim
 

More from Taewoo Kim (15)

[김태우] Simplechat using firebase
[김태우] Simplechat using firebase[김태우] Simplechat using firebase
[김태우] Simplechat using firebase
 
[김태우] 한국의 태초마을 유람기
[김태우] 한국의 태초마을 유람기[김태우] 한국의 태초마을 유람기
[김태우] 한국의 태초마을 유람기
 
[김태우] Soscon 후기
[김태우] Soscon 후기[김태우] Soscon 후기
[김태우] Soscon 후기
 
Eclipse 4 RCP - 2nd Week
Eclipse 4 RCP - 2nd WeekEclipse 4 RCP - 2nd Week
Eclipse 4 RCP - 2nd Week
 
Eclipse rcp - first week
Eclipse rcp - first weekEclipse rcp - first week
Eclipse rcp - first week
 
Operating system #1
Operating system #1Operating system #1
Operating system #1
 
I know - Chrome and Plugin
I know - Chrome and PluginI know - Chrome and Plugin
I know - Chrome and Plugin
 
Advanced operation system
Advanced operation systemAdvanced operation system
Advanced operation system
 
Streaming join & lesson 4.
Streaming join & lesson 4.Streaming join & lesson 4.
Streaming join & lesson 4.
 
[Taewoo Kim] Real-Time Analytics with Apache Storm
[Taewoo Kim] Real-Time Analytics with Apache Storm[Taewoo Kim] Real-Time Analytics with Apache Storm
[Taewoo Kim] Real-Time Analytics with Apache Storm
 
Real-Time Analytics with Apache Storm
Real-Time Analytics with Apache StormReal-Time Analytics with Apache Storm
Real-Time Analytics with Apache Storm
 
One Week Project #1
One Week Project #1One Week Project #1
One Week Project #1
 
Real-time Video Analysis System
Real-time Video Analysis SystemReal-time Video Analysis System
Real-time Video Analysis System
 
Big Data & Hadoop by Skidmarkii
Big Data & Hadoop by SkidmarkiiBig Data & Hadoop by Skidmarkii
Big Data & Hadoop by Skidmarkii
 
Apache Storm by Skidmarkii
Apache Storm by SkidmarkiiApache Storm by Skidmarkii
Apache Storm by Skidmarkii
 

Storm - parallel and distributed

  • 1. Storm - Parallel and Distributed – Taewoo Kim
  • 2. Parallel 사전적 의미 : 평행한, 병렬의 - 1 - 작업을 동시에 수행
  • 3. Parallel - 2 - 같은 동작을 하는 Bolt를 여러 개 생성 주기적으로 동작하는 Spout로 부터 Stream을 받은 뒤 동일한 작업을 수행 Grouping을 통해서 신뢰성을 유지
  • 4. Parallel - 3 - 출처 : Getting Started with Storm
  • 5. Distributed - 4 - 사전적 의미 : 분산된 작업을 서로 다른 장비에서 수행
  • 6. Distributed - 5 - 출처 : Getting Started with Storm Nimbus 관리 감독 Zookeeper Cluster의 상태를 유지 Supervizor Topology의 일부를 수행
  • 7. Distributed - 6 - - How to make Storm Cluster? >> Nimbus 설정 >> Zookeeper 설정 >> Supervisor 설정 - Remote Mode >> StormSubmitter - DRPC Topologies >> Distributed Remote Procedure Calls - Next Week >> 분산 처리 환경 구축해보기