Submit Search
Upload
Cloudera & Zookeeper
•
1 like
•
720 views
J
Junyoung Park
Follow
Cloudera & Zookeeper in DataLAB
Read less
Read more
Software
Report
Share
Report
Share
1 of 32
Download now
Download to read offline
Recommended
Cloudera session seoul - Spark bootcamp
Cloudera session seoul - Spark bootcamp
Sang-bae Lim
Hadoop cluster os_tuning_v1.0_20170106_mobile
Hadoop cluster os_tuning_v1.0_20170106_mobile
상연 최
Spark Day 2017@Seoul(Spark Bootcamp)
Spark Day 2017@Seoul(Spark Bootcamp)
Sang-bae Lim
Spark와 Hadoop, 완벽한 조합 (한국어)
Spark와 Hadoop, 완벽한 조합 (한국어)
Teddy Choi
Spark_Overview_qna
Spark_Overview_qna
현철 박
빅데이터 구축 사례
빅데이터 구축 사례
Taehyeon Oh
Spark machine learning & deep learning
Spark machine learning & deep learning
hoondong kim
Spark overview 이상훈(SK C&C)_스파크 사용자 모임_20141106
Spark overview 이상훈(SK C&C)_스파크 사용자 모임_20141106
SangHoon Lee
Recommended
Cloudera session seoul - Spark bootcamp
Cloudera session seoul - Spark bootcamp
Sang-bae Lim
Hadoop cluster os_tuning_v1.0_20170106_mobile
Hadoop cluster os_tuning_v1.0_20170106_mobile
상연 최
Spark Day 2017@Seoul(Spark Bootcamp)
Spark Day 2017@Seoul(Spark Bootcamp)
Sang-bae Lim
Spark와 Hadoop, 완벽한 조합 (한국어)
Spark와 Hadoop, 완벽한 조합 (한국어)
Teddy Choi
Spark_Overview_qna
Spark_Overview_qna
현철 박
빅데이터 구축 사례
빅데이터 구축 사례
Taehyeon Oh
Spark machine learning & deep learning
Spark machine learning & deep learning
hoondong kim
Spark overview 이상훈(SK C&C)_스파크 사용자 모임_20141106
Spark overview 이상훈(SK C&C)_스파크 사용자 모임_20141106
SangHoon Lee
[Td 2015]microsoft 개발자들을 위한 달콤한 hadoop, hd insight(최종욱)
[Td 2015]microsoft 개발자들을 위한 달콤한 hadoop, hd insight(최종욱)
Sang Don Kim
하둡 알아보기(Learn about Hadoop basic), NetApp FAS NFS Connector for Hadoop
하둡 알아보기(Learn about Hadoop basic), NetApp FAS NFS Connector for Hadoop
SeungYong Baek
2.apache spark 실습
2.apache spark 실습
동현 강
Realtime Big data Anaytics and Exampes of Daum (2013)
Realtime Big data Anaytics and Exampes of Daum (2013)
Channy Yun
[Open Technet Summit 2014] 쓰기 쉬운 Hadoop 기반 빅데이터 플랫폼 아키텍처 및 활용 방안
[Open Technet Summit 2014] 쓰기 쉬운 Hadoop 기반 빅데이터 플랫폼 아키텍처 및 활용 방안
치완 박
스타트업 사례로 본 로그 데이터 분석 : Tajo on AWS
스타트업 사례로 본 로그 데이터 분석 : Tajo on AWS
Matthew (정재화)
Spark Day 2017 Machine Learning & Deep Learning With Spark
Spark Day 2017 Machine Learning & Deep Learning With Spark
SangHoon Lee
Introduction to Apache Tajo
Introduction to Apache Tajo
Gruter
[D2 COMMUNITY] Spark User Group - 스파크를 통한 딥러닝 이론과 실제
[D2 COMMUNITY] Spark User Group - 스파크를 통한 딥러닝 이론과 실제
NAVER D2
Spark + S3 + R3를 이용한 데이터 분석 시스템 만들기
Spark + S3 + R3를 이용한 데이터 분석 시스템 만들기
AWSKRUG - AWS한국사용자모임
Spark로 알아보는 빅데이터 처리
Spark로 알아보는 빅데이터 처리
Jeong-gyu Kim
Apache hbase overview (20160427)
Apache hbase overview (20160427)
Steve Min
Gpdb best practices v a01 20150313
Gpdb best practices v a01 20150313
Sanghee Lee
Expanding Your Data Warehouse with Tajo
Expanding Your Data Warehouse with Tajo
Matthew (정재화)
Apache spark 소개 및 실습
Apache spark 소개 및 실습
동현 강
빅데이터 분석을 위한 스파크 2 프로그래밍 : 대용량 데이터 처리부터 머신러닝까지
빅데이터 분석을 위한 스파크 2 프로그래밍 : 대용량 데이터 처리부터 머신러닝까지
위키북스
OLAP for Big Data (Druid vs Apache Kylin vs Apache Lens)
OLAP for Big Data (Druid vs Apache Kylin vs Apache Lens)
SANG WON PARK
Druid+superset
Druid+superset
Dongwoo Lee
Spark sql
Spark sql
동현 강
(Apacje Spark)아파치 스파크 개요, 소개, 스파크란?
(Apacje Spark)아파치 스파크 개요, 소개, 스파크란?
탑크리에듀(구로디지털단지역3번출구 2분거리)
Big data application architecture 요약2
Big data application architecture 요약2
Seong-Bok Lee
Session 1. 디지털 트렌스포메이션의 핵심, 클라우드 마이그레이션 A to Z - 베스핀글로벌 이근우 위원
Session 1. 디지털 트렌스포메이션의 핵심, 클라우드 마이그레이션 A to Z - 베스핀글로벌 이근우 위원
BESPIN GLOBAL
More Related Content
What's hot
[Td 2015]microsoft 개발자들을 위한 달콤한 hadoop, hd insight(최종욱)
[Td 2015]microsoft 개발자들을 위한 달콤한 hadoop, hd insight(최종욱)
Sang Don Kim
하둡 알아보기(Learn about Hadoop basic), NetApp FAS NFS Connector for Hadoop
하둡 알아보기(Learn about Hadoop basic), NetApp FAS NFS Connector for Hadoop
SeungYong Baek
2.apache spark 실습
2.apache spark 실습
동현 강
Realtime Big data Anaytics and Exampes of Daum (2013)
Realtime Big data Anaytics and Exampes of Daum (2013)
Channy Yun
[Open Technet Summit 2014] 쓰기 쉬운 Hadoop 기반 빅데이터 플랫폼 아키텍처 및 활용 방안
[Open Technet Summit 2014] 쓰기 쉬운 Hadoop 기반 빅데이터 플랫폼 아키텍처 및 활용 방안
치완 박
스타트업 사례로 본 로그 데이터 분석 : Tajo on AWS
스타트업 사례로 본 로그 데이터 분석 : Tajo on AWS
Matthew (정재화)
Spark Day 2017 Machine Learning & Deep Learning With Spark
Spark Day 2017 Machine Learning & Deep Learning With Spark
SangHoon Lee
Introduction to Apache Tajo
Introduction to Apache Tajo
Gruter
[D2 COMMUNITY] Spark User Group - 스파크를 통한 딥러닝 이론과 실제
[D2 COMMUNITY] Spark User Group - 스파크를 통한 딥러닝 이론과 실제
NAVER D2
Spark + S3 + R3를 이용한 데이터 분석 시스템 만들기
Spark + S3 + R3를 이용한 데이터 분석 시스템 만들기
AWSKRUG - AWS한국사용자모임
Spark로 알아보는 빅데이터 처리
Spark로 알아보는 빅데이터 처리
Jeong-gyu Kim
Apache hbase overview (20160427)
Apache hbase overview (20160427)
Steve Min
Gpdb best practices v a01 20150313
Gpdb best practices v a01 20150313
Sanghee Lee
Expanding Your Data Warehouse with Tajo
Expanding Your Data Warehouse with Tajo
Matthew (정재화)
Apache spark 소개 및 실습
Apache spark 소개 및 실습
동현 강
빅데이터 분석을 위한 스파크 2 프로그래밍 : 대용량 데이터 처리부터 머신러닝까지
빅데이터 분석을 위한 스파크 2 프로그래밍 : 대용량 데이터 처리부터 머신러닝까지
위키북스
OLAP for Big Data (Druid vs Apache Kylin vs Apache Lens)
OLAP for Big Data (Druid vs Apache Kylin vs Apache Lens)
SANG WON PARK
Druid+superset
Druid+superset
Dongwoo Lee
Spark sql
Spark sql
동현 강
(Apacje Spark)아파치 스파크 개요, 소개, 스파크란?
(Apacje Spark)아파치 스파크 개요, 소개, 스파크란?
탑크리에듀(구로디지털단지역3번출구 2분거리)
What's hot
(20)
[Td 2015]microsoft 개발자들을 위한 달콤한 hadoop, hd insight(최종욱)
[Td 2015]microsoft 개발자들을 위한 달콤한 hadoop, hd insight(최종욱)
하둡 알아보기(Learn about Hadoop basic), NetApp FAS NFS Connector for Hadoop
하둡 알아보기(Learn about Hadoop basic), NetApp FAS NFS Connector for Hadoop
2.apache spark 실습
2.apache spark 실습
Realtime Big data Anaytics and Exampes of Daum (2013)
Realtime Big data Anaytics and Exampes of Daum (2013)
[Open Technet Summit 2014] 쓰기 쉬운 Hadoop 기반 빅데이터 플랫폼 아키텍처 및 활용 방안
[Open Technet Summit 2014] 쓰기 쉬운 Hadoop 기반 빅데이터 플랫폼 아키텍처 및 활용 방안
스타트업 사례로 본 로그 데이터 분석 : Tajo on AWS
스타트업 사례로 본 로그 데이터 분석 : Tajo on AWS
Spark Day 2017 Machine Learning & Deep Learning With Spark
Spark Day 2017 Machine Learning & Deep Learning With Spark
Introduction to Apache Tajo
Introduction to Apache Tajo
[D2 COMMUNITY] Spark User Group - 스파크를 통한 딥러닝 이론과 실제
[D2 COMMUNITY] Spark User Group - 스파크를 통한 딥러닝 이론과 실제
Spark + S3 + R3를 이용한 데이터 분석 시스템 만들기
Spark + S3 + R3를 이용한 데이터 분석 시스템 만들기
Spark로 알아보는 빅데이터 처리
Spark로 알아보는 빅데이터 처리
Apache hbase overview (20160427)
Apache hbase overview (20160427)
Gpdb best practices v a01 20150313
Gpdb best practices v a01 20150313
Expanding Your Data Warehouse with Tajo
Expanding Your Data Warehouse with Tajo
Apache spark 소개 및 실습
Apache spark 소개 및 실습
빅데이터 분석을 위한 스파크 2 프로그래밍 : 대용량 데이터 처리부터 머신러닝까지
빅데이터 분석을 위한 스파크 2 프로그래밍 : 대용량 데이터 처리부터 머신러닝까지
OLAP for Big Data (Druid vs Apache Kylin vs Apache Lens)
OLAP for Big Data (Druid vs Apache Kylin vs Apache Lens)
Druid+superset
Druid+superset
Spark sql
Spark sql
(Apacje Spark)아파치 스파크 개요, 소개, 스파크란?
(Apacje Spark)아파치 스파크 개요, 소개, 스파크란?
Similar to Cloudera & Zookeeper
Big data application architecture 요약2
Big data application architecture 요약2
Seong-Bok Lee
Session 1. 디지털 트렌스포메이션의 핵심, 클라우드 마이그레이션 A to Z - 베스핀글로벌 이근우 위원
Session 1. 디지털 트렌스포메이션의 핵심, 클라우드 마이그레이션 A to Z - 베스핀글로벌 이근우 위원
BESPIN GLOBAL
Open standard open cloud engine (3)
Open standard open cloud engine (3)
uEngine Solutions
(Red hat]private cloud-osp-introduction(samuel)2017-0530(printed)
(Red hat]private cloud-osp-introduction(samuel)2017-0530(printed)
SAMUEL SJ Cheon
비트교육센터-AWS활용 1주차: EC2, S3, Elastic Beanstalks 사용
비트교육센터-AWS활용 1주차: EC2, S3, Elastic Beanstalks 사용
고포릿 default
Do you know HashiCorp? I know Terraform!
Do you know HashiCorp? I know Terraform!
규석 이
sparklyr을 활용한 R 분산 처리
sparklyr을 활용한 R 분산 처리
Sang-bae Lim
대규모 온프레미스 하둡 마이그레이션을 위한 실행 전략과 최적화 방안 소개-유철민, AWS Data Architect / 박성열,AWS Pr...
대규모 온프레미스 하둡 마이그레이션을 위한 실행 전략과 최적화 방안 소개-유철민, AWS Data Architect / 박성열,AWS Pr...
Amazon Web Services Korea
Ahems lab cloud view-final
Ahems lab cloud view-final
kssssw
2017 Ad-Tech on AWS 세미나ㅣAWS에서의 빅데이터와 분석
2017 Ad-Tech on AWS 세미나ㅣAWS에서의 빅데이터와 분석
Amazon Web Services Korea
Bahamas를 이용한 클라우드 환경에서의 software stack 자동 구성 및 플랫폼 구현 방안 클라우다인 박승필 과장
Bahamas를 이용한 클라우드 환경에서의 software stack 자동 구성 및 플랫폼 구현 방안 클라우다인 박승필 과장
영재 김
Bahamas를 이용한 클라우드 환경에서의 software stack 자동 구성 및 플랫폼 구현 방안 클라우다인 박승필 과장
Bahamas를 이용한 클라우드 환경에서의 software stack 자동 구성 및 플랫폼 구현 방안 클라우다인 박승필 과장
영재 김
클라우드란 (기획자대상)
클라우드란 (기획자대상)
Minwoo Park
AWS와 함께하는 스타트업 여정 AWS Activate 프로그램/스타트업에게 가장 사랑받는 AWS 서비스들 – 김민지, 박진우 :: AWS...
AWS와 함께하는 스타트업 여정 AWS Activate 프로그램/스타트업에게 가장 사랑받는 AWS 서비스들 – 김민지, 박진우 :: AWS...
Amazon Web Services Korea
엔터프라이즈 비지니스 애플리케이션 이전 및 도입사례 제주항공사례 - AWS Summit Seoul 2017
엔터프라이즈 비지니스 애플리케이션 이전 및 도입사례 제주항공사례 - AWS Summit Seoul 2017
Amazon Web Services Korea
[오픈소스컨설팅]Data Center to cloud - 최지웅 컨설팅코치, 오픈소스컨설팅
[오픈소스컨설팅]Data Center to cloud - 최지웅 컨설팅코치, 오픈소스컨설팅
Open Source Consulting
SAP on AWS : 경영혁신 플랫폼의 뉴 노멀
SAP on AWS : 경영혁신 플랫폼의 뉴 노멀
Amazon Web Services Korea
멀티·하이브리드 클라우드 구축 전략 - 네이버비즈니스플랫폼 박기은 CTO
멀티·하이브리드 클라우드 구축 전략 - 네이버비즈니스플랫폼 박기은 CTO
NAVER CLOUD PLATFORMㅣ네이버 클라우드 플랫폼
클라우드컴퓨팅 V4
클라우드컴퓨팅 V4
Alex Yang
DB관점에서 본 빅데이터 (2019년 8월)
DB관점에서 본 빅데이터 (2019년 8월)
Kee Hoon Lee
Similar to Cloudera & Zookeeper
(20)
Big data application architecture 요약2
Big data application architecture 요약2
Session 1. 디지털 트렌스포메이션의 핵심, 클라우드 마이그레이션 A to Z - 베스핀글로벌 이근우 위원
Session 1. 디지털 트렌스포메이션의 핵심, 클라우드 마이그레이션 A to Z - 베스핀글로벌 이근우 위원
Open standard open cloud engine (3)
Open standard open cloud engine (3)
(Red hat]private cloud-osp-introduction(samuel)2017-0530(printed)
(Red hat]private cloud-osp-introduction(samuel)2017-0530(printed)
비트교육센터-AWS활용 1주차: EC2, S3, Elastic Beanstalks 사용
비트교육센터-AWS활용 1주차: EC2, S3, Elastic Beanstalks 사용
Do you know HashiCorp? I know Terraform!
Do you know HashiCorp? I know Terraform!
sparklyr을 활용한 R 분산 처리
sparklyr을 활용한 R 분산 처리
대규모 온프레미스 하둡 마이그레이션을 위한 실행 전략과 최적화 방안 소개-유철민, AWS Data Architect / 박성열,AWS Pr...
대규모 온프레미스 하둡 마이그레이션을 위한 실행 전략과 최적화 방안 소개-유철민, AWS Data Architect / 박성열,AWS Pr...
Ahems lab cloud view-final
Ahems lab cloud view-final
2017 Ad-Tech on AWS 세미나ㅣAWS에서의 빅데이터와 분석
2017 Ad-Tech on AWS 세미나ㅣAWS에서의 빅데이터와 분석
Bahamas를 이용한 클라우드 환경에서의 software stack 자동 구성 및 플랫폼 구현 방안 클라우다인 박승필 과장
Bahamas를 이용한 클라우드 환경에서의 software stack 자동 구성 및 플랫폼 구현 방안 클라우다인 박승필 과장
Bahamas를 이용한 클라우드 환경에서의 software stack 자동 구성 및 플랫폼 구현 방안 클라우다인 박승필 과장
Bahamas를 이용한 클라우드 환경에서의 software stack 자동 구성 및 플랫폼 구현 방안 클라우다인 박승필 과장
클라우드란 (기획자대상)
클라우드란 (기획자대상)
AWS와 함께하는 스타트업 여정 AWS Activate 프로그램/스타트업에게 가장 사랑받는 AWS 서비스들 – 김민지, 박진우 :: AWS...
AWS와 함께하는 스타트업 여정 AWS Activate 프로그램/스타트업에게 가장 사랑받는 AWS 서비스들 – 김민지, 박진우 :: AWS...
엔터프라이즈 비지니스 애플리케이션 이전 및 도입사례 제주항공사례 - AWS Summit Seoul 2017
엔터프라이즈 비지니스 애플리케이션 이전 및 도입사례 제주항공사례 - AWS Summit Seoul 2017
[오픈소스컨설팅]Data Center to cloud - 최지웅 컨설팅코치, 오픈소스컨설팅
[오픈소스컨설팅]Data Center to cloud - 최지웅 컨설팅코치, 오픈소스컨설팅
SAP on AWS : 경영혁신 플랫폼의 뉴 노멀
SAP on AWS : 경영혁신 플랫폼의 뉴 노멀
멀티·하이브리드 클라우드 구축 전략 - 네이버비즈니스플랫폼 박기은 CTO
멀티·하이브리드 클라우드 구축 전략 - 네이버비즈니스플랫폼 박기은 CTO
클라우드컴퓨팅 V4
클라우드컴퓨팅 V4
DB관점에서 본 빅데이터 (2019년 8월)
DB관점에서 본 빅데이터 (2019년 8월)
More from Junyoung Park
Quantitive Algorithm Trading
Quantitive Algorithm Trading
Junyoung Park
K-Means Clustering
K-Means Clustering
Junyoung Park
Common Design for Distributed Machine Learning
Common Design for Distributed Machine Learning
Junyoung Park
AWS EMR + Spark ML
AWS EMR + Spark ML
Junyoung Park
Kaggle KKBox Churn Prediction
Kaggle KKBox Churn Prediction
Junyoung Park
Spark config
Spark config
Junyoung Park
한국어 자연어처리 101
한국어 자연어처리 101
Junyoung Park
Continuous Integration with Gitlab
Continuous Integration with Gitlab
Junyoung Park
Docker Intro
Docker Intro
Junyoung Park
Python Testing for Flask
Python Testing for Flask
Junyoung Park
News clustering and Recommendation system using Word Embedding
News clustering and Recommendation system using Word Embedding
Junyoung Park
Clustering, k means algorithm
Clustering, k means algorithm
Junyoung Park
About Neural Network
About Neural Network
Junyoung Park
About SVM
About SVM
Junyoung Park
More from Junyoung Park
(14)
Quantitive Algorithm Trading
Quantitive Algorithm Trading
K-Means Clustering
K-Means Clustering
Common Design for Distributed Machine Learning
Common Design for Distributed Machine Learning
AWS EMR + Spark ML
AWS EMR + Spark ML
Kaggle KKBox Churn Prediction
Kaggle KKBox Churn Prediction
Spark config
Spark config
한국어 자연어처리 101
한국어 자연어처리 101
Continuous Integration with Gitlab
Continuous Integration with Gitlab
Docker Intro
Docker Intro
Python Testing for Flask
Python Testing for Flask
News clustering and Recommendation system using Word Embedding
News clustering and Recommendation system using Word Embedding
Clustering, k means algorithm
Clustering, k means algorithm
About Neural Network
About Neural Network
About SVM
About SVM
Cloudera & Zookeeper
1.
Cloudera Manager 클라우데라매니저로구축하는빅데이터에코시스템
2.
Cloudera? 클라우데라는Apache Hadoop에대해가장잘압니다 세계 3대하둡기업:
클라우데라, 호튼웍스, 맵알 하둡의창시자"더그 커팅"도수석아키텍트로합류 빅데이터시스템고도화관련컨설팅 주요제품: DataHub, AnalyticDB, Impala
3.
Cloudera Manager? 빅데이터에코시스템을쉽게 설치하고
관리해주는도구 Cloudera Express (무료) / Enterprise (유료) 클라우데라하둡배포판(CDH)를사용
4.
Apache BigTop 아파치재단의Top‑level 프로젝트 빅데이터에코시스템을패키징,
테스트, 가상화등지원 AWS EMR 4.0부터빌드및패키징프로세스를관리하기 위해Apache Bigtop를사용
5.
6.
환경 구축 도저히내노트북에가상머신3개를돌릴수없음 Amazon Web
Service 클라우드환경에구축 AWS t2.micro / CentOS 7 / 1GiB / 8GiB 먼저인스턴스하나에환경 구축하고, 이미지복제
7.
AWS 관련Tip CentOS는기본으로제공하지않음 Marketplace에서이미지를받아서사용 default 유저아이디는centos
(centos@12.214.12.3)
8.
그러나...
9.
Trouble‑Shooting t2.micro free tier
인스턴스에서절대안돌아간다 메모리문제라고 클라우데라에서말하더라 명시되어있는권장인스턴스m4.large AWS m4.large / CentOS 7 / 8GiB / 8GiB
10.
Trouble‑Shooting 다좋은데, 3개 돌아가는거
생각하면너무비싸다 시간 당$0.123 * 3 = $0.369 AMI를만들어두고 Spot Instance를활용 시간 당$0.0184 * 3 = $0.0552 가격이훨씬저렴하다
11.
Cloudera Manager 설치
12.
Cloudera Manager 설치 공식문서가
너무친절함 http://www.cloudera.com/documentation/manager/5‑1‑ x/Cloudera‑Manager‑Installation‑ Guide/cm5ig_install_on_ec2.html AWS에서설치할때는 https://hadoopabcd.wordpress.com/2015/01/21/installing‑ cloudera‑manager‑and‑cdh‑on‑amazon‑ec2‑part‑1/
13.
Cloudera Manager 설치 가장최신버전을받아서그대로설치진행 $
wget http://archive.cloudera.com/cm5/installer/latest/clouder $ chmod u+x cloudera-manager-installer.bin $ ./cloudera-manager-installer.bin
14.
Trouble‑Shooting AWS Inbound Rules
지정 TCP 7180 ~ 7182 ICMP protocol 각 인스턴스에Elastic IP 할당(고정아이피) CentOS 방화벽해제 service iptables stop
15.
Trouble‑Shooting Fatal Error: SELinux
is enabled. It must be disabled to install and use this product.
16.
Trouble‑Shooting $ vi /etc/selinux/config $
SELINUX=disabled # 변경 클라우데라공식문서는친절하다 https://www.cloudera.com/documentation/enterprise/5‑5‑ x/topics/install_cdh_disable_selinux.html
17.
18.
19.
Cloudera Manager 접속
20.
Cloudera Manager 접속 http://
[AWS public IP] :7180/ username : admin password : admin
21.
Cloudera Manager 설정
22.
Trouble‑Shooting
23.
Trouble‑Shooting CDH를설치하기 위해임시로루트계정의ssh 접속허용 설치후에는다시잠금
설정할것 $ sudo vi /etc/ssh/sshd_config $ PermitRootLogin yes $ systemctl restart sshd.service # Log message $ sudo tail -F /var/log/cloudera-scm-agent/cloudera-scm-agent.
24.
Link https://www.cloudera.com/documentation/enterprise/release‑ notes/topics/cm_rn_known_issues.html
25.
ZooKeeper
26.
ZooKeeper 서버가 수십, 수백대인분산처리환경 네트워크장애,
예기치못한중지, 서버확장 분산된시스템간의정보를어떻게 공유할것인지 클러스터에있는서버들의상태를체크 분산된서버들간에동기화를위한락(lock)을처리
27.
ZooKeeper는심플하다 Zookeeper의데이터모델(디렉토리구조) 디렉토리구조의각 노드에데이터를저장(znode) 서버의상태, 락정보,
환경 설정과 같은메타데이터
28.
ZooKeeper 클라이언트들은단일주키퍼서버에연결 클라이언트는TCP 연결로요청을보내거나, 응답을받고,
이벤트를감시 하며하트비트(heartbeats)를보내는것을통해유지 만약주키퍼서버가 사용불가한상태가 되면클라이언트의TCP 연결은 다른주키퍼서버로연결
29.
SPOF (Single Point
of Failure) 단일장애지점 문제가 발생하면서비스전체의장애를초래할수도있음 어떻게 해결? 다중화 보통3대의서버를클러스터로묶어서배포(ensemble) 클러스터에포함되는서버는모두같은데이터를저장 클러스터마다리더가 있어서리더가 데이터일관성을보장
30.
SPOF (Single Point
of Failure)
31.
그런데만약리더가 죽으면? 리스트의가장위에있는노드가 리더의역할을대체
32.
Zookeeper 운영시주의사항 데이터의변경이자주발생하는서비스에서ZooKeeper를데이터저장 소로사용하는것은비추 ZooKeeper 서버가
제대로실행되지않을때가 있는데, 대부분서버간의 데이터불일치로인한데이터동기화실패가 그 원인 zoo.cfg라는설정(configuration) 파일에ZooKeeper 서버목록확인
Download now