• Share
  • Email
  • Embed
  • Like
  • Save
  • Private Content
오픈소스컨설팅 클러스터제안 V1.0
 

오픈소스컨설팅 클러스터제안 V1.0

on

  • 649 views

 

Statistics

Views

Total Views
649
Views on SlideShare
648
Embed Views
1

Actions

Likes
5
Downloads
38
Comments
0

1 Embed 1

http://poweroverprocrastination.com 1

Accessibility

Categories

Upload Details

Uploaded via as Adobe PDF

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

    오픈소스컨설팅 클러스터제안 V1.0 오픈소스컨설팅 클러스터제안 V1.0 Presentation Transcript

    • RHCS 클러스터 구성방안 주식회사 오픈소스컨설팅
    • 2 목차 제품소개 운영체제 설치 방안 2-Node 클러스터 구성방안 Fencing을 위한 네트워크 통신
    • 3 Global File System MPIO Red Hat Enterprise Linux JBoss Application Platform JBoss Portal Platform, JBoss jBPM, Rules JBoss SOA Platform, Jboss ESB, MetaMatrix Veritas Storage Suite EMC PowerPath AIX, HP-UX, Solaris BEA WebLogic Server, IBM WebSphere BEA/IBM Portal, BEA BPM, ILOG JRules AquaLogic ESB, IBM ESB, BEA DataServices,IBM EII SOA / ESB 제품 포탈 / BPM 제품 WAS 제품 운영체제 제품 저장장치 제품 클러스터 파일시스템 플랫폼 제품개요 오픈소스 컨설팅에서 서비스를 제공하고 있는 레드햇의 제품군은, 미들웨어 제품인 Jboss 뿐만 아니라 가상화, 고가용성 솔루션까지 오픈소스 환경의 Best Practice를 제공하고 있습니다.
    • 4 RHCS (RedHat Cluster Suite)는 레드햇 엔터 프라이즈 리눅스에 포함되어 있는 오픈소스 기반의 고가용성 어플리케이션 시스템 입니다. 클러스터 제품소개 구분 세부내용 저비용 / 고효율  서브스크립션 기반의 제품으로 저비용으로 고효율의 고가용성 시스템을 구축가능  N개의 클러스터 노드 구성으로 인한 유용성 확보 고가용성을 위한 핵심 기능제공  오픈소스 기반의 SAN 이중화 솔루션 제공 (DM-I/O Multipath)  클러스터 관리를 위한 GUI 인터페이스 및 Locking 매카니즘 제공  다양한 I/O Fencing 범용 매커니즘 제공 고가용성 지원  어플리케이션 Fail-over 기능지원  어플리케이션 확장성 및 데이타베이스 Fail-over 기능지원 (Oracle, Mysql) 최대노드 지원  최대 16개의 클러스터 노드 지원 파일시스템 가용성  NFS/CIFS의 파일시스템에 대한 고가용성 지원  클러스터 기반의 GFS (Global File System) 지원 관리 인터페이스  클러스터를 관리하기 위한 Conga 관리 인터페이스 제공
    • 5 운영체제 설치방안 RHCS (RedHat Cluster Suite)를 구성하기 위한 운영체제의 설치 구성은 아래의 구성방식이 일반적입니다. Third-Party 또는 Oracle 설치에 따라서 파티션 구성은 조금씩 달라질수 있습니다. 구분 세부내용 패키지 설치  운영체제에 대한 패키지 설치는“전체설치”를 권장하고 있습니다.  클러스터를 설치하기 위한 그룹은 “Cluster Storage” 그룹은 반드시 설치해야 합니다. / 파티션 설정  운영체제의 기본이 되는 루트 (/) 파티션의 설정은 가능한 많은 용량을 할당해 주는 것이 좋습니다.  Third-Party 솔루션이 설치되는 경우 Thirt-Party 솔루션사의 의견을 반영하여 사이즈를 하는것도 권장할수 있습니다. /var 파티션 설정  /var 파티션의 경우 시스템의 Log의 수집 여부에 따라서 용량을 할당하는 것이 좋습니다.  간혹Third-Party 의 경우 Log 를 수집하는 파티션을 별도로 구성하는 경우가 있습니다. 운영체제 설치시 반영하여 설치하는 것도 솔루션 운영에 필요할수 있습니다. /boot 파티션 설정  리눅스 운영체제의 커널이미지 영역을 담고 있는 /boot 영역을 별도의 파티션 영역으로 구분하여 설치는 하는 것도 좋습니다. (ex: 커널 이미지 관리 용이) /swap 파티션 설정  일반적인 swap 영역의 경우 Real Memory의 2배 정도의 용량을 권하고 하고 있습니다.  8 Page RedHat Swap Memory 용량 산정에 대한 근거 URL 참조
    • 6 운영체제 설치방안 Swap 메모리 산정근거 https://access.redhat.com/knowledge/docs/en-US/Red_Hat_Enterprise_Linux/5/html/Deployment_Guide/ch-swapspace.html
    • 7 2-Node 클러스터 구성방안 Router Switch1 Switch II Node 1 Node 2 Eth0 Eth1 Eth0 Eth1 Eth2 Eth3 Eth2 Eth3 bond0 bond1 bond0 bond1 Switch1 Switch II II.스위치 이중화 Fence Fence I.스위치 이중화 구분 세부내용 쿼럼 디스크  Qdisk를 제거하여 클러스터 구성합니다  Qdisk를 제거함으로써 운영상의 Failure Point 제거 합니다  전체적인 네트워크의 안정화가 중요합니다 네트워크 구성  HeartBeat Network 및 Fence Network 동일한 네트워크 에서 통신할수 있도록 구성되어야 합니다.  각각의 노드들은 이더넷 본딩(Bonding)을 구성합니다 운영체제 설치  설치전Third-Part 솔루션과 호환문제 있는지 확인이 필요합니다. 패키지 구성  패키지 설치는“전체설치”로 설치진행 2-Node 클러스터 구성 제안
    • 8 레드햇 클러스터 Fencing 정의 1. Fencing 의 사용 목적 - RHCS의 Fencing 매커니즘은 클러스터 시스템의 Planned 또는 Unplanned 다운 이벤트가 발생했을 경우 데이터를 보호하고 서비스를 유지하기 위한 기능입니다. - 공유자원을 안전하게 제어한 상태에서 노드를 활성화 시키기 됩니다. - 커널 패닉 (Kernel Panic) - System Freeze - System Hangup - Live Hang / Recovery 2. Fencing 의 종류 - Power Fencing : 서버의 Management Module 또는 APC switch를 이용하여 Fencing을 시도합니다. - SAN Fence 및 SCSI-3 PR Fence : SAN Port 또는 디스크의 SCSI-3PR 방식을 이용하여 Reserved된 디스크를 Standby 노드로 옮기게 됩니다.
    • 9 node1 node2 Fencing Module Fencing Module Heartbeat Resource Group Resource Group Rgmanager cman cman Rgmanager SAN 장애발생 Power Fence System Rebooting fence_node HP: iLo Dell: Drac IBM:IMM HP: iLo Dell: Drac IBM:IMM 서비스 전환 Fencing의 종류 (Power Fence)
    • 10 Fencing의 종류 (SCSI Fence) node1 node2 Fence deamon Fence deamon Heartbeat Resource Group Resource Group Rgmanager cman cman Rgmanager SAN Switch 장애발생 fence_scsi Step 1 Node1 에 연결된 볼륨의 SCSI Persistant Reservate Key Remove (scsi 3 pr) Step 2 Node2 에 연결된 볼륨의 SCSI Persistant Reservate Key Register (scsi 3 pr) Step 3 Step 4 SPC-3 Compliant 지원 서비스 전환
    • 11 Fencing을 위한 네트워크 구성 (Power Fence) 1. Fence 네트워크 구성 - Fence 네트워크는 Active Node가 문제가 발생됐을 경우 문제가 있는 노드를 클러스터 멤버에서 제외시키기 위해서 Fence 신호를 전달하게 되고 전달된 Fence 신호는 Heat Beat 망을 거쳐서 Fence Device 로 전달 문제있는 시스템을 Re-Booting 시키는 매커니즘으로 동작하게 됩니다. - Fence 신호가 정상적으로 전달되기 위해서는 Fence 망과 Heart Beat 망간의 통신이 원활하게 진행되어야 합니다. - 용도별 네트워크가 분리되어 있어도 Fence 망과 HeartBeat이 통신할수 있도록 Routing table이 구성되어 HB망과 Fence 망간의 통신이 원활하게 이루어 지도록 구성되어야 합니다. Node A Node B Switch Fence Heartbeat Node A Node B Fence HB SERVICE Routing Table 2-Node 클러스터 구성 1 2-Node 클러스터 구성 1I
    • 12 Fencing을 위한 네트워크 구성 (SCSI Fence) 1. SCSI Fence (SCSI-3 PR) - SCSI Fence 를 사용하기 위해서는 각각의 스토리지에 SCSI-3 PR 프로토콜이 제공되어야 합니다. - SCSI-3 PR 프로토콜의 경우 각각의 스토리지 벤더 별로 제공여부에 대해서 확인이 필요합니다. Node A Node B SCSI-3 PR ?
    • 13 2-노드 클러스터 qdisk 사용여부 2-node 구성시 qdisk 사용여부. 1. Qdisk (Quorum) 의 사용 목적 - CMAN HeartBeat Network 과 Fence Network 가 분리되어 구성되어 있을 경우 2-Node 에서는 Split-Brain으로 인해 서로 Fencing (Kill) 하는 현상을 방지하기 위함 입니다. - CMAN의 HeartBeat Network와 Fence Network가 동일한 네트워크에 구성되어 있으면 Qdisk (Quorum disk)를 사용하지 않아도 2-Node 클러스터를 구성할수 있습니다. (참조: 슬라이드 10Page) 2. Last Man Standing 구성은 (quorum vote = node수 -1) 3. Totem Token >= 2*qdisk timeout (interval*tko) - qdisk timeout 은 Multipath timeout의 시간보다 많아야 합니다. (qdisk timeout > multipath timeout) - RHEL6.3 이상에서는 token 값만 늘리면 자동으로 설정됩니다. - Heavy IO 상황에서는 qdisk interval을 3초이상으로 설정합니다. - Heuristic 설정을 통해 실제 live node를 판단합니다. (qdisk가 없을 경우 설정할 필요가 없습니다) - Deadline IO scheduler를 사용을 권장 합니다. (ex: tuned-adm profile enterprise-storage)
    • 14 Qdisk 적용에 대한 의견 (RedHat) https://access.redhat.com/knowledge/articles/40051 Using Quorum Disk and Tweaking Cluster Membership Timers The use of qdiskd with Red Hat Clustering is optional in most cases. The exception is a configuration with a two-node cluster where the fence devices are on a separate network from the cluster heartbeat network,requiring a quorum disk to prevent split-brain situations from causing a fence race. This configuration mandates a review by Red Hat. The use of qdiskd for clusters with more than four nodes is not recommended as it adds additional complexity with very little benefit. Because it is highly unlikely that more than 50% of the nodes will fail in a cluster that has more than four nodes at the same time, users are advised against using qdiskd in such situations. If you have an absolute need to use qdiskd for clusters with more than four nodes, your cluster architecture must be reviewed so that Red Hat can confirm and approve the use of a quorum disk 2-노드 클러스터 qdisk 사용여부
    • 15 Fence 및 Heartbeat 망이 분리될 경우 시스템 클러스터 대안 1. 구성제안 - Fence 망이 분리되면 OS에서 Fence 인터페이스를 Ethernet 으로 인식할수 있도록 구성 합니다. - 서버에 Ethernet Card를 추가 장착하여 Fence 네트워크의 같은 대역대에 연결 합니다. - Fence Ethernet와 서버의 IPMI 인터페이스가 서로 통신할수 있도록 환경을 구성 합니다. - Fence Ethernet이 분리되어 구성될 경우 Qdisk를 사용하여 LastMan Standing 구성을 해주는 것이 좋습니다. Node A Node B Fence HB SERVICE
    • 16 감사합니다