Recommended
Recommended
More Related Content
What's hot
What's hot (20)
Viewers also liked
Viewers also liked (10)
Similar to 【HinemosWorld2015】B2-4_HinemosとConsulで実現する運用自動化のご提案
Similar to 【HinemosWorld2015】B2-4_HinemosとConsulで実現する運用自動化のご提案 (20)
More from Hinemos
More from Hinemos (20)
Recently uploaded
Recently uploaded (12)
【HinemosWorld2015】B2-4_HinemosとConsulで実現する運用自動化のご提案
- 1. Copyright © 2014 NTT DATA INTELLILINK Corporation 2015年10月14日 NTTデータ先端技術株式会社 鈴木 悟 Hinemos World 2015 Hinemos + Consul による運用自動化のご提案
- 2. 2Copyright © 2014 NTT DATA INTELLILINK Corporation NTTデータ先端技術株式会社 NTTデータ先端技術株式会社 ・IT分野の最新テクノロジーを利用してお客さまに役立つベストプラクティスを提供します。 ・常に新技術にチャレンジし続ける生き生きとしたプロフェッショナル集団として社会に貢献します。 ・ビジネスパートナーの知恵を結び付けて、付加価値の高いノウハウを創造し、共有していく“ハブカンパニー”として 活動します。 当社の持つ技術力をベースに • 垂直方向でのサポート ハードウェア等の機器販売、パッケー ジ販売からセキュリティ製品の導入か らアプリケーション開発まで、 システム開発/運用のあらゆるフェーズ で価値を提供できます。 • 水平方向でのサポート ブレードサーバからOSSによるクラウド システムまで、また、アプリケーション の要件定義から開発、試験まであらゆ る状況で価値を提供できます。
- 3. 3Copyright © 2014 NTT DATA INTELLILINK Corporation 当グループのミッション ソリューション事業部 / クラウド基盤BU クラウド製品を活用したクラウド環境の構築 クラウドを活用したアジャイル開発、DevOpsの実現 OSS製品を活用した先進的SIの実施 ハブ・グループとして OSSを利用したクラウド構築サービスや、クラウドに関する研究開発 を行っています。 クラウドを利用することに依るシステムデプロイメントの自動化の検証と 実施、アジャイル開発やDevOpsの実現検討、普及展開を行っています。 クラウドだけでなく、CMSやLMSなど用いたサイト構築から、Playフレー ムワークなどの各種Webフレームワークを活用したアプリケーション開 発、CKANなどの利用に依るオープンデータカタログサイト構築などを 行っています。 当グループの最大の特徴は、当社の持つ様々な技術者集団に対するハブとして機能している点にあります。 よって、ハードウェア調達からセキュリティ診断まで、どんなご要望でも当グループを通じて適切なソリューショ ンをご提供することが出来ます。
- 4. 4Copyright © 2014 NTT DATA INTELLILINK Corporation 当グループのHinemos関連サービス サービス概要 OSSのHinemosを用いた統合運用管理システムの構築サービスとなります。Hinemos製品のコンサルティングから設 計・構築・保守・運用までをサポートし、当社の持つ技術スキルを活かした冗長化構成のご提案、クラウドサービス上 でのHinemos運用と自動化ソリューション、 検疫LANシステムとの連動やSplunkなどの各種ビッグデータ解析との 連動など、Hinemosを含め多種多様な構成についてご提案いたします。 Hinemos保守、問い合わせ対応サービス 最適な設計構築から障害解析まで幅広い分野をサポートします。料金プランとして問合せ回数無制限、20回まで の二つをご用意しております。 当社の強みを活かしたHinemos、Hinemos+αの構築サービス Hinemos本体はもちろんのこと各オプション製品の構築をおこないます。また、他ソフトウェア、サービスとの連動 を含めたコンサルティングも可能です。 監視設定一括登録サービス 面倒な監視設定をヒアリングシートを基に一括登録します。また実際に登録するまでの問合せにも対応します。 サービスの特徴 Hinemosソリューションパートナー 弊社はHinemosソリューションパートナーのメンバです。最新情報をいち早くキャッチでき展開することができます。 ワンストップサービス 要件定義から、設計、構築、テスト、運用/保守までをワンストップで提供できます。 他のソリューション・サービスとの連動 Hinemosだけでなく、サーバ、NW機器等のHWも含めたご提案や、ビッグデータ、仮想化等の他のソリューション、 サービスを絡めたご提案が可能です。
- 5. 5Copyright © 2014 NTT DATA INTELLILINK Corporation 『自動化』というキーワードをよく耳にしませんか？ 運用を自動化して、 コストを削減したい 環境の構築を自動 的にやりたい 面倒な試験は全部 自動でやりたい 今回は、これを テーマに話します
- 6. 6Copyright © 2014 NTT DATA INTELLILINK Corporation 運用自動化の背景 なぜ、運用自動化なのか？ １．IT基盤の変化 仮想環境やクラウド基盤の利用が一般化しており、必要な時 に必要な量を容易に作成できる（削除できる） ⇒大量にあるサーバの増減を維持管理する ２．オペレーション工数の削減 これまで手作業で行ってきた運用オペレーション業務を自動 化することで、オペレーション工数を削減できる ⇒人員リソース不足を解消する ３．オペレーション品質の向上 単純なオペレーションミスや確認漏れによる誤判断、作業漏 れを防ぐことができる ⇒オペレーション品質の常に一定に保てる
- 7. 7Copyright © 2014 NTT DATA INTELLILINK Corporation Hinemos＋Consul、Serfを利用して運用自動化を実現 × ＋
- 8. 8Copyright © 2014 NTT DATA INTELLILINK Corporation Serfって？ Consulって？ Serfとは？ 概要 機能 ・HashiCorp社がGo言語で開発・公開しているオープンソースのクラスタ管理用ツール ・バイナリファイルをダウンロードして設置するだけ ⇒誰でも簡単に入手・利用ができます 1.メンバー管理 クラスタを構成する各サーバの死活やメンバーのホスト名，IPアドレス，タグを管理する 中央サーバではなく、各ノードが自律分散的に他ノードと会話して全ノードの情報を 知っている状態となる 2.障害検出 メンバーとの疎通失敗時は障害情報を共有し，定期的に復帰を確認して疎通が 回復できれば、クラスタへ自動復旧する 3.イベントハンドラ メンバー管理や障害検出だけでなく，任意のタイミングで発生するイベントを クラスタ全体で瞬時に共有し、任意のコマンドを実行できる
- 9. 9Copyright © 2014 NTT DATA INTELLILINK Corporation Serfって？ Consulって？ A B Serfでクラスタを構成してみます join 172.31.243.128 172.31.243.119 A B 172.31.243.128 172.31.243.119 event member-join 172.31.243.119 event member-join 172.31.243.119
- 10. 10Copyright © 2014 NTT DATA INTELLILINK Corporation Serfって？ Consulって？ Aサーバで「serf agent」コマンドを実行し、Serfを起動します $ serf agent -node=A_server & ==> Starting Serf agent... ==> Starting Serf agent RPC... ==> Serf agent running! Node name: ‘A_server' Bind addr: '0.0.0.0:7946' RPC addr: '127.0.0.1:7373' Encrypted: false Snapshot: false Profile: lan ==> Log data will now stream in as it occurs: 2015/09/24 10:27:14 [INFO] agent: Serf agent starting 2015/09/24 10:27:14 [INFO] serf: EventMemberJoin: A_server 172.31.243.128 2015/09/24 10:27:15 [INFO] agent: Received event: member-join $ serf members 2015/09/24 10:32:23 [INFO] agent.ipc: Accepted client: 127.0.0.1:41873 A_server 172.31.243.128:7946 alive 「serf members」コマンドを実行して、クラスタを構成しているサーバ情報を 表示させます
- 11. 11Copyright © 2014 NTT DATA INTELLILINK Corporation Serfって？ Consulって？ Bサーバでは「-join」オプションを使用して、Serfを起動します $ serf agent -node=B_server -join=172.31.243.128 & ==> Starting Serf agent RPC... ==> Serf agent running! Node name: ‘B_server' Bind addr: '0.0.0.0:7946' RPC addr: '127.0.0.1:7373' Encrypted: false Snapshot: false Profile: lan ==> Joining cluster...(replay: false) Join completed. Synced with 1 initial agents ==> Log data will now stream in as it occurs: 2015/09/24 10:38:19 [INFO] agent: Serf agent starting 2015/09/24 10:38:19 [INFO] serf: EventMemberJoin: B_server 172.31.243.119 2015/09/24 10:38:19 [INFO] agent: joining: [172.31.243.128] replay: false 2015/09/24 10:38:19 [INFO] serf: EventMemberJoin: A_server 172.31.243.128 2015/09/24 10:38:19 [INFO] agent: joined: 1 nodes 2015/09/24 10:38:20 [INFO] agent: Received event: member-join 「serf members」コマンドを実行して、クラスタを構成しているサーバ情報を 表示させます $ serf members 2015/09/24 10:32:23 [INFO] agent.ipc: Accepted client: 127.0.0.1:41873 B_server 172.31.243.119:7946 alive A_server 172.31.243.128:7946 alive
- 12. 12Copyright © 2014 NTT DATA INTELLILINK Corporation Serfって？ Consulって？ 先程はmember-joinイベントを発生させましたが、他にもメンバ変更の タイミングで以下のイベントが自動発生します A join B member-join A leave B member-leave A failed B member-failed A update B member-update A leap B member-leap Serfクラスタの範囲 Serfエージェント ⇒Serfでは、それぞれのイベント発生時に任意のコマンドを 実行できるので、この機能を利用して、各サーバの設定や Hinemosにノード・スコープを登録します
- 13. 13Copyright © 2014 NTT DATA INTELLILINK Corporation Serfって？ Consulって？ Consulとは？ 概要 機能 ・HashiCorp社がGo言語で開発・公開しているオープンソースのクラスタ管理用ツール ・バイナリファイルをダウンロードして設置するだけ 1.メンバー管理 クラスタを構成する各サーバの死活やメンバーのホスト名，IPアドレス，タグを管理する サーバとクライアントという２つのコンポーネントで構成され、サーバ側がもつKVSに データを格納する 2.障害検出 メンバーとの疎通失敗時は障害情報を共有し，定期的に復帰を確認して疎通が 回復できれば、クラスタへ自動復旧する 3.イベントハンドラ メンバー管理や障害検出だけでなく，任意のタイミングで発生するイベントを クラスタ全体で瞬時に共有し、任意のコマンドを実行できる 4.サービス監視 Webサーバやデータベースの状況変化をトリガとして，様々な自動処理を 実行できる
- 14. 14Copyright © 2014 NTT DATA INTELLILINK Corporation Serfって？ Consulって？ A B Consulでクラスタを構成してみます join 172.31.243.128 172.31.243.119 A B 172.31.243.128 172.31.243.119 event 172.31.243.119 event 172.31.243.119 サーバ クライアント
- 15. 15Copyright © 2014 NTT DATA INTELLILINK Corporation Serfって？ Consulって？ Aサーバで「consul agent」コマンドを実行し、サーバとしてConsulを起動します $ consul agent -server -bootstrap-expect=1 -data-dir=/opt/consul/data -node=A_server & ==> Starting Consul agent... ==> Starting Consul agent RPC... ==> Consul agent running! Node name: 'A_server' Datacenter: 'dc1' Server: true (bootstrap: true) Client Addr: 127.0.0.1 (HTTP: 8500, HTTPS: -1, DNS: 8600, RPC: 8400) Cluster Addr: 172.31.243.119 (LAN: 8301, WAN: 8302) Gossip encrypt: false, RPC-TLS: false, TLS-Incoming: false Atlas: <disabled> ==> Log data will now stream in as it occurs: 2015/09/28 04:59:44 [INFO] serf: EventMemberJoin: A_server 172.31.243.119 2015/09/28 04:59:44 [INFO] serf: EventMemberJoin: A_server.dc1 172.31.243.119 ・・・（省略） $ consul members 2015/09/28 05:08:00 [INFO] agent.rpc: Accepted client: 127.0.0.1:36575 Node Address Status Type Build Protocol DC A_server 172.31.243.119:8301 alive server 0.5.2 2 dc1 「Consul members」コマンドを実行して、クラスタを構成しているサーバ情報を 表示させます
- 16. 16Copyright © 2014 NTT DATA INTELLILINK Corporation Serfって？ Consulって？ Bサーバでは「-join」オプションを使用して、クライアントとしてConsulを起動します $ consul agent -data-dir=/opt/consul/data -node=B_server -join=172.31.243.128 & ==> Starting Consul agent... ==> Starting Consul agent RPC... ==> Joining cluster... Join completed. Synced with 1 initial agents ==> Consul agent running! Node name: 'B_server' Datacenter: 'dc1' Server: false (bootstrap: false) Client Addr: 127.0.0.1 (HTTP: 8500, HTTPS: -1, DNS: 8600, RPC: 8400) Cluster Addr: 172.31.243.119 (LAN: 8301, WAN: 8302) Gossip encrypt: false, RPC-TLS: false, TLS-Incoming: false Atlas: <disabled> ==> Log data will now stream in as it occurs: 2015/09/28 05:13:29 [INFO] serf: EventMemberJoin: B_server 172.31.243.119 ・・・（省略） 2015/09/28 05:13:29 [INFO] consul: adding server A_server (Addr: 172.31.243.119:8300) (DC: dc1) $ consul members 2015/09/28 05:16:38 [INFO] agent.rpc: Accepted client: 127.0.0.1:54006 Node Address Status Type Build Protocol DC B_server 172.31.243.128:8301 alive client 0.5.2 2 dc1 A_server 172.31.243.119:8301 alive server 0.5.2 2 dc1 「Consul members」コマンドを実行して、クラスタを構成しているサーバ情報を 表示させます
- 17. 17Copyright © 2014 NTT DATA INTELLILINK Corporation Serfって？ Consulって？ Consulでは、Serfではできなかった任意のサービスに対する状態監視を 行うことができます サービスの定義はJSON形式の書式で定義し、エージェント起動時に指定します $ cat /etc/consul.d/web.json { "service": { # サービスの定義開始 "name": "web", # サービス名称を「web」 "port": 80, # ポート番号は「80」 "check": { # ヘルスチェックの定義開始 "script": "curl localhost:80 >/dev/null 2>&1", # curlでローカル環境の監視 "interval": "10s" # 監視間隔 } } } [Webサーバを監視する定義の一例] Consul起動時に、jsonファイルを指定します $ consul agent -data-dir=/opt/consul/data -node=B_server -join=172.31.243.128 -config-dir=/etc/consul.d & ==> Starting Consul agent... ==> Starting Consul agent RPC... ==> Consul agent running! Node name: ‘B_server' ・・・（省略） ==> Log data will now stream in as it occurs: 2015/09/28 05:51:01 [INFO] serf: EventMemberJoin: B_server 172.31.243.119 ・・・（省略） 2015/09/28 05:51:02 [INFO] agent: Synced service 'web'
- 18. 18Copyright © 2014 NTT DATA INTELLILINK Corporation Serfって？ Consulって？ SerfとConsulでは監視する範囲が異なります serf agent serf agent consul agent consul agent サーバ サーバ サーバ サーバ サービスA サービスB サービスA サービスB サービスA サービスB サービスA サービスB Serfクラスタの監視範囲 Consulクラスタの監視範囲 ⇒Consulでは、サービス稼働状況の変化をトリガとして 任意のコマンドを実行できるので、この機能を利用して、 Hinemosに監視を登録します
- 19. 19Copyright © 2014 NTT DATA INTELLILINK Corporation 自動運用化の取り組み プレゼンテーション層 Webサーバ アプリケーション層 データベース層 DBサーバ 運用管理サーバ監視 今回はAPサーバ（Tomcat）の増減を例に考えてみます APサーバを1台 増やしてみます APサーバ APサーバ
- 20. 20Copyright © 2014 NTT DATA INTELLILINK Corporation 自動運用化の取り組み プレゼンテーション層 Webサーバ アプリケーション層 データベース層 DBサーバ APサーバ 運用管理者 運用管理サーバAPサーバ 振り分け先を追加して、 再起動 運用管理者 DB接続の設定をして、 起動 監視 運用管理者 ノードを登録して、 監視を設定 APサーバ（Tomcat）増加時に、運用管理者はそれぞれに対応する必要があります
- 21. 21Copyright © 2014 NTT DATA INTELLILINK Corporation 自動運用化の取り組み Webサーバ DBサーバ APサーバ 運用管理サーバAPサーバ 監視 SerfメンバConsulメンバ join APサーバ（Tomcat）をConsulメンバおよびSerfメンバにjoinすることで、自律的に構成します
- 22. 22Copyright © 2014 NTT DATA INTELLILINK Corporation 自動運用化の取り組み Webサーバ DBサーバ APサーバ 運用管理サーバAPサーバ 監視 Serfメンバ join 設定、起動 設定、 再起動 ノード、スコープ登録 Serfメンバjoin時にそれぞれの処理を自動で実行します
- 23. 23Copyright © 2014 NTT DATA INTELLILINK Corporation 自動運用化の取り組み Webサーバ DBサーバ APサーバ 運用管理サーバ APサーバ 監視 Consulメンバ プロセス監視設定 APサーバ（Tomcat）のサービスが起動した場合、Consulが検知してHinemosに監視を登録します サービス起動
- 24. 24Copyright © 2014 NTT DATA INTELLILINK Corporation 自動運用化の取り組み Webサーバ DBサーバ APサーバ 運用管理サーバ APサーバ 監視 Consulメンバ プロセス監視削除 APサーバ（Tomcat）のサービス停止時には監視を削除します サービス停止
- 25. 25Copyright © 2014 NTT DATA INTELLILINK Corporation 自動運用化の取り組み Webサーバ DBサーバ APサーバ 運用管理サーバAPサーバ 監視 Serfメンバ leave 設定削除、起動 設定削除、 再起動 ノード、スコープ削除 Serfメンバからleaveした場合、それぞれの処理を自動で実行します
- 26. 26Copyright © 2014 NTT DATA INTELLILINK Corporation デモ 実際にデモ環境で 動作を確認します。
- 27. 27Copyright © 2014 NTT DATA INTELLILINK Corporation まとめ 近年、「自動化」というキーワードを優先課題に 掲げる企業が増えてきています。 その中でも今回は運用自動化に焦点を当てて、 統合運用監視であるHinemosをより高度化する 方法として、ConsulとSerfを利用して運用自動化を 図る方法をご提案いたしました。 「運用管理にかかるコストが大きい」、「運用管理を 担当する人員が不足している」との課題を お持ちの方は、是非『運用自動化』をご検討下さい。
- 28. Copyright © 2014 NTT DATA INTELLILINK Corporation