大規模化するピグライフを支えるインフラ～MongoDBとChefについて～ (後編)

大規模化するピグライフを支えるインフラ〜MongoDBとChefについて〜 (後編) ここからはサーバ増設・管理を効率化する話をします (株)サイバーエージェント並河祐貴 (@namikawa, id:rx7)http://www.flickr.com/photos/jonathanbeard/3307862620/

自己紹介並河祐貴 (a.k.a. id:rx7)(株)サイバーエージェント所属主にインフラエンジニアBlog: http://d.hatena.ne.jp/rx7/Twitter: @namikawa New!著書・寄稿多数

最近、割とよくある光景

○△の負荷がパないので、

サーバを30台増設するしかない。

来週までに。

(((( ；ﾟДﾟ)))ｶﾞｸｶﾞｸﾌﾞﾙﾌﾞﾙ

アメーバピグ・ピグライフの規模感アメーバピグサーバ台数: 約220台 (⇒ 150台まで削減予定) Web/APサーバ40台 Socketサーバ75台 DB(MySQL+FIO)サーバ6台 x 2(スタンバイ) API, Hadoop Cluster, Mobile, Smart Phone... etc...ピグライフサーバ台数: 約240台 Socket(node.js)サーバ60台、 DB(MongoDB)サーバ150台 Statサーバ20台 etc...

ピグのサーバ増設・運⽤管理サービス・システム規模、共に右肩上がり急な増設を求められることもありますビッグイベントにあわせて30台入れちゃうとか想定を超えるスピードでサービスが成⻑するとかそこで「Chef」を使ってみました

それ、クラウド使ったらでｋ（ｒｙクラウドも、運⽤を効率化する1要素ミドルウェアの設定管理や、プロセスの状態管理も含めて今回は「Chef」で自動化する話をします

1. Chefの概要http://www.flickr.com/photos/jonathanbeard/3307862620/

「Chef」とは Chef」とはサーバの構築作業やシステム管理のツールシステムのあるべき状態を設定するオープンソース、Ruby製利⽤実績 37signals Engine Yard Rackspace hosting etc…http://www.flickr.com/photos/jonathanbeard/3307862620/

サーバ構築・システム管理自動化の必要性手作業では、そもそも時間がかかる数十台、数百台のレベルになると・・・同じ役割のサーバごとに環境差異が発⽣したりとかサーバ投入までのリードタイムが⻑くなることで機会損失を発⽣させることは避けたい人為的なミスを抑えたい作業漏れ、ルーチン作業でのオペミス作業者によって、スキルにバラつき運⽤中のサーバでのミスは特に無くしたい設定に間違いがあっても自動化しておく事で即修正可能http://www.flickr.com/photos/jonathanbeard/3307862620/

それ、シェルスクリプトでよくね？ Chefでは内部DSLを採⽤管理タスクの品質をできるだけ揃えつつ、Rubyでの柔軟な記述ができるプラットフォームの差異が吸収できるディストリビューションによってコマンドに差異 yumとaptとかサーバの状態が記述できるフレームワークhttp://www.flickr.com/photos/photomequickbooth/4062072718/

Chefのシステムアーキテクチャ Chefのシステムアーキテクチャ Ruby CouchDB Solr Merb(Rack) CouchDB Chef-Solr Indexer Solr RabbitMQ Chef-Server RabbitMQ (Java) API (Erlang) Chef-Server HTTP(REST) WebUI JSON Chef-Client Chef-Client Knife Chef-Client Clienthttp://www.flickr.com/photos/jonathanbeard/3307862620/

Chefでの”主な” Chefでの”主な”登場人物 Node Role Cookbook Recipe Template Attribute 時間の都合上、基本を簡単にご紹介しますhttp://www.flickr.com/photos/jonathanbeard/3307862620/

Node, Role, Node, Role, Cookbook の関連(例) 関連( nginxのCookbook サーバA APサーバの Passengerの Role Cookbook サーバB RubyのCookbook サーバC gitのCookbook Node Role Cookbook 管理対象の管理対象のシステムのあるべき形をサーバグルーピング定義する設定http://www.flickr.com/photos/jonathanbeard/3307862620/

Recipe、Templateの⼀例 Recipe、Templateの⼀例 ./recipe/default.rb ./templates/default/ports.conf.erb package "apache2" do Listen <%= port %> action :install NameVirtualHost *:<%=port %> end template "/etc/apache2/ports.conf" do source "ports.conf.erb" ./attributes/default.rb owner "root" default[:port] = “8080" group "root" mode 0644 variables( :port => node[:port] ) end “port”:”80” “node A”の情報を保持 [Node Attribute], service "apache2" do [Run List] 等 action [ :enable, :start ] 実⾏するrecipeの設定 end chef-client node A 実⾏ Chef-Serverhttp://www.flickr.com/photos/jonathanbeard/3307862620/

Chefで利⽤できるResource Chefで利⽤できるResource Cookbook File Mount Cron Ohai Deploy Package Directory PowerShell Script Erlang Call Remote Directory Execute Remote File File Route Git Ruby Block Group SCM HTTP Request Script Ifconfig Service Link Subversion Log Template Mdadm Userhttp://www.flickr.com/photos/jonathanbeard/3307862620/

Chefのちょっとイケて Chefのちょっとイケていないところサーバのセットアップが面倒くさい必要なのは最初だけなので、許容できるクライアントは簡単名前がSEO的に致命的 Chef, Cookbook, Recipe, knife... リアルに調べ物をする時に困ります dry-runができないテスト環境が必須 (クラウド・仮想化が最適)http://www.flickr.com/photos/photomequickbooth/4062072718/

2. Chefの運⽤http://www.flickr.com/photos/jonathanbeard/3307862620/

Chefを活⽤したサーバ増設 Chefを活⽤したサーバ増設 PXE + kickstart + Chef 1. 事前に chef-server 側でNodeの設定が必要 2. サーバに線を繋ぎ電源ON、PXEブート開始 3. Label No.とNode名を入⼒し、OSインストール開始 4. 同時に chef-client のインストールと設定 5. kickstart の %post でchef-clientを実⾏ kickstartのcfgファイル通常のOS インストールタスク通信 client PXE+ksサーバ chef-clientのインストール OSインストール後通信 chef-clientの設定は直接通信 chef-clientの実⾏ Chef-Serverhttp://www.flickr.com/photos/jonathanbeard/3307862620/

Chefを活⽤したサーバ増設 Chefを活⽤したサーバ増設今はオンプレミスな物理環境を想定クラウド環境でも応⽤可能 EC2だと、事前にAMIを作成しておいて、user-dataに Node名を指定して... (弊社のOpenStackクラウド基盤を活⽤したい)http://www.flickr.com/photos/jonathanbeard/3307862620/

Cookbookの使い方 Cookbookの使い方 Cookbookの例ネットワーク設定 (拠点毎) H/Wに必要な設定主にH/W固有で必要なドライバやRAIDチェックスクリプト等各サーバ共通で必要な設定 DNS, NTP, LDAP, 監視ライブラリ, 鍵交換等各Roleで必要な設定 NodeへのCookbook設定例 RoleへのCookbook設定例 { { "run_list": [ "run_list": [ "recipe[network::xxxxx]", "recipe[common::default]", "recipe[hw::dell_r310]", "recipe[service-common::pigglife]", “role[pigglife-mongodb]" "recipe[pigglife-mongodb::default]" ] ] } }http://www.flickr.com/photos/jonathanbeard/3307862620/

Chefを使う上でやっていること Chefを使う上でやっていること Script Resource は基本的に使わない何度でも実⾏される chef-client実⾏時のチェック・運⽤が面倒何度実⾏しても問題ないものしか使わないこんな感じで書いていました script “script_name" do interpreter "bash" user “username" creates comp_dir + “script_name.done" code <<-EOH command ...... ...... EOH endhttp://www.flickr.com/photos/jonathanbeard/3307862620/

Chefを使う上でやっていること Chefを使う上でやっていること各nodeのChef適⽤は、chef-clientを実⾏ tomahawk: 複数のサーバで同じコマンドを実⾏ “knife ssh”, “knife ssh_cheto” を使いたい NodeのAttributeの登録 JSONファイルを自動⽣成して登録アンインストール・削除等の処理も忘れずに Environment(0.10〜)の活⽤ development, staging, productionの分別http://www.flickr.com/photos/jonathanbeard/3307862620/

まとめと今後の展望 Chefを活⽤することで多くのサーバの増設・管理にかかる負担を軽減あるべき状態に自動で設定・維持できるルールを少し覚えれば、誰でも簡単に設定が書ける内部DSLなので、Rubyを覚えれば処理も柔軟に書けるクラウド等の基盤サービスと連携して、インフラ構築/運⽤の完全オートメーションができる仕組みにしたいhttp://www.flickr.com/photos/jonathanbeard/3307862620/

最後に宣伝ですサイバーエージェントでは、ただいまエンジニアを大絶賛募集中です！大規模サービスに取り組みたい方新しい技術を実戦で試していきたい方新規事業・サービスで腕を試したい方

http://www.atmarkit.co.jp	7316
http://d.hatena.ne.jp	5189
http://www.tec.ntts.co.jp	87
http://piyopiyoducky.net	56
http://www.fujico.co.jp	25
http://aitcms-w.atmarkit.co.jp	23
http://webcache.googleusercontent.com	20
http://pre-www.atmarkit.co.jp	5
http://www.icm-report.com	1
http://translate.googleusercontent.com	1
http://ps.googleusercontent.com	1

大規模化するピグライフを支えるインフラ～MongoDBとChefについて～ (後編)

by Yuuki Namikawa on Feb 17, 2012

Accessibility

Categories

Tags

Upload Details

Usage Rights

11 Embeds 12,724

Statistics