20150523 chatwork continuous delivery

ChatWorkの継続的デリバリー
これまでとこれから
2015/05/23
JAWS-UG Osaka 第13回勉強会「オペレーションじょうず」

ChatWorkの継続的デリバリー、これまでとこれから
2015/05/23 © ChatWork All rights reserved. 2
-自己紹介 -
ChatWork株式会社
藤原吉規 CTO室
サーバーエンジニア
普段は吹田市の事務所にいます
ビジネスチャットツール「チャットワーク」を展開中

継続的デリバリとは何か？
端的に言えば、Continuous Deliveryは、Iterative
Development(繰り返し型の開発)、Continuous
Integration(継続的インテグレーション)、Continuous
Delivery(継続的デプロイ)を積み重ねていくことで、価
値を創出していく全体の流れである、と言える。
Ryuee.com http://www.ryuzee.com/contents/blog/4241

アジェンダ
• ChatWorkの運用状況
• 現状の継続的デリバリー構成
• これまでの課題と解決策
• 現在構築中の継続的デリバリー構成
• まとめ

ChatWorkの運用状況
• 2011年3月のサービス開始から4年以上経過
• 導入社数70,000社、平日は常にピークアクセス
• 機能追加・改善などで、平日はほぼ毎日デプロイ
• Scala化に向けた改善プロジェクトも同時進行
• その上で、安定稼働させることが求められている

現状の継続的デリバリー構成

タイトル

Vagrant

タイトル

課題
• 以前はEC2,RDS,S3以外のAWSサービスを使いこなせ
なかった
• スケールアウトするにはこの仕組だけでは不十分
• SQSやDynamoDBを手元で試せる環境がない

対策と効果
• Vagrantに開発環境を統一、Ansibleでセットアップ
• SQS互換のElasticMQ
• DynamoDB Local
• Vagrantでアプリケーションの動作確認を全て行える
ため、インフラの改善も行いやすくなった

TravisCI

タイトル

課題
• デプロイ時に、UnitTestをオールグリーンに保つ
• UnitTest：約4,000
• 全コードの構文・コーディング規約をチェック
• テスト実行時間の増大
• 複数プロジェクトが同時進行、テストの並行Job増大

対策と効果
• TravisCI+AnsibleでVagrantと同様の環境を構築
• お金で解決！
• TravisCIに課金して、並行稼動数を増やす
• TravisCIのJobを分割、並行稼動させて時間短縮

.travis.yml
——
language: php
php:
- 5.5
env:
matrix:
-TEST_MODE: "ﬁxer"
-TEST_MODE:“unittest"
…

Capistrano,Fabric

タイトル

課題
• レガシーなPHPアプリケーションだけど！
• デプロイプロセスを自動化したい
• composer使いたい（AWS SDK for PHP 2）
• AutoScalingしたい
• 問題発生時に簡単にロールバックしたい

対策と効果
• AutoScalingに対応したデプロイシステムを、
Capistranoで作りこむ
• 対応できないレガシーなPHPコードは自ら修正
• サーバープロビジョニング部分は、扱いやすいFabric
を利用、全インスタンスを手元でコントロールできる
ように

対策と効果
• Jenkinsからワンクリックで無停止デプロイ
• AutoScaling用のAMI・Launch Conﬁguration・
AutoScalingGroup更新も、Jenkinsで自動化
• 開発担当者だけで、デプロイ作業が実施できるように
なった
• サーバープロビジョニングも自動化

NewRelic,BigQuery

タイトル

課題
• デプロイ後に問題が発生しやすい
• デプロイ後にサービス負荷状況・エラーの内容ごとの
増減をすぐに確認したい
• 障害発生時に、アプリケーションの問題か、インフラ
の問題か、すばやく切り分けたい

対策と効果
• NewRelic
• AgentとAPIを利用して、サービス負荷状況・デプロ
イタイミングを可視化

対策と効果
• BigQuery
• ﬂuent-plugin-bigqueryを利用して、Streaming API
経由でBigQueryにログ送信
• GoogleSpreadSheet+GoogleAppsScriptを組合せ
て、種類ごとにエラーを集計、ChatWorkへ通知
• 開発担当者が手軽に監視を追加できるようになった

DB マイグレーション

タイトル

課題
• 300GBを超えるマスタDB、ALTER TABLEに数時間
かかってしまう
• 長時間のサービス停止はできない

対策と効果
• RDSをMySQL5.6に移行
• Readreplicaを一旦切り離してALTER TABLE、完了
後に再replicationして追い付かせる
• あらかじめ設定しておいたメンテナンス時間に、
Readreplicaをマスタ昇格させて短時間で切替

# readreplica起動
aws rds create-db-instance-read-replica
...
# read_only=0を指定したdb-parameter-group-nameに変更
aws rds modify-db-instance
--db-parameter-group-name writable-mysql56
...
# readreplicaを一旦切り離して時間がかかるALTERTABLEを実行
# 完了後に再replicationして追い付かせる
mysql> CALL mysql.rds_stop_replication;
mysql> ALTERTABLE ...;
mysql> CALL mysql.rds_start_replication;
# アプリケーションをメンテナンスモードへ
bundle exec cap production chatwork:maintenance_enable
# マスタへpromote
aws rds promote-read-replica
...
# DB接続先を切替
bundle exec cap production deploy
# アプリケーションのメンテナンスモードを解除
bundle exec cap production chatwork:maintenance_disable

対策と効果
• RDSを最新に保つために、全RDSのインスタンス
Engineバージョンを監視
• RDSのデフォルトEngineバージョンとの差異があれ
ば、メンテナンスウインドウでアップグレード

# デフォルトEngineバージョン取得
aws rds describe-db-engine-versions --engine mysql --engine-version 5.6 --default-only
{
"DBEngineVersions": [
{
"Engine": "mysql",
"DBEngineVersionDescription": "MySQL 5.6.22",
"DBParameterGroupFamily": "mysql5.6",
"DBEngineDescription": "MySQL Community Edition",
"EngineVersion": "5.6.22"
}
]
}
# インスタンスのEngineバージョン取得
aws rds describe-db-instances --max-items 1 | jq ".DBInstances[] |
{DBInstanceIdentifier:.DBInstanceIdentifier,EngineVersion:.EngineVersion}"
{
"DBInstanceIdentifier":“chatwork-master-db“,
"EngineVersion": "5.6.22"
}

現在構築中の
継続的デリバリー構成

• CloudFormationを利用
• EC2,RDS以外のAWSサービスも全て、継続的デリバ
リーの範囲に含める
• データストレージはDynamoDBへ集約していく
• ElasticBeanstalk+Dockerコンテナ
• Blue-Green Deployment可能な構成へ
• 開発担当者も構成変更可能

まとめ

• 常に改善し続ける、停滞しては現状維持も難しい
• 既存の仕組み、外部サービスを積極的に活用する、必
要に応じて作りこむ
• アプリケーションの変更は避けられない、インフラエ
ンジニアもコードを改善すべき
• ビジネススピードを上げる仕組みづくり！

ChatWorkは
積極採用中です！
インフラエンジニアに興味がある方はぜひ！
http://recruit.chatwork.com/ja/

ありがとうございました！

20150523 chatwork continuous delivery

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Viewers also liked

Viewers also liked (20)

Similar to 20150523 chatwork continuous delivery

Similar to 20150523 chatwork continuous delivery (20)

Recently uploaded

Recently uploaded (15)

20150523 chatwork continuous delivery