1. 監視ツールの話
@kazeburo

2. Me
• (ry

3. DHW利用してます
• livedoorで使用している死活監視ツール
• Data Hotel Watcher/Watchdog (?)
• データホテル謹製
• 10年以上は動作実績あるんじゃないか

4. On-Demand Workforce On-Demand Workforce
DHW概要
Amazon Mechanical Turk Amazon Mechanical Turk
Workers Requester
Amazon Human Intelligence AmazonAssignment/ Human Intelligence
Workers Assignment/
Requester Workers R
Mechanical Turk Tasks (HIT) Mechanical TurkTask Tasks (HIT) Task
Compute
Non-Service Specific Non-Service Specific Amazon Elastic Compute Cloud (Amazon EC2)
☎ ✉ every 5 min
Amazon Elastic Instance Instances A
User Users User Client UsersCompute Cloud Client
Multimedia Mobile Corporate Multimed
Trad
Engineers
Mobile Client Multimedia Operators Corporate
data center
DHW
Mobile Client
Traditional
(EC2)
server
servers
Client
data center se
Amazon Elastic MapReduce Auto
Internet AWS Management Internet Add-on AWS Management
IAM Example: IAM Add-on Example:
Console Console Add-on
IAM IAM Add-on
Example: Amazon Elastic Cluster HDFS Cluster Auto
IAM Add-on MapReduce

5. DHWデメリット
• 5分に1回固定
• 一回でも問題があるとアラートが発砲
• 大量のアラートでメールが遅延

6. DHWChain作った

7. DHWChain
• アラートのリアルタイム表示
• IRC・imkayacへの通知
• 大量にきたアラートは
まとめて通知
• 過去のアラートの参照
• アラートに対してノート追加

8. DHWChain通知

9. DHWChainノート

10. On-Demand Workforce
Amazon Mechanical Turk
DHWChain仕組み
Amazon Human Intelligence Assignment/ Workers Requester
Messaging
echanical Turk Tasks (HIT) Task
Requester Amazon Simple Email Amazon Simple Notification Service
Database Database Database
Attribute Attributes Service (Amazon SES) (Amazon SNS)
Amazon SimpleDB Amazon SimpleDB Amazon SimpleDB
Non-Service Specific
Amazon Simple Email Amazon Simple Topic Email HTTP
Email Service (SES) Notification Service Notification Notification
trigger
Amazon SimpleDB Domain Amazon SimpleDB
Item (SNS)
DomainAmazon SimpleDB Item Attribute
Items Domain Items
Attributes
Item Attribute Items Attributes Attribute Attributes
Oracle MySQL
Amazon Relational Database Service Amazon Relational Database Service (Amazon RDS)
(Amazon RDS) Amazon Relational Database Service (Amazon RDS)
DB Instance DB Instance Amazon Simple Queue Service (Amazon SQS)
logfile
Q４M
User
irc
Users Client Simple
Amazon Mobile Client
bufferingInstance
Queue Message
engie=
Multimedia replication
Corporate
data center MySQL
Traditional
server
DHW
DHWChain
Amazon Relational Queue Service (SQS) Instance
RDS DB InstanceAmazon Relational
RDS DB Instance RDS DB DB Instance RDS DB
RDS Oracle RDS DB Instance
MySQL RDS DB Instance Oracle
Multimedia Database ServiceCorporate Traditional
Database Service
Standby (Multi-AZ)
Amazon Relational
Read ReplicaService
RDS DB Instance
Database Standby (Multi-AZ)
DB Instance blackhole DB Instance DBReplica DB InstanceDBOracle
Read Replica
DB Instance
Standby (Multi-AZ)
RDS
Read
Instance
Instance
MySQL
DB Instance
(RDS) data center server
(RDS) (RDS)
Deployment and Management worker
AWS CloudFormation AWS Elastic Beanstalk
im.kayac.com
Amazon ElastiCache Amazon ElastiCache Amazon ElastiCache
Internet
served. AWS Management IAM Add-on Example:
Console IAM Add-on
AWS CloudFormation Template Stack AWS Elastic Application
Beanstalk
Amazon ElastiCache Amazon ElastiCacheAmazon ElastiCache
ElastiCache Cache Node ElastiCache Cache Node
ElastiCache Cache Node
©2011 Amazon Web Services LLC or its affiliates. All rights reserved.
©2011 Amazon Web Services LLC or its affiliates. All rights reserved.
©2011 Amazon Web Services LLC or its affiliates. AllWeb Services LLC or its affiliates. All rights reserved.
©2011 Amazon rights reserved.

11. DHWChain導入効果
1日のアラート件数
201106 201112 201206
このあたりで入れた

12. 監視ツールの話本題

13. 現在使用しているツール
★リソースモニタリング
CloudForecast
GrowthForecast
★死活監視
DHW + DHWChain
Nagios

14. 使いたい監視ツールとは
• オープンソース
• ソースコードが読める
知っている技術で作られている
• データに直接アクセス可能
• 自作ツール

15. まとめると
サービスの維持継続に
責任を持つ僕らだからこそ
一刻を争う場面で使う
仕事道具に対しても
責任を持ちたい。

16. よねー。