JAWS-UG横浜#12 サーバーレス　発表資料

1. ※本内容は組織を代表するものではありません
サーバーレスで運用自動化
2018/04/18 (Wed) JAWS-UG 横浜 #jawsug
@nid777 新居田晃史 Akifumi Niida
※本内容はすべて個人的な見解であり、所属する会社や組織を代表するものではありません

2. 自己紹介
• 新居田 晃史（にいだ あきふみ）
• 所属
• JBアドバンスト・テクノロジー株式会社
• 先進技術研究所
• 日本最速ITエンジニア（自称）
• フルマラソン 2:29:56
• JAWS-UG横浜支部
• コアメンバー
Twitter @nid777
Facebook Akifumi Niida
(免許更新中)
有効期限：2018/4/21

3. 今日は
「システム運用」の
話をします
ヘルプデスク等のお客様対応や、アプリケーション運用の話はしません

4. 運用してますか？

5. システム運用とは
• 監視
• バックアップ
• 脆弱性チェック 等
定常業務
• コンフィグの更新
• パッチ適用
• 原因のわかる障害 等
簡単なやつ
• 原因がよくわからない障害
• 想定外の事態
• 緊急事態 等
ヤバいやつ
システムを安定的に動作させること
簡単にしたい
楽したい
楽したい

6. 運用のつらみ
•障害が起きるたびにやることが増える
•システムが拡大するたびにやることが増える
•人は増えない

7. 運用を自動化する
( Ops ) ( Dev )
ソラコム公式Twitterより

8. なぜサーバーレスか？
「監視」と「対応」を疎結合にできる
イベントドリブンである
低コストで実現できる

9. 何ができそうか？
• 定常業務
• バックアップ
• 脆弱性チェック 等
• 簡単な業務
• パッチ適用
• コンフィグの更新
• AMIの更新
• プロセス、OSの再起動

10. AWS Systems Manager
• Amazon Linux 2017.09以降ならSSMエージェントが入ってる
• 入っていない場合はyumで入れられる
• 適切な権限のRoleをアタッチすれば管理対象になる
• AWS管理ポリシー
• AmazonSSMFullAccess
• AmazonSSMReadOnlyAccess
• Run Commandが大変便利
• SSHなしでコマンドが実行可能
• リモートからのファイルダウンロード
• AnsibleのPlaybookが実行可能
https://www.slideshare.net/AmazonWebServicesJapan/aws-black-belt-online-seminar-2017-amazon-ec2-systems-manager
AWS でご利用のインフラストラクチャを可視化し、制御するためのサービス
AWS のさまざまなサービスの運用データを確認でき、AWS リソース全体に関わる運用タスクを自動化
https://aws.amazon.com/jp/systems-manager/引用元
参考

11. 対応をサーバーレス化
Amazon
SES
Amazon
SNS
AWS
Lambda
リソース ログ
Run Command
Amazon
S3
GitBucket
Fail
Amazon EC2
Systems Manager

12. Zabbixとの連携
• 考えた事（疎結合にする）
• Zabbixが他のものに置き換わっても使えるようにしたい
• SNSで疎結合にできそう
• アクションに対するコマンドはLambda、SSM側に持たせる
• 実行時間300秒に注意
• Send_commandはSSMに渡せば処理が終了するので多分問題ないはず
※SNSでステータスを捕捉し、リカバリーできるようにしておく。

13. SNS用のスクリプト (sns.py)
#!/usr/bin/env python
#coding: UTF-8
doc = """doc.
usage: sns.py -t topic -a action.name -s trigger.state -h
hostname
options:
-t topic
-a action.name
-s trigger.state
-h hostname
"""
…省略…
from docopt import docopt
from boto3
…続く…
sns = boto3.client('sns', region_name=region)
topic = "arn:aws:sns:" + region + ":" + accountid + ":" +
topicname
Instance_id = describe_instance_id(host_name)
message = {
"ActionName": action_name,
"TriggerState": trigger_state,
“InstanceId": instance_id
}
data = json.dumps(message)
sns.publish(
TopicArn = topic,
Subject = subject,
Message = {'Subject' : {'Data': subject, 'Charset' : 'utf-8'},
'Body':{'Text':{'Data':data,'Charset':'utf-8'}}
}
)
• docoptでパラメータを受け取る
• パラメータをJSONにする
• boto3でSNSに送る

14. Zabbixのアクション設定でスクリプトを指定

15. Lambdaのテスト Pythonの場合
• ローカルから実行できるようにする
• handler(event,context,test=true) でsend_commandに渡すパラ
メータをテストする。
• python test_handler.pyでテスト実行

16. handler.py 抜粋
def alert_handler(event, context, test=False):
client = boto3.client('ssm')
message = json.loads(event['Records'][0]['Sns']['Message'])
instance_ids = message['instanceids']
commands = message['commands']
…省略…
if test:
return command_args
else:
response = client.send_command(command_args)
…省略…
if __name__ == "__main__":
event = ""
context = ""
alert_handler(event, context)

17. test_handler.py 抜粋
import unittest
import handler
import json
class TestAlertHandler(unittest.TestCase):
"""test class of hander.py
"""
def test_alert_hander(self):
"""test method for alert_hander
"""
f = open("snsformat.json")
snsmessage = json.load(f)
f.close
snsmessage['Records'][0]['Sns']['Message'] = "{¥"instanceids¥":[¥"i-12345678912345678¥"],¥"commands¥":[¥"service tomcat restart¥"]}"
event=snsmessage
context=""
expected = {
"InstanceIds": ["i-12345678912345678"],
…省略…
}
actual = handler.alert_handler(event, context, test=True)
self.assertEqual(expected, actual)
…省略…
if __name__ == "__main__":
unittest.main()

18. snsformat.json
{
"Records": [
{
"EventVersion": "1.0",
"EventSubscriptionArn": "eventsubscriptionarn",
"EventSource": "aws:sns",
"Sns": {
"SignatureVersion": "1",
"Timestamp": "1970-01-01T00:00:00.000Z",
"Signature": "EXAMPLE",
"SigningCertUrl": "EXAMPLE",
"MessageId": "95df01b4-ee98-5cb9-9903-4c221d41eb5e",
"Message": "message",
"MessageAttributes": {
"Test": {
"Type": "String",
"Value": "TestString"
},
"TestBinary": {
"Type": "Binary",
"Value": "TestBinary"
}
},
"Type": "Notification",
"UnsubscribeUrl": "EXAMPLE",
"TopicArn": "topicarn",
"Subject": "TestInvoke"
}
}
]
}
Lambdaのテスト用フォーマットそのままです

19. CRONの代用（バックアップの例）
Amazon
SES
Amazon
SNS
AWS
Lambda
Run
Command
CloudWatch
Events
Status
Amazon
S3
Amazon EC2
Systems Manager
AWS
Lambda

20. Elasticsearchへのデータ送信
Amazon
SES
Amazon
SNS
AWS
Lambda
Status
AWS
Lambda
Amazon
CloudWatch
Amazon Kinesis
Firehose
Amazon
S3
Amazon Kinesis
Streams
• 負荷の急増をKinesisでバッファできる。
• ElasticsearchがスケールアウトしたらKinesisのシャードを増やす。

21. fluentd
https://github.com/awslabs/aws-fluent-plugin-kinesis
riywo先生のKinesisプラグインを使う

22. kinesisに送るコンフィグサンプル
<match *.kinesis.**>
@type kinesis_streams
region ap-northeast-1
stream_name qu-log-stream
include_tag_key true
include_time_key true
flush_interval 1
buffer_chunk_limit 1m
try_flush_interval 0.1
queued_chunk_flush_interval 0.01
num_threads 15
</match>
※Fluentd v0.12用です。すみません。ほんとすみません。

23. lambda.py
import logging
import base64
import json
import datetime
import os
from elasticsearch import Elasticsearch, helpers
def esformat(payloads):
today = datetime.date.today().strftime("%Y.%m.%d")
items = []
for payload in payloads:
payload['@timestamp'] = payload['time']
tag = payload['tag']
payload.delete.time
index = str(tag.split(".")[0]) + "-" + today
es_type = tag.split(".")[-1]
item = {
"_index": index,
"_type": es_type,
"_source": payload
}
items.append(item)
return items
def lambda_handler(event, context):
logger = logging.getLogger()
logger.setLevel(logging.INFO)
es = Elasticsearch([{"host": os.environ["ES_URL"],"port": os.environ["ES_PORT"]}])
try:
payloads = []
for record in event['Records']:
payload = json.loads(base64.b64decode(record["kinesis"]["data"]))
payloads.append(payload)
logger.info(payloads)
item = esformat(payloads)
helpers.bulk(es, item)
except Exception as e:
logger.error(e)
raise e
if __name__ == "__main__":
event=''
context=''
lambda_handler(event, context)

24. 運用自動化のためにサーバーレスを使い、
幸せなエンジニアリングライフを送ろう