More Related Content
Similar to 20200129 jawsug bgnr22 (20)
More from Kahori Takeda (15)
20200129 jawsug bgnr22
- 2. 2Copyright © 2019 QUICK Corp. All Rights Reserved.
会社紹介
[社名] 株式会社QUICK
[設立] 1971年10月1日
[代表者] 代表取締役社長 近藤 勝義
[事業内容]
日本経済新聞社グループの金融情報サービス会社として、世界の証券・
金融情報をはじめ、政治・経済情報をリアルタイムで配信。資産運用支
援、注文執行業務の支援、情報ネットワーク構築支援サービスなど、証
券・金融市場に関連する総合的なソリューションの提供。
- 3. 3Copyright © 2019 QUICK Corp. All Rights Reserved.
自己紹介
名前:大熊 香里 ※ぜひ気軽に「くまちゃん」と呼んでください
所属:株式会社QUICK
趣味:登山(37/100登頂)、猫
好きなAWSサービス:Lambda
◆◆◆2019年+α AWSマイトピック◆◆◆
2018年秋:AWSの初めての仕事Route53、SES設定
2018年12月7日:はじめてのJAWS-UG 初心者支部
2019年2月:はじめてのJAWS DAYS 2019
2019年5月:はじめてのAWS Summit Tokyo
2019年9月:ソリューションアーキテクト取得
2019年12月:はじめてのre:Invent!!
本日 :はじめての登壇!!
- 4. 4Copyright © 2019 QUICK Corp. All Rights Reserved.
ターゲット
・どのようにAWSを使っているか事例を知りたい人
・AWS(クラウド)を使うことの良さって何?
と思っている人
・いやいやみんないいこと話過ぎでしょ、
ほんとはいろいろ失敗とかあるでしょ、
と失敗からの教訓も聞きたいよという人
- 5. 5Copyright © 2019 QUICK Corp. All Rights Reserved.
アジェンダ
1.データはどこからくるの?
2.AWS(特にサーバレス)の良さって何?
3.慣れてきた頃の大失敗
- 6. 6Copyright © 2019 QUICK Corp. All Rights Reserved.
1.データはどこからくるの?
[事業内容]
日本経済新聞社グループの金融情報サービス会社として、世界の証券・
金融情報をはじめ、政治・経済情報をリアルタイムで配信。資産運用支
援、注文執行業務の支援、情報ネットワーク構築支援サービスなど、証
券・金融市場に関連する総合的なソリューションの提供。
今日は配信するデータがどこからやってくるかを話します。
- 7. 7Copyright © 2019 QUICK Corp. All Rights Reserved.
1.データはどこからくるの?
金融のデータといえば、株価だよね?
株価なら取引所からでしょ?専用線でしょ?
- 8. 8Copyright © 2019 QUICK Corp. All Rights Reserved.
1.データはどこからくるの?
取引所以外に数百箇所以上から、
いろんな方法で、
いろんなフォーマットで、データを取得。
例えば、
・メール&PDF、メール&Excel
・クローリング&PDF、クローリング&Excel
・SFTP&テキストファイル、SFTP&PDF
- 9. 9Copyright © 2019 QUICK Corp. All Rights Reserved.
1.データはどこからくるの?
◆従来◆
メール
・・・
・・・
企業HP
FTPサイト
人手で値を入力・計算
テキストファイルに変換してシス
テムに出力
QUICK
サーバ群
サービスへ
- 10. 10Copyright © 2019 QUICK Corp. All Rights Reserved.
1.データはどこからくるの?
◆AWSで(半)自動化◆
メール
・・・
・・・
企業HP
FTPサイト
①前段のLambdaで取得と編集を実施
QUICK
サーバ群
サービスへ
・・・
・・・ ・・・
・・・ ・・・
・・・ ・・・
- 11. 11Copyright © 2019 QUICK Corp. All Rights Reserved.
1.データはどこからくるの?
◆AWSで(半)自動化◆
メール
・・・
・・・
企業HP
FTPサイト
QUICK
サーバ群
サービスへ
・・・
・・・ ・・・
・・・ ・・・
・・・ ・・・
②営業日判定/計算/編集/SFTP送信等
用途毎にLambdaを用意。
組み合わせて利用。
- 12. 12Copyright © 2019 QUICK Corp. All Rights Reserved.
2.AWS(特にサーバレス)の良さって何?
①サーバやネットワークの構築作業が不要
②サーバリプレース作業不要、セットアップ作業不要
③クラスタ・同期の設定に時間が掛からない
④高い可用性(8/23障害時も影響無し!)
⑤処理が独立しているから、サーバの時のように筐体全
体の性能を気にしなくていい
⑥夜中や休日にハード障害の緊急電話が来ない!!
(安心して寝れます。安心して遊びに出かけられます。)
- 13. 13Copyright © 2019 QUICK Corp. All Rights Reserved.
2.AWS(特にサーバレス)の良さって何?
①サーバやネットワークの構築作業が不要
②サーバリプレース作業不要、セットアップ作業不要
③クラスタ・同期の設定に時間が掛からない
④高い可用性(8/23障害時も影響無し!)
⑤処理が独立しているから、サーバの時のように筐体全
体の性能を気にしなくていい
⑥夜中や休日にハード障害の緊急電話が来ない!!
(安心して寝れます。安心して遊びに出かけられます。)
サーバ単位ではないが、
アカウント単位で気にする必
要がある!!
- 14. 14Copyright © 2019 QUICK Corp. All Rights Reserved.
3.慣れてきた頃の大失敗
検証の為開発環境で、
S3バケットに保存していた数万ファイルを置きなおして、
PUT契機でLambdaを動かした。
「時間は掛かるけど、そのうち終わるよね」
と呑気にしていたら、、、
- 15. 15Copyright © 2019 QUICK Corp. All Rights Reserved.
3.慣れてきた頃の大失敗
上司:「Lambdaが動いていないんだけど」
私:「ん? Lambdaめっちゃ動いてますよ?
(私が意図して動かしているLambdaに限る)」
上司:「それどれくらいの数動いているの?
同時に実行出来る上限に達していないよね?」
私:「えっ・・・んっ!?同時!?上限!?」
- 16. 16Copyright © 2019 QUICK Corp. All Rights Reserved.
3.慣れてきた頃の大失敗
AWSには至るところに上限がある。
今回でいえば、2種類のLambdaで同時実行のLambdaを食いつぶして
しまい、Lambdaの同時実行数の上限(デフォルト1000)に達していた。
その為定時起動の他のLambdaが動かなかった。
事象が発生した時はここには数個しか表
示されていない状態に・・・
- 17. 17Copyright © 2019 QUICK Corp. All Rights Reserved.
3.慣れてきた頃の大失敗
<その時の対応>
対象のLambdaの同時実行数を制限。
しかし、対象のLambdaの同時実行に制限が掛かりLambdaの数に空き
がでたものの、動かしたいLambdaはしばらく動かなかった。
なぜ・・・
コンソールから設定可能
- 18. 18Copyright © 2019 QUICK Corp. All Rights Reserved.
3.慣れてきた頃の大失敗
実行待ちが続いた結果、読み取りの速度も低下していた。
<引用>https://docs.aws.amazon.com/ja_jp/lambda/latest/dg/invocation-async.html
S3のPUT契機、CloudWatchからのイベント等はその場では制御でき
ず、事象が収まったのは発生から6時間後だった。
- 19. 19Copyright © 2019 QUICK Corp. All Rights Reserved.
3.慣れてきた頃の大失敗
<事前にしておくべきこと>
①Lambdaの同時実行数の上限をあげておく
(上限緩和は申請から数日掛かる)
②SQS等を間に入れてキューをハンドリングできるようにする
(S3PUT契機のキューは削除することができない)
③アカウント全体でLambdaのThrottles検知の仕組みを入れておく
④必ず動かす必要があるLambdaは、同時実行の予約をしておく
⑤大量に動く可能性があるLambdaにも同時実行の予約をしておく
- 20. 20Copyright © 2019 QUICK Corp. All Rights Reserved.
まとめ
1. 人手の作業をAWSのアーキテクチャーを利
用して自動化を実現
2. AWS(クラウド、サーバレス)を使うメリット
はたくさんある
3. AWSの上限に注意!!