Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

20200129 jawsug bgnr22

462 views

Published on

データはどこからくるの?〜AWSとオンプレとの違いで学んだあれやこれ〜
https://jawsug-bgnr.connpass.com/event/162144/
JAWS-UG 初心者支部#22 Fin-JAWSコラボ&ミニハンズオン会で登壇頂いた大熊さんのスライドです

Published in: Technology
  • Be the first to comment

20200129 jawsug bgnr22

  1. 1. データはどこからくるの? 〜AWSとオンプレとの違いで学んだあれやこれ〜 2020年1月29日 株式会社QUICK 大熊 香里
  2. 2. 2Copyright © 2019 QUICK Corp. All Rights Reserved. 会社紹介 [社名] 株式会社QUICK [設立] 1971年10月1日 [代表者] 代表取締役社長 近藤 勝義 [事業内容] 日本経済新聞社グループの金融情報サービス会社として、世界の証券・ 金融情報をはじめ、政治・経済情報をリアルタイムで配信。資産運用支 援、注文執行業務の支援、情報ネットワーク構築支援サービスなど、証 券・金融市場に関連する総合的なソリューションの提供。
  3. 3. 3Copyright © 2019 QUICK Corp. All Rights Reserved. 自己紹介 名前:大熊 香里 ※ぜひ気軽に「くまちゃん」と呼んでください 所属:株式会社QUICK 趣味:登山(37/100登頂)、猫 好きなAWSサービス:Lambda ◆◆◆2019年+α AWSマイトピック◆◆◆ 2018年秋:AWSの初めての仕事Route53、SES設定 2018年12月7日:はじめてのJAWS-UG 初心者支部 2019年2月:はじめてのJAWS DAYS 2019 2019年5月:はじめてのAWS Summit Tokyo 2019年9月:ソリューションアーキテクト取得 2019年12月:はじめてのre:Invent!! 本日   :はじめての登壇!!
  4. 4. 4Copyright © 2019 QUICK Corp. All Rights Reserved. ターゲット ・どのようにAWSを使っているか事例を知りたい人 ・AWS(クラウド)を使うことの良さって何?  と思っている人 ・いやいやみんないいこと話過ぎでしょ、  ほんとはいろいろ失敗とかあるでしょ、   と失敗からの教訓も聞きたいよという人
  5. 5. 5Copyright © 2019 QUICK Corp. All Rights Reserved. アジェンダ 1.データはどこからくるの? 2.AWS(特にサーバレス)の良さって何? 3.慣れてきた頃の大失敗
  6. 6. 6Copyright © 2019 QUICK Corp. All Rights Reserved. 1.データはどこからくるの? [事業内容] 日本経済新聞社グループの金融情報サービス会社として、世界の証券・ 金融情報をはじめ、政治・経済情報をリアルタイムで配信。資産運用支 援、注文執行業務の支援、情報ネットワーク構築支援サービスなど、証 券・金融市場に関連する総合的なソリューションの提供。 今日は配信するデータがどこからやってくるかを話します。
  7. 7. 7Copyright © 2019 QUICK Corp. All Rights Reserved. 1.データはどこからくるの? 金融のデータといえば、株価だよね? 株価なら取引所からでしょ?専用線でしょ?
  8. 8. 8Copyright © 2019 QUICK Corp. All Rights Reserved. 1.データはどこからくるの? 取引所以外に数百箇所以上から、 いろんな方法で、 いろんなフォーマットで、データを取得。 例えば、 ・メール&PDF、メール&Excel ・クローリング&PDF、クローリング&Excel ・SFTP&テキストファイル、SFTP&PDF
  9. 9. 9Copyright © 2019 QUICK Corp. All Rights Reserved. 1.データはどこからくるの? ◆従来◆ メール ・・・ ・・・ 企業HP FTPサイト 人手で値を入力・計算 テキストファイルに変換してシス テムに出力 QUICK サーバ群 サービスへ
  10. 10. 10Copyright © 2019 QUICK Corp. All Rights Reserved. 1.データはどこからくるの? ◆AWSで(半)自動化◆ メール ・・・ ・・・ 企業HP FTPサイト ①前段のLambdaで取得と編集を実施 QUICK サーバ群 サービスへ ・・・ ・・・ ・・・ ・・・ ・・・ ・・・ ・・・
  11. 11. 11Copyright © 2019 QUICK Corp. All Rights Reserved. 1.データはどこからくるの? ◆AWSで(半)自動化◆ メール ・・・ ・・・ 企業HP FTPサイト QUICK サーバ群 サービスへ ・・・ ・・・ ・・・ ・・・ ・・・ ・・・ ・・・ ②営業日判定/計算/編集/SFTP送信等  用途毎にLambdaを用意。  組み合わせて利用。
  12. 12. 12Copyright © 2019 QUICK Corp. All Rights Reserved. 2.AWS(特にサーバレス)の良さって何? ①サーバやネットワークの構築作業が不要 ②サーバリプレース作業不要、セットアップ作業不要 ③クラスタ・同期の設定に時間が掛からない ④高い可用性(8/23障害時も影響無し!) ⑤処理が独立しているから、サーバの時のように筐体全 体の性能を気にしなくていい ⑥夜中や休日にハード障害の緊急電話が来ない!! (安心して寝れます。安心して遊びに出かけられます。)
  13. 13. 13Copyright © 2019 QUICK Corp. All Rights Reserved. 2.AWS(特にサーバレス)の良さって何? ①サーバやネットワークの構築作業が不要 ②サーバリプレース作業不要、セットアップ作業不要 ③クラスタ・同期の設定に時間が掛からない ④高い可用性(8/23障害時も影響無し!) ⑤処理が独立しているから、サーバの時のように筐体全 体の性能を気にしなくていい ⑥夜中や休日にハード障害の緊急電話が来ない!! (安心して寝れます。安心して遊びに出かけられます。) サーバ単位ではないが、 アカウント単位で気にする必 要がある!!
  14. 14. 14Copyright © 2019 QUICK Corp. All Rights Reserved. 3.慣れてきた頃の大失敗 検証の為開発環境で、 S3バケットに保存していた数万ファイルを置きなおして、 PUT契機でLambdaを動かした。 「時間は掛かるけど、そのうち終わるよね」                 と呑気にしていたら、、、
  15. 15. 15Copyright © 2019 QUICK Corp. All Rights Reserved. 3.慣れてきた頃の大失敗 上司:「Lambdaが動いていないんだけど」 私:「ん? Lambdaめっちゃ動いてますよ? (私が意図して動かしているLambdaに限る)」 上司:「それどれくらいの数動いているの?    同時に実行出来る上限に達していないよね?」 私:「えっ・・・んっ!?同時!?上限!?」
  16. 16. 16Copyright © 2019 QUICK Corp. All Rights Reserved. 3.慣れてきた頃の大失敗 AWSには至るところに上限がある。 今回でいえば、2種類のLambdaで同時実行のLambdaを食いつぶして しまい、Lambdaの同時実行数の上限(デフォルト1000)に達していた。 その為定時起動の他のLambdaが動かなかった。 事象が発生した時はここには数個しか表 示されていない状態に・・・
  17. 17. 17Copyright © 2019 QUICK Corp. All Rights Reserved. 3.慣れてきた頃の大失敗 <その時の対応> 対象のLambdaの同時実行数を制限。 しかし、対象のLambdaの同時実行に制限が掛かりLambdaの数に空き がでたものの、動かしたいLambdaはしばらく動かなかった。 なぜ・・・ コンソールから設定可能
  18. 18. 18Copyright © 2019 QUICK Corp. All Rights Reserved. 3.慣れてきた頃の大失敗 実行待ちが続いた結果、読み取りの速度も低下していた。 <引用>https://docs.aws.amazon.com/ja_jp/lambda/latest/dg/invocation-async.html S3のPUT契機、CloudWatchからのイベント等はその場では制御でき ず、事象が収まったのは発生から6時間後だった。
  19. 19. 19Copyright © 2019 QUICK Corp. All Rights Reserved. 3.慣れてきた頃の大失敗 <事前にしておくべきこと> ①Lambdaの同時実行数の上限をあげておく (上限緩和は申請から数日掛かる) ②SQS等を間に入れてキューをハンドリングできるようにする (S3PUT契機のキューは削除することができない) ③アカウント全体でLambdaのThrottles検知の仕組みを入れておく ④必ず動かす必要があるLambdaは、同時実行の予約をしておく ⑤大量に動く可能性があるLambdaにも同時実行の予約をしておく
  20. 20. 20Copyright © 2019 QUICK Corp. All Rights Reserved. まとめ 1. 人手の作業をAWSのアーキテクチャーを利 用して自動化を実現 2. AWS(クラウド、サーバレス)を使うメリット はたくさんある 3. AWSの上限に注意!!
  21. 21. 21Copyright © 2019 QUICK Corp. All Rights Reserved. ご清聴ありがとうございました!

×