Download to read offline
SIEM_on_Amazon_OpenSearch_nakanoshima.pdf
- 1. © 2021, AmazonWeb Services, Inc. or its affiliates. © 2021, Amazon Web Services, Inc. or its affiliates. SIEM on Amazon OpenSearch Service ソリューションのご紹介 Amazon Web Service Japan Solutions Architect, 河井信彦 2022/05/31
- 2. © 2021, AmazonWeb Services, Inc. or its affiliates. アジェンダ • SIEM とは • Amazon OpenSearch Service のご紹介 • SIEM ソリューションのご紹介 • Q&A 2
- 3. © 2021, AmazonWeb Services, Inc. or its affiliates. 3 名前：河井信彦 所属：アマゾンウェブサービスジャパン株式会社 西日本担当ソリューションアーキテクト 好きなAWSサービス：VPC、TransitGateway 趣味：サッカー（フットサル） 自己紹介
- 4. © 2021, AmazonWeb Services, Inc. or its affiliates. © 2021, Amazon Web Services, Inc. or its affiliates. SIEM とは 4
- 5. © 2021, AmazonWeb Services, Inc. or its affiliates. SIEM とは Security Information and Event Management セキュリティ機器、ネットワーク機器、その他のあらゆる機器 のデータを収集及び⼀元管理をして、相関分析によって脅威検出と インシデントレスポンスをサポートするためのソリューション 5
- 6. © 2021, AmazonWeb Services, Inc. or its affiliates. AWS セキュリティサービス 6 6 識別 Identify AWS Systems Manager AWS Config AWS Security Hub AWS Organizations AWS Control Tower AWS Trusted Advisor 検知 Detect Amazon Inspector Amazon Macie Amazon GuardDuty AWS Security Hub 対応 Respond Automate ⾃動化 AWS Lambda Amazon CloudWatch AWS Step Functions AWS Systems Manager 調査 Investigate AWS CloudTrail Amazon CloudWatch Amazon Detective 防御 Protect AWS KMS IAM AWS Single Sign-On Amazon VPC AWS WAF AWS Shield AWS Secrets Manager AWS Firewall Manager AWS Direct Connect AWS Transit Gateway Amazon VPC PrivateLink Amazon Cloud Directory AWS CloudHSM AWS Certificate Manager AWS Directory Service Amazon Cognito AWS Network Firewall Snapshot 復旧 Recover Archive Amazon S3 Glacier AWS CloudFormation AWS OpsWorks CloudEndure Disaster Recovery SIEM on OpenSearch Service +
- 7. © 2021, AmazonWeb Services, Inc. or its affiliates. インシデントレスポンスにおける調査とは︖ インシデントレスポンスでは脅威の検出後に調査が必要 調査の⽬的 攻撃成否/被害の有無の判断(トリアージ) 根本原因の特定 被害規模や漏洩情報の特定 ⇒ 調査結果に基づいて復旧対応 迅速に調査ができれば対応完了までの時間を短縮して、 被害を最⼩化できる 7
- 8. © 2021, AmazonWeb Services, Inc. or its affiliates. S3 バケットに関するイベントの検出と分析・調査の例 検出 アラートの受信「S3 バケットがパブリックオープンになりました」 ⇒ Amazon GuardDuty/Amazon Macie/Config Rules 等で⾃動検出が可能 分析と調査 ・誰がいつ、何の⽬的で設定変更をしたのか︖ ・正規ユーザーによる正しいアクティビティか︖ ・パブリックオープンによりデータ漏洩等の影響はあったか︖等々 ⇒ GuardDuty、CloudTrail、Config、S3 アクセスログ、 送信元 IP の地理情報、アクティビティ履歴、等々を分析して判断 ⇒ ⽬的の違い、複雑な条件分岐、⼈間による判断が伴うため全ての⾃動化は困難 8
- 9. © 2021, AmazonWeb Services, Inc. or its affiliates. インシデントレスポンスにおける SIEM とその必要性 ログ調査の課題 l脅威のアラート⽣成が複数に分散すると管理が難しい l調査対象が広範囲になりがちで多数のログの収集や分析で時間を要する SIEMで解決 9
- 10. © 2021, AmazonWeb Services, Inc. or its affiliates. ユースケース 相関分析1(ネットワーク) GuardDuty の脅威検出結果の送信元のIPアドレスをキーにして、 GuardDuty、CloudTrail、VPC Flow Logs、Webサーバ、SSH等のログを抽出 ネットワークログを時系列に並び替えて分析 相関分析2(インスタンスID) GuardDuty 脅威検出結果のインスタンスIDをキーにして、 GuardDuty、CloudTrail、Inspector、 (Config、Config Rule)のログを抽出、 インシデントと変更履歴と脆弱性を時系列に並び替えて分析 ダッシュボードによる可視化 CloudTrailのAPIコールの集計、時系列の変化、アクセス元のIPを世界地図で確認 10
- 11. © 2021, AmazonWeb Services, Inc. or its affiliates. 【参考】Amazon Detective と SIEM の違い 11 お客様の AWS 環境における セキュリティのインシデントドメイン ドメインの説明 対応方法 アプリケー ション アプリケーションコードやソフ トウェアのデプロイに起因 お客様固有のアプリケーショ ンやデータベースログの分析 インフラス トラクチャ EC2インスタンスへの通信、 EC2インスタンス内のプロセス やデータの侵害など 一般的なフォレンジックツー ルを使用。場合によっては AWS APIのログを分析 サービス AWSアカウント、IAM権限、 リソースメタデータへの侵害、 不正利用の請求など AWS固有の設定に起因するた めAWS APIのログを分析 ※出典: AWS セキュリティインシデントレスポンスガイド(英語) Detective SIEM
- 12. © 2021, AmazonWeb Services, Inc. or its affiliates. © 2021, Amazon Web Services, Inc. or its affiliates. Amazon OpenSearch Service (Successor to Amazon Elasticsearch Service) 12
- 13. © 2021, AmazonWeb Services, Inc. or its affiliates. OpenSearch l Apache License 2.0 のもと提供されていた Elasticsearch 7.10.2 および Kibana 7.10.2 より Fork l エンタープライズグレードのセキュリティ，アラート、SQL などにより強化 l 検索エンジンである OpenSearch, 可視化ツールである OpenSearch Dashboards で構成されている 14 Analysis Anomaly Detection Alert Trace Analytics Security Audit Logs Access Control Index Management ISM(Index State Management) Index Rollups Refresh Search Analyzer Analyzer Performance Analyzer Root Cause Analysis Advanced Search Asynchronous Search k-NN PPL(Piped Processing Language) SQL
- 14. © 2021, AmazonWeb Services, Inc. or its affiliates. ユースケース 15 構造化データ, ⾮構造化データ n-gram, 形態素解析 フィルタリング, ランキング 全⽂検索 ⼤量データの挿⼊(100+TB/day) ニアリアルタイムなデータ取り込み 複雑, 広範囲なデータ集計 ダッシュボード,レポート 異常検出, アラート データ分析, 可視化
- 15. © 2021, AmazonWeb Services, Inc. or its affiliates. 主な分析対象 16 IoT データ • コネクテッドカー • スマートホームデバイス • センサーデバイス • モバイルアプリケーション インフラストラクチャログ • データベース • ロードバランサー • ネットワーク • サーバー アプリケーションデータ • サービス/マイクロサービス • Web アプリケーション • ビジネスアプリケーション • API
- 16. © 2021, AmazonWeb Services, Inc. or its affiliates. Amazon OpenSearch Service とは 18 OpenSearch / Elasticsearch と OpenSearch Dashboard / Kibana を簡単に デプロイ・管理し，スケールさせることが 可能なフルマネージドサービス
- 17. © 2021, AmazonWeb Services, Inc. or its affiliates. © 2021, Amazon Web Services, Inc. or its affiliates. SIEM ソリューションのご紹介 20
- 18. © 2021, AmazonWeb Services, Inc. or its affiliates. SIEM on Amazon OpenSearch Service のご紹介 ■特徴 ・マネージドサービスとサーバーレスのみで構成 ・マルチアカウント・マルチリージョン対応 ・AWS サービス専⽤の正規化、ダッシュボード ・CloudFormation/CDK によるデプロイ。約30分で完了 ・クラウドサービスをご利⽤した分だけの従量制料⾦ https://github.com/aws-samples/siem-on-amazon-opensearch-service 21 AWS サービスのセキュリティ監視をするためのスクリプトやダッシュボードのサンプル。 ⽇本の セキュリティ/アナリティックス のソリューションアーキテクトが中⼼となって開発。 オープンソースソフトウェアとして公開。テンプレートは無料で利⽤可能。
- 19. © 2021, AmazonWeb Services, Inc. or its affiliates. SIEM on OpenSearch Service のアーキテクチャ 22 マネージドサービスとサーバーレスのみで構成 マルチリージョン・ マルチアカウントの ログを集約して保存
- 20. © 2021, AmazonWeb Services, Inc. or its affiliates. AWS サービス専⽤ダッシュボードの例 23 ログをセキュリティ分析の観点から 時系列、地理情報などで視覚化 AWS CloudTrail Amazon GuardDuty
- 21. © 2021, AmazonWeb Services, Inc. or its affiliates. ログの正規化 (ETL) 正規化とは複数種類のログで同じ意味を持つフィールドに同⼀のフィールド名を付与。 正規化により複数ログを効率的に検索が可能となる。正規化は Elastic Common Schema 準拠。 分析例) GuardDutyで脅威検知したインシデントの関連ログを複数ログから抽出 正規化処理されてない例 (検索式は概念です) 正規化処理をした場合 24 CloudTrailに(recipientAccountId:111111111111 AND sourceIPAddress:198.51.100.1 ) OR VPCFlowLogsに(account_id:111111111111 AND srcaddr:198.51.100.1 ) OR GuardDutyに(accountId:111111111111 AND (service.action.awsApiCallAction.remoteIpDetails.ipAddressV4:198.51.100.1 OR service.action.portProbeAction.portProbeDetails.remoteIpDetails.ipAddressV4: 198.51.100.1)) 3つのログ同時 ( cloud.account.id:111111111111 AND source.ip:198.51.100.1 )
- 22. © 2021, AmazonWeb Services, Inc. or its affiliates. AWS サービスの正規化済みログ • AWS CloudTrail • AWS Network Firewall • Amazon VPC Flow Logs • Amazon GuardDuty • Amazon Security Hub § GuardDuty § Amazon Macie § Amazon Inspector § AWS IAM Access Analyzer • Route53 Resolver DNS query log • Linux on EC2 (/var/log/message, /var/log/secure) • Windows Server on EC2 (System/Security) • AWS Directory Service (Miscrosoft AD) • Amazon SFx for Windows File Server • Amazon WorkSpaces • Elastic Load Balancing § Application Load Balancer § Network load balancer § Classic Load Balancer • AWS WAF § AWS WAF § AWS Classic WAF • Amazon CloudFront § Standard access log § Real-time log • Amazon Relational Database Service § MySQL/MariaDB/PostgreSQL • Amazon Managed Streaming for Apache Kafka • Amazon Elastic Container Service • Amazon S3 access log 25 以下の AWS サービスについてはログを正規化して取込可能。 デプロイ後すぐに分析可能。他のログについても順次対応予定。 https://github.com/aws-samples/siem-on-amazon-opensearch-service/issues
- 23. © 2021, AmazonWeb Services, Inc. or its affiliates. Sansan様 統合セキュリティ監視（SIEM） 26 コスト最適化 マネージド 業務注⼒ ⾼⽣産性 1.5TB/Day のログ処理と可視化 • 課題 - サービスプロバイダとしての セキュリティ担保の責任 - 対象ログデータは常に増加傾向 - 運⽤⼯数にも⼤きく影響 効果 • 短期実装: 構想から 2ヶ⽉で最初の リリース。以降、対象ログを拡張。 • コスト最適化: 商⽤SIEMと⽐べて ライセンス - 80% 以上削減 • オペレーション最適化 - インフラ管理タスク – ほぼ⾃動化 （サーバーレス化） AWSサービス ELB、R53 ログの集約 データ加⼯ 集計 トラフィックログ アクセスログ AWS SIEM ソリューション (*) を採⽤ SOC担当者 3rd パーティ セキュリティ WAF、NW DNS、DHCP EDR ログ アクセスログ エラーログ VPCフローログ 監査ログ 脅威検出ログ AWSサービス CloudTrail 3rd パーティ SaaS CloudWatch Logs ⼤容量ログの 分割処理管理 アクセスログ エラーログ fluentd fluentd
- 24. © 2021, AmazonWeb Services, Inc. or its affiliates. お客様の導⼊事例 Sansan 様 - AWS Security Roadshow 2020 Sansan の成⻑を⽀えるセキュリティログの活⽤と Amazon Elasticsearch Service https://aws.amazon.com/jp/blogs/news/aws-security-roadshow-japan-2020/ QUICK 様 - AWS Innovate Data Edition (2021年8⽉) Amazon Elasticsearch Service でつくる全社統合ログ分析基盤 https://resources.awscloud.com/data-jp-aws-innovate/company-wide-integrated-log- analysis-platform-created-with-amazon-elasticsearch-service Freee 様 - AWS Security Roadshow 2021 運⽤してわかった SIEM on Amazon OpenSearch Service の構築とインシデント対応の実際 https://www.awssecevents.com/ 27
- 25. © 2021, AmazonWeb Services, Inc. or its affiliates. © 2021, Amazon Web Services, Inc. or its affiliates. デモ
- 26. © 2021, AmazonWeb Services, Inc. or its affiliates. Next Step のご提案 お客様が SIEM を使いこなせるようにワークショップをご⽤意しています https://security-log-analysis-platform.workshop.aws/ja/ 37 ・AWS サービスのログの取り込み ・Dashboards の⼀般的な使い⽅ ダッシュボード作成、アラート設定 ・サンプルログを使ったインシデント調査 根本原因、被害規模(漏洩情報)を特定 調査対象ログ︓ Amazon GuardDuty、AWS CloudTrail、 Amazon VPC Flow Logs、 Amazon Maice、Amazon Inspector、 Linux SSH のログ
- 27. © 2021, AmazonWeb Services, Inc. or its affiliates. SIEM on OpenSearch Service の開始⽅法 38 1. GitHub に移動 https://github.com/aws-samples/siem-on-amazon-opensearch-service/blob/main/README_ja.md 2. AWS CloudFormation のテンプレートを選択 3. CloudFormation でパラーメータを4つ⼊れて実⾏。約30分後にデプロイ完了 4. 可視化・分析したいログを S3 バケットに保存
- 28. © 2021, AmazonWeb Services, Inc. or its affiliates. Thank you! © 2021, Amazon Web Services, Inc. or its affiliates. 39
- 29. © 2021, AmazonWeb Services, Inc. or its affiliates. © 2021, Amazon Web Services, Inc. or its affiliates. Appendix 40
- 30. © 2021, AmazonWeb Services, Inc. or its affiliates. 他の分析サービスとも⼿軽に連携 - レイクハウスアーキテクチャ - 41 Amazon DynamoDB Amazon SageMaker Amazon Redshift Amazon OpenSearch Service Amazon EMR Amazon S3 Amazon Aurora Amazon Athena Amazon S3 でスケーラブルな データレイクを構築することで、 AWS の他のサービスから⽣まれた データを⼿軽に分析可能 例えば、SIEM ⽤に収集したログデータ を活⽤して ・OpenSearch Service から削除した 古いログを Amazon Athena で検索 ・機械学習環境をフルマネージド サービスの SageMaker で迅速に実現 ・DynamoDB のデータと結合して OpenSearch Service で分析・可視化 (Preview)
- 31. © 2021, AmazonWeb Services, Inc. or its affiliates. S3 バケットの保存済みログの取り込み 42 個別アカウント (マルチアカウント/マルチリージョン) ログ監視⽤アカウント ※バッチにはaws s3 list の 実⾏結果を⼊⼒ SIEM on OpenSearch Service のモジュールをサーバー上で実⾏すること により、S3 バケットに保存済みのログを可視化して調査することが可能
- 32. © 2021, AmazonWeb Services, Inc. or its affiliates. AWS サービス以外のログの取り込み⽅法 43 SIEM on OpenSearch Service で取り込むことも 他のサービス/ソフトを使って直接に SIEM に取り込むことも可能 フィールド抽出(E) 正規化・変換(T) OpenSearch に取り込み(L) S3バケット保存 パターン1 SIEM on OpenSearch Service SIEM on OpenSearch Service SIEM on OpenSearch Service 生データ パターン2 Fluentd/Logstashや AWSサービス SIEM on OpenSearch Service SIEM on OpenSearch Service フィールド抽出後の JSONデータ パターン3 Fluentd / Logstash や AWSサービスを活用 構成に依存
- 33. © 2021, AmazonWeb Services, Inc. or its affiliates. AWS サービス以外のログの取り込み⽅法(パターン1) 44 • 全ての ETL 処理を SIEM on OpenSearch Service で⾏う Amazon OpenSearch Service ログ⽤ AWS アカウント 各AWSカウント or オンプレミス Linux Amazon Simple Storage Service Lambda関数 es-loader ⽣ログ ⽣ログ ・⽣ログをそのまま S3 に保存 ・SIEM 管理者は、再取り込みや メンテナンスをコントロール可能 ・ログ処理はマネージドサービスと サーバーレスで実現 1. ログの種類とファイルフォーマットを判別 2. ⽣ログからフィールドを抽出 3. Elastic Common Schemaに従い正規化 4. OpenSearch Service にログをロード
- 34. © 2021, AmazonWeb Services, Inc. or its affiliates. AWS サービス以外のログの取り込み⽅法(パターン2) 45 • フィールドの抽出は Fluentd 等を利⽤ • 正規化と OpenSearch Service へのロードを SIEM で⾏う Amazon OpenSearch Service ログ⽤ AWS アカウント 各AWSカウント or オンプレミス Linux Amazon Simple Storage Service Lambda関数 es-loader ⽣ログ JSON ・フィールドを抽出したJSONを S3 バケットに保存 ・SIEMが対応していないファイル フォーマットも取り込み可能 ・フィールド抽出失敗時の 対処⽅法は要検討 1. ログの種類とファイルフォーマットを判別 2. ⽣ログからフィールドを抽出 3. Elastic Common Schemaに従い正規化 4. OpenSearch Service にログをロード
- 35. © 2021, AmazonWeb Services, Inc. or its affiliates. AWS サービス以外のログの取り込み⽅法(パターン3) 46 • Fluentd 等で全ての ETL 処理を⾏い、直接 OpenSearch Service にログを ロードする Amazon OpenSearch Service ログ⽤ AWS アカウント 各AWSカウント or オンプレミス Linux ⽣ログ JSON ・⾃由度が⾼い ・⾃⼒でほぼ全てに対応 フィールド抽出、正規化、 バックアップ、ログ再取込み、 システム運⽤管理、等々 1. ログの種類とファイルフォーマットを判別 2. ⽣ログからフィールドを抽出 3. Elastic Common Schemaに従い正規化 4. OpenSearch Service にログをロード