Fin-JAWS 2020-12-09 - 1年を振り返る公開自己業績評価レビュー
•
0 likes•323 views
Fin-JAWS #16 re:Invent 2020 ～ラスベガス現地じゃないスペシャル～ 1年を振り返る、公開自己業績評価レビュー - こんなことあんなことやりました -
Recommended
Recommended
More Related Content
What's hot
What's hot (20)
Similar to Fin-JAWS 2020-12-09 - 1年を振り返る公開自己業績評価レビュー
Similar to Fin-JAWS 2020-12-09 - 1年を振り返る公開自己業績評価レビュー (20)
More from Yutaro Ono
Recently uploaded
Recently uploaded (9)
Fin-JAWS 2020-12-09 - 1年を振り返る公開自己業績評価レビュー
- 1. CONFIDENTIAL 1年を振り返る、 公開自己業績評価レビュー - こんなことあんなことやりました - Fin-JAWS #16 re:Invent 2020 ～ラスベガス現地じゃないスペシャル～ ©2020JapanDigitalDesign,Inc.
- 2. Japan Digital Design, Inc. 1 小野 雄太郎 VP of Infrastructure, Technology and Design Division. インフラストラクチャの設計運用等をメインに、 パブリッククラウドのみで構成されたプラット フォームを実装中 好きなAWSサービス - S3 Access Point 個人事業主で普通のIT屋さんもしています Twitter: @chamreo LinkedIn: linkedin.com/in/yutaro
- 3. 設立3年 2017年10月02設立 ⚫ 3年目経ちました 10人の組織からスタート ⚫ エンジニアとデザイナーの募集 ⚫ 100名の会社にまで育ってきました 人権確保! ⚫ MacBook Pro 15inch - Mem 32GB! (もうM1も選べるよ) ⚫ Surface Laptop 3 – Intel Core 7 Classified as Confidential by Japan Digital Design, Inc.
- 5. CONFIDENTIAL 怒涛のように様々なことがあった1年でした (よね? 多様な働き方… • ほぼリモートに 社会情勢と事業継続への対応 • さまざまな優先度の変更へ新たな課題に対する対応 今年行ったことを振り返り、成果を自分で評価してみる わたし、ことしはちゃんと仕事してたかな? 4 ClassifiedasConfidentialbyJapan DigitalDesign,Inc.
- 6. CONFIDENTIAL 1. 去年の宿題 2. AWS Transfer for SFTP 3. S3 Access Point 4. ELB + OIDC 5. AWS Batch 評価対象 5 ClassifiedasConfidentialbyJapan DigitalDesign,Inc.
- 7. 2020年12月9日 Fin-JAWS in re:Invent 2019
- 9. CONFIDENTIAL セキュアな環境を簡単に展開してシステム開発をスタートできるテンプレート • Network • Standard VPC • Standard ELB • Route53 Resolver • S3 • S3 Bucket & Policy • Container • ECS • ECR • EC2 • EC2 Instance • AWS Backup Policy 1. 標準AWS cfnテンプレート公開! : Secure-Stack-Template-AWS 8 ClassifiedasConfidentialbyJapan DigitalDesign,Inc. * 一部 Develop ブランチ
- 10. CONFIDENTIAL Secure Stack Template for AWS 9 ClassifiedasConfidentialbyJapan DigitalDesign,Inc. https://github.com/japan-d2/secure-stack-template-aws/
- 11. CONFIDENTIAL 自己評価 10 ClassifiedasConfidentialbyJapan DigitalDesign,Inc. できた • テンプレートをMIT Licenseで公開した • 標準テンプレートの数を増やした できてない • マージできていないプルリクがたくさんたまっている • ドキュメントの充実が追い付いていない • ちゃんと宣伝できてない 評価 - 総合B • 実施内容: A • 継続性: C • インパクト: B
- 12. CONFIDENTIAL S3にSFTP/FTPSを使ってアクセスできるマネージドサービス • VPC Endpoint経由でのアクセスも可能 • オンプレミスシステムからS3へのデータ連携に利用できる 2. AWS Transfer for SFTP 11 ClassifiedasConfidentialbyJapan DigitalDesign,Inc.
- 14. CONFIDENTIAL cfnで一気に作る VPC接続のSFTP Serverはこれでできる SFTP User作成も 13 ©2020JapanDigitalDesign,Inc. • 必要に応じてVPC Endpoint、Route53エイリアスなどを作成
- 15. CONFIDENTIAL 自己評価 14 ClassifiedasConfidentialbyJapan DigitalDesign,Inc. できた • SFTPによるオンプレミスからのデータ連携をテンプレート化できた • SFTPユーザのテンプレート管理をできるようにした できてない • Secure Stack Template に公開できていない • 結局SFTPじゃなくてSMB使うことになった 評価 - 総合B • 実施内容: A • 継続性: B • インパクト: B
- 16. CONFIDENTIAL グローバルリソースであるS3バケットに、追加のAccess Point (エイリアス)を 複数作成できる機能 • 特定のVPCからのみアクセス可能なS3 Access Pointを作成可能 • 特定のAWSアカウントが所有するS3 Access PointをVPC Endpoint Policyで 制御可能 3. S3 Access Point 15 ClassifiedasConfidentialbyJapan DigitalDesign,Inc.
- 17. CONFIDENTIAL S3 Access PointのARNはAWSアカウントIDが含まれる • arn:aws:s3:${AWS::Region}:${AWS::AccountId}:accesspoint/${AccessPointName} S3バケットポリシーにおいて、S3 Access Point経由のアクセスを識別することが可能 • IAM条件キー • s3:DataAccessPointArn • S3アクセスに利用されたS3 Access Point ARN • s3:DataAccessPointAccount • S3アクセスに利用されたS3 Access Pointが作られているAWSアカウントID • s3:AccessPointNetworkOrigin • S3アクセスがInternet接続されたS3 Access Point経由か、VPC限定か アカウント固有S3バケットアクセス制御に道筋が! 16 ClassifiedasConfidentialbyJapan DigitalDesign,Inc.
- 18. CONFIDENTIAL S3 Access Point 17 ©2020JapanDigitalDesign,Inc. S3 Other Services Other Services Other Services S3AP-1 S3AP-2 S3AP-3 Account-01 Account-04Account-03 Account-02 VPC Endpoint Policy Bucket Policy - Effect: Deny Principal: * Action: * Resource: * Condition: StringNotLike: s3:AccessPointNetworkOrigin: VPC Bucket Policy S3 Access Point Policy - Effect: Allow Principal: arn:aws:iam::account-03:root Action: * Resource: * Condition: StringEqauls: aws:sourceVpce: vpce-1234 S3 VPC Endpoint Policy - Effect: Allow Principal: * Action: s3:GetObject Resource: arn:aws:s3:ap-northeast-1:Account-01:accesspoint/* S3 Access Point Policy 1. Bucket Policy • S3アクセスポイントからのみ許可 (S3APからはObject Operationのみ利用可) 2. S3 Access Point Policy • VPCごと (S3APごと) にアクセス可能な アクセス制御を記述 3. VPC Endpoint Policy • VPCからアクセスできるS3/S3APを制御
- 19. CONFIDENTIAL 自己評価 18 ClassifiedasConfidentialbyJapan DigitalDesign,Inc. できた • S3バケットポリシーの複雑化をS3APで分割可能に • S3APを含めたcfnテンプレート化を実施 • パターン化して複数アカウントでの適用を始めた できてない • Secure Stack Template に公開できていない • ドキュメント化が十分にできていない 評価 - 総合A • 実施内容: A • 継続性: A • インパクト: A
- 20. CONFIDENTIAL ELB(ALB)でユーザー認証をする仕組み • CognitoやOIDCによる認証をかけることができる 未認証ユーザーのアクセスにOIDC認証を要求 • 外部IdP(OIDC)で認証を行う • 認証が通った後のみ、LBの背後にアクセス メリット • OIDCによる認証を通らないと背後にアクセスできないので、アプリでOIDC 認証を独自にかける場合に比べ、脆弱性対策の心配が減る 4. ELB + OIDC 19 ClassifiedasConfidentialbyJapan DigitalDesign,Inc. ELB Web/API OIDC IdPMFA
- 21. CONFIDENTIAL ソースIPアドレス制限はゼロトラストじゃない • とはいえブルートフォースアタックやスキャンからは守りたい • WAFは必ずしも解決策ではない • ユーザー識別によってアクセス制御 • PINコード・マジックリンクによってELBのOIDC認証を設定 • コード送付先を制限 (特定メールアドレスドメイン等)することで、実質的 にユーザ所属組織を固定 Passwordless Sign-Inを組み合わせたアクセス制御 20 ClassifiedasConfidentialbyJapan DigitalDesign,Inc. ELB Web/API IdP MFA 1. 初期アクセス 2. IdPリダイレクト 3. PINコード送付 (email) 4. PINコード入力 5. アプリアクセス
- 22. CONFIDENTIAL 自己評価 21 ClassifiedasConfidentialbyJapan DigitalDesign,Inc. できた • cfnテンプレートでOIDCパラメータを指定するだけで認証できるようにした • 認証をIdPに切り出すことで、複数アプリで統一したユーザ体験を作れた • ソースIPアドレス制限をせずに、実質的な所属組織からのアクセス限定を実現 • 標準的な手法として複数プロジェクトで使い始めた できてない • Secure Stack Template に公開できていない 評価 - 総合A • 実施内容: A • 継続性: A • インパクト: A
- 23. CONFIDENTIAL データフォーマット変換バッチ (CSV to Parquet) をスケールさせる • 様々なサイズのデータを変換するバッチを並列化 • Lambdaでは実行時間やメモリサイズ等の制約 • AWS BatchによりEC2インスタンスでの変換を実施 5. AWS Batch 22 ClassifiedasConfidentialbyJapan DigitalDesign,Inc.
- 24. CONFIDENTIAL EC2インスタンスのタイプを選べる • 処理に合わせたタイプを選べて効果的 • スポットインスタンスにできればコスト的にはかなり安い • マネージドなのでフリート管理/クラスタ管理しなくてよい • すでにEC2インスタンスがある環境では、新たな設計をたくさんせず導入できる • EC2インスタンスロールの権限設計を流用するなどがしやすい ジョブの実行状態を簡単に確認できる • AWS Batchのジョブステータスで進行状況をモニタリングできる • キューイングやタイムアウト・再試行によって、リソースの適正利用を管理しなく てよい AWS Batchのいいところ 23 ©2020JapanDigitalDesign,Inc.
- 25. CONFIDENTIAL コンピューティング環境 • ジョブを実行するインスタンスの定義 ジョブ定義 • 実行するバッチの実体定義 ジョブキュー • ジョブを実行するためのコンピューティング環境セット ジョブ • バッチ定義から起動された実行中処理 AWS Batchの主な構成要素 24 ©2020JapanDigitalDesign,Inc. コンピューティング 環境 コンピューティング 環境 ジョブキュー ジョブ キュー ジョブ ジョブジョブ ジョブ ジョブ定義 ジョブ 定義 ジョブ 定義
- 26. CONFIDENTIAL 自己評価 25 ClassifiedasConfidentialbyJapan DigitalDesign,Inc. できた •スポットインスタンス活用も含めたスケーラブルな処理に対応できた できてない •一般化した仕組みとしてまで使い込んで発展できていない •進化した Glue 2.0 との比較がまだできていない 評価 - 総合B •実施内容: B •継続性: B •インパクト: C
- 27. CONFIDENTIAL 今年がんばった? • 去年の宿題 – Secure Stack Template for AWS = B • AWS Transfer for SFTP = B • S3 Access Point = A • ELB + OIDC = A • AWS Batch = B できてない • Secure Stack Template に公開できていない • ドキュメント化がちゃんとできていない アウトプット不足! アウトプット頑張ります ☺ まとめ 26 ClassifiedasConfidentialbyJapan DigitalDesign,Inc.