Downloaded 19 times
Amazon s3へのデータ転送における課題とその対処法を一挙紹介
- 1.
- 2. ⾃⼰紹介 2 ⻄澤 徹訓 •クラスメソッド株式会社 • AWS事業部 • アーキテクトグループ所属 • 2015年8⽉⼊社 • インフラ、エンプラ寄り • 最近は若者育成に⼒を⼊れて います
- 3. 好きなAWSサービス 3 特集カテゴリー ブログ登場回数 AWS-CLI23 EC2 22 RDS 17 S3 15 Directory Service 11 Windows 11 Database Migration Service 9 IAM 8
- 4.
- 5. クラスメソッドとは（今⽇の趣旨と合ってます︖） 5 •Web系? •B toC ではなく B to B •Webサービスは提供していない •社⾵はWeb系企業寄りかも
- 6.
- 7.
- 8.
- 9.
- 10.
- 11.
- 12.
- 13. • とにかくAWS CLIが便利︕︕︕ •直感的なコマンド(ls/cp/mv/rm) • syncで同期 • 分割アップロードや並列数も設定可能 S3へのデータ転送︓ケース１への対処 13 http://docs.aws.amazon.com/cli/latest/reference/s3/index.html
- 14. AWS CLIのS３オプション 14 •s3オプション • max_concurrent_requests • max_queue_size • multipart_threshold • multipart_chunksize http://docs.aws.amazon.com/cli/latest/topic/s3-config.html
- 15.
- 16. • S3 TransferAcceleration • 地理的に近いエッジロケーションを経由して からアップロードが可能 S3へのデータ転送︓ケース２への対処① 16 http://docs.aws.amazon.com/ja_jp/AmazonS3/latest/dev/transfer-acceleration.html
- 17. • クロスリージョンレプリケーション • 近くのS3バケットに配置してレプリケーショ ンするという⽅法もあり S3へのデータ転送︓ケース２への対処②17 http://docs.aws.amazon.com/ja_jp/AmazonS3/latest/dev/crr.html
- 18.
- 19. • udp転送ツールを検討 • オーバヘッドが無いudpで •Tsunami UDP • CloudDat（旧ExpeDat） S3へのデータ転送︓ケース３への対処 19 http://aws.typepad.com/sajp/2015/03/expedat.html
- 20.
- 21.
- 22.
- 23. • EC2で受けて何とかする • FTP/SFTPなど要件に合わせてEC2を⽤意 •lsyncdやFileGatewayで同期 S3へのデータ転送︓ケース５への対処 23
- 24.
- 25. • FUSE • s3fs-use、goofysがハマるケースも •使い⽅には要注意 S3へのデータ転送︓ケース６への対処 25
- 26.
- 27.