Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Amazon S3へのデータ転送における
課題とその対処法を⼀挙紹介
2017.08.25 クラスメソッド株式会社
AWS事業部 にしざわ
⾃⼰紹介 2
⻄澤 徹訓
• クラスメソッド株式会社
• AWS事業部
• アーキテクトグループ所属
• 2015年8⽉⼊社
• インフラ、エンプラ寄り
• 最近は若者育成に⼒を⼊れて
います
好きなAWSサービス 3
特集カテゴリー ブログ登場回数
AWS-CLI 23
EC2 22
RDS 17
S3 15
Directory Service 11
Windows 11
Database Migration Service 9
I...
クラスメソッドとは︖ 4
AWSとビッグデータと
スマホアプリとブログの
会社です。
クラスメソッドとは(今⽇の趣旨と合ってます︖) 5
•Web系?
•B to C ではなく B to B
•Webサービスは提供していない
•社⾵はWeb系企業寄りかも
クラスメソッドとは(今⽇の趣旨と合ってます︖︖) 6
•ベンチャー︖
•ベンチャーってわけでもない
•新しい技術は好き
•Alexaなんかもやってます
クラスメソッドとは(今⽇の趣旨と合ってます︖︖︖) 7
•AWS利⽤事例?
•AWS利⽤事例ならいくらでも︕
本題 8
S3へのデータ転送で
困ったことはないですか︖
Central StorageとしてのS3 9
分析するにしても 10
まずはS3にデータを
持っていかないといけない
今⽇のテーマ 11
S3への転送パターンを
可能な限り紹介します
S3へのデータ転送︓ケース1 12
【ケース1】
たくさんのファイルを
まとめてS3に転送したい
• とにかくAWS CLIが便利︕︕︕
• 直感的なコマンド(ls/cp/mv/rm)
• syncで同期
• 分割アップロードや並列数も設定可能
S3へのデータ転送︓ケース1への対処 13
http://docs.aws.amazon.com...
AWS CLIのS3オプション 14
• s3オプション
• max_concurrent_requests
• max_queue_size
• multipart_threshold
• multipart_chunksize
http:/...
S3へのデータ転送︓ケース2 15
【ケース2】
海外リージョンにあるS3バケットに
ファイルを転送したい
• S3 Transfer Acceleration
• 地理的に近いエッジロケーションを経由して
からアップロードが可能
S3へのデータ転送︓ケース2への対処① 16
http://docs.aws.amazon.com/ja_jp/Amaz...
• クロスリージョンレプリケーション
• 近くのS3バケットに配置してレプリケーショ
ンするという⽅法もあり
S3へのデータ転送︓ケース2への対処② 17
http://docs.aws.amazon.com/ja_jp/AmazonS3/la...
S3へのデータ転送︓ケース3 18
【ケース3】
転送スループットを上げたい
• udp転送ツールを検討
• オーバヘッドが無いudpで
• Tsunami UDP
• CloudDat(旧ExpeDat)
S3へのデータ転送︓ケース3への対処 19
http://aws.typepad.com/sajp/2015/03...
S3へのデータ転送︓ケース4 20
【ケース4】
閉域網からファイル転送したい
• S3エンドポイントを利⽤
• VPC内のEC2を経由する
S3へのデータ転送︓ケース4への対処 21
S3へのデータ転送︓ケース5 22
【ケース5】
クライアント側で使える
プロトコルが限定されている
• EC2で受けて何とかする
• FTP/SFTPなど要件に合わせてEC2を⽤意
• lsyncdやFileGatewayで同期
S3へのデータ転送︓ケース5への対処 23
S3へのデータ転送︓ケース6 24
【ケース6】
EBSは使いたくない
• FUSE
• s3fs-use、goofysがハマるケースも
• 使い⽅には要注意
S3へのデータ転送︓ケース6への対処 25
ついに来ました︕ 26
最後に 27
•情報発信/情報交換することで、AWS
好きが増え、元気になるエンジニアが
少しでも増えていったら嬉しいです。
•ありがとうございました︕︕︕
Upcoming SlideShare
Loading in …5
×

Amazon s3へのデータ転送における課題とその対処法を一挙紹介

5,866 views

Published on

Amazon s3へのデータ転送における課題とその対処法を一挙紹介

Published in: Technology
  • Dating for everyone is here: ❶❶❶ http://bit.ly/2F4cEJi ❶❶❶
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • Dating direct: ❶❶❶ http://bit.ly/2F4cEJi ❶❶❶
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here

Amazon s3へのデータ転送における課題とその対処法を一挙紹介

  1. 1. Amazon S3へのデータ転送における 課題とその対処法を⼀挙紹介 2017.08.25 クラスメソッド株式会社 AWS事業部 にしざわ
  2. 2. ⾃⼰紹介 2 ⻄澤 徹訓 • クラスメソッド株式会社 • AWS事業部 • アーキテクトグループ所属 • 2015年8⽉⼊社 • インフラ、エンプラ寄り • 最近は若者育成に⼒を⼊れて います
  3. 3. 好きなAWSサービス 3 特集カテゴリー ブログ登場回数 AWS-CLI 23 EC2 22 RDS 17 S3 15 Directory Service 11 Windows 11 Database Migration Service 9 IAM 8
  4. 4. クラスメソッドとは︖ 4 AWSとビッグデータと スマホアプリとブログの 会社です。
  5. 5. クラスメソッドとは(今⽇の趣旨と合ってます︖) 5 •Web系? •B to C ではなく B to B •Webサービスは提供していない •社⾵はWeb系企業寄りかも
  6. 6. クラスメソッドとは(今⽇の趣旨と合ってます︖︖) 6 •ベンチャー︖ •ベンチャーってわけでもない •新しい技術は好き •Alexaなんかもやってます
  7. 7. クラスメソッドとは(今⽇の趣旨と合ってます︖︖︖) 7 •AWS利⽤事例? •AWS利⽤事例ならいくらでも︕
  8. 8. 本題 8 S3へのデータ転送で 困ったことはないですか︖
  9. 9. Central StorageとしてのS3 9
  10. 10. 分析するにしても 10 まずはS3にデータを 持っていかないといけない
  11. 11. 今⽇のテーマ 11 S3への転送パターンを 可能な限り紹介します
  12. 12. S3へのデータ転送︓ケース1 12 【ケース1】 たくさんのファイルを まとめてS3に転送したい
  13. 13. • とにかくAWS CLIが便利︕︕︕ • 直感的なコマンド(ls/cp/mv/rm) • syncで同期 • 分割アップロードや並列数も設定可能 S3へのデータ転送︓ケース1への対処 13 http://docs.aws.amazon.com/cli/latest/reference/s3/index.html
  14. 14. AWS CLIのS3オプション 14 • s3オプション • max_concurrent_requests • max_queue_size • multipart_threshold • multipart_chunksize http://docs.aws.amazon.com/cli/latest/topic/s3-config.html
  15. 15. S3へのデータ転送︓ケース2 15 【ケース2】 海外リージョンにあるS3バケットに ファイルを転送したい
  16. 16. • S3 Transfer Acceleration • 地理的に近いエッジロケーションを経由して からアップロードが可能 S3へのデータ転送︓ケース2への対処① 16 http://docs.aws.amazon.com/ja_jp/AmazonS3/latest/dev/transfer-acceleration.html
  17. 17. • クロスリージョンレプリケーション • 近くのS3バケットに配置してレプリケーショ ンするという⽅法もあり S3へのデータ転送︓ケース2への対処② 17 http://docs.aws.amazon.com/ja_jp/AmazonS3/latest/dev/crr.html
  18. 18. S3へのデータ転送︓ケース3 18 【ケース3】 転送スループットを上げたい
  19. 19. • udp転送ツールを検討 • オーバヘッドが無いudpで • Tsunami UDP • CloudDat(旧ExpeDat) S3へのデータ転送︓ケース3への対処 19 http://aws.typepad.com/sajp/2015/03/expedat.html
  20. 20. S3へのデータ転送︓ケース4 20 【ケース4】 閉域網からファイル転送したい
  21. 21. • S3エンドポイントを利⽤ • VPC内のEC2を経由する S3へのデータ転送︓ケース4への対処 21
  22. 22. S3へのデータ転送︓ケース5 22 【ケース5】 クライアント側で使える プロトコルが限定されている
  23. 23. • EC2で受けて何とかする • FTP/SFTPなど要件に合わせてEC2を⽤意 • lsyncdやFileGatewayで同期 S3へのデータ転送︓ケース5への対処 23
  24. 24. S3へのデータ転送︓ケース6 24 【ケース6】 EBSは使いたくない
  25. 25. • FUSE • s3fs-use、goofysがハマるケースも • 使い⽅には要注意 S3へのデータ転送︓ケース6への対処 25
  26. 26. ついに来ました︕ 26
  27. 27. 最後に 27 •情報発信/情報交換することで、AWS 好きが増え、元気になるエンジニアが 少しでも増えていったら嬉しいです。 •ありがとうございました︕︕︕

×