Amazon S3へのデータ転送における
課題とその対処法を⼀挙紹介
2017.08.25 クラスメソッド株式会社
AWS事業部 にしざわ
⾃⼰紹介 2
⻄澤 徹訓
• クラスメソッド株式会社
• AWS事業部
• アーキテクトグループ所属
• 2015年8⽉⼊社
• インフラ、エンプラ寄り
• 最近は若者育成に⼒を⼊れて
います
好きなAWSサービス 3
特集カテゴリー ブログ登場回数
AWS-CLI 23
EC2 22
RDS 17
S3 15
Directory Service 11
Windows 11
Database Migration Service 9
IAM 8
クラスメソッドとは︖ 4
AWSとビッグデータと
スマホアプリとブログの
会社です。
クラスメソッドとは(今⽇の趣旨と合ってます︖) 5
•Web系?
•B to C ではなく B to B
•Webサービスは提供していない
•社⾵はWeb系企業寄りかも
クラスメソッドとは(今⽇の趣旨と合ってます︖︖) 6
•ベンチャー︖
•ベンチャーってわけでもない
•新しい技術は好き
•Alexaなんかもやってます
クラスメソッドとは(今⽇の趣旨と合ってます︖︖︖) 7
•AWS利⽤事例?
•AWS利⽤事例ならいくらでも︕
本題 8
S3へのデータ転送で
困ったことはないですか︖
Central StorageとしてのS3 9
分析するにしても 10
まずはS3にデータを
持っていかないといけない
今⽇のテーマ 11
S3への転送パターンを
可能な限り紹介します
S3へのデータ転送︓ケース1 12
【ケース1】
たくさんのファイルを
まとめてS3に転送したい
• とにかくAWS CLIが便利︕︕︕
• 直感的なコマンド(ls/cp/mv/rm)
• syncで同期
• 分割アップロードや並列数も設定可能
S3へのデータ転送︓ケース1への対処 13
http://docs.aws.amazon.com/cli/latest/reference/s3/index.html
AWS CLIのS3オプション 14
• s3オプション
• max_concurrent_requests
• max_queue_size
• multipart_threshold
• multipart_chunksize
http://docs.aws.amazon.com/cli/latest/topic/s3-config.html
S3へのデータ転送︓ケース2 15
【ケース2】
海外リージョンにあるS3バケットに
ファイルを転送したい
• S3 Transfer Acceleration
• 地理的に近いエッジロケーションを経由して
からアップロードが可能
S3へのデータ転送︓ケース2への対処① 16
http://docs.aws.amazon.com/ja_jp/AmazonS3/latest/dev/transfer-acceleration.html
• クロスリージョンレプリケーション
• 近くのS3バケットに配置してレプリケーショ
ンするという⽅法もあり
S3へのデータ転送︓ケース2への対処② 17
http://docs.aws.amazon.com/ja_jp/AmazonS3/latest/dev/crr.html
S3へのデータ転送︓ケース3 18
【ケース3】
転送スループットを上げたい
• udp転送ツールを検討
• オーバヘッドが無いudpで
• Tsunami UDP
• CloudDat(旧ExpeDat)
S3へのデータ転送︓ケース3への対処 19
http://aws.typepad.com/sajp/2015/03/expedat.html
S3へのデータ転送︓ケース4 20
【ケース4】
閉域網からファイル転送したい
• S3エンドポイントを利⽤
• VPC内のEC2を経由する
S3へのデータ転送︓ケース4への対処 21
S3へのデータ転送︓ケース5 22
【ケース5】
クライアント側で使える
プロトコルが限定されている
• EC2で受けて何とかする
• FTP/SFTPなど要件に合わせてEC2を⽤意
• lsyncdやFileGatewayで同期
S3へのデータ転送︓ケース5への対処 23
S3へのデータ転送︓ケース6 24
【ケース6】
EBSは使いたくない
• FUSE
• s3fs-use、goofysがハマるケースも
• 使い⽅には要注意
S3へのデータ転送︓ケース6への対処 25
ついに来ました︕ 26
最後に 27
•情報発信/情報交換することで、AWS
好きが増え、元気になるエンジニアが
少しでも増えていったら嬉しいです。
•ありがとうございました︕︕︕

Amazon s3へのデータ転送における課題とその対処法を一挙紹介