Submit Search
Upload
Amazon s3へのデータ転送における課題とその対処法を一挙紹介
•
5 likes
•
7,554 views
T
Tetsunori Nishizawa
Follow
Amazon s3へのデータ転送における課題とその対処法を一挙紹介
Read less
Read more
Technology
Report
Share
Report
Share
1 of 27
Download now
Download to read offline
Recommended
202110 AWS Black Belt Online Seminar AWS Site-to-Site VPN
202110 AWS Black Belt Online Seminar AWS Site-to-Site VPN
Amazon Web Services Japan
AWS Black Belt Online Seminar 2016 AWS CloudFormation
AWS Black Belt Online Seminar 2016 AWS CloudFormation
Amazon Web Services Japan
20190828 AWS Black Belt Online Seminar Amazon Aurora with PostgreSQL Compatib...
20190828 AWS Black Belt Online Seminar Amazon Aurora with PostgreSQL Compatib...
Amazon Web Services Japan
AWS Black Belt Online Seminar 2017 Auto Scaling
AWS Black Belt Online Seminar 2017 Auto Scaling
Amazon Web Services Japan
Kinesis + Elasticsearchでつくるさいきょうのログ分析基盤
Kinesis + Elasticsearchでつくるさいきょうのログ分析基盤
Amazon Web Services Japan
[社内勉強会]ELBとALBと数万スパイク負荷テスト
[社内勉強会]ELBとALBと数万スパイク負荷テスト
Takahiro Moteki
20180704 AWS Black Belt Online Seminar Amazon Elastic File System (Amazon EFS...
20180704 AWS Black Belt Online Seminar Amazon Elastic File System (Amazon EFS...
Amazon Web Services Japan
20210216 AWS Black Belt Online Seminar AWS Database Migration Service
20210216 AWS Black Belt Online Seminar AWS Database Migration Service
Amazon Web Services Japan
Recommended
202110 AWS Black Belt Online Seminar AWS Site-to-Site VPN
202110 AWS Black Belt Online Seminar AWS Site-to-Site VPN
Amazon Web Services Japan
AWS Black Belt Online Seminar 2016 AWS CloudFormation
AWS Black Belt Online Seminar 2016 AWS CloudFormation
Amazon Web Services Japan
20190828 AWS Black Belt Online Seminar Amazon Aurora with PostgreSQL Compatib...
20190828 AWS Black Belt Online Seminar Amazon Aurora with PostgreSQL Compatib...
Amazon Web Services Japan
AWS Black Belt Online Seminar 2017 Auto Scaling
AWS Black Belt Online Seminar 2017 Auto Scaling
Amazon Web Services Japan
Kinesis + Elasticsearchでつくるさいきょうのログ分析基盤
Kinesis + Elasticsearchでつくるさいきょうのログ分析基盤
Amazon Web Services Japan
[社内勉強会]ELBとALBと数万スパイク負荷テスト
[社内勉強会]ELBとALBと数万スパイク負荷テスト
Takahiro Moteki
20180704 AWS Black Belt Online Seminar Amazon Elastic File System (Amazon EFS...
20180704 AWS Black Belt Online Seminar Amazon Elastic File System (Amazon EFS...
Amazon Web Services Japan
20210216 AWS Black Belt Online Seminar AWS Database Migration Service
20210216 AWS Black Belt Online Seminar AWS Database Migration Service
Amazon Web Services Japan
20200617 AWS Black Belt Online Seminar Amazon Athena
20200617 AWS Black Belt Online Seminar Amazon Athena
Amazon Web Services Japan
20200630 AWS Black Belt Online Seminar Amazon Cognito
20200630 AWS Black Belt Online Seminar Amazon Cognito
Amazon Web Services Japan
AWS Black Belt Online Seminar 2017 AWS Elastic Beanstalk
AWS Black Belt Online Seminar 2017 AWS Elastic Beanstalk
Amazon Web Services Japan
AWS Black Belt Online Seminar 2018 AWS Well-Architected Framework
AWS Black Belt Online Seminar 2018 AWS Well-Architected Framework
Amazon Web Services Japan
[Aurora事例祭り]Amazon Aurora を使いこなすためのベストプラクティス
[Aurora事例祭り]Amazon Aurora を使いこなすためのベストプラクティス
Amazon Web Services Japan
20180425 AWS Black Belt Online Seminar Amazon Relational Database Service (Am...
20180425 AWS Black Belt Online Seminar Amazon Relational Database Service (Am...
Amazon Web Services Japan
AWSとオンプレミスを繋ぐときに知っておきたいルーティングの基礎知識(CCSI監修!)
AWSとオンプレミスを繋ぐときに知っておきたいルーティングの基礎知識(CCSI監修!)
Trainocate Japan, Ltd.
AWS BlackBelt AWS上でのDDoS対策
AWS BlackBelt AWS上でのDDoS対策
Amazon Web Services Japan
20190514 AWS Black Belt Online Seminar Amazon API Gateway
20190514 AWS Black Belt Online Seminar Amazon API Gateway
Amazon Web Services Japan
AWS Black Belt Online Seminar AWS Key Management Service (KMS)
AWS Black Belt Online Seminar AWS Key Management Service (KMS)
Amazon Web Services Japan
20190220 AWS Black Belt Online Seminar Amazon S3 / Glacier
20190220 AWS Black Belt Online Seminar Amazon S3 / Glacier
Amazon Web Services Japan
20191016 AWS Black Belt Online Seminar Amazon Route 53 Resolver
20191016 AWS Black Belt Online Seminar Amazon Route 53 Resolver
Amazon Web Services Japan
ゲームアーキテクチャパターン (Aurora Serverless / DynamoDB)
ゲームアーキテクチャパターン (Aurora Serverless / DynamoDB)
Amazon Web Services Japan
週末趣味のAWS Transit Gatewayでの経路制御
週末趣味のAWS Transit Gatewayでの経路制御
Namba Kazuo
20201118 AWS Black Belt Online Seminar 形で考えるサーバーレス設計 サーバーレスユースケースパターン解説
20201118 AWS Black Belt Online Seminar 形で考えるサーバーレス設計 サーバーレスユースケースパターン解説
Amazon Web Services Japan
Oracleからamazon auroraへの移行にむけて
Oracleからamazon auroraへの移行にむけて
Yoichi Sai
AWSのログ管理ベストプラクティス
AWSのログ管理ベストプラクティス
Akihiro Kuwano
20190424 AWS Black Belt Online Seminar Amazon Aurora MySQL
20190424 AWS Black Belt Online Seminar Amazon Aurora MySQL
Amazon Web Services Japan
AWS Black Belt Online Seminar 2017 AWS Storage Gateway
AWS Black Belt Online Seminar 2017 AWS Storage Gateway
Amazon Web Services Japan
(SPOT301) AWS Innovation at Scale | AWS re:Invent 2014
(SPOT301) AWS Innovation at Scale | AWS re:Invent 2014
Amazon Web Services
クラウド移行を終えてからが本番〜AWSの使いこなし術〜
クラウド移行を終えてからが本番〜AWSの使いこなし術〜
Tetsunori Nishizawa
オープンなクラウドの世界でエンジニアが楽しいと思うことを仕事にする方法
オープンなクラウドの世界でエンジニアが楽しいと思うことを仕事にする方法
Tetsunori Nishizawa
More Related Content
What's hot
20200617 AWS Black Belt Online Seminar Amazon Athena
20200617 AWS Black Belt Online Seminar Amazon Athena
Amazon Web Services Japan
20200630 AWS Black Belt Online Seminar Amazon Cognito
20200630 AWS Black Belt Online Seminar Amazon Cognito
Amazon Web Services Japan
AWS Black Belt Online Seminar 2017 AWS Elastic Beanstalk
AWS Black Belt Online Seminar 2017 AWS Elastic Beanstalk
Amazon Web Services Japan
AWS Black Belt Online Seminar 2018 AWS Well-Architected Framework
AWS Black Belt Online Seminar 2018 AWS Well-Architected Framework
Amazon Web Services Japan
[Aurora事例祭り]Amazon Aurora を使いこなすためのベストプラクティス
[Aurora事例祭り]Amazon Aurora を使いこなすためのベストプラクティス
Amazon Web Services Japan
20180425 AWS Black Belt Online Seminar Amazon Relational Database Service (Am...
20180425 AWS Black Belt Online Seminar Amazon Relational Database Service (Am...
Amazon Web Services Japan
AWSとオンプレミスを繋ぐときに知っておきたいルーティングの基礎知識(CCSI監修!)
AWSとオンプレミスを繋ぐときに知っておきたいルーティングの基礎知識(CCSI監修!)
Trainocate Japan, Ltd.
AWS BlackBelt AWS上でのDDoS対策
AWS BlackBelt AWS上でのDDoS対策
Amazon Web Services Japan
20190514 AWS Black Belt Online Seminar Amazon API Gateway
20190514 AWS Black Belt Online Seminar Amazon API Gateway
Amazon Web Services Japan
AWS Black Belt Online Seminar AWS Key Management Service (KMS)
AWS Black Belt Online Seminar AWS Key Management Service (KMS)
Amazon Web Services Japan
20190220 AWS Black Belt Online Seminar Amazon S3 / Glacier
20190220 AWS Black Belt Online Seminar Amazon S3 / Glacier
Amazon Web Services Japan
20191016 AWS Black Belt Online Seminar Amazon Route 53 Resolver
20191016 AWS Black Belt Online Seminar Amazon Route 53 Resolver
Amazon Web Services Japan
ゲームアーキテクチャパターン (Aurora Serverless / DynamoDB)
ゲームアーキテクチャパターン (Aurora Serverless / DynamoDB)
Amazon Web Services Japan
週末趣味のAWS Transit Gatewayでの経路制御
週末趣味のAWS Transit Gatewayでの経路制御
Namba Kazuo
20201118 AWS Black Belt Online Seminar 形で考えるサーバーレス設計 サーバーレスユースケースパターン解説
20201118 AWS Black Belt Online Seminar 形で考えるサーバーレス設計 サーバーレスユースケースパターン解説
Amazon Web Services Japan
Oracleからamazon auroraへの移行にむけて
Oracleからamazon auroraへの移行にむけて
Yoichi Sai
AWSのログ管理ベストプラクティス
AWSのログ管理ベストプラクティス
Akihiro Kuwano
20190424 AWS Black Belt Online Seminar Amazon Aurora MySQL
20190424 AWS Black Belt Online Seminar Amazon Aurora MySQL
Amazon Web Services Japan
AWS Black Belt Online Seminar 2017 AWS Storage Gateway
AWS Black Belt Online Seminar 2017 AWS Storage Gateway
Amazon Web Services Japan
(SPOT301) AWS Innovation at Scale | AWS re:Invent 2014
(SPOT301) AWS Innovation at Scale | AWS re:Invent 2014
Amazon Web Services
What's hot
(20)
20200617 AWS Black Belt Online Seminar Amazon Athena
20200617 AWS Black Belt Online Seminar Amazon Athena
20200630 AWS Black Belt Online Seminar Amazon Cognito
20200630 AWS Black Belt Online Seminar Amazon Cognito
AWS Black Belt Online Seminar 2017 AWS Elastic Beanstalk
AWS Black Belt Online Seminar 2017 AWS Elastic Beanstalk
AWS Black Belt Online Seminar 2018 AWS Well-Architected Framework
AWS Black Belt Online Seminar 2018 AWS Well-Architected Framework
[Aurora事例祭り]Amazon Aurora を使いこなすためのベストプラクティス
[Aurora事例祭り]Amazon Aurora を使いこなすためのベストプラクティス
20180425 AWS Black Belt Online Seminar Amazon Relational Database Service (Am...
20180425 AWS Black Belt Online Seminar Amazon Relational Database Service (Am...
AWSとオンプレミスを繋ぐときに知っておきたいルーティングの基礎知識(CCSI監修!)
AWSとオンプレミスを繋ぐときに知っておきたいルーティングの基礎知識(CCSI監修!)
AWS BlackBelt AWS上でのDDoS対策
AWS BlackBelt AWS上でのDDoS対策
20190514 AWS Black Belt Online Seminar Amazon API Gateway
20190514 AWS Black Belt Online Seminar Amazon API Gateway
AWS Black Belt Online Seminar AWS Key Management Service (KMS)
AWS Black Belt Online Seminar AWS Key Management Service (KMS)
20190220 AWS Black Belt Online Seminar Amazon S3 / Glacier
20190220 AWS Black Belt Online Seminar Amazon S3 / Glacier
20191016 AWS Black Belt Online Seminar Amazon Route 53 Resolver
20191016 AWS Black Belt Online Seminar Amazon Route 53 Resolver
ゲームアーキテクチャパターン (Aurora Serverless / DynamoDB)
ゲームアーキテクチャパターン (Aurora Serverless / DynamoDB)
週末趣味のAWS Transit Gatewayでの経路制御
週末趣味のAWS Transit Gatewayでの経路制御
20201118 AWS Black Belt Online Seminar 形で考えるサーバーレス設計 サーバーレスユースケースパターン解説
20201118 AWS Black Belt Online Seminar 形で考えるサーバーレス設計 サーバーレスユースケースパターン解説
Oracleからamazon auroraへの移行にむけて
Oracleからamazon auroraへの移行にむけて
AWSのログ管理ベストプラクティス
AWSのログ管理ベストプラクティス
20190424 AWS Black Belt Online Seminar Amazon Aurora MySQL
20190424 AWS Black Belt Online Seminar Amazon Aurora MySQL
AWS Black Belt Online Seminar 2017 AWS Storage Gateway
AWS Black Belt Online Seminar 2017 AWS Storage Gateway
(SPOT301) AWS Innovation at Scale | AWS re:Invent 2014
(SPOT301) AWS Innovation at Scale | AWS re:Invent 2014
Similar to Amazon s3へのデータ転送における課題とその対処法を一挙紹介
クラウド移行を終えてからが本番〜AWSの使いこなし術〜
クラウド移行を終えてからが本番〜AWSの使いこなし術〜
Tetsunori Nishizawa
オープンなクラウドの世界でエンジニアが楽しいと思うことを仕事にする方法
オープンなクラウドの世界でエンジニアが楽しいと思うことを仕事にする方法
Tetsunori Nishizawa
Amazon WorkSpaces導入からはじめるスケーラブルなオフィス運営と、業務システムのクラウド移行
Amazon WorkSpaces導入からはじめるスケーラブルなオフィス運営と、業務システムのクラウド移行
Tetsunori Nishizawa
AWS Black Belt Online Seminar Antipattern
AWS Black Belt Online Seminar Antipattern
Amazon Web Services Japan
Webサービス向け、クラウドデザインパターン:アンチパターン紹介
Webサービス向け、クラウドデザインパターン:アンチパターン紹介
Yasuhiro Araki, Ph.D
20140418 aws-casual-network
20140418 aws-casual-network
Yasuhiro Araki, Ph.D
広島Ruby勉強会#35プレゼン
広島Ruby勉強会#35プレゼン
Kakigi Katuyuki
AWS活用のいままでとこれから -東急ハンズの事例-
AWS活用のいままでとこれから -東急ハンズの事例-
Taiji INOUE
Awsでrailsアプリケーションサーバーを構築
Awsでrailsアプリケーションサーバーを構築
Kakigi Katuyuki
G tech2016 クラウド時代に必要とされる組織と人材育成について
G tech2016 クラウド時代に必要とされる組織と人材育成について
Trainocate Japan, Ltd.
20120323 cloudpacknight
20120323 cloudpacknight
Yasuhiro Horiuchi
AWS X-Ray @Akiba.aws LT大会 #14 番外編 AWS Update LT大会
AWS X-Ray @Akiba.aws LT大会 #14 番外編 AWS Update LT大会
Taewoo Kim
拡がるクラウドの利用用途 - AWSの強みとクラウド活用最新事例 -
拡がるクラウドの利用用途 - AWSの強みとクラウド活用最新事例 -
Yasuhiro Horiuchi
成長していくサービスとAWS
成長していくサービスとAWS
Mitsuharu Hamba
インフラ系自主トレするならAWS
インフラ系自主トレするならAWS
Yasuhiro Araki, Ph.D
Redisへと至る、gumiデータストアの歴史
Redisへと至る、gumiデータストアの歴史
知教 本間
AWS Black Belt Online Seminar 2017 Amazon EC2 Systems Manager
AWS Black Belt Online Seminar 2017 Amazon EC2 Systems Manager
Amazon Web Services Japan
2015年12月 Amazon RDS for Aurora セミナー in 関西 「Aurora検証のご紹介」
2015年12月 Amazon RDS for Aurora セミナー in 関西 「Aurora検証のご紹介」
Serverworks Co.,Ltd.
[AWS Summit 2012] Intel presents ランチセッション 今更聞けないAWSクラウド入門
[AWS Summit 2012] Intel presents ランチセッション 今更聞けないAWSクラウド入門
Amazon Web Services Japan
AWS Database Migration Serviceの紹介
AWS Database Migration Serviceの紹介
Kunio Kawahara
Similar to Amazon s3へのデータ転送における課題とその対処法を一挙紹介
(20)
クラウド移行を終えてからが本番〜AWSの使いこなし術〜
クラウド移行を終えてからが本番〜AWSの使いこなし術〜
オープンなクラウドの世界でエンジニアが楽しいと思うことを仕事にする方法
オープンなクラウドの世界でエンジニアが楽しいと思うことを仕事にする方法
Amazon WorkSpaces導入からはじめるスケーラブルなオフィス運営と、業務システムのクラウド移行
Amazon WorkSpaces導入からはじめるスケーラブルなオフィス運営と、業務システムのクラウド移行
AWS Black Belt Online Seminar Antipattern
AWS Black Belt Online Seminar Antipattern
Webサービス向け、クラウドデザインパターン:アンチパターン紹介
Webサービス向け、クラウドデザインパターン:アンチパターン紹介
20140418 aws-casual-network
20140418 aws-casual-network
広島Ruby勉強会#35プレゼン
広島Ruby勉強会#35プレゼン
AWS活用のいままでとこれから -東急ハンズの事例-
AWS活用のいままでとこれから -東急ハンズの事例-
Awsでrailsアプリケーションサーバーを構築
Awsでrailsアプリケーションサーバーを構築
G tech2016 クラウド時代に必要とされる組織と人材育成について
G tech2016 クラウド時代に必要とされる組織と人材育成について
20120323 cloudpacknight
20120323 cloudpacknight
AWS X-Ray @Akiba.aws LT大会 #14 番外編 AWS Update LT大会
AWS X-Ray @Akiba.aws LT大会 #14 番外編 AWS Update LT大会
拡がるクラウドの利用用途 - AWSの強みとクラウド活用最新事例 -
拡がるクラウドの利用用途 - AWSの強みとクラウド活用最新事例 -
成長していくサービスとAWS
成長していくサービスとAWS
インフラ系自主トレするならAWS
インフラ系自主トレするならAWS
Redisへと至る、gumiデータストアの歴史
Redisへと至る、gumiデータストアの歴史
AWS Black Belt Online Seminar 2017 Amazon EC2 Systems Manager
AWS Black Belt Online Seminar 2017 Amazon EC2 Systems Manager
2015年12月 Amazon RDS for Aurora セミナー in 関西 「Aurora検証のご紹介」
2015年12月 Amazon RDS for Aurora セミナー in 関西 「Aurora検証のご紹介」
[AWS Summit 2012] Intel presents ランチセッション 今更聞けないAWSクラウド入門
[AWS Summit 2012] Intel presents ランチセッション 今更聞けないAWSクラウド入門
AWS Database Migration Serviceの紹介
AWS Database Migration Serviceの紹介
Recently uploaded
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
Hiroshi Tomioka
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
Yuki Kikuchi
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
FumieNakayama
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
UEHARA, Tetsutaro
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
akihisamiyanaga1
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
博三 太田
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
FumieNakayama
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NTT DATA Technology & Innovation
Recently uploaded
(8)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
Amazon s3へのデータ転送における課題とその対処法を一挙紹介
1.
Amazon S3へのデータ転送における 課題とその対処法を⼀挙紹介 2017.08.25 クラスメソッド株式会社 AWS事業部 にしざわ
2.
⾃⼰紹介 2 ⻄澤 徹訓 •
クラスメソッド株式会社 • AWS事業部 • アーキテクトグループ所属 • 2015年8⽉⼊社 • インフラ、エンプラ寄り • 最近は若者育成に⼒を⼊れて います
3.
好きなAWSサービス 3 特集カテゴリー ブログ登場回数 AWS-CLI
23 EC2 22 RDS 17 S3 15 Directory Service 11 Windows 11 Database Migration Service 9 IAM 8
4.
クラスメソッドとは︖ 4 AWSとビッグデータと スマホアプリとブログの 会社です。
5.
クラスメソッドとは(今⽇の趣旨と合ってます︖) 5 •Web系? •B to
C ではなく B to B •Webサービスは提供していない •社⾵はWeb系企業寄りかも
6.
クラスメソッドとは(今⽇の趣旨と合ってます︖︖) 6 •ベンチャー︖ •ベンチャーってわけでもない •新しい技術は好き •Alexaなんかもやってます
7.
クラスメソッドとは(今⽇の趣旨と合ってます︖︖︖) 7 •AWS利⽤事例? •AWS利⽤事例ならいくらでも︕
8.
本題 8 S3へのデータ転送で 困ったことはないですか︖
9.
Central StorageとしてのS3 9
10.
分析するにしても 10 まずはS3にデータを 持っていかないといけない
11.
今⽇のテーマ 11 S3への転送パターンを 可能な限り紹介します
12.
S3へのデータ転送︓ケース1 12 【ケース1】 たくさんのファイルを まとめてS3に転送したい
13.
• とにかくAWS CLIが便利︕︕︕ •
直感的なコマンド(ls/cp/mv/rm) • syncで同期 • 分割アップロードや並列数も設定可能 S3へのデータ転送︓ケース1への対処 13 http://docs.aws.amazon.com/cli/latest/reference/s3/index.html
14.
AWS CLIのS3オプション 14 •
s3オプション • max_concurrent_requests • max_queue_size • multipart_threshold • multipart_chunksize http://docs.aws.amazon.com/cli/latest/topic/s3-config.html
15.
S3へのデータ転送︓ケース2 15 【ケース2】 海外リージョンにあるS3バケットに ファイルを転送したい
16.
• S3 Transfer
Acceleration • 地理的に近いエッジロケーションを経由して からアップロードが可能 S3へのデータ転送︓ケース2への対処① 16 http://docs.aws.amazon.com/ja_jp/AmazonS3/latest/dev/transfer-acceleration.html
17.
• クロスリージョンレプリケーション • 近くのS3バケットに配置してレプリケーショ ンするという⽅法もあり S3へのデータ転送︓ケース2への対処②
17 http://docs.aws.amazon.com/ja_jp/AmazonS3/latest/dev/crr.html
18.
S3へのデータ転送︓ケース3 18 【ケース3】 転送スループットを上げたい
19.
• udp転送ツールを検討 • オーバヘッドが無いudpで •
Tsunami UDP • CloudDat(旧ExpeDat) S3へのデータ転送︓ケース3への対処 19 http://aws.typepad.com/sajp/2015/03/expedat.html
20.
S3へのデータ転送︓ケース4 20 【ケース4】 閉域網からファイル転送したい
21.
• S3エンドポイントを利⽤ • VPC内のEC2を経由する S3へのデータ転送︓ケース4への対処
21
22.
S3へのデータ転送︓ケース5 22 【ケース5】 クライアント側で使える プロトコルが限定されている
23.
• EC2で受けて何とかする • FTP/SFTPなど要件に合わせてEC2を⽤意 •
lsyncdやFileGatewayで同期 S3へのデータ転送︓ケース5への対処 23
24.
S3へのデータ転送︓ケース6 24 【ケース6】 EBSは使いたくない
25.
• FUSE • s3fs-use、goofysがハマるケースも •
使い⽅には要注意 S3へのデータ転送︓ケース6への対処 25
26.
ついに来ました︕ 26
27.
最後に 27 •情報発信/情報交換することで、AWS 好きが増え、元気になるエンジニアが 少しでも増えていったら嬉しいです。 •ありがとうございました︕︕︕
Download now