Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

20180322 AWS Black Belt Online Seminar AWS Snowball Edge

359 views

Published on

AWS公式オンラインセミナー: https://amzn.to/JPWebinar
過去資料: https://amzn.to/JPArchive

Published in: Technology
  • Be the first to comment

  • Be the first to like this

20180322 AWS Black Belt Online Seminar AWS Snowball Edge

  1. 1. 【AWS Black Belt Online Seminar】
  2. 2. • • •
  3. 3. • • •
  4. 4. アジェンダ ※http://www.slideshare.net/AmazonWebServicesJapan/20170614-aws-blackbeltsnowball
  5. 5. Cloud Data Migration Direct Connect Snow* data transport family 3rd Party Connectors Transfer Acceleration Storage Gateway Kinesis Firehose AWSのストレージサービス オブジェクト Amazon GlacierAmazon S3 ブロック Amazon EBS (persistent) Amazon EC2 Instance Store (ephemeral) ファイル Amazon EFS
  6. 6. Now Available in TOKYO
  7. 7. • 100 TB • Amazon EC2 m4.4xlarge (24 vCPU, 32 GiB ) • 10GBase-T, 10/25Gb SFP28, 40Gb QSFP+ • RE:INVENT 2016 LAUNCH
  8. 8. • 42TB S3 7.68TB NVMe SSD Snowball Edge Compute Optimized  52vCPU/208GiB Snowball Edge Compute Optimized  52vCPU/208GiB Snowball Edge Compute Optimized with GPU  Snowball Edge(24vCPU/32GiB/100TB S3 ) “Snowball Edge Storage Optimized” • • 2019 3 GovCloud(US-West) https://docs.aws.amazon.com/ja_jp/snowball/latest/developer-guide/device-differences.html
  9. 9. • • • • •
  10. 10. • • • • • • • • S3API NFS
  11. 11. S3 S3AWS AWS
  12. 12. 暗号化されたセキュ アな組み込みコン ピューティング データの生成時に 直接書き込み クラウドとのデータ の出し入れを素早く 行うための高速かつ コスト効果の高い手 段を提供 データ転送に 標準的な馴染みのあ るツールを利用
  13. 13. IoT
  14. 14. • • ※2019 3
  15. 15. EC2 Job $300.00/ $ 800.00/ ( 10 *) $30.00/ $ 80.00/ *** AWS $0.00/GB $ 0.00/GB AWS $0.04 /GB $ 0.04 /GB ** Amazon S3 EC2 2019 3 * 1 10 ** *** 1 3
  16. 16. Snowball Snowball Edge (Storage Optimized) 容量 80TB(50TBはUSのみ)/アプライアンス 100TB/アプライアンス インターフェース 10GbE (RJ45,SFP+ Copper, SFP+ Optic) データアクセス方式 Snowball Client S3 Adapter S3 Adapter for Snowball NFS v3, v4.0,v4.1 主な用途 データ移行 データ移行 データ移行+ローカルプロセッシング ローカルストレージとしての利用 ローカルプロセッシング 無し m4.4xlarge相当のコンピュート能力 AWS Lambda(python)、EC2 が利用可能 クラスタリング 不可 可(ローカルストレージ利用) ラックマウント 不可 可 HDFSからの直接コピー 可 不可 最大保持日数 90 日(以降はManifestがExpire) 120 日(それ以上は要サポート問い合わせ) 料金/アプライアンス $250(最初の10日間)+送料 11日目以降 $15/日 $300(最初の10日間)+送料 11日目以降 $30/日 https://docs.aws.amazon.com/snowball/latest/developer-guide/device-differences.html
  17. 17. • • • • • Lambda EC2
  18. 18. • • • • • •
  19. 19. S3
  20. 20. • • • • •
  21. 21. • • • • • •
  22. 22. • • – • – • • •
  23. 23. AWS Snowball ”
  24. 24. Job Getting Started
  25. 25. 33
  26. 26. Import or Export or
  27. 27.
  28. 28. • • • • Country
  29. 29. • • • Snowball Edge
  30. 30. • • • • • • • S3 IAM ※ KMS
  31. 31. SNS
  32. 32. Create Job Job
  33. 33.
  34. 34. • ※ ※
  35. 35. • • • ※ Ready 10 Snowball Edge(S3)
  36. 36. Snowball Get credential “Deliverd to you”
  37. 37. • • • • $ snowballEdge configure Configuration will stored at /home/<user>/.aws/snowball/config/snowball-edge.config Snowball Edge Manifest Path []:フェスマニフェストファイルのパスを指定 Unlock Code []:アンロックコードを入力 Default Endpoint []:https:// <ip address> を入力 $ snowballEdge unlock-device Unlock Data Transfer ※
  38. 38. • $ snowballEdge unlock-cluster --endpoint https://<ip> ¥ --manifest-file <Manifest> --unlock-code <Unlock Code> ¥ --device-ip-addresses <ip2> <ip3> <ip4> …
  39. 39. $ snowballEdge list-access-keys { "AccessKeyIds" : [ "AKIAIOSFODNN7EXAMPLE" ] } $ snowballEdge get-secret-access-key --access-key-id <Access Key> [snowballEdge] aws_access_key_id = AKIAIOSFODNN7EXAMPLE aws_secret_access_key = wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY • ※ Snowball Edge AWS IAM
  40. 40. CLIの例: $ aws s3 cp <File> s3://<Bucket>/<Key> ¥ --profile snowballEdge --endpoint http://<ip>:8080 – –
  41. 41. $ snowballEdge list-certificates ※certificateのARNを取得 $ snowballEdge get-certificate –certificate-arn <ARN> (.pem CLI $ aws configure set snowballEdge.ca_bundle <pemfile> HTTPS $ aws s3 ls --profile snowballEdge --endpoint https://<IP>:8443 Snowball Edgeでhttpsを利用する場合は証明書の利用が必要 ※IP
  42. 42. • • $ snowballEdge create-virtual-network-interface ¥ --physical-network-interface-id s.ni-abcd1234 ¥ --ip-address-assignment DHCP • IP $ snowballEdge create-virtual-network-interface ¥ --physical-network-interface-id s.ni-abcd1234 ¥ --ip-address-assignment STATIC ¥ --static-ip-address-configuration IpAddress=192.168.0.240,Netmask=255.255.255.0 • $ snowballEdge start-service --service-id fileinterface ¥ --virtual-network-interface-arns arn:aws:snowball-device:::interface/s.ni-ab123 https://docs.aws.amazon.com/ja_jp/snowball/latest/developer-guide/using-fileinterface.html describe-device ID arn describe-device ID
  43. 43. • • – – – – • – – • • $ mount –t nfs –o nolock <IP>:/<Bucket> <mountpoint> ※ OS NFS I/O 32KB
  44. 44. • • • •
  45. 45. http://docs.aws.amazon.com/ja_jp/snowball/latest/ug/carriers.html ※ E-ink
  46. 46. • • • • •
  47. 47. • • • • • • • • • • • • • ※ 2019/3 Compute Optimized
  48. 48. • • • • • • •
  49. 49. (Storage Optimized) 100TB(82TB Usable Space) 10GBase-T RJ45), 25GB-SFP , 40GB-QSFP ※ 68db 49.5lb(22.6kg) (W✕H✕D) 15.25in ✕ 10.375in ✕ 26.00in ( 38.6 cm ✕ 25.9 cm ✕ 67.1 cm) 400W 100-240 V AC http://docs.aws.amazon.com/ja_jp/snowball/latest/developer-guide/specifications.html
  50. 50. • • • • • • • •
  51. 51. • • • • • • •
  52. 52. • • • • • • PutObject invoke MQTT
  53. 53. • • • • • • •
  54. 54. • • • •
  55. 55. • • •
  56. 56. • • • • • • • • https://docs.aws.amazon.com/ja_jp/snowball/latest/developer-guide/create-ec2-edge-job.html
  57. 57. • $ aws ec2 run-instances --image-id <Image ID> --count 1 ¥ --instance-type sbe1.small --endpoint http://<IP Address>:8008 ¥ --profile snowballEdge --region ap-northeast-1 • $ snowballEdge create-virtual-network-interface ¥ --physical-network-interface-id s.ni-abcd1234 ¥ --ip-address-assignment DHCP • $ aws ec2 associate-address --public-ip <VNI IP address> ¥ --instance-id <instance id> ¥ --endpoint http://<IP address>:8008 --region ap-northeast-1 --profile snowballEdge • describe-device ID https://docs.aws.amazon.com/ja_jp/snowball/latest/developer-guide/using-ec2-endpoint.html https://docs.aws.amazon.com/ja_jp/snowball/latest/developer-guide/network-config-ec2-edge.html
  58. 58. • $ snowballEdge check-for-updates • $ snowballEdge download-updates • $ snowballEdge install-updates • $ snowballEdge describe-device-software • $ snowballEdge reboot-device https://docs.aws.amazon.com/ja_jp/snowball/latest/developer-guide/updating-device.html
  59. 59. Source Network Host SnowballNetwork
  60. 60. • • • • 8 core/32GB • RJ-45 10GbE( ) • SSD • 10GB • aws s3 cp 0 10 20 30 40 50 60 70 1GB × 10 2MB × 5120 128KB×81920 Speed(MB/s) Speed(MB/s) ※
  61. 61. • • 8 core/32GB • RJ-45 10GbE( ) • SSD • Object Size1GB • aws s3 cp 0 100 200 300 400 500 8 4 2 1 Speed(MB/s) Speed(MB/s) ※
  62. 62. • SnowballEdge S3 Ingest • ”snowball-auto-extract=true” • tar, zip, tar.gz
  63. 63. • • 10,000 $tar cfP - * | aws –profile snowballEdge ¥ s3 cp – s3://<BUCKET>/<KEY>/<FILE>.tar ¥ --metadata snowball-auto-extract=true ¥ --endpoint http://<IP>:8080
  64. 64. • • • • • • • • • •
  65. 65. • • • • • • • • •
  66. 66. • • • • • • • • •
  67. 67. • •
  68. 68. • • • • •
  69. 69. • • • • • •
  70. 70. • • • • • • •
  71. 71. • • • • • •
  72. 72. • • • • •
  73. 73. • • • • •
  74. 74. • • •
  75. 75. • • • •
  76. 76. @awscloud_jp http://on.fb.me/1vR8yWm
  77. 77. AWS https://aws.amazon.com/jp/contact-us/aws-sales/ AWS
  78. 78. • • •

×