JAWS-UG 福岡 #11 https://jaws-ug-kyushu.doorkeeper.jp/events/111457

1. 在宅期間中に Intel NUC と
AWS Storage Gateway で遊んでみた
やってみた
JAWS-UG Fukuoka
Saturday October 17th, 2020

2. ⾃⼰紹介
• JAWS-UG 福岡 運営メンバー
• 7⽉からプリセールスと PM はじめました
• ⽣まれも育ちも福岡
• 好きな AWS サービス
- Amazon VPC
- Amazon S3
- AWS Transfer Family
- AWS Storage Gateway
内村 和博

3. 内容についての諸注意
• 本資料は2020年10⽉時点の製品、サービス内容を記載しています。最新
の情報に関しては各種公式サイト、マニュアル等をご確認下さい。
• 本資料作成の際には⼗分注意しておりますが、内容に公式と相違がある場
合は公式を優先とさせていただきます。
• 本資料内の試算およびそれに準ずる内容は、本資料の説明のために⽤いる
ものであり、不利益が⽣じた場合、⼀切の責任は負いかねますので予めご
了承ください。

4. WFH 4ヶ⽉⽬

5. 在宅勤務で気づいたこと
• 静かに眠りたい（ベッドルーム兼作業部屋にいる⼦達）
- iMac (Retina 5K, 27-inch, 2019), MacBook Pro,
27 inch モニター (LG 27UD58-B)
- QNAP TS-220 (2bay), nasne (ナスネ)
- Playstation 4 Pro, スイッチングハブ
• ストーレジ領域枯渇が慢性化
- 書類、ビルド、コンテナイメージ、写真（と、あれやこれやの動画）
• 仮想環境で 遊びたい いろんな検証をしたい
黙らせたい（少しでも）
思い出がいっぱい
仕事しろ（するために）

6. 解決案（やってくれそうな⼦たち）
• 【課題】ストレージ枯渇
- （わたし、えーだぶりゅーえす、ちょっとわかる）
- Amazon S3 → AWS Storage Gateway
• 【課題】仮想環境で（ｒｙ
- VMware vSphere Hypervisor (VM ESXi Hypervisor)
• 【課題】静かに眠りたい
- 睡眠薬 → 静⾳ NAS → ファンレスベアボーン → Intel NUC
AWS Storage Gateway

7. やってみた

8. 構成概要
File Gateway
VMWare ESXi
Bucket
Amazon Simple Storage
Service
AWS Storage Gateway
Amazon CloudWatch
AWS Direct Connect
ご自宅
Amazon VPC
業務利⽤の場合はこちら →
Internet
VPN connection

9. AWS Storage Gateway - 1
• 標準的なストレージプロトコルを利⽤してAWSのストレージサービスへ
のアクセスを可能にするストレージソリューション
• オンプレミスから実質無制限のクラウドストレージへのアクセス
• オンプレミスストレージの削減や、低レイテンシーなデータアクセス
• クラウド移⾏、アーカイブ、⼤量のデータ処理、災害対策
https://aws.amazon.com/jp/storagegateway/

10. AWS Storage Gateway - 2
• 格納容量無制限
- キャパシティプランニングが不要（バックエンドに Amazon S3 が利⽤可能）
• 安価なストレージ
- ⽉あたり $0.025 USD/GB〜 （アジアパシフィック 東京リージョン）
• ⾼い堅牢性
- 99.999999999%
• セキュア
- AWS による管理, 暗号化
容量上限からの解放（クラウドのメリット・素敵）
Amazon CloudWatch AWS Key Management
Service
AWS CloudTrail AWS Identity and Access
Management (IAM)

11. AWS Storage Gateway - 3
• ストレージプロトコル
- NFS、SMB、iSCSI
• バックエンドの AWS ストレージサービス
Amazon Simple Storage
Service
Amazon S3 Glacier
Amazon S3 Glacier Deep Archive
Amazon Elastic Block
Store (EBS)
(Snapshots)
AWS Backup

12. AWS Storage Gateway - 5
• ファイルゲートウェイ
- NFS (v3, v4.1), SMB
• テープゲートウェイ
- iSCSI-VTL (iSCSI ベースの仮想テープライブラリ)
• ボリュームゲートウェイ
- iSCSI → クラウド内に Amazon EBS スナップショットとして保存
• （ハードウェアアプライアンス）
ファイル（オブジェクト）単位
テープライブラリ (VTL)
ブロックストレージ単位

13. AWS Storage Gateway ファイルゲートウェイ
• サポートされているハイパーバイザー
- VMware ESXi Hypervisor
- Microsoft Hyper-V Hypervisor, Linux カーネルベースの仮想マシン (KVM)
- EC2 インスタンス, Storage Gateway ハードウェアアプライアンス
• Amazon S3 へのアクセスを最適化
• 1ゲートウェイあたりの共有は10バケット
• キャッシュサイズは 16TB・オブジェクト最⼤サイズ 5TB
• NFS ロックは利⽤不可
（複数クライアント・他インターフェイスからのアクセスは避ける）
今回はこちらを採⽤

14. ゲートウェイのセットアップ - 1
• セットアップ時の注意点
- ハードウェア構成
- 時刻同期
- コンポーネント（ゲートウェイ・ファイル共有）
- ネットワーク設定
- アプライアンスアクティベーション
- AWS IAM Roles
- Amazon S3 Intelligent-Tiering

15. ゲートウェイのセットアップ - 2
• ハードウェア構成
- VMware 仮想マシン上の構成
- CPU (vCPUs) （最⼩4）
- メモリ (RAM) （最⼩ 16GiB）
- ネットワークアダプタ
- ハードディスク１ → システム領域
- ハードディスク２ → キャッシュ領域
低遅延アクセスを可能に
（最⼩ 150GiB）

16. ゲートウェイのセットアップ - 3
• 時刻同期
1.VMware 仮想マシン (VMware Tools）
2.AWS Storage Gateway Configuration
から時刻同期
時刻同期を⾏わなければ、
バックエンド（Amazon S3）と
同期に失敗する

17. ゲートウェイのセットアップ - 4
• AWS Storage Gateway コンポーネント
• ゲートウェイ
- NFS マウント先（例えばオンプレミス内の VM）
- ゲートウェイの作成・ストレージリソースの決定・CloudWatch メトリックスのモニタリン
グ・コンソールパスワード変更・VM HA 定義・SMB 設定
プラットフォームの決定・イメージのダウンロード
• ファイル共有
- ゲートウェイにアタッチするバックエンド（例えば Amazon S3 バケット）
- ストレージクラス定義（S3 Inteligent Tiering）・IAM Role 定義
暗号化定義・キャッシュクリア

18. ゲートウェイのセットアップ - 5
• AWS Appliance Activation - Configuration
1. HTTP/SOCKS Proxy Configuration
2. Network Configuration
3. Test Network Connectivity
4. View System Resource Check (0 Errors)
5. System Time Management
6. License Information
7. Command Prompt
8. (0.) Get Activation key
ローカルネットワークアドレスの設定
Public または VPC (PrivateLine) の設定
Activation Key の取得

19. ゲートウェイのセットアップ - 6
• AWS IAM Roles
- 「ファイル共有 (File shares)」が Amazon S3 バケットを利⽤する権限
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Principal": {
"Service": "storagegateway.amazonaws.com"
},
"Action": "sts:AssumeRole"
}
]
}
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": “Allow",
"Action": [
"s3:GetAccelerateConfiguration",
“s3:GetBucketLocation", “s3:GetBucketVersioning", "s3:ListBucket",
“s3:ListBucketVersions", "s3:ListBucketMultipartUploads"
],
"Resource": “arn:aws:s3:::{{bucket name}}“
},
{
"Effect": “Allow",
"Action": [
"s3:AbortMultipartUpload",
“s3:DeleteObject", "s3:DeleteObjectVersion",
“s3:GetObject", “s3:GetObjectAcl", "s3:GetObjectVersion",
"s3:ListMultipartUploadParts",
“s3:PutObject", "s3:PutObjectAcl"
],
"Resource": “arn:aws:s3:::{{bucket name}}/*”
}
]
}
Trust Relationships
Policies

20. ゲートウェイのセットアップ - 7
• Amazon S3 Intelligent-Tiering
- 2018年11⽉発表の Amazon S3 ストレージクラス
- アクセスパターンをモニタし、連続30⽇間アクセスされていないデータを低頻度のア
クセス階層に移動
- データがアクセスされた場合は、⾼頻度アクセス階層に⾃動的に移動
- 管理者が意識すること無く利⽤料⾦節約が期待できる

21. Intel Next Unit of Computing (NUC)
• Intel が提供するスモールファクター PC（ベアボーン）
• ⼩型省スペース
• 低電圧
• 静⾳（ファンレス）
https://www.intel.co.jp/content/www/jp/ja/products/boards-kits/nuc/

22. Intel NUC
https://www.intel.co.jp/content/www/jp/ja/support/articles/000006857/intel-nuc/intel-nuc-kits.html

23. https://www.inaba.co.jp/abaniact/abx/lineup/al.html

25. Intel NUC セットアップ
• つまづきポイント
- Intel NUC へ VMware vSphere Hypervisor のインストール（NIC 問題）
- Bootable USB Media

26. Intel NUC セットアップ - 1
• Problem: No Network Adaptors
- If you try to install any version of ESXi, the installer fails with a "No Network Adapters" error.
The error is caused by a problem with the network driver. Luckily, William Lam and Songtao
Zheng have already made a driver available that supports the new I219-V Network Adapter.
• How to create a Custom ESXi Image
- This option explains how to create the Custom Image with PowerCLI. The Image can be used
to install ESXi from scratch. William Lam has also provided a solution that uses the vSphere
HTML5 Client.
1. Download the driver
2. Copy the driver to your Build Directory (c:esx) for example
3. Open PowerShell run the following commands in your build directory
https://www.virten.net/2020/03/esxi-on-10th-gen-intel-nuc-comet-lake-frost-canyon/

27. Intel NUC セットアップ - 1
• Amazon EC2 Windows Instance
• File to Upload
- ESXi670-NE1000-32543355-offline_bundle-15486963.zip
- VMware-VMvisor-Installer-7.0.0-15843807.x86_64.iso
PS C:UsersAdministratoresxi> Install-Module -Name VMware.PowerCLI -Scope CurrentUser
PS C:UsersAdministratoresxi> Add-EsxSoftwareDepot https://hostupdate.vmware.com/software/VUM/PRODUCTION/main/vmw-depot-index.xml
PS C:UsersAdministratoresxi> Export-ESXImageProfile -ImageProfile "ESXi-7.0.0-15843807-standard" -ExportToBundle -filepath ESXi-7.0.0-15843807-
standard.zip
PS C:UsersAdministratoresxi> Remove-EsxSoftwareDepot https://hostupdate.vmware.com/software/VUM/PRODUCTION/main/vmw-depot-index.xml
PS C:UsersAdministratoresxi> Add-EsxSoftwareDepot .ESXi-7.0.0-15843807-standard.zip
PS C:UsersAdministratoresxi> Add-EsxSoftwareDepot .ESXi670-NE1000-32543355-offline_bundle-15486963.zip
PS C:UsersAdministratoresxi> New-EsxImageProfile -CloneProfile "ESXi-7.0.0-15843807-standard" -name "ESXi-7.0.0-15843807-NUC" -Vendor "virten.net"
PS C:UsersAdministratoresxi> Remove-EsxSoftwarePackage -ImageProfile "ESXi-7.0.0-15843807-NUC" -SoftwarePackage "ne1000"
PS C:UsersAdministratoresxi> Add-EsxSoftwarePackage -ImageProfile "ESXi-7.0.0-15843807-NUC" -SoftwarePackage "ne1000 0.8.4-3vmw.670.3.99.32543355"
Export-ESXImageProfile -ImageProfile "ESXi-7.0.0-15843807-NUC" -ExportToIso -filepath ESXi-7.0.0-15843807-NUC.iso

28. Intel NUC セットアップ - 2
• patched image “ESXi-7.0.0-15843807-NUC.iso”
• Bootable USB Media
- Rufus (https://rufus.ie/ja_JP.html) (Windows)
- Etcher (http://terufusa.blog.jp/archives/24477397.html) (macOS)

29. VMware vSphere Hypervisor
• VMware ESXi Hypervisor（すなわち VMware vSphere Hypervisor）
• あれやこれや
- Intel NUC へのインストール
- VMware vSphere Hypervisor 7.0 リリース
- AWS ドキュメントのサポートバージョンは、6.0, 6.5, 6.7
- ライセンス……？
「VMware vSphere 7.0 製品評価センター」
「無償版ライセンス」

30. Demo

31. すったもんだありまして

32. 仮想マシンのメモリー問題
ファイル（オブジェクト）を転送した分だけメモリーを消費
しかも開放されない……

33. でも、お⾼いんでしょ？

34. 費⽤ - 機材購⼊
• Intel® NUC 10 パフォーマンス・キット - NUC10i5FNK
• Crucial SSD M.2 1000GB P1シリーズ Type2280 PCIe3.0x4 NVMe
• crucial CT2K32G4SFD8_266
• AC コード (サンワサプライ KB-DM3S-02)
合計 81,348円

35. 費⽤ - AWS 毎⽉のお⽀払⾦額
• 条件
- AWS Storage Gateway 経由の 200GB のファイルアップロード・ダウンロード
- Tokyo リージョン
• 1ヶ⽉あたりのお⽀払い⾦額 $29.03 USD
- AWS Storage Gateway $23.69 USD
- Amazon Simple Storage Service (S3) $5.34 USD
• （参考）AWS Pricing Calculator
- https://calculator.aws/#/estimate?
id=65bbe69088868991c179f68bcd96df28709e09ba
ご利⽤は計画的に

36. まとめ
• AWS Storage Gateway 導⼊は思いの外カンタン
• それなりのお値段（ハードウェア＋AWS 毎⽉のお⽀払）
• つまづきポイント（Intel NUC, VMware vSphere Hypervisor）
• 本番運⽤環境は AWS Direct Connect (or AWS Site-to-Site VPN)
• 本番運⽤環境は有償 VMware サポート

37. ⾃宅ラボ VMware ESXi Hypervisor
• 今後やることリスト
- 仮想マシンのメモリー問題（未解決）
- AWS Storage Gateway の運⽤
- Zabbix Proxy (Agent)
- AWS Server Migration Service
- VMware vMotion (試⽤期限内に）

38. Appendix
❖ AWS Storage Gateway
https://aws.amazon.com/jp/storagegateway/
https://docs.aws.amazon.com/ja_jp/storagegateway/latest/userguide/index.html
https://docs.aws.amazon.com/ja_jp/storagegateway/latest/userguide/MaintenanceTimeSync-hyperv.html
❖ AWS Black Belt Online Seminar 2017 AWS Storage Gateway
https://www.slideshare.net/AmazonWebServicesJapan/aws-black-belt-online-seminar-2017-aws-storage-
gateway
❖ Intel NUC 10 パフォーマンス・キット - NUC10i5FNK 195507
https://www.intel.co.jp/content/www/jp/ja/products/boards-kits/nuc.html
https://www.intel.co.jp/content/www/jp/ja/products/boards-kits/nuc/kits/nuc10i5fnk.html
https://www.intel.co.jp/content/www/jp/ja/support/articles/000006857/intel-nuc/intel-nuc-kits.html

39. Appendix
❖ 新機能- Intelligent TieringによるAmazon S3の⾃動的なコスト最適化
https://aws.amazon.com/jp/blogs/news/new-automatic-cost-optimization-for-amazon-s3-via-
intelligent-tiering/
❖ VMware vSphere Hypervisor
https://www.vmware.com/jp/products/vsphere-hypervisor.html
❖ VMware ESXi Consideration
https://www.virten.net/2020/03/esxi-on-10th-gen-intel-nuc-comet-lake-frost-canyon/
https://andrewroderos.com/vmware-esxi-home-lab-intel-nuc-frost-canyon/

40. ご清聴ありがとうございました