15分でお届けする Elastic Stack on Azure 設計・構築ノウハウ

1. 1 Yoichi Kawasaki Azure Technical Solution Professional Microsoft Corporation 15分でお届けする Elastic Stack on Azure 設計・構築ノウハウ

3. 3 プラットフォームサービスインフラストラクチャーサービス Compute Storage Datacenter Infrastructure Application Platform Web Apps Mobile Apps API Apps Notification Hubs Hybrid Cloud Backup StorSimple Azure Site Recovery Import/Export Networking Data SQL Database DocumentDB Redis Cache Azure Search Storage Tables SQL Data Warehouse Azure AD Health Monitoring Virtual Network Express Route Blob Files DisksVirtual Machines AD Privileged Identity Management Traffic Manager App Gateway Operational Analytics Compute Services Cloud Services Batch RemoteApp Service Fabric Developer Services Visual Studio Application Insights VS Team Services Containers DNS VPN Gateway Load Balancer Domain Services Analytics & IoT HDInsight Machine Learning Stream Analytics Data Factory Event Hubs Data Lake Analytics Service IoT Hub Data Catalog Security & Management Azure Active Directory Multi-Factor Authentication Automation Portal Key Vault Store/ Marketplace VM Image Gallery & VM Depot Azure AD B2C Scheduler Xamarin HockeyApp Power BI Embedded SQL Server Stretch Database Mobile Engagement Functions Intelligence Cognitive Services Bot Framework Cortana Security Center Container Service Queues VM Scale Sets Data Lake Store Dev/Test Lab Integration BizTalk Services Service Bus Logic Apps API Management Media & CDN Content Delivery Network Media Services Media Analytics

4. 4 Azure IaaSのコアサービス

5. 5 Azureへのデプロイメント２種類の便利なデプロイメントオプションのご紹介 Azure Marketplaceからのデプロイ • Azure Marketplace • 最も手っ取り早いやり方 • 30日のX-Packトライアルライセンス付き。トライアル期間が過ぎたら BYOLでライセンス更新可能 Github上のARMテンプレートをカスタマイズしてデプロイ • Elastic社が用意したGithub上のARM テンプレートをカスタマイズ • Azure CLIやPowerShellコマンドを使ってデプロイメント

6. 66 Video: Azure Marketplace からのクイックデプロイメント

7. 7 Azure上に構築されたElasticsearch & Kibana

8. 8 Azure 仮想マシンインスタンスの種類 [x]S プレミアムストレージ型 (例) • DS = 汎用 + プレミアムストレージ • FS = コンピューティング最適化 + プレミアムストレージ

9. 9 推奨仮想ハードウェアとDISK TYPE 推奨インスタンス推奨DISK 特徴マスターノードスモールDシリーズ Managed Disk • 大量コア, メモリは不要 • 大規模クラスタでは専用マスターノード x 3を推奨データノード DSシリーズ（DS3 or DS4） Premium Managed Disk • メモリ量は多いほどよい • Premium Storage推奨 Kibana スモールDシリーズ Managed Disk • マスターノードと同様 Logstash FSシリーズ Premium Managed Disk • コンピューティング最適化型インスタンス推奨 • Premium Storage推奨 Source: https://www.elastic.co/blog/deploying-elasticsearch-on-microsoft-azure https://www.elastic.co/jp/blog/deploying-elasticsearch-on-microsoft-azure https://docs.microsoft.com/en-us/azure/architecture/elasticsearch/

10. 10 可用性設定可用性セット DC内のハード障害/定期ソフトアップデート等に有効。VM SLA 99.95% 可用性ゾーンの注意点マスターノード各ゾーンに最低1ノードを配置データノードパフォーマンスの観点から Shard Allocation Awarenessを使用して検索要求の際にゾーン間の大量通信を避ける必要がある可用性ゾーン DCレベルの障害に有効 VM SLA 99.99%(予定) Preview OR Source: https://azure.microsoft.com/en-us/updates/azure-availability-zones/ https://www.elastic.co/blog/deploying-elasticsearch-on-microsoft-azure

11. 11 ネットワークセキュリティグループネットワークセキュリティグループ（NSG） • L4フィルタリング • 受信、送信のトラフィック制御 • 設定単位はサブネット、または VM（ARMではNIC単位） • 各NSGルールの適用によるトラフィックの拒否/許可をログ記録することが可能例) Kibana VM用受信ルール

12. 12 データコレクション Beats Log Files Metrics Wire Data your(beat) Kafka Redis Nodes (X) Hadoop Ecosystem Logstash Elasticsearch Kibana X-pack Custom UI Authentication Notification X-pack ES-Hadoop LDAP AD SSO Instances (X) Master Nodes (3) Ingest Nodes (X) Data Nodes - Hot (X) Data Nodes - Warm (X) Messaging Queue Azure Services Blob Storage Service Bus Topic Event Hub PaaS MySQL PaaS PostgreSQL SQL DB HDInsight Azureサービスと連携方法一覧 • Azure Blob Storage • logstash-input-azureblob • Azure Service Bus (Topic) • logstash-input-azuretopic • Azure Event Hub • logstash-input-azureeventhub • Azure SQL Database • logstash-input-jdbc • Azure Database for MySQL • logstash-input-jdbc • Azure Database for PostgreSQL • logstash-input-jdbc • Azure HDInsight • ES-Hadoopによる連携 VM on Azure

13. 13 Azureリソースのメトリック・ログのコレクション Azure診断ログ、活動ログ、メトリックのElastic Stackへの取り込み例 Nodes (X) Logstash Elasticsearch Kibana X-pack Custom UI Authentication Notification X-pack LDAP AD SSO Instances (X) Master Nodes (3) Ingest Nodes (X) Data Nodes - Hot (X) Data Nodes - Warm (X) Azure Services Blob Storage Event Hub 1. Azureリソースが出力する下記の情報は標準で Blob StorageまたはEvent Hubに出力設定可能 • 診断ログ（Diagnostics log） • 活動ログ（Activity log） • メトリック 2. BlobまたはEvent hubに出力されたデータを Logstashを通じてElastic Stackに取り込み可能 Azureリソース関連情報を含め全てのログをElastic Stackで一元管理することができる

14. 14 Elastic on Azure Presented by Creationline Elastic公認パートナーであるクリエーションラインが、Azure上でElasticを導入する際のアーキテクチャ支援、マイグレーションサービスなどフルサポートいたします。 Cloud Everywhereトライアルメニュー (30万円相当が無償) データアナリスト、ElasticエキスパートがAzure上で Elasticを導入する際のアーキテクチャコンサル、マイグレーションなどのコンサルティングを提供します。コンサルティングサービスアーキテクチャ（ハードウェア/ソフトウェア/ネットワーク）クラスタ管理インデックス / シャードの設計クエリの最適化他の製品との連携バックアップおよび高可用性戦略他製品からのマイグレーション ExpressRoute対応クリエーションライン株式会社（Creationline, Inc.） Elastic公認パートナー。高度なアーキテクチャ設計などを得意とするテクノロジスト集団。大手通信事業者、サービス提供事業者などに対して多くの実績を持っている。最新のイノベーティブなテクノロジーをスピード感を持って提供することができる数少ない企業。 https://www.creationline.com/elastic

15. 1515 Appendix – 参考文献 Deploying Elasticsearch on Microsoft Azure https://www.elastic.co/blog/deploying-elasticsearch-on-microsoft-azure Microsoft AzureにElasticsearchをデプロイする https://www.elastic.co/jp/blog/deploying-elasticsearch-on-microsoft-azure Elasticsearch and Kibana Deployments on Azure https://www.elastic.co/blog/elasticsearch-and-kibana-deployments-on-azure Spinning up a cluster with Elastic's Azure Marketplace template https://www.elastic.co/blog/spinning-up-a-cluster-with-elastics-azure-marketplace-template Run Elasticsearch on Azure https://docs.microsoft.com/en-us/azure/architecture/elasticsearch/ Public preview: Azure Availability Zones https://azure.microsoft.com/en-us/updates/azure-availability-zones/ Filter network traffic with network security groups https://docs.microsoft.com/en-us/azure/virtual-network/virtual-networks-nsg Shared Allocation Awareness https://www.elastic.co/guide/en/elasticsearch/reference/6.0/allocation-awareness.html#allocation-awareness Azure Diagnostics Tools https://github.com/Azure/azure-diagnostics-tools

16. 16 Thank you! Enjoy Elastic Stack on Azure!