Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

The Infinite Benefits of Microsoft Azure ~ Scality Connect for Azure Blob Storage x Azureで広がるデータ分析・活用 ~


Published on

Slides for Presentation at Scality SDS Day 2017 Tokyo

Published in: Technology
  • Be the first to comment

  • Be the first to like this

The Infinite Benefits of Microsoft Azure ~ Scality Connect for Azure Blob Storage x Azureで広がるデータ分析・活用 ~

  1. 1. The Infinite Benefits of Microsoft Azure ~ Scality Connect for Azure Blob Storage x Azureで広がるデータ分析・活用 ~ Yoichi Kawasaki Azure Technology Solution Professional Asia Intelligent Cloud Global Black Belt Microsoft Corporation Slides for Presentation at Scality SDS Day 2017
  2. 2. Scality Connect for Azure Blob Storageとは? アプリケーション S3 API • Amazon S3 APIコールからAzure Blob Storage API へのコール変換を行うトランスレーションレイヤ • Azureネイティブフォーマットでデータを保存
  3. 3. 36の地域でサービス中、42 の地域まで拡大予定 (2017年 10月 18日現在) 世界最大のインフラストラクチャー
  4. 4. Platform Services Infrastructure Services Web Apps Mobile Apps API Apps Notification Hubs Hybrid Cloud Backup StorSimple Azure Site Recovery Import/Export SQL Database CosmosDB Redis Cache Azure Search Storage Tables SQL Data Warehouse Azure AD Health Monitoring AD Privileged Identity Management Operational Analytics Cloud Services Batch RemoteApp Service Fabric Visual Studio Application Insights VS Team Services Domain Services HDInsight Machine Learning Stream Analytics Data Factory Event Hubs Data Lake Analytics Service IoT Hub Data Catalog Security & Management Azure Active Directory Multi-Factor Authentication Automation Portal Key Vault Store/ Marketplace VM Image Gallery & VM Depot Azure AD B2C Scheduler Xamarin HockeyApp Power BI Embedded SQL Server Stretch Database Mobile Engagement Functions Cognitive Services Bot Framework Cortana Security Center Container Service VM Scale Sets Data Lake Store BizTalk Services Service Bus Logic Apps API Management Content Delivery Network Media Services Media Analytics
  5. 5. Azure Blob Storageとは? • 単一障害点の無い、高度に分散化、冗長化されたスケーラブル なオブジェクトストレージ • メディアデータ(画像、動画)、文書、ログ、バックアップや アーカイブのためのデータを格納 • Blobサービスの概念
  6. 6. 簡易ウェブサーバー機能で静的データ配信 https://<Account> 1. Storage Resource URI 2. Storage Resource URI + Shared Access Signature(SAS) Token https://<Account> ?sv=2015-07-08&sr=b&sig=39Up9JzHaxhUIhFEjEH9594DJxe7w6cIRCg0Vo%3D &se=2017-10-18T21%3A51%3A37Z&sp=rcw
  7. 7. Azure CDNを活用した大規模・高速配信 Azure Blob Storage
  8. 8. Blobファイル作成をトリガーにカスタム処理実行 S3 API • トリガーベースで小規模コードを実行するServerlessソリューション • 複数言語サポート: C#, F#, Node.js, Python, PHP, Java, Batch, Bash) • トリガーの種類:Webhook, HTTP, Timer, Azureサービスイベント (Blob, Queue, EventHub, Cosmos DB, etc) • 複数Azureサービス/3rd Partyサービスとの統合 Azure Functions Blobファイル アップロード CSVファイルを元に Azureテーブルへの変換 Power BIでグラフ化 (可視化)
  9. 9. Azure Searchによる非構造化データの全文検索 S3 API Azure Blob Storage Azure Search • オフィス、PDF, HTMLからのAzure Searchインデックス 作成が可能 ( PDF, Microsoft Office formats, Outlook emails, HTML, XML, ZIP, EML, RTF etc) • 定期的実行による更新(最小5分)が基本、データソース のフルクロールも可能 Azure Search Blob Indexer Title=“Azure Search Deep Dive” Description = Many applications use search as the primary interaction …Microsoft … LastUpdate= 2017-10-18 Rating = 5
  10. 10. Blobストレージを基盤とした AzureのBig Data&分析サービス群 Hadoop (HDInsight) Azure Machine Learning Azure SQL Data warehouse Azure Data Factory S3 API
  11. 11. Blobデータを取り込み機械学習の実行 Azure SQL DB データ クライアント 構築されたモデル はAPI経由で利用可能 API ML STUDIO Business problem Modeling Deployment Business value Devices Applications Dashboards データ→モデル→Webサービス Microsoft Azure Machine Learning GUIでモデル作成・ トレーニング・評価 Hadoop (HDInsight) Blobs Tables
  12. 12. Blobストレージを基盤としたHadoop分散ファイルシステム 上のデータに対してMapReduceやSpark処理の実行 HDInsightクラスタ Hadoop 分散ファイルシステム(HDFS) API Azure Blobs Windows Azure Storage Blobs (WASB) MapReduce/Tez HBase Storm . . .Mahout SparkHive/Pig 構造化・非構造化データ等 あるゆるデータの加工と分析 をサポート HDInsight エンタープライズクラスの Hadoop PaaS型サービス
  13. 13. まとめ • Scality Connect for Azure Blob Storageによりアプリ開発 者はコストを軽減しつつクラウドストレージの柔軟性を 享受することが可能となる • Azure Blob ストレージに保存されたデータは、バック アップやアーカイブ以外に、Azureサービスとの連携に よりデータ分析・活用の幅を広げることができる