Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

[ビッグデータオールスターズ] クラウドサービス最新情報 機械学習/AIでこんなことまでできるんです! (Microsoft編)

969 views

Published on

https://docs.com/satonaoki/1969

https://satonaoki.wordpress.com/2016/12/18/big-data-all-stars/

https://eventdots.jp/event/607872

Published in: Software
  • Be the first to comment

[ビッグデータオールスターズ] クラウドサービス最新情報 機械学習/AIでこんなことまでできるんです! (Microsoft編)

  1. 1. Microsoft mission 地球上のすべての個人と すべての組織が、 より多くのことを 達成できるようにする
  2. 2. Digital Transformation 革新的なパーソナル コンピューティング プロダクティビティと ビジネスプロセス インテリジェント クラウド Artificial Intelligence
  3. 3. Agent Applications Services Infrastructure AI の民主化 AI がより身近な存在に
  4. 4. Seeing AI
  5. 5. 人工知能 (AI) とは? 知能 (Intelligence) とは • 学習、理解、思考する能力 人工知能(AI: Artificial Intelligence)とは • 人間の知能そのものをコンピューター上で実現したもの • 人間が知能を使って行うことをコンピューターで実行するもの
  6. 6. 現時点では 実現が難しい 現時点で利用可能な技術
  7. 7. 参照 http://www.image-net.org/ http://image-net.org/challenges/LSVRC/2012/ilsvrc2012.pdf ILSVRC 大量のタグ付き画像データの認識 精度を競うコンテスト
  8. 8. IMAGE NET 2012年
  9. 9. http://image-net.org
  10. 10. 11x11 conv, 96, /4, pool/2 5x5 conv, 256, pool/2 3x3 conv, 384 3x3 conv, 384 3x3 conv, 256, pool/2 fc, 4096 fc, 4096 fc, 1000 AlexNet, 8 layers (ImageNet 2012)
  11. 11. Very 3x3 conv, 64 3x3 conv, 64, pool/2 3x3 conv, 128 3x3 conv, 128, pool/2 3x3 conv, 256 3x3 conv, 256 3x3 conv, 256 3x3 conv, 256, pool/2 3x3 conv, 512 3x3 conv, 512 3x3 conv, 512 3x3 conv, 512, pool/2 3x3 conv, 512 3x3 conv, 512 3x3 conv, 512 3x3 conv, 512, pool/2 fc, 4096 fc, 4096 fc, 1000 VGG, 19 layers (ImageNet 2014)
  12. 12. Ultra ResNet, 152 layers By Microsoft 1x1 conv, 64 3x3 conv, 64 1x1 conv, 256 1x1 conv, 64 3x3 conv, 64 1x1 conv, 256 1x1 conv, 64 3x3 conv, 64 1x1 conv, 256 1x2 conv, 128, /2 3x3 conv, 128 1x1 conv, 512 1x1 conv, 128 3x3 conv, 128 1x1 conv, 512 1x1 conv, 128 3x3 conv, 128 1x1 conv, 512 1x1 conv, 128 3x3 conv, 128 1x1 conv, 512 1x1 conv, 128 3x3 conv, 128 1x1 conv, 512 1x1 conv, 128 3x3 conv, 128 1x1 conv, 512 1x1 conv, 128 7x7 conv, 64, /2, pool/2
  13. 13. Deep Learning 得意分野 画像認識 音声認識Azure Machine Learning
  14. 14. Microsoft の AI 分野での取り組み Bing maps 提供開始 目的地への 最短経路 Microsoft Research 設立 Hotmail 提供開始 迷惑メールの 判別 Bing search 提供開始 最適な 検索結果 1991 20091997 2008 Kinect 販売開始 人の動きを 認識する Azure ML 提供開始 将来起こること の予測 Skype Translator 提供開始 人の言葉を 認識する 2014 20152010 CNTK OSS公開 深層学習 ツールキット 2016 Cognitive Services 提供開始 知覚・記憶・ 判断・推理 2016 クラウド ロボティクス分野 戦略提携 Pepper による 次世代型店舗 2016 Microsoft AI and Research Group 設立 2016 りんな 提供開始 会話型 AI 2015
  15. 15. LINE ID:@ms_rinna
  16. 16. Platform Services Infrastructure Services Web Apps Mobile Apps API Apps Notification Hubs Hybrid Cloud Backup StorSimple Azure Site Recovery Import/Export SQL Database DocumentDB Redis Cache Azure Search Storage Tables SQL Data Warehouse Azure AD Health Monitoring AD Privileged Identity Management Operational Analytics Cloud Services Batch RemoteApp Service Fabric Visual Studio Application Insights VS Team Services Domain Services HDInsight Machine Learning Stream Analytics Data Factory Event Hubs Data Lake Analytics Service IoT Hub Data Catalog Security & Management Azure Active Directory Multi-Factor Authentication Automation Portal Key Vault Store/ Marketplace VM Image Gallery & VM Depot Azure AD B2C Scheduler Xamarin HockeyApp Power BI Embedded SQL Server Stretch Database Mobile Engagement Functions Cognitive Services Bot Framework Cortana Security Center Container Service VM Scale Sets Data Lake Store BizTalk Services Service Bus Logic Apps API Management Content Delivery Network Media Services Media Analytics
  17. 17. Action People Automated Systems Apps Web Mobile Bots Intelligence Dashboards & Visualizations Cortana Bot Framework Cognitive Services Power BI Information Management Event Hubs Data Catalog Data Factory Machine Learning and Analytics HDInsight (R Server and Spark) Stream Analytics Intelligence Data Lake Analytics Machine Learning Big Data Stores SQL Data Warehouse Data Lake Store Data Sources Apps Sensors and devices Data
  18. 18. A GOAL WITHOUT A PLAN IS JUST A WISH Analyze image OCR Category People; 1 face found Adult False Black & White? No Dominant colors Accent color
  19. 19. "faceId": "48cdf8c8-841c-4d33-b875-1710a3fc6542", "faceRectangle": { “width”: 228,“height”: 228, "left": 460,"top": 125 }, "faceAttributes": { "age": 23.5,"gender": "female", "headPose": {"roll": -16.5,"yaw": 22.1,"pitch": 0}, "smile": 0.998, "facialHair": {"moustache": 0,"beard": 0,"sideburns": 0}, "glasses": "ReadingGlasses" } Detection Result Grouping Identity
  20. 20. 8
  21. 21. “Thousands of partners sign in to our platform every hour. The response time from the Face API is incredible, enabling us to verify our drivers without slowing them down.” Dima Kovalev, Product Manager, Uber Face API Read Case Study Here
  22. 22. https://translator.microsoft.com/ neural
  23. 23. Intent PlayVideo Entity Content: Daily Show DateTime.date: T-1 Day Intent PauseDevice Entity DateTime.duration: 5 Minutes Play yesterday’s Daily Show Pause for 5 minutes
  24. 24. https://qnamaker.ai/
  25. 25. ダイアログ形式のコミュニケー ションを実装 (C#, Node.js) ボット アプリをメッセージング サービスに接続 Bing、Cortana などから利用 できるディレクトリに登録
  26. 26. 重 み づ け 更 新 重 み づ け 更 新 重 み づ け 更 新
  27. 27. 従来の ML • DL • 11x11 conv, 96, /4, pool/2 5x5 conv, 256, pool/2 3x3 conv, 384 3x3 conv, 384 3x3 conv, 256, pool/2
  28. 28. AI的な成果
  29. 29. Azure N シリーズ GPU インスタンス 2 種類の NVIDIA GPUを搭載 サイズ コア数 メモリ SSD RDMA GPU NV6 6 56 GB 380 GB - M60 半分 (GPU 1基) NV12 12 112 GB 680 GB - M60 1枚 (GPU 2基) NV24 24 224 GB 1.5 TB - M60 2枚 (GPU 4基) NC6 6 56 GB 380 GB - K80 半分 (GPU 1基) NC12 12 112 GB 680 GB - K80 1枚 (GPU 2基) NC24 24 224 GB 1.5 TB - K80 2枚 (GPU 4基) NC24r 24 224 GB 1.5 TB InfiniBand K80 2枚 (GPU 4基) Visualization の NV 系 Tesla M60搭載 Compute の NC 系 Tesla K80 搭載 Deep Learning はこちら
  30. 30. Azure N シリーズ GPU インスタンス 2 種類の NVIDIA GPUを搭載 サイズ コア数 メモリ SSD RDMA GPU NV6 6 56 GB 380 GB - M60 半分 (GPU 1基) NV12 12 112 GB 680 GB - M60 1枚 (GPU 2基) NV24 24 224 GB 1.5 TB - M60 2枚 (GPU 4基) NC6 6 56 GB 380 GB - K80 半分 (GPU 1基) NC12 12 112 GB 680 GB - K80 1枚 (GPU 2基) NC24 24 224 GB 1.5 TB - K80 2枚 (GPU 4基) NC24r 24 224 GB 1.5 TB InfiniBand K80 2枚 (GPU 4基) Visualization の NV 系 Tesla M60搭載 Compute の NC 系 Tesla K80 搭載 Deep Learning はこちら
  31. 31. Cognitive Toolkit | Caffe | TensorFlow | Torch
  32. 32. • 世界記録を達成した MS Research のスピーチ研究チームが開発 • MIT や Stanford 等の様々な研究者と共同作業で改定中 • Python, C++, BrainScript
  33. 33. Theano only supports 1 GPU We report 8 GPUs (2 machines) for CNTK only as it is the only public toolkit that can scale beyond a single machine. Our system can scale beyond 8 GPUs across multiple machines with superior distributed system performance. 0 10000 20000 30000 40000 50000 60000 70000 80000 CNTK Theano TensorFlow Torch 7 Caffe Speed Comparison (Frames/Second, The Higher the Better) 1 GPU 1 x 4 GPUs 2 x 4 GPUs (8 GPUs) 2015年7月時点
  34. 34. Cognitive Toolkit による 自動応答システムの実現
  35. 35. https://notebooks.azure.com/
  36. 36. モデル 学習 データを使ってモデルを教育すること モデルの出来を精度から測ってあげること評価
  37. 37. データ準備 加工 学習 モデル 分割 評価
  38. 38. 学習
  39. 39. https://azure.microsoft.com/en-us/marketplace/partners/microsoft-ads/dsvm-deep-learningtoolkit/
  40. 40. 故障診断 医療診断物品の自動仕分け
  41. 41. 機械学習 教師あり学習 教師なし学習 強化学習 決定木 線形回帰 SVM ロジスティック回帰 ニューラルネットワーク クラスタリング 次元削減 Q学習 K-mean法 主成分分析 正準相関分析 ディープニューラル ネットワーク 畳みこみニューラル ネットワーク 再帰的ニューラル ネットワーク 回帰結合ニューラル ネットワーク
  42. 42. 62 ※ Wikipedia より引用 定型レポート (SSRS) セルフサービス BI (Power BI) マシンラーニング (Azure ML) 機械学習とデータマイニングは交差する部分が大きく、技法も同じなので混同されることが多いが、次のように定義できる。 • 機械学習の目的は、訓練データから学んだ「既知」の特徴に基づく予測である。 • データマイニングの目的は、それまで「未知」だったデータの特徴を発見することである。
  43. 43. • レコメンデーション • 同じ商品を買った人が買った別のアイテムを お勧め商品として提示 • 同じ属性を持った人が買った商品を お勧め商品として提示 • 分類 • メール本文・タイトルの内容からスパムメールの分類 • Web サイトの行動履歴から不正ユーザの検出 • 異常検知 • センサー情報に基づく機械故障予測 • NW アクセス情報から不正アクセスや攻撃を検知 • ユーザ属性の推定 • 属性情報が完全に取れているお客様のデータから、属性情報に欠損のあるお客様の属性情報を推定 63
  44. 44. • クラウドベースの機械学習実行基盤 • 機械学習の「モデル作成」「モデルの評価」から、作成した分析モデルのデプロイ( Web サービ ス化)まで、機械学習 の開発~サービス提供で必要となるすべてのコンポーネントを PaaS で 提供 Microsoft Azure Machine Learning 開発環境 予測モデルのデプロイ ( Web サービス ) 64
  45. 45. 1. トレーニングデータ(実績データ)の準備 • 予測モデルを作成する為のトレーニングデータ(実績データ)を準備 例:顧客属性によるお勧め商品の提示(リコメンデーション)を行いたいのであれば、どういった属 性情報のお客様が、どういう商品を買ったのかという実績データが必要 2. 予測モデルの開発と評価 3. 予測モデルの公開(Web サービス) • 作成した予測モデルは、非常に簡単な操作でWebサービスとして公開可能。 65
  46. 46. ① 部品をドラッグ&ドロップ ②各部品のプロパティーを設定 66 Azure ML Studio の基本的な使い方
  47. 47. ① 部品をドラッグ&ドロップ ②各部品のプロパティーを設定 67Azure ML Studio の基本的な使い方
  48. 48. 68
  49. 49. 69
  50. 50. 70
  51. 51. 71
  52. 52. AI のためのREST API サービス群 https://www.microsoft.com/cognitive-services 独自の機械学習モデルの開発、 REST APIサービス化のためのサービス https://azure.microsoft.com/ja-jp/services/machine-learning/ ディープ ラーニング処理の最適なGPU VM インスタンス https://azure.microsoft.com/ja-jp/pricing/details/virtual-machines/series/#n-series OSS のディープ ラーニング フレームワーク https://www.microsoft.com/en-us/research/product/cognitive-toolkit/

×