SlideShare a Scribd company logo
1 of 39
Download to read offline
Azure Machine Learning 從頭學
Ko Ko, Microsoft AI MVP
2021/09/25 @STUDY4.TW
自我介紹
大家可以叫我科科或是Ko Ko
Microsoft AI MVP
目前致力於製造業的AI導入
國內大型技術年會講者,包含 COSCUP、Modern Web、.NET CONF 等
https://www.linkedin.com/in/ko-ko-b12a3474/
大綱
1、Azure Machine Learning 基本介紹
2、Live Demo:環境建置
3、Live Demo:資料與 Pipeline 建置
4、Live Demo:部署
5、AI 專案實戰經驗分享(利用等待的時間來講)
微軟目前三個 AI 服務
ML.NET:
可在地端或雲端訓練客製化模型,強調與 .NET 應用程式的開發整合。
Azure Cognitive Services:
是雲端服務,提供預建立好的 AI 模型和 SDK,以供整合到應用程式,也有部份 train
model 功能(能調整的地方有限)。
Azure Machine Learning:
是雲端服務,是一個全面性的開發環境,以 Python 為主,也支援其他的語言,可以訓
練、部署、管理AI模型等。
Azure Machine Learning 新舊版差異
1、兩者都有 Azure Machine Learning Studio 的稱呼。
2、舊版會在後面加上 Classic 的註明。
3、舊版的2021年的12月1日起就不能再建立新的專案,並在2024年就會停止支援。
4、新版的功能更符合當代 MLOps 的觀念。
Azure Machine Learning 新舊版差異
做 AI 程式碼雖然是核心,但只佔了一小部份
Holt, Gary & Golovin, Daniel & Davydov, Eugene
& Phillips, Todd & Ebner, Dietmar & Chaudhary,
Vinay & Young, Michael & Dennison, Dan. (2015).
Hidden Technical Debt in Machine Learning
Systems. NIPS. 2494–2502.
MLOps : 企業最終要大規模導入AI要走的路
https://ml-ops.org/content/mlops-principles
Azure Machine Learning 架構
LIVE DEMO TIME !!
Azure Machine Learning SDK
ws = Workspace.create(name='<Your Workspace Name>',
subscription_id='<Your Subscription ID>',
resource_group='<Resource group Name>',
create_resource_group=True,
location='<Nearest Azure region>')
ws.write_config(path="./config")
ws =
Workspace.from_config(path="./config")
az_store =
Datastore.register_azure_blob_container
(
workspace=ws,
datastore_name="blobname",
account_name="accountname",
container_name="containername",
account_key="key"
)
AI 專案實戰經驗分享(利用等待的時間來講)
傳統寫程式
參考文獻、Book: AI and Machine Learning for
Coders
規則
資料
答案
今天一個人在移動,智慧手錶的程式要從他
移動的方式,判斷他是在走路、騎 腳踏車,
還是在游泳。
Machine Learning
答案
資料
規則
用資料和答案,來得到規則( AI 模型),再把
沒有答案的資料給這個規則,而得到答案。
注意,有的時候是沒有答案的
參考文獻、Book: AI and Machine Learning for
Coders
監督式學習和非監督式學習
https://www.google.com/url?sa=i&url=https%3A%2F%2Fwww.researchgate.net%2Ffigure%2FExamples
-of-Supervised-Learning-Linear-Regression-and-Unsupervised-Learning_fig3_336642133&psig=AOvVa
w0TUTBCp320XD7yyfzeW30V&ust=1618452711666000&source=images&cd=vfe&ved=0CAIQjRxqFwo
TCMj0pqrU_O8CFQAAAAAdAAAAABAD
機器學習和統計學在目的上不同
統計要從樣本數量,去看全體。如選舉民調。
機器學習要從過去的樣本數,去處理新的資料,以解決問題。如從消費紀錄,預測這
個客人下次要買什麼。
兩者在方法上是可以相同的。
https://medium.com/
@harish_6956/what-i
s-machine-learning-d
eep-learning-778860
4004da
AI 能解決什麼問題?
https://books.cw.
com.tw/blog/artic
le/1285
Cufusion Matrix
Accuracy = ( TP + TN ) / 全部樣本數
Precision = TP / ( TP + FP )
Recall = TP / (TP + FN )
F1 Score (兩者權重一樣時)= 2 / (1/Precision + 1/Recall )
實際上是 True 實際上是 False
預測為 True TP FP
預測為 False FN TN
https://soshace.com/deep-learni
ng-vs-machine-learning-overvie
w-comparison/
Spurious correlation
指在兩個沒有因果關係的事件,可能基於其他未見的干擾因素,顯示出統計學上的相
關,讓人很容易猜想「兩個事件有所聯繫」,然而這種聯繫並不能通過更加精細的檢驗
,因此往往是沒有關係的兩件事。
「夏以妹喜,殷以妲己,周以褒姒,三代所由亡也。」 --- 杜預注《左傳》
https://www.vox.com/2014/5/13/5710874/the-best-illustra
tion-youll-see-that-correlation-doesnt-equal
DATA 的標註一開始就錯了
https://arxiv.org/
pdf/2103.14749.
pdf
DATA 本身就有爭議性
Google Brain 在2016年做視網膜病變時發生
同一張圖,有些醫生認為是病變,有些覺得沒有病變
同一張圖,有些醫生認為是重度病變,有些認為是輕度
https://www.aaojournal.org/action/s
howPdf?pii=S0161-6420%2817%2
932698-2
產業AI化該如何做?
「人」是最大的挑戰
培養資料驅動的組織文化
找對問題
站在巨人肩膀上
善用現成的工具
「人」是最大的挑戰
公司高層(老闆)沒有人工智慧的素養(AI專案會失敗的最大原因)
AI 相關的工程師好找但是素質不一
領域知識太深,而AI 人員缺乏正確的理解
IT 團隊不願與時俱進(應建置獨立的AI團隊)
SI 不好做(尤其牽涉到軟硬整合)
AI團隊該有的角色
1、有決策權和AI sense的高層(最重要)
2、資料科學家:從資料中找出問題,具分析和溝通的能力,了解整個AI專案。
3、資料工程師:收集整理資料,做前處理,資料庫相關的技術。
4、演算法工程師:了解各種演算的意義和能解決的問題,訓練模型和優化。
5、系統整合工程師:將 AI 模型與現有系統整合、部署等。
切勿過早要求 ROI (Return on investment)
資料的收集,不是短時間可以達成。
資料的清理,往往要投入後才能評估初步的時程。
即使真的train出好模型,也需要驗證。
人員抗拒改變組織流程的心態。
關注在潛在效益比較實際。
案例分享 --- 房地產投資
台中人口爆漲,已經超過高雄成為第二大城了,房地產投資可期
爬出實價登錄的資料
串接Google地圖,取得目標房子周圍的設施
使用LGBM、XGBoost等算法
Emsemble 後,房價預估準確率可以高達 90%
你有一間房子在開山里,周圍有什麼設施……
案例分享 --- 房地產投資成效
我舊家樓下同格局低樓層,成交已經創社區新高。
之前很想買但是沒有買的,別人一年內轉手賺約50萬。
我去年底新買的,最近社區成交資料,換算約漲30萬。
但是,這是真的嗎?
案例分享 --- 房地產投資重點
影響因
子排名
名稱
1 公園
2 餐廳、速食店*
3 幼兒園
4 大型購物中心
5 捷運
結語
對於 Azure Machine Learning 有初步的了解
會 Azure Machine Learning 的基本操作
知道 Azure Machine Learning SDK 是什麼
了解部署的方式
從實戰經驗中學到一些技術面向之外的東西
目前鐵人賽連載中
https://ithelp.ithome.com.tw/users/20120030/ironman/4905
謝謝大家!!
Q&A

More Related Content

What's hot

S10_Microsoft 365 E5 Compliance で実現する機密情報の検出・分類・保護 - Microsoft Information P...
S10_Microsoft 365 E5 Compliance で実現する機密情報の検出・分類・保護  - Microsoft Information P...S10_Microsoft 365 E5 Compliance で実現する機密情報の検出・分類・保護  - Microsoft Information P...
S10_Microsoft 365 E5 Compliance で実現する機密情報の検出・分類・保護 - Microsoft Information P...
日本マイクロソフト株式会社
 
S18_ゼロトラストを目指し、Windows 10 & M365E5 を徹底活用した弊社 (三井情報) 事例のご紹介 [Microsoft Japan D...
S18_ゼロトラストを目指し、Windows 10 & M365E5 を徹底活用した弊社 (三井情報) 事例のご紹介 [Microsoft Japan D...S18_ゼロトラストを目指し、Windows 10 & M365E5 を徹底活用した弊社 (三井情報) 事例のご紹介 [Microsoft Japan D...
S18_ゼロトラストを目指し、Windows 10 & M365E5 を徹底活用した弊社 (三井情報) 事例のご紹介 [Microsoft Japan D...
日本マイクロソフト株式会社
 
Azure reliability v0.2.21.0630
Azure reliability v0.2.21.0630Azure reliability v0.2.21.0630
Azure reliability v0.2.21.0630
Ayumu Inaba
 
おさらいグループポリシー 120320
おさらいグループポリシー 120320おさらいグループポリシー 120320
おさらいグループポリシー 120320
wintechq
 

What's hot (20)

一歩先行く Azure Computing シリーズ(全3回) 第2回 Azure VM どれを選ぶの? Azure VM 集中講座
一歩先行く Azure Computing シリーズ(全3回) 第2回 Azure VM どれを選ぶの? Azure VM 集中講座一歩先行く Azure Computing シリーズ(全3回) 第2回 Azure VM どれを選ぶの? Azure VM 集中講座
一歩先行く Azure Computing シリーズ(全3回) 第2回 Azure VM どれを選ぶの? Azure VM 集中講座
 
IDaaS を正しく活用するための認証基盤設計 ~Azure Active Directory の構成パターン詳細~
IDaaS を正しく活用するための認証基盤設計 ~Azure Active Directory の構成パターン詳細~IDaaS を正しく活用するための認証基盤設計 ~Azure Active Directory の構成パターン詳細~
IDaaS を正しく活用するための認証基盤設計 ~Azure Active Directory の構成パターン詳細~
 
はじめてのOracle Cloud Infrastructure (Oracle Cloudウェビナーシリーズ: 2021年6月16日)
はじめてのOracle Cloud Infrastructure (Oracle Cloudウェビナーシリーズ: 2021年6月16日)はじめてのOracle Cloud Infrastructure (Oracle Cloudウェビナーシリーズ: 2021年6月16日)
はじめてのOracle Cloud Infrastructure (Oracle Cloudウェビナーシリーズ: 2021年6月16日)
 
Web App for Containers + Cosmos DBで コンテナ対応したMEANアプリを作ろう!
Web App for Containers + Cosmos DBで コンテナ対応したMEANアプリを作ろう!Web App for Containers + Cosmos DBで コンテナ対応したMEANアプリを作ろう!
Web App for Containers + Cosmos DBで コンテナ対応したMEANアプリを作ろう!
 
S10_Microsoft 365 E5 Compliance で実現する機密情報の検出・分類・保護 - Microsoft Information P...
S10_Microsoft 365 E5 Compliance で実現する機密情報の検出・分類・保護  - Microsoft Information P...S10_Microsoft 365 E5 Compliance で実現する機密情報の検出・分類・保護  - Microsoft Information P...
S10_Microsoft 365 E5 Compliance で実現する機密情報の検出・分類・保護 - Microsoft Information P...
 
はじめてのOracle Cloud Infrastructure (Oracle Cloudウェビナーシリーズ: 2021年8月11日)
はじめてのOracle Cloud Infrastructure (Oracle Cloudウェビナーシリーズ: 2021年8月11日)はじめてのOracle Cloud Infrastructure (Oracle Cloudウェビナーシリーズ: 2021年8月11日)
はじめてのOracle Cloud Infrastructure (Oracle Cloudウェビナーシリーズ: 2021年8月11日)
 
Microsoft MVP が語る Azure 移行の勘所
Microsoft MVP が語る Azure 移行の勘所Microsoft MVP が語る Azure 移行の勘所
Microsoft MVP が語る Azure 移行の勘所
 
AWS 初心者向けWebinar 利用者が実施するAWS上でのセキュリティ対策
AWS 初心者向けWebinar 利用者が実施するAWS上でのセキュリティ対策AWS 初心者向けWebinar 利用者が実施するAWS上でのセキュリティ対策
AWS 初心者向けWebinar 利用者が実施するAWS上でのセキュリティ対策
 
TECHTALK 20200923 Qlik Sense+Qlik NPrinting でセルフサービスBIから定型帳票の配信までをカバー
TECHTALK 20200923 Qlik Sense+Qlik NPrinting でセルフサービスBIから定型帳票の配信までをカバーTECHTALK 20200923 Qlik Sense+Qlik NPrinting でセルフサービスBIから定型帳票の配信までをカバー
TECHTALK 20200923 Qlik Sense+Qlik NPrinting でセルフサービスBIから定型帳票の配信までをカバー
 
S18_ゼロトラストを目指し、Windows 10 & M365E5 を徹底活用した弊社 (三井情報) 事例のご紹介 [Microsoft Japan D...
S18_ゼロトラストを目指し、Windows 10 & M365E5 を徹底活用した弊社 (三井情報) 事例のご紹介 [Microsoft Japan D...S18_ゼロトラストを目指し、Windows 10 & M365E5 を徹底活用した弊社 (三井情報) 事例のご紹介 [Microsoft Japan D...
S18_ゼロトラストを目指し、Windows 10 & M365E5 を徹底活用した弊社 (三井情報) 事例のご紹介 [Microsoft Japan D...
 
Microsoft Windows Server 2022 Overview
Microsoft Windows Server 2022 OverviewMicrosoft Windows Server 2022 Overview
Microsoft Windows Server 2022 Overview
 
Azure reliability v0.2.21.0630
Azure reliability v0.2.21.0630Azure reliability v0.2.21.0630
Azure reliability v0.2.21.0630
 
サポート エンジニアが Azure Networking をじっくりたっぷり語りつくす会
サポート エンジニアが Azure Networking をじっくりたっぷり語りつくす会サポート エンジニアが Azure Networking をじっくりたっぷり語りつくす会
サポート エンジニアが Azure Networking をじっくりたっぷり語りつくす会
 
おさらいグループポリシー 120320
おさらいグループポリシー 120320おさらいグループポリシー 120320
おさらいグループポリシー 120320
 
Types Of Networks انواع الشبكات
Types Of Networks انواع الشبكاتTypes Of Networks انواع الشبكات
Types Of Networks انواع الشبكات
 
Qlik Sense Extension開発 - Extensionの概要から実際の開発詳細まで
Qlik Sense Extension開発 - Extensionの概要から実際の開発詳細までQlik Sense Extension開発 - Extensionの概要から実際の開発詳細まで
Qlik Sense Extension開発 - Extensionの概要から実際の開発詳細まで
 
Azureの管理権限について
Azureの管理権限について Azureの管理権限について
Azureの管理権限について
 
Azure Cosmos DB の整合性レベルについて
Azure Cosmos DB の整合性レベルについてAzure Cosmos DB の整合性レベルについて
Azure Cosmos DB の整合性レベルについて
 
[AWS初心者向けWebinar] 利用者が実施するAWS上でのセキュリティ対策
[AWS初心者向けWebinar] 利用者が実施するAWS上でのセキュリティ対策[AWS初心者向けWebinar] 利用者が実施するAWS上でのセキュリティ対策
[AWS初心者向けWebinar] 利用者が実施するAWS上でのセキュリティ対策
 
Hybrid Azure AD Join 動作の仕組みを徹底解説
Hybrid Azure AD Join 動作の仕組みを徹底解説Hybrid Azure AD Join 動作の仕組みを徹底解説
Hybrid Azure AD Join 動作の仕組みを徹底解説
 

Similar to Azure Machine Learning 重頭學

Similar to Azure Machine Learning 重頭學 (20)

Introduction to MLOps in Azure Machine Learning with Live Demo
Introduction to MLOps in Azure Machine Learning with Live DemoIntroduction to MLOps in Azure Machine Learning with Live Demo
Introduction to MLOps in Azure Machine Learning with Live Demo
 
[Study4.TW .NET Conf 2019]看,用 Azure 建立工業 4.0 的第一步
[Study4.TW .NET Conf 2019]看,用 Azure 建立工業 4.0 的第一步[Study4.TW .NET Conf 2019]看,用 Azure 建立工業 4.0 的第一步
[Study4.TW .NET Conf 2019]看,用 Azure 建立工業 4.0 的第一步
 
twMVC#04 | ASP.NET MVC 4 新功能介紹(快速上手)
twMVC#04 | ASP.NET MVC 4 新功能介紹(快速上手)twMVC#04 | ASP.NET MVC 4 新功能介紹(快速上手)
twMVC#04 | ASP.NET MVC 4 新功能介紹(快速上手)
 
ASP.NET MVC 4 新功能介紹(快速上手) -twMVC#4
ASP.NET MVC 4 新功能介紹(快速上手) -twMVC#4ASP.NET MVC 4 新功能介紹(快速上手) -twMVC#4
ASP.NET MVC 4 新功能介紹(快速上手) -twMVC#4
 
iThome Modern Web 2018: 如何打造高效的機器學習平台
iThome Modern Web 2018: 如何打造高效的機器學習平台iThome Modern Web 2018: 如何打造高效的機器學習平台
iThome Modern Web 2018: 如何打造高效的機器學習平台
 
Developing Serverless application with Microsoft Azure and Cognitive Services
Developing Serverless application with Microsoft Azure and Cognitive ServicesDeveloping Serverless application with Microsoft Azure and Cognitive Services
Developing Serverless application with Microsoft Azure and Cognitive Services
 
twMVC#05 |開發與移轉 ASP.NET MVC 4.0 應用程式到 Windows Azure Platform
twMVC#05 |開發與移轉 ASP.NET MVC 4.0 應用程式到 Windows Azure PlatformtwMVC#05 |開發與移轉 ASP.NET MVC 4.0 應用程式到 Windows Azure Platform
twMVC#05 |開發與移轉 ASP.NET MVC 4.0 應用程式到 Windows Azure Platform
 
Bot Framework 和它的快樂夥伴Composer
Bot Framework 和它的快樂夥伴ComposerBot Framework 和它的快樂夥伴Composer
Bot Framework 和它的快樂夥伴Composer
 
雲的萬物論 - 讓 AI 為企業所用
雲的萬物論 - 讓 AI 為企業所用雲的萬物論 - 讓 AI 為企業所用
雲的萬物論 - 讓 AI 為企業所用
 
簡介Azure在Chatbot開發上的應用
簡介Azure在Chatbot開發上的應用簡介Azure在Chatbot開發上的應用
簡介Azure在Chatbot開發上的應用
 
Azure Functions
Azure FunctionsAzure Functions
Azure Functions
 
Tech days2011
Tech days2011Tech days2011
Tech days2011
 
20230830 淺談 Azure OpenAI.pdf
20230830 淺談 Azure OpenAI.pdf20230830 淺談 Azure OpenAI.pdf
20230830 淺談 Azure OpenAI.pdf
 
入門 Teams Bot
入門 Teams Bot入門 Teams Bot
入門 Teams Bot
 
[2021 DevDays]Microsoft Teams 整合 Azure DevOps之實務應用
[2021 DevDays]Microsoft Teams 整合 Azure DevOps之實務應用[2021 DevDays]Microsoft Teams 整合 Azure DevOps之實務應用
[2021 DevDays]Microsoft Teams 整合 Azure DevOps之實務應用
 
Microsoft Generative AI and Medical case studies.
Microsoft Generative AI and Medical case studies.Microsoft Generative AI and Medical case studies.
Microsoft Generative AI and Medical case studies.
 
2014 Global Windows Bootcamp - 笑cc讓網站上雲端
2014 Global Windows Bootcamp - 笑cc讓網站上雲端2014 Global Windows Bootcamp - 笑cc讓網站上雲端
2014 Global Windows Bootcamp - 笑cc讓網站上雲端
 
用 Azure 快速部署與開發 LINE bot
用 Azure 快速部署與開發 LINE bot用 Azure 快速部署與開發 LINE bot
用 Azure 快速部署與開發 LINE bot
 
Building Chatbot With Huggging Face
 				Building Chatbot With Huggging Face 				Building Chatbot With Huggging Face
Building Chatbot With Huggging Face
 
20170108 微軟大數據整合解決方案- cortana intelligence suite
20170108 微軟大數據整合解決方案- cortana intelligence suite20170108 微軟大數據整合解決方案- cortana intelligence suite
20170108 微軟大數據整合解決方案- cortana intelligence suite
 

More from Ko Ko

More from Ko Ko (16)

Langchain and Azure ML and Open AI
Langchain and Azure ML and Open AILangchain and Azure ML and Open AI
Langchain and Azure ML and Open AI
 
Learn Django With ChatGPT
Learn Django With ChatGPTLearn Django With ChatGPT
Learn Django With ChatGPT
 
Introduction Hugging face.pdf
Introduction Hugging face.pdfIntroduction Hugging face.pdf
Introduction Hugging face.pdf
 
Triton As NLP Model Inference Back-end
 Triton As NLP Model Inference Back-end Triton As NLP Model Inference Back-end
Triton As NLP Model Inference Back-end
 
Run Bokeh in back-end, draw real-time charts to front-end, and make data sc...
Run Bokeh in back-end,  draw real-time charts to front-end,  and make data sc...Run Bokeh in back-end,  draw real-time charts to front-end,  and make data sc...
Run Bokeh in back-end, draw real-time charts to front-end, and make data sc...
 
SignalR整合LINE,在LIFF裡建立一對一聊天管道
SignalR整合LINE,在LIFF裡建立一對一聊天管道SignalR整合LINE,在LIFF裡建立一對一聊天管道
SignalR整合LINE,在LIFF裡建立一對一聊天管道
 
來玩 Bot Framework Composer 2.0版吧!
來玩 Bot Framework Composer 2.0版吧!來玩 Bot Framework Composer 2.0版吧!
來玩 Bot Framework Composer 2.0版吧!
 
聊天機器人的行銷與開發技巧應用在婚禮上
聊天機器人的行銷與開發技巧應用在婚禮上聊天機器人的行銷與開發技巧應用在婚禮上
聊天機器人的行銷與開發技巧應用在婚禮上
 
ML.NET 在遷移式學習的應用與挑戰
ML.NET 在遷移式學習的應用與挑戰ML.NET 在遷移式學習的應用與挑戰
ML.NET 在遷移式學習的應用與挑戰
 
Bot framework composer---用圖形化介面來建立聊天機器人
Bot framework composer---用圖形化介面來建立聊天機器人Bot framework composer---用圖形化介面來建立聊天機器人
Bot framework composer---用圖形化介面來建立聊天機器人
 
簡介Wordpress部署在AWS上的幾種架構
簡介Wordpress部署在AWS上的幾種架構簡介Wordpress部署在AWS上的幾種架構
簡介Wordpress部署在AWS上的幾種架構
 
業界都在用的自然語言理解工具,教你快速建構Line對話機器人
業界都在用的自然語言理解工具,教你快速建構Line對話機器人業界都在用的自然語言理解工具,教你快速建構Line對話機器人
業界都在用的自然語言理解工具,教你快速建構Line對話機器人
 
自然語言理解的 Line 機器人實戰
自然語言理解的 Line 機器人實戰自然語言理解的 Line 機器人實戰
自然語言理解的 Line 機器人實戰
 
三十分鐘內,不用寫程式,教你打造具自然語言能力的聊天機器人
三十分鐘內,不用寫程式,教你打造具自然語言能力的聊天機器人三十分鐘內,不用寫程式,教你打造具自然語言能力的聊天機器人
三十分鐘內,不用寫程式,教你打造具自然語言能力的聊天機器人
 
從負面案例來討論接案工程師該有什麼軟技能
從負面案例來討論接案工程師該有什麼軟技能從負面案例來討論接案工程師該有什麼軟技能
從負面案例來討論接案工程師該有什麼軟技能
 
YOLO V1 論文導讀
YOLO V1 論文導讀YOLO V1 論文導讀
YOLO V1 論文導讀
 

Azure Machine Learning 重頭學