Microsoft recommendation solution on azure

推薦系統基礎介紹 -
以 MICROSOFT RECOMMENDATION SOLUTION 為例
Presented by
Duran Hsieh
http://dog0416.blogspot.com/

2Presented By: Duran Hsieh
關於我
• 謝政廷 (Duran Hsieh)
• 曾任逢甲大學資訊系
• 教育部計畫/國科會計畫兼任研究助理
• 文史脈流/網通人才培育/資策會委託案
• ASP .NET MVC C#/Android 業師
• 曾任凌網科技 :
• 開發工程師/資深工程師/教育訓練講師/專案經理
• 13建置案/維護案、參與競標簡報 (1 android project)
• 15場教育訓練、訓練超過150位以上使用者
• 曾任 Freelancer
• 外包專案、自由研究開發者 (1 android project)
• 台中市輔具整合平台

關於我
• 現任 Asia Fusion Technology
• .NET Developer / Senior .NET Developer
• 現任 2016-2019年 Microsoft MVP
• Visual Studio and Development Technologies
• Developer Technologies
• 現任 Study4.TW 社群成員
• 台中活動負責人
• 現任台灣軟體工程學會理事

關於我
• 證照與課程完成證明
• Oracle Certified Professional, Java SE 6 Programmer
• MS: Programming in HTML5 with JavaScript and CSS3
• Oracle Database SQL Certified Expert
• Oracle Database 10g Administrator Certified Associate - Version Retired
• Oracle Database 10g Administrator Certified Professional - Version
Retired
• (Course completion confirmation) M102: MongoDB for DBAs
• (Course completion confirmation) M101N: MongoDB for .NET
Developers
• MCSA: Web Applications
• MCSD: Web Applications
• MCSD: App Builder

關於我
• 競賽
• 2011資訊教育與科技應用研討會專題競賽佳作(Excellent Work)
• 2010 Open Source and Creative Application Contest (Silver
Medal Award)
• 2012跨領域創意網路通訊應用與服務競賽 (特優)
• IBM Taiwan 2011 z Master Contest (Excellent Performance in
Part II)
• The 2012 Network Communication software and Creative
Application Contest Award (First Prize)
• 2014第7屆IT邦幫忙鐵人賽入圍佳作(Excellent Work)
• 2015 Microsoft Community Challenge (Second Prize)
• 2017第8屆IT邦幫忙鐵人賽佳作(Excellent Work)
• 2018第9屆IT邦幫忙鐵人賽佳作(Excellent Work)

關於我
• 其他
• Blog : http://dog0416.blogspot.com/
• DotBlog : https://dotblogs.com.tw/dog0416
• GitHub : https://github.com/matsurigoto/
• Bitbucket : https://bitbucket.org/matsurigoto/
• DockerHub : https://hub.docker.com/u/matsurigoto/

OUTLINE
• 資料探勘與AI
• 推薦系統
• Azure 與 App Service 簡介
• Microsoft
Recommendations Solution
• Smart Adaptive
Recommendations (SAR)
Algorithm
• 建置與佈署
• 匯入資料、訓練與結果
• 結論

資料探勘與AI
• 資料探勘
• 科技進步，已經能記錄龐大的資料與資訊
• 意味著可能可以從中發現更多未知關連與規則，進而預
測可能發生的事情。
• 因為未知，資料匯入系統後，複雜的計算，有可能產生
有用的結果 (知識)。
• 最有名的案例：關聯法則 (尿布與啤酒)

資料探勘與AI
• 資料探勘流程

資料探勘與AI
• 資料收集
• 資料庫 (原始資料)
• 資料倉儲 (企業決策資料)
• 資料選擇
• 清楚定義問題與資料探勘的目標
• 選擇適合探勘目的的原始資料
• 資料轉換 (資料清理或預處理)
• 資料清理
• 修正錯誤
• 轉換成一致資料

資料探勘與AI
• 資料探勘
• 找出隱藏在資料間的關係與規則
• 過程中的一小部分，但極為重要
• 結果呈現與解讀
• 對於關係、規則或型樣(Pattern) 進行分析
• 解讀與專業人員的評估
• 轉換知識

資料探勘與AI
• 資料探勘常見方法
• 關聯法則 (Association Rule)
• 分類 (Classification)
• 分群 (Clustering)
• 類神經網路 (Artificial Neural Network)
• 文字探勘
• 回歸分析
• …

資料探勘與AI
• 大數據分析可能的策略(1)
雲端資料庫
雲端運算

資料探勘與AI
• 大數據分析可能的策略(2)
• 資料無限、速度快，有限儲存空間下，取得資料只能進行一次
或極少次數
• 使用者需求隨時間不同
• 資料量因時間變動，無法預測
• 近期資料較具有參考價值

資料探勘與AI
• 機械學習與AI
• 人工智慧是資料探勘其中一門分析決策技術
• 而機械學習是人工智慧一種方式。
• 基於人類的認知，改變我們日常生活型態，提供許多服
務讓人類擁有更便利的生活。

推薦系統
• 推薦系統
• 推薦系統蒐集了我們日常生活行為軌跡，透過資料探勘
方法，進而推薦感興趣的內容，
• 好處：
• 節省時間找到需要的資訊
• 應用也充滿商機

推薦系統
• 協同過濾
• 收集群集共同的喜好並進行過濾，進而推薦同群體可能感興趣
的內容
• 具有下列缺點：
• 稀疏性（Sparsity）
• 當商品數量過多、使用者評比較少的情況下，造成資料
過於稀疏，系統無法找到合適的推薦者，導致其準確度
不夠高。改善方式是增加交易資料。
• 延展性（Scalability）
• 協同過濾是使用最接近鄰居法找出群體，其複雜度為商
品數量呈平方關係。
• 使用者與商品數量越來越多，會影響電腦過濾運算的速
度。

推薦系統
• 冷啟始（Cold Start）
• 當新的使用者進入推薦系統，由於資料中沒有該使用者
相關資料可以進行分群，故無法對新使用者進行推薦。
• 同義 (Synonymy)
• 當泛指相同商品，卻以不同名稱表示，系統會無法辨識
為相同的商品。
• 舉例
• 問卷調查：喜好調查
• 地域關係：居住地
• 使用者的操作紀錄
• …

推薦系統
• 內容推薦
• 增加特徵，推薦相同特徵的內容給使用者
• 若沒有使用者從未接觸過此特徵商品，一樣無法進行推薦
• 有以下限制
• 定義屬性
• 商品必須有指定的屬性，多媒體資訊如聲音、圖片或影
像等無法指定或辨識的屬性是無法處理的。
• 無法接觸新商品
• 內容式推薦方式只能推薦使用者過去喜好相似的商品，
因此無法推薦使用者未接觸，卻有可能感興趣的商品。

推薦系統
• 混合式推薦
• 整合兩種或更多種推薦方法進行推薦
• 大致可分為兩種
• 將推薦方法組合後，產生推薦結果
• 將各種推薦方法產生的結果，以權重、計數方式相加。

推薦系統
• 類似於推薦系統，目前熱門的 AI…
• 較強調於決策部分而非強調提供選擇
• 對於封閉性、有固定規則的事物表現相當突出
• 而面對開放性問題，發展讓人期待

AZURE 與 APP SERVICE 簡介
• Microsoft Azure
• 微軟公用雲端服務 (Public cloud service)
• 企業級的雲端平台
• 服務包含：
• 運算服務 (Virtual Machine)
• 應用服務 (Web Service)
• 儲存體服務 (Storage)
• AI 與 ML相關 (Cognitive service)
• 網路服務 (Virtual Network)
• …

• 關於雲端服務體驗
• 不需要維護實體伺服器
• 節省安裝建置時間成本
• 節省許多 infrastructure 與 Integration 工作
• (.NET Developer) 開發環境整合
• …
• 專案、網站與競賽經驗分享
• 台中市輔具整合網
• Study4TW 社群網站
• IT邦幫忙鐵人賽

• 雲端服務一些注意事項 (經驗談)
• 需要專業知識進行評估規格
• 符合需求
• 價格最省
• 複雜的架構需要有經驗的專家評估
• 謹慎面對安全與權限設定
• 一個帳單暴增的故事
• 不要的服務記得刪除 (避免產生額外費用)

• App Service
• 為一種平台服務 (Platform-as-a-service, Paas)
• 無須理會伺服器架構
• 專心於建置與佈署工作
• 支援多種程式語言與框架
• .NET
• .NET Core
• Java, Ruby
• Node.js
• PHP
• Python

• 5種 App Service
• Web Application
• Mobile Application
• API Application
• Logic Application
• Azure Function

• App Storage
• 主要分成三類
• 虛擬機器儲存體
• 非結構性儲存體
• 結構性儲存體

• 磁碟分類
• HDD
• SSD
• 複寫 (Replication)
• LRS
• 價格較低，在單一區域會有三個複本
• ZRS
• 一樣有三個複本，但會跨越 1-2個區域
• GRS
• 提供更高的可用性，會有六個複本並分別(每三個)儲存在主要與次
要兩個區域，而次要區域會距離主要區域一段距離
• RA-GRS
• 相同於GRS，但在次要地區也提供讀取權限。

• 儲存策略：
• 當您儲存的資料為虛擬機器使用，您可以考慮加裝 Data disk 或
Files Storage
• 當您的網站需要讀取圖片與影像，且頻繁存取，您可以考慮使
用 Blob Stroages 與進階效能(SSD)
• 當您儲存的資料非常重要，您可以考慮使用 GRS 或 RA-GRS 複
寫機制
• 當您儲存純粹的 Key/Attribute(s) 、物件或 OData 等資訊，且
低關聯性的資料，您可以考慮 Table Storage

• 學習資源
• Microsoft Azure Docs
• Microsoft Professional Program
• Microsoft Virtual Academy
• Azure Taiwan User Group
• Microsoft Azure Github

• App Service 個人相關文章
• Azure App Service 基本介紹
• Azure App 規模與效能教調
• Azure App 備份與還原 (backup and restore)
• Azure App 持續與階段性部署 (Continuous and Staged
Deployment)
• Azure App 佈署 (Azure App Deployment)

• App Storage 個人相關文章
• Azure Storage 基礎介紹與儲存策略
• Azure Storage Tools 介紹與操作
• Azure Virtual Machine Storage 介紹
• Azure Blob Storage 介紹與操作
• Azure Tables Storage 介紹與操作
• Azure Queue Storage 介紹與操作
• Azure Files Storage 介紹與操作
• Azure Storage 存取與安全性設定
• Azure 備份 - 檔案與資料夾、虛擬機器備份 (Azure
backup - Recovery Services Vault)

Microsoft
Recommendations
Solution

MICROSOFT RECOMMENDATIONS SOLUTION
• 建構於雲端上的推薦解決方案

• 如何操作 – Restful

• 操作步驟
• 目錄與使用資料
• 定義使用資料並匯入歷史交易資料
• 資料放在Azure Storage
• 建立模組與訓練
• 建立模組(資料來源、推薦設定)
• 並進行訓練
• 取得推薦資料
• 顧名思義，推薦客戶想要的商品

• 資料格式
• 目錄資料
• 提供給客戶的商品資料格式
• 檔案格式為 csv

• 範例

• 交易資料
• 實際交易資料
• 檔案格式為 csv

• 範例

• 建議資料量
• 資料量過少會導致無法推薦，或推薦品質不佳
• 交易數量為商品數量20倍為不錯的數據
• 有 20項商品的時候，應該要有400 交易資料
• 仍然要試驗自己的最佳數據

SAR ALGORITHM
• Smart Adaptive Recommendations, SAR
• SAR 是協同過濾方法之一，演算法主要會建立兩種矩陣，
藉此紀錄關聯性並進行推薦
• 商品-使用者矩陣：紀錄使用者點閱與購買次數，依據權重不同
做計算。
• 商品-商品矩陣：主要紀錄商品在那些資料出現的次數，並透過
數學計算同時出現相關機率。

SAR ALGORITHM
• Smart Adaptive Recommendations, SAR

SAR ALGORITHM
• 協同過濾的兩個方法
• 商品間相似性矩陣

SAR ALGORITHM
lift(Item i, Item j) =
cooccur(Item i, Item j) / (occ(Item i) * occ(Item j))
Jaccard(Item 1, Item 2) =
cooccur(Item1, Item 2) /
(occ(Item 1) + occ(Item 2) - cooccur(Item 1, Item 2))

SAR ALGORITHM
• 客戶到商品的關係矩陣

SAR ALGORITHM
• 推薦
• 使用者推薦
• 依據客戶交易紀錄推薦商品
• 同時出現推薦
• 依據經常發生的頻率，推薦類似商品

建置與佈署
• 操作流程：
• Step 1.首先我們前往 Azure AL Gallery - Recommendation Solution ，點
選右邊 Deploy，系統會要求您先進行登入

建置與佈署
• Step 2.輸入 Deployment Name 與訂閱帳戶...等等 Azure 相關資訊

建置與佈署
• Step 3.準備開始佈署，這裡說明會佈署三種服務：App service、App
Storage 與 Application insights。我們點選 Next

建置與佈署
• Step 4.設定 Azure App Service → 點選 Next

建置與佈署
• Step 5. 設定 Azure Storage → 點選 Next

建置與佈署
• Step 6.設定 Azure Application Insights → 點選下一步

建置與佈署
• Step 7.發布服務中....

建置與佈署
• Step 8.佈署完成後，很貼心的提供服務相關資訊，像是 endpoint、key …
等等

建置與佈署
• Step 9.回到提供服務網頁，先記下 admin key，然後我們點選
recommendation UI 網址，進入圖形化操作介面

建置與佈署
• Step 10.進入 UI 介面，可以看見 Models、Documentation、Sample、
API Reference，我們點選下方Train New Model。

建置與佈署
• Step 11. 看起來可以設定Model 資訊

建置與佈署
• Step 12.登入到 Azure Portal，檢視我們建立的服務。

匯入資料、訓練與結果

匯入資料、訓練與結果
• Demo
• 放入資料
• 執行程式
• 擷取結果

結論
• 相關經驗分享
• 太陽能發電最佳化資料分析
• 景點推薦系統
• 機器人程式 (語意分析等相關服務使用)

Microsoft recommendation solution on azure

Recommended

Recommended

More Related Content

Similar to Microsoft recommendation solution on azure

Similar to Microsoft recommendation solution on azure (20)

More from Duran Hsieh

More from Duran Hsieh (20)

Microsoft recommendation solution on azure

Editor's Notes