資策會大數據班21期 第三組期末報告

1. Foodie-吃貨
餐廳推薦系統
為愛吃的您獻上專屬於您的美味
BDSE21 Group 3
1

2. 團隊成員
組員 鄭子逸
Spark 程式撰寫
即時資料運算
ML模型評估與應用
前端網頁製作
後端伺服器架設
資料前處理
架設後端基層
彙整會議與簡報
畫面選擇鈕連動資料
後端系統規劃與架設
ML 演算法撰寫與分析
後端伺服器與叢集的整合
Spark 程式撰寫
組長 馬宜訢 組員 劉智宇 組員 洪子婷
2

3. 專題大綱
Foodie
01 專題介紹
● 開發動機
● 使用工具
02 推薦系統網頁展示
● Demo
03 資料分析
● 資料介紹
● 資料篩選
● 推薦系統與機器學習
04 推薦系統架構
● 系統流程
● Hadoop介紹
● Kafka 與
Spark Streaming 介紹
● 程式碼
05 總結
3

4. 專題介紹
請戴上您的圍兜兜
我們將為您獻上美味的餐點
● 開發動機
● 使用工具

5. So Tasty Restaurant
大眾化的推薦
個人化的推薦
⇲開發動機
5
專題介紹 前端網頁介紹 資料分析 推薦系統架構 總結
組長：馬宜訢
根據使用者過去對餐廳的評分資料
，分析使用者對於其他餐廳的喜好
程度來進行推薦
100大熱門餐廳？
各大網絡平台的美食文？

6. 網頁建置 實時運算
資料處理與機器學習
平台建置
伺服器建置
Google Map
Platform
⇲使用工具
6
專題介紹 前端網頁介紹 資料分析 推薦系統架構 總結
組長：馬宜訢

7. 前端網頁展示
吃什麼好呢？
快來Foodie尋找您的Food Style
● Demo

8. ⇲前端網頁展示
主要頁面 登入頁面
8
專題介紹 前端網頁介紹 資料分析 推薦系統架構 總結
組員：洪子婷

9. ⇲前端網頁展示
使用者註冊頁面 註冊成功頁面
9
專題介紹 前端網頁介紹 資料分析 推薦系統架構 總結
組員：洪子婷

10. ⇲前端網頁展示
商家資訊：
1. 商家名稱
2. 平均星等
3. 推薦指數
4. 商家地址
5. 營業時間
依據使用者點擊
位 置 顯 示 半 徑
500公 尺 內 的 餐
廳
點擊商家後，
顯示商家照片
及照片描述
商家名稱
10
專題介紹 前端網頁介紹 資料分析 推薦系統架構 總結
組員：洪子婷

11. 資料分析
為了讓各位客官滿意
大廚我可是很忙的呢～
● 資料介紹
● 資料篩選
● 推薦系統與機器學習

12. ⇲資料蒐集
❖ 商家資訊：160,585
❖ 使用者資訊：2,189,457
❖ 評論資訊：8,635,403
12
● 全美餐廳
● 資料集
○ 商家資訊
○ 餐廳評論
○ 相片
○ 使用者資訊
組長：馬宜訢
專題介紹 前端網頁介紹 資料分析 推薦系統架構 總結
組長：馬宜訢

13. ⇲資料篩選
分析863萬(8,635,403)筆評論資料
將評論資料分別對使用者id和商家id分群
繪製使用者及商家的評論次數分佈圖
使用者的評論次數過低
會造成評估的失準
13
專題介紹 前端網頁介紹 資料分析 推薦系統架構 總結
組長：馬宜訢
組長：馬宜訢
使用者分佈圖 商家分佈圖

14. ⇲資料篩選
資料篩選目的：
● 確保所有用戶的評論數至少有5次
● 評論數少的商家不要太多
篩選過程：
原始資料
❏ Review : 863萬 ( 8,635,403 )
❏ User : 218萬 ( 2, 189,457 )
❏ Business : 16萬 ( 160,585 )
● 評論數少於5的用戶數：182萬 ( 1, 823,792 )
● 評論數少於5的商家數： 0
篩選後資料
❏ Review : 564萬 ( 5,640,849 )
❏ User : 35萬 ( 356,989 )
❏ Business : 12萬 ( 127, 351 )
● 評論數少於5的商家數： 0
● 評論數少於5的用戶數： 862
14
專題介紹 前端網頁介紹 資料分析 推薦系統架構 總結
組長：馬宜訢
組長：馬宜訢
篩選掉評論次數少於 5的用戶
篩選掉評論次數少於 5的用戶
篩選掉評論次數少於 5的商家
評論、商家和用 戶的篩選比例

15. ⇲訓練集與測試集
測試集
❏ Review : 35萬 ( 356,989 )
❏ Business : 8萬 ( 83,514 )
❏ User : 35萬 ( 356,989 )
每一位用戶最新的評分資料
訓練集
❏ Review : 528萬 ( 5,283,860 )
❏ Business : 12萬 ( 127,330 )
❏ User : 35萬 ( 356,989 )
其餘的用戶評分資料
篩選後資料
❏ Review : 564萬 ( 5,640,849 )
❏ Business : 12萬 ( 127,351 )
❏ User : 35萬 ( 356,989 )
訓練集使用者評分次數的分布
15
專題介紹 前端網頁介紹 資料分析 推薦系統架構 總結
組長：馬宜訢
組長：馬宜訢
將同一個用戶的評分資料以時間進行排序
最新一筆資料放測試集，其餘的是訓練集
每位用戶在訓練集都至少有
4筆資料

16. ⇲推薦系統演算法
16
專題介紹 前端網頁介紹 資料分析 推薦系統架構 總結
對評分矩陣R做矩陣拆解，訓練用 戶和餐
廳的特徵向量
在latent space中，使用者與餐廳向量的分佈圖

17. ⇲推薦系統演算法
17
專題介紹 前端網頁介紹 資料分析 推薦系統架構 總結
確定好損失函數後，我們實作了 Alternating Least Square機器學習演算法
對使用者向量W[i], 商家向量 U[j], 使用者偏差 b[i], 商家偏差c[j] 進行訓練
組長：馬宜訢
組長：馬宜訢
使用者 i 對商家 j 的預測評分
使用者與商家的互動強度
使用者偏差 商家偏差
所有評分的平均分數
損失函數 Regularization term: 避免over fitting, λ = 10
誤差平方和
組長：馬宜訢
組長：馬宜訢
開始訓練

18. It takes about 8
hours for training.

19. ⇲模型效果
19
專題介紹 前端網頁介紹 資料分析 推薦系統架構 總結
Epochs = 20, RMSE= 0.907
我們挑選一位使用者 ( uid = 5000 )預測他對
商家的評分並依照預測分數高至低進行排序
高分群 低分群
模型訓練過程RMSE變化
組長：馬宜訢
組長：馬宜訢
訓練好的使用者/商家的向量與偏差
測試集分數預測
RMSE= 0.3445

20. 推薦系統架構
精心籌劃的後台
只想為您提供最棒的用餐體驗
● 系統流程
● Hadoop 介紹
● Kafka 與 Spark Streaming 介紹
● 程式碼

21. ⇲系統流程(Request)
Spring Boot
bdse53.example.org
接收瀏覽器的請求
將使用者ID和經緯度
發送給後端處理
Spark
bdse175.example.org
根據經緯度資料篩選出
所有相距一公里以內的
餐廳資料
Livy
bdse175.example.org
提供 Restful API 介面
來啟動 Spark Session
Time
Line
發送Restful請求
使用者 ID
點擊的經緯度資料
使用者 ID
點擊的經緯度資料
啟動Spark Session
click !
專題介紹 前端網頁介紹 資料分析 推薦系統架構 總結
組員：劉智宇

22. ⇲系統流程(Response)
Spark
bdse175.example.org
根據經緯度資料篩選出
所有相距一公里以內的
餐廳資料
Spring Boot
bdse53.example.org
將一公里內所有餐廳
和推薦的餐廳回傳給
瀏覽器
Spark Streaming
bdse47.example.org
使用預先訓練好的餐廳
與使用者隱向量預測
使用者對一公里內所有
餐廳的評分並以此作為
餐廳推薦的依據
Kafka
bdse42.example.org
bdse169.example.org
bdse170.example.org
提供資料串流服務
Time
Line
使用者 id
一公里餐廳列表
使用者 id
一公里餐廳列表
使用者 id
一公里餐廳列表
使用者 id
一公里餐廳推薦
使用者 id
一公里餐廳推薦
專題介紹 前端網頁介紹 資料分析 推薦系統架構 總結
組員：劉智宇
recommend !

23. 專題介紹 前端網頁介紹 資料分析 推薦系統架構 總結
⇲系統架構圖
Spark
bdse175.example.org
Spring Boot
bdse53.example.org
MySQL
bdse118.example.org
Spark Streaming
bdse47.example.org
Kafka/ZooKeeper
bdse42.example.org
bdse169.example.org
bdse170.example.org
Livy
bdse175.example.org
Client
Worker
bdse42.example.org
Node Manager
Data Node
Worker
bdse50.example.org
Node Manager
Data Node
Worker
bdse113.example.org
bdse114.example.org
Node Manager
Data Node
Worker
bdse169.example.org
bdse170.example.org
Node Manager
Data Node
History Server
Resource Manager
bdse41.example.org
NameNode
bdse49.example.org
Hadoop Cluster
組員：劉智宇

24. ⇲Hadoop介紹 - HDFS
把檔案分成若干個block，並把每個block備份，存放在不同的Data Node → 容錯、負載均衡
Name Node :
1. 維護整個HDFS的Namespace
○ 記錄整個HDFS中所有檔案和目錄的metadata
○ 週期性的接收DataNode的狀態消息 → 自動修復
2. 規範Client對檔案的存取
○ 當Client要寫入資料到HDFS時，決定每個block要存放在哪個DataNode
○ 當Client要讀取HDFS的資料時，也會告知各個block編號和存放位置
Data Node :
1. 實際存放資料的位置
2. 處理來自Client發送的讀、寫請求
3. 依據Name Node的指示，進行block的建立、刪除和複製
Client
Name Node
Data Node
B1 B2 B3
Data Node
B1 B2 B3
Data Node
B1 B2 B3
read/write read/write
metadata
24
專題介紹 前端網頁介紹 資料分析 推薦系統架構 總結
組員：劉智宇

25. ⇲Hadoop介紹 - YARN
對整個系統進行資源管理、工作的安排和監控
Resource Manager
1. Applications Manager
在接受Client的請求後會去啟動第一個Container執行AppMaster
2. Scheduler
接收AppMaster請求後，依據應用程序的需求進行資源配給
Node Manager
1. 監控底下每個Container的資源使用狀況，並回報給ResourceManager
2. 監控節點的健康狀況，並且回報給ResourceManager
3. 依據yarn-site.xml的設定，執行Auxiliary Services
Application Master
1. 向Scheduler請求適當資源的Container
2. 追蹤Container的MapReduce運行狀態
Client
Resource Manager
Node Manager
Node Manager
Container Container Container
Node Manager
Container AppMaster
MapReduce Status
Node Status
Node Status
Node
Status
Job
Submission
Resource
Request
Apps Manager
Scheduler
25
專題介紹 前端網頁介紹 資料分析 推薦系統架構 總結
組員：劉智宇

26. ⇲Kafka
producer A
producer 生產訊息
consumer A
consumer 獲取訊息
Kafka cluster 管理訊息
Kafka
● Kafka是一個分散式訊息佇列系統
● 可以高效地處理即時串流資料:
1. producer: 可讓應用程式將資料流傳送至 Kafka 叢集
2. consumer: 可讓應用程式從叢集讀取資料流
26
專題介紹 前端網頁介紹 資料分析 推薦系統架構 總結
組員：鄭子逸

27. ⇲Kafka
Kafka
Spark
Streaming
Spring Boot 用來做即時訊息的處理
(包含資料的接收、發送、管理)
資料串流在此專題的目的:
1. 接收使用者的位置資訊，並計算出周圍的餐廳列表
2. 回傳附近的餐廳與推薦的餐廳列表
Spark 餐廳列表
推薦餐廳
27
專題介紹 前端網頁介紹 資料分析 推薦系統架構 總結
組員：鄭子逸

28. batch
Kafka data
data
data
data
data
data
data
data
data
data
data
data
data
data
data
data
data
data
data
data
data
data
data
data
data
data
data
data
data
data
● Spark Streaming是準時實(sec,mins)、微批次(time)的數據框架
● 如圖，以一個時間週期為一個batch進行處理數據
● Spark on Yarn 接收DStream資料，進入Hadoop 叢集運算
time
⇲Spark Streaming
Spark on Yarn
28
專題介紹 前端網頁介紹 資料分析 推薦系統架構 總結
組員：鄭子逸

29. 程式碼(I)- 篩選周圍一公里的餐廳
● 一公里內的餐廳篩選程式片段
輸入: 使用者的經緯度座標 回傳:一公里內的餐廳列表
● Kafka 的producer 程式片段 轉換為Json String
29
專題介紹 前端網頁介紹 資料分析 推薦系統架構 總結
組員：鄭子逸

30. 程式碼(II)- 預測評分分數與推薦
● Kafka 的 consumer程式片段
接收由producer 發送的訊息
(即為一公里內的餐廳列表)
● 計算預測分數的程式片段
藉由預測分數產生推薦列表
30
專題介紹 前端網頁介紹 資料分析 推薦系統架構 總結
組員：鄭子逸

31. 總結
● 推薦系統的後端架設
- Spring Boot
- Spark
- Kafka
- Hadoop 叢集
● 實時推薦的演算法
- 機器學習演算法
- Spark Streaming
● 未來展望

32. ⇲未來展望
● 使用深度學習對評分進行預測
● 導入NLP算法，對於評論做情感分析:
review2 = "Pretty disappointing. Was
told this was one of the highest rated
bars in Asia. Waiter didn't even know
what a Jameson and coke was along with
Hennessy pineapple. Not one star due
to the fact that I enjoyed the live
music and the decor."
32
組長：馬宜訢

33. Thank you for your attention