如何在有限資源下實現十年的後端服務演進

如何在有限資源下實現十年的後端服務演進
Kewang, Funliday

Kewang
●
王慕羣 Kewang
●
JavaScript / Java
●
PostgreSQL / MongoDB / Elasticsearch / HBase
●
Git / DevOps
●
熱愛開源
Linkedin
Linkedin kewangtw
kewangtw
SlideShare
SlideShare kewang
kewang
Gmail
Gmail cpckewang
cpckewang
Facebook
Facebook Kewang 的資訊進化論
Kewang 的資訊進化論
devopsday taipei
devopsday taipei '17
'17
hadoopcon
hadoopcon '14 '15
'14 '15
jcconf
jcconf '16 '17 '18
'16 '17 '18
GitHub
GitHub kewang
kewang
Funliday
Funliday kewang
kewang
modernweb
modernweb '18 '19 '20 '21
'18 '19 '20 '21
coscup
coscup '20 '21
'20 '21
mopcon
mopcon '14 '20 '22
'14 '20 '22

6
時間軸
●
從 Parse.com 停止服務開始

7
時間軸
●
●
因為 Google Maps API 開始收費

8
時間軸
●
●
因為 Google Maps API 開始收費
●
全世界的災難 COVID-19

10
在我之前 (2014/9~2018/8)

11
在我之前 (2014/9~2018/8)
●
Funliday 小有一點點名氣

12
在我之前 (2014/9~2018/8)
●
●
剛募到天使輪資金

13
在我之前 (2014/9~2018/8)
●
●
●
後端從 Parse.com 轉到 heroku+MongoDB

14
在我之前 (2014/9~2018/8)
●
●
●
●
Google Maps API 開始收費

15
在我之前 (2014/9~2018/8)
●
●
●
●
●
Web,Android 殘破不堪

16
從開發景點資料庫開始

17
( 一條龍 )

18
從開發景點資料庫開始 - 背景 (2018/9)

19
●

20
●
– 以 Funliday 的使用方式，每個月要幾十萬台幣

21
●
– 以 Funliday 的使用方式，每個月要幾十萬台幣
– 我的第一個專案就是解耦 Google Maps API

22
從開發景點資料庫開始 - 團隊 (1*2+0.5*2)
●
iOS 、 Web 、 Backend 、找錢、會計： 1
●
Android ： 0.5
●
Design ： 0.5
●
景點資料庫： 1 一個在日本 part time
一個還有正職工作

23
從開發景點資料庫開始 - 實作

24
●
OpenStreetMap ：景點資料庫基礎

25
●
●
PostgreSQL ：關聯資料庫基礎

26
●
●
●
PostGIS ： GIS 新手入門

27
●
●
●
●
Elasticsearch ：全文搜尋資料庫

28
●
●
●
●
Elasticsearch ：全文搜尋資料庫
●
Redis ： Sorted Set 實作 autocomplete

29
Elasticsearch - function score 自訂評分函數

30

31

32
Redis - Sorted Set 實作 autocomplete

33

34
用 x00 區分是否為結果

35
用 x00 區分是否為結果

36

37
( 有 team 的話 ...)

38
有 team 的話 ...
●
OpenStreetMap+PostgreSQL+PostGIS ： 1
●
Elasticsearch ： 1
●
Redis ： 1

39
接手後端開發並重構

40
( 一條龍 )

41
接手後端開發並重構 - 背景 (2019/9)

42
●
找錢太花心力，要儘量減少開發工作

43
●
找錢太花心力，要儘量減少開發工作
●
功能愈來愈多，技術債造成擴展困難

44
接手後端開發並重構 - 團隊 (1*4)
●
iOS 、 Web 、找錢、會計： 1
●
Android ： 1
●
Design ： 1
●
Backend ： 1 都回歸團隊，還缺 Web

45
接手後端開發並重構 - 實作

46
●
Callback hell

47
●
Callback hell
– Node.js 早期都是使用 callback 為主

48
●
Callback hell
– Node.js 早期都是使用 callback 為主
– 持續調整為 Promise (async/await)

51
Callback hell
亂！有 thenable 又有 async/await

52

53
●
MongoDB schema 偏亂

54
●
– schema 一開始沒有通盤規劃

55
●
– RDBMS 無法套用在 NoSQL 上

56
●
– RDBMS 無法套用在 NoSQL 上
– 有 NoSQL 基礎，容易理解 schema 設計

59
測試資料夾裡面有許多景點

60
MongoDB schema 偏亂 - RDBMS 的做法

61

62
POI collection

63

64

65
POI folder collection

66
MongoDB schema 偏亂 - NoSQL 的做法

67

68
要怎麼顯示，就怎麼存

69

70
●
API 沒有 RESTful

71
●
API 沒有 RESTful
– API 全部都是 POST /actionName

72
●
API 沒有 RESTful
– 資料塞在 Request body

73
●
API 沒有 RESTful
●
持續正規化 body 、 header

74
●
API 沒有 RESTful
●
持續正規化 body 、 header 沒有 HTTP cache

77
API 沒有 RESTful
parseMemberObjectId, token 要統一放到 header

78

79
●
擴展 Express.js 函式

80
●
– req.funliday

81
●
– req.funliday
– res.success

82
擴展 Express.js 函式 - req.funliday

83

84
自訂 header 放到 x-funliday 裡面

85

86

87
取出 x-funliday-header

88

89

90
與 semver 實際運用

91
擴展 Express.js 函式 - res.success

92

93
可支援 object 以及 array

94

95

96
資料庫多回傳一筆資料，可以判斷是否還有下一頁

97

98

99
有 team 的話 ...
●
MongoDB schema 偏亂： 1
●
API 沒有 RESTful+ 擴展 Express.js 函式： 1

101
老大哥正在看著你
( 一條龍 )

102
老大哥正在看著你 - 背景 (2019/9)

103
●
為了記錄 log

104
●
為了記錄 log
●
機器一直死

105
老大哥正在看著你 - 團隊 (1*4)
●
iOS 、 Web 、找錢、會計： 1
●
Android ： 1
●
Design ： 1
●
Backend ： 1 團隊沒有變化，還在找 Web

106
老大哥正在看著你 - 實作

107
●
加上 log

108
●
加上 log
– 原本使用 heroku 合作的 papertrail

109
●
加上 log
– 因為有裝 Elasticsearch ，所以整合進 ELK stack

110
●
加上 log
– 因為有裝 Elasticsearch ，所以整合進 ELK stack
一開始為了省事，之後為了省錢

111

112
●
加上 APM

113
●
加上 APM
– Application Performance Monitoring

114
●
加上 APM
– 也是使用 heroku 合作的 New Relic

115
●
加上 APM
– 原本要改用 Elastic APM ，但安裝失敗

116
●
加上 APM
– 原本要改用 Elastic APM ，但安裝失敗
一開始為了省事，之後為了省錢

117

118
●
加上 status page

119
●
加上 status page
– 避免被動得知系統發生錯誤

120
●
加上 status page
– 直到 2023/6 才加上去

121
●
加上 status page
– 直到 2023/6 才加上去
– 使用 Uptime Kuma

125
老大哥正在看著你

127
有 team 的話 ...
●
全部交給 SRE ！

129
持續加入各種功能
( 一條龍 )

130
持續加入各種功能 - 背景 (2019/6)

131
●
Funliday 不可能只有景點跟行程

132
●
●
開始讓使用者寫遊記 (2014 就有的想法 )

133
●
●
開始讓使用者寫遊記 (2014 就有的想法 )
●
這時，還沒想到如何賺錢

134
持續加入各種功能 - 團隊 (1*5)
●
iOS 、找錢、會計： 1
●
Web ： 1
●
Android ： 1
●
Design ： 1
●
Backend ： 1
新功能上線，需要 Web 實作

135
持續加入各種功能 - 實作

136
●
寫遊記

137
●
寫遊記
– 上傳圖片： S3+CloudFront

138
●
寫遊記
– 縮圖功能

139
●
寫遊記
– 縮圖功能
●
第一版使用 Lambda (Python+thumbor)

140
●
寫遊記
– 縮圖功能
●
●
第二版自製 image service (Node.js+sharp)

141
●
寫遊記
– 縮圖功能
●
●
第二版自製 image service (Node.js+sharp)
●
第三版新增 Blurhash

143
第一版使用 Lambda
●
AWS labs 的解決方案 serverless-image-handler

144
●
●
payload 最大 6MB

145
●
●
payload 最大 6MB
●
但沒人會寫 python ，無法維護

150
qeFsDNIo8_x]%2WARiWXpf%MngkXRkj[jYt7?
wWVj]flV@ogt7V@bxt7t8ofV@kWWBj[ozkCxva
dWDogjYWBt8j[a~jZofoMRjoz

151
qeFsDNIo8_x]%2WARiWXpf%MngkXRkj[jYt7?
wWVj]flV@ogt7V@bxt7t8ofV@kWWBj[ozkCxva
dWDogjYWBt8j[a~jZofoMRjoz
資料量小，與其他解決方案比會少一次 request

152

153
●
定義資料結構一致的列表

154
●
– 至少要跟設計師討論

155
●
– 至少要跟設計師討論
– 統一遊記、行程、使用者、景點、商品列表

156

157

158

159

160
封面 + 標題 + 座標

161

162

163

164
用 type 決定顯示的方式，用 action 決定點擊的行為

166
持續加入各種功能

167
有 team 的話 ...
●
寫遊記： 2
●
定義資料結構一致的列表： 1

169
總算想到 SEO
( 一條龍 )

170
總算想到 SEO - 背景 (2019/10)

171
總算想到 SEO - 背景 (2019/10)
●
Funliday 一開始只有 App

172
總算想到 SEO - 背景 (2019/10)
●
●
要分享給一般使用者，做了 Web

173
總算想到 SEO - 背景 (2019/10)
●
●
●
Web 開發使用 React

174
總算想到 SEO - 背景 (2019/10)
●
●
●
●
沒有使用 create-react-app

175
總算想到 SEO - 背景 (2019/10)
●
●
●
●
沒有使用 create-react-app
●
開發模式為前後端分離

176
總算想到 SEO - 團隊 (1*5)
●
●
Web ： 1
●
Android ： 1
●
Design 、找錢： 1
●
Backend ： 1
黑暗時期，連設計也要出來找錢

180
API 取得 metadata
前後端分離的極致，很奇怪的模式

183
自建 prerender
自己用 puppeteer 開發的 prerender

186
自建 prerender
透過 Nginx 轉導 crawler 到 prerender

190
重要 route 改從 DB
開始朝向 SSR 前進

193
新 route 改成 SSR
純 SSR ，需要不排斥寫後端的前端人

195
總算想到 SEO

196
有 team 的話 ...
●
重要 route 改從 DB ： 2
●
新 route 改成 SSR ： 2

198
開始導入電商
( 一條龍 )

199
開始導入電商 - 背景 (2020/9)

200
●
COVID-19 無法出國，報復式國旅

201
●
COVID-19 無法出國，報復式國旅
●
除了流量，也要開始注意營收

202
開始導入電商 - 名詞解釋：分銷

203
●
在 Funliday 找商品

204
●
●
在 Funliday 看商品細節

205
●
●
●
在 Funliday 結帳

206
●
●
●
在 Funliday 結帳
●
利潤高

207
●
●
●
在 Funliday 結帳
●
利潤高
●
各種意義上的開發成本高

208
開始導入電商 - 團隊 (1*6)
●
●
Web ： 1
●
Android ： 1
●
Design 、找錢、營運： 1
●
Business Development ： 1 ( 日本人 )
●
Backend ： 1
設計開始扛營運
有了一位日本 BD

209
開始導入電商 - 分銷實作

210
●
一個行程：很多景點組成

211
●
●
一個遊記：一個行程 + 很多圖片

212
●
●
一個遊記：一個行程 + 很多圖片
●
一個商品：一個遊記 + 可販賣

213
開始導入電商 - 分銷實作困難點

214
●
資料庫交易 (transaction)

215
●
– 避免超賣

216
●
– 避免超賣
●
租車金額試算 (estimate)

217
●
– 避免超賣
●
– 各家供應商算法不同

218
●
– 避免超賣
●
– 平日假日算法不同

219
●
– 避免超賣
●
– 連假算法不同

220
●
– 避免超賣
●
– 連續租 n 日算法不同

221
●
– 避免超賣
●
– 連續租 n 日算法不同
– ... 等

222
開始導入電商 - 分銷營運困難點

223
●
客服成本超高

224
●
客服成本超高
– 人工出票

225
●
客服成本超高
– 人工出票
– 所有商品的 FAQ 都要完全了解

226
●
客服成本超高
– 人工出票
– 所有商品的 FAQ 都要完全了解
– ... 等

227

228

229

230

231
●
但景點商家不知道

232
●
– QR code 不同

233
●
– QR code 不同
– 現場退票

234
●
– QR code 不同
– 現場退票
– ... 等

235

236
●
但 Funliday 不知道

237
●
– 供應商商品已下架

238
●
– 供應商改價格

239
●
– 供應商改價格
– ... 等

240

241
●
票券及一日遊有無限組合，上架困難，舉例：

242
●
– 平日 299 元、假日 399 元

243
●
– 平日 299 元、假日 399 元
– 大人票 299 元、小孩票 199 元

244
●
– 平日 299 元、假日 399 元
– 大人票 299 元、小孩票 199 元
– 一個小孩一定要配一個大人

245
●
– 平日 299 元、假日 399 元
– 大人票 299 元、小孩票 199 元
– 七八月第一週假日特價 99 元

246
●
– 平日 299 元、假日 399 元
– 大人票 299 元、小孩票 199 元
– 七八月第一週假日特價 99 元
– ... 等

247

248

249

250

251

252
●
業務開發困難

253
●
業務開發困難
– 店家主動聯絡希望上架他們商品，但利潤低

254
●
業務開發困難
– 店家都已在雙 K 上架，不想在 Funliday 上架

255
●
業務開發困難
– 沒有專職台灣業務開發夥伴

256
●
業務開發困難
– 沒有專職台灣業務開發夥伴
– ... 等

258
開始導入電商

259
有 team 的話 ...
●
專門客服： 2
●
業務開發： 2

261
導購真香 - 名詞解釋

262
●

263
●
●
在 OTA 看商品細節

264
●
●
●
在 OTA 結帳

265
●
●
●
在 OTA 結帳
●
利潤低

266
●
●
●
在 OTA 結帳
●
利潤低
●
各種意義上的開發成本低

267
●
●
●
在 OTA 結帳
●
利潤低
●
●
客服成本超低

268
●
●
●
在 OTA 結帳
●
利潤低
●
●
客服成本超低
Online Travel Agency ：線上旅行社

269
導購真香 - 背景 (2023/6)

270
導購真香 - 背景 (2023/6)
●
分銷太困難，引進導購合作

271
導購真香 - 背景 (2023/6)
●
●
供應商先搞定雙 K 就好

272
導購真香 - 背景 (2023/6)
●
●
供應商先搞定雙 K 就好
●
現有系統可直接支援

273
導購真香 - 團隊 (1*8)
●
●
Web ： 1( 香港人 )
●
Android ： 1
●
Design 、營運： 1
●
Business Development ： 1 ( 日本人 )
●
Marketing ： 1
●
Backend ： 2
設計可以專心在營運上面
團隊愈來愈多元
多了一位行銷和後端

275
導購真香 - 實作
●
後端不需太多調整

276
●
後端不需太多調整
●
前端有依照原規格實作，少許調整就可上線

279
導購轉址頁

286
永遠迎接更多的困難

287
●
前端開發很奔放

288
●
– 為了前端孤兒，後端要支援舊前端

289
●
●
新創資深工程師的 context switch 要夠快速

290
●
●
– 許多 knowhow 都放在腦子裡

291
●
●
●
創業最缺的就是時間

292
●
●
●
創業最缺的就是時間
– 可以用錢解決的就不要花時間研究

296
References
●
Funliday Tech Blog
●
Slideshare by kewang

如何在有限資源下實現十年的後端服務演進

More Related Content

Similar to 如何在有限資源下實現十年的後端服務演進

More from Mu Chun Wang

如何在有限資源下實現十年的後端服務演進