Usage Experience of Spring Cloud Eureka & OpenFeign

1. Spring Cloud
Eureka & OpenFeign
實務應用經驗
關於一個從微服務這個雷區生存下來的
純軟體公司的那些事
Rhys Chang

2. Agenda
微服務
SpringCloud
問題與使用經驗
01
02
03

3. 微服務
01

4. 簡單講一下微服務

5. 所以用Java來寫微服務的話…
傳統單體服務 → 微服務
= 一個Java專案 → 很多個小小的Java專案
= 一個war檔 → 很多個小小的war

6. 所以用Java來寫微服務的話…
傳統單體服務 → 微服務
= 一個Java專案 → 很多個小小的Java專案
= 一個war檔 → 很多個小小的war

7. 要搞定的東西其實還不少
佈屬在哪?網內互打變成網外互打
服務如何切分?架構如何切分?

8. 簡單來說，後來變成這樣
改用Spring-Boot
Run在Docker上
以K8S管理叢集

9. 然後問題就發生了
RestfulAPI
Service B
http://???????/service/dosomething
傳統思維上，兩服務透過API呼叫，需要IP
Service A

10. 其實解決辦法很簡單
http://ServiceName/service/dosomething

11. Too young, too simple
1. 考量到不買K8S這類平台的用戶
2. 開發的技術比佈署的技術早決定
3. Swarm與K8S在當時還在競爭
設計微服務架構當時
並沒有以K8S為運行考量

12. 小結一下
1. 專案底層使用Spring Boot
 透過JIB包成image
2. 不依賴K8S或是Swarm的原生機制
 保留佈署彈性，使客戶有選擇空間
綜上原因，SpringCloud成為當時微服務架構的底層機制

13. SpringCloud
02

14. 講一下SpringCloud

15. Eureka跟Feign在哪?
Eureka 在這
Feign 在這
1
2
3

16. Eureka
服務的註冊與發現
OpenFeign
宣告式的Restful Client

17. 問題與使用經驗
03

18. 狀況一、Get 參數的傳遞
@GetMapping(“/foo”)
public void composite(Bar bar) {
client.bar(bar);
}
@Getter
@Setter
public class Bar {
private long id;
private String name;
}
呼叫： /foo?id=1&name=aaa
@FeignClient("foo")
public interface FooClient {
@GetMapping("/bar")
public DemoObject composite(Bar bar);
}
Controller FeignClient

19. 狀況一、Get 參數的傳遞
@GetMapping(“/foo”)
public void composite(Bar bar) {
client.bar(bar);
}
@Getter
@Setter
public class Bar {
private long id;
private String name;
}
呼叫： /foo?id=1&name=aaa
@FeignClient("foo")
public interface FooClient {
@GetMapping("/bar")
public DemoObject composite(Bar bar);
}
Controller FeignClient
feign.FeignException$MethodNotAllowed:
status 405 reading FooClient#bar(Bar)

20. 狀況一、Get 參數的傳遞
FeignClient的參數預設都會被視為Body
然而 Get 無法擁有 MessageBody
因此被轉成 Post 所導致
@FeignClient("foo")
public interface FooClient {
@GetMapping("/bar")
public DemoObject composite(Bar bar);
}
feign.FeignException$MethodNotAllowed:
status 405 reading FooClient#bar(Bar)

21. 狀況一、Get 參數的傳遞
若參數為基礎型別或String，則宣告 @RequestParam 即可
但若是如本案例為一Pojo，則需宣告為 @SpringQueryMap
@FeignClient("foo")
public interface FooClient {
@GetMapping("/bar")
public DemoObject composite(@SpringQueryMap Bar bar);
}

22. 狀況一、Get 參數的傳遞
可是 我們當時找不到這方法
因為我們2015就開始打底層了，但…
對應版本差不多是
spring-cloud-openfeign-core:2.1.x

23. 狀況一、Get 參數的傳遞
因此如果你像我們一樣，只能用1.x.x
@Bean
public FeignObjectEncoder feignObjectEncoder(
ObjectFactory<HttpMessageConverters> messageConverters, ObjectMapper objectMapper) {
return new FeignObjectEncoder(new SpringEncoder(messageConverters), objectMapper);
}
那就得土砲一系列的 FeignObjectEncoder
public class FeignObjectEncoder implements feign.codec.Encoder
1. 維持處理原本的邏輯, 2. Object to QueryString, 3. Body清空

24. 狀況一、 Get 參數的傳遞
需於FeignClient的參數上增加宣告
否則會在Get階段就會因為多了body而轉成Post
造成 405 Mathod Not Allowed
@RequestParam @SpringQueryMap
如果版本是1.x.x
得自製FeignObjectEncoder
在裡面處理Object > QueryString，並將Body處理為Empty

25. 狀況二、錯誤訊息傳遞
A B C
當C發生Exception時，A會回傳甚麼出去?
三個Service 透過FeignClient連續呼叫

26. 狀況二、錯誤訊息傳遞
A B C
{
"timestamp": "2019-10-02T09:43:07.872+0000",
"status": 500,
"error": "Internal Server Error",
"message": "status 500 reading B#foo(Bar)",
"path": "/foo"
}
三個Service 透過FeignClient連續呼叫

27. 狀況二、錯誤訊息傳遞
A B C
三個Service 透過FeignClient連續呼叫
{
"timestamp": "2019-10-02T09:43:07.872+0000",
"status": 500,
"error": "Internal Server Error",
"message": "status 500 reading A#foo(Bar)",
"path": "/foo"
}

28. 狀況二、錯誤訊息傳遞
A B C
三個Service 透過FeignClient連續呼叫
{
"timestamp": "2019-10-02T09:43:07.872+0000",
"status": 500,
"error": "Internal Server Error",
"message": "status 500 reading A#foo(Bar)",
"path": "/foo"
}

29. 狀況二、錯誤訊息傳遞
[ab20a3667c0df961][Service-C] Exception: message…
[ab20a3667c0df961][Service-B] status 500 reading C#foo(Bar)
[ab20a3667c0df961][Service-A] status 500 reading B#foo(Bar)
透過TraceID 與ServiceName 可以很快抓到錯誤的迭代
如果真的有…

30. 狀況二、錯誤訊息傳遞
{
"timestamp": "2019-10-02T09:43:07.872+0000",
"status": 500,
"error": "Internal Server Error",
"message": "status 500 reading B#foo(Bar)",
"path": "/foo"
}
protected FeignException(int status, String message, Throwable cause, byte[] content) {
super(message, cause);
this.status = status;
this.content = content;
}
實際上針對所有類型的呼叫錯誤都會被包裝成FeignException
原本的message會被塞到content
新的message只會是 "status %s reading %s"
並且SpringMVC會很好心的幫你只把Message傳出去

31. 狀況二、錯誤訊息傳遞
這時候其實從Content還能拿到C的訊息
B進行FeignClient呼叫
C thorw Exception > SpringMVC response
B將Exception包裝為 FeignException > SpringMCV response
A接收到 FeignException "status 500 reading B"
由於B沒有將Content包入Response，因此此處已經拿不到C真正的錯誤訊息

32. 狀況二、錯誤訊息傳遞
@ExceptionHandler
public ResponseEntity<Object> handleInternalClientException(
FeignException ex, WebRequest request) {
return ResponseEntity.status(ex.status()).body(ex.content());
}
只要於A及B實作此ExceptionHandler
即可將content作為body向外傳輸
FeignException.message 可以視需求決定是否併入body

33. 狀況二、錯誤訊息傳遞
• FeignException的包裝位於
feign.codec.ErrorDecoder
• Response的包裝位於
o.s.w.s.m.m.a.RequestMappingHandlerAdapter
多個Service間互相呼叫
會有Exception與Response交互包裝後遺失原本訊息的問題
實作 ExceptionHandler 可解決此問題
但其實更建議建置一套健康完整的日誌蒐集系統

34. 狀況三、本機流程測試

35. 狀況三、本機流程測試
公司有一個伺服器叢集，啟動所有服務
service X Nserviceserviceservice

36. 狀況三、本機流程測試
Service
A
開發的工程師在自己電腦啟需要的服務，沒啟動的就用公司開好的
工程師：Foo
Service
C
Service
B
Service
B

37. 狀況三、本機流程測試
Service
A
這種狀況，在Eureka跟Ribbon存在的環境下，可以設定
eureka.instance.metadataMap.zone
工程師：Foo
Service
C
Service
B
Service
B

38. 狀況三、本機流程測試
Service
A
預設情形下，同個Zone會盡可能地去呼叫同個Zone
沒有同個Zone的情況下才會呼叫所有已知的Service
工程師：Foo
Service
C
Service
B
Service
B
Zone: default
可呼叫範圍
Zone: FOO
可呼叫範圍

39. 狀況三、本機流程測試
Service
A
預設情形下，同個Zone會盡可能地去呼叫同個Zone
沒有同個Zone的情況下才會呼叫所有已知的Service
工程師：Foo
Service
C
Service
B
Service
B
Zone: default
可呼叫範圍
Zone: FOO
可呼叫範圍

40. 狀況三、本機流程測試
Service
A
原因在於，我們工程師不只一個
而且大家開發的項目不會相同
工程師：Bar
Service
C
Service
B
A
紅線是理想狀況下 Bar 的程式要呼叫的流程
D
工程師：Foo
CB

41. 狀況三、本機流程測試
Service
A
原因在於，我們工程師不只一個
而且大家開發的項目不會相同
工程師：Bar
Service
C
Service
B
A
紅線是理想狀況下 Bar 的程式要呼叫的流程
D
工程師：Foo
CB

42. 狀況三、本機流程測試
Service
A
Service
C
Service
B
工程師：Bar
AD
工程師：Foo
CB
Eureka
Ans. 所有的已知Service
更完整的來說，是Eureka已知的Service
然而所有人都會註冊到公司的Eureka上
否則無法發現公司的Service

43. 狀況三、本機流程測試
Service
A
Service
C
Service
B
工程師：Bar
AD
工程師：Foo
CB
Eureka
Ans. 所有的已知Service
更完整的來說，是Eureka已知的Service
然而所有人都會註冊到公司的Eureka上
否則無法發現公司的Service

44. 狀況三、本機流程測試
Bar的Service
實際上Zone的機制是由Ribbon及Eureka共同完成的

45. 狀況三、本機流程測試
解決方法：客製 ZonePreferenceServerListFilter
public class CustomZoneFilter extends ZonePreferenceServerListFilter {
@Override
public List<Server> getFilteredListOfServers(List<Server> servers) {
final List<Server> filteredServers = super.getFilteredListOfServers(servers);
// 從filteredServers中以自訂的邏輯篩選出可以呼叫的Server
return callableServers;
}
}
@Bean
public ServerListFilter<Server> onlyMyZoneFilter() {
return new CustomZoneFilter();
}

46. 狀況三、本機流程測試
Server中有Zone屬性，而從Properties中可以取得該Service當前的Zone
有Zone取同Zone，否則只取defaultZone；沒Zone只取defaultZone
public class CustomZoneFilter extends ZonePreferenceServerListFilter {
@Override
public List<Server> getFilteredListOfServers(List<Server> servers) {
final List<Server> filteredServers = super.getFilteredListOfServers(servers);
// 從filteredServers中以自訂的邏輯篩選出可以呼叫的Server
return callableServers;
}
}

47. 狀況三、本機流程測試
太多微服務本機跑不動
> 用Zone可以只開部分在本機
Zone互相干擾
> 實作 ZonePreferenceServerListFilter
最佳解法
> 做好Mock，模擬沒有開起來的服務

48. 結語
主要適用SpringFramework4 + SpringBoot 1.x
大部分的SpringCloud專案，都有對應的原生解法

50. Q&A