微服務分佈式架構中,如何實現日誌鏈路跟蹤?

背景

開發排查系統問題用得最多的手段就是查看系統日誌,在分佈式環境中一般使用ELK來統一收集日誌,但是在併發大時使用日誌定位問題還是比較麻煩,我們來看下面的圖:

微服務分佈式架構中,如何實現日誌鏈路跟蹤?

上圖一個用戶請求一個url,整個鏈路如圖,每個處理層都會產生日誌,那我們如何把這些日誌串在一些,形成一個請求全路徑日誌。

在現有的系統中,由於大量的其他用戶/其他線程的日誌也一起輸出穿行其中導致很難篩選出指定請求的全部相關日誌。那我們如何來處理呢?

解決思路

我們可以把每個請求弄一個唯一標識,然後我們可以在日誌打印的時候代上每個請求都使用一個唯一標識,而且那個唯一標識需要傳遞給下游服務下游服務打印日誌的時候也帶上這個唯一標識,這樣就很好的追蹤全部的鏈路顯示在日誌中。

那技術實現方案是什麼呢?我們應該儘可能的對代碼無入侵,使用

Logback的MDC機制日誌模板中加入traceId標識,取值方式為%X{traceId}

什麼是MDC

MDC(Mapped Diagnostic Context,映射調試上下文)是 log4j 和 logback 提供的一種方便在多線程條件下記錄日誌的功能MDC 可以看成是一個與當前線程綁定的Map,可以往其中添加鍵值對

MDC 中包含的內容可以被同一線程中執行的代碼所訪問。當前線程的子線程會繼承其父線程中的 MDC 的內容。當需要記錄日誌時,只需要從 MDC 中獲取所需的信息即可。MDC 的內容則由程序在適當的時候保存進去。對於一個 Web 應用來說,通常是在請求被處理的最開始保存這些數據。

方案實現

由於MDC內部使用的是ThreadLocal所以只有本線程才有效,子線程和下游的服務MDC裡的值會丟失;所以

方案主要的難點是解決值的傳遞問題,主要包括以幾下部分:

  • API網關中的MDC數據如何傳遞給下游服務
  • 服務如何接收數據,並且調用其他遠程服務時如何繼續傳遞
  • 異步的情況下(線程池)如何傳給子線程

修改日誌模板

logback配置文件日誌格式添加該標識


微服務分佈式架構中,如何實現日誌鏈路跟蹤?

網關添加過濾器

此過濾器就是來解決網關如何把MDC的數據傳遞給下游服務:

生成traceId並通過header傳遞給下游服務

微服務分佈式架構中,如何實現日誌鏈路跟蹤?

上面代碼有個MDC是屬於org.slf4j.MDC中的,下面就是常量的值:

<code>/** 

* 日誌鏈路追蹤id信息頭
*/
String TRACE_ID_HEADER = "x-traceId-header";
/**
* 日誌鏈路追蹤id日誌標誌
*/
String LOG_TRACE_ID = "traceId";
/<code>

下游服務增加spring攔截器

接收並保存traceId的值:

微服務分佈式架構中,如何實現日誌鏈路跟蹤?

下游服務增加feign攔截器

繼續把當前服務的traceId值傳遞給下游服務:

微服務分佈式架構中,如何實現日誌鏈路跟蹤?

解決父子線程傳遞問題

主要針對業務會使用線程池(異步、並行處理),並且spring自己也有@Async註解來使用線程池,要解決這個問題需要以下兩個步驟:

重寫logback的LogbackMDCAdapter

由於logback的MDC實現內部使用的是ThreadLocal不能傳遞子線程,所以需要重寫替換為阿里的TransmittableThreadLocal。

TransmittableThreadLocal 是Alibaba開源的、用於解決 “在使用線程池等會緩存線程的組件情況下傳遞ThreadLocal” 問題的 InheritableThreadLocal 擴展。若希望 TransmittableThreadLocal 在線程池與主線程間傳遞,需配合TtlRunnable和TtlCallable使用。

微服務分佈式架構中,如何實現日誌鏈路跟蹤?

其他代碼與ch.qos.logback.classic.util.LogbackMDCAdapter一樣,只需改為調用copyOnInheritThreadLocal變量。

TtlMDCAdapterInitializer類用於程序啟動時加載自己的mdcAdapter實現:

微服務分佈式架構中,如何實現日誌鏈路跟蹤?

擴展線程池實現

增加TtlRunnable和TtlCallable擴展:

微服務分佈式架構中,如何實現日誌鏈路跟蹤?

微服務分佈式架構中,如何實現日誌鏈路跟蹤?

場景測試

測試代碼如下:

<code>log.info("測試")
@Async
public void test(){
log.info("測試1")
}
userService.findByUserName("gu");
/<code>

api網關打印的日誌

微服務分佈式架構中,如何實現日誌鏈路跟蹤?

ELK聚合日誌通過traceId查詢整條鏈路日誌

當系統出現異常時,可直接通過該異常日誌的traceId的值,在日誌中心查詢該請求的所有日誌信息,類似下圖:

微服務分佈式架構中,如何實現日誌鏈路跟蹤?

總結

到此分佈式的日誌跟蹤就已經完成了,這樣就很好的可以排查整個微服務的日誌鏈路,謝謝!!!


分享到:


相關文章: