標籤: 網頁設計公司

一、背景

在微服務架構中 API網關 非常重要，網關作為全局流量入口並不單單是一個反向路由，更多的是把各個邊緣服務(Web層)的各種共性需求抽取出來放在一個公共的“服務”(網關)中實現，例如安全認證、權限控制、限流熔斷、監控、跨域處理、聚合API文檔等公共功能。

 

在以 Dubbo 框架體系來構建的微服務架構下想要增加API網關，如果不想自研開發的情況下在目前的開源社區中幾乎沒有找到支持dubbo協議的主流網關，但是 Spring Cloud 體系下卻有兩個非常熱門的開源API網關可以選擇；本文主要介紹如何通過 Nacos 整合 Spring Cloud Gateway 與 Dubbo 服務。

 

二、傳統 dubbo 架構

dubbo屬於rpc調用，所以必須提供一個web層的服務作為http入口給客戶端調用，並在上面提供安全認證等基礎功能，而web層前面對接Nginx等反向代理用於統一入口和負載均衡。

web層一般是根據業務模塊來切分的，用於聚合某個業務模塊所依賴的各個service服務

PS：我們能否把上圖中的web層全部整合在一起成為一個API網關呢？(不建議這樣做)

因為這樣的web層並沒有實現 泛化調用 必須引入所有dubbo服務的api依賴，會使得網關變得非常不穩定，任何服務的接口變更都需要修改網關中的api依賴！

 

三、整合 Srping Cloud Gateway 網關

下面就開始聊聊直接拿熱門的 Srping Cloud Gateway 來作為dubbo架構體系的網關是否可行，首先該API網關是屬於 Spring Cloud 體系下的組件之一，要整合dubbo的話需要解決以下問題：

1. 打通註冊中心：spring cloud gateway 需要通過註冊中心發現下游服務，而 dubbo 也需要通過註冊中心實現服務的註冊與發現，如果兩者的註冊中心不能打通的話就會變成雙註冊中心架構就非常複雜了！
2. 協議轉換： gateway 使用http傳輸協議調用下游服務，而dubbo服務默認使用的是tcp傳輸協議

上面提到的第一個問題“打通註冊中心”其實已經不是問題了，目前dubbo支持 Zookeeper 與 Nacos 兩個註冊中心，而 Spring Cloud 自從把 @EnableEurekaClient 改為 @EnableDiscoveryClient 之後已經基本上支持所有主流的註冊中心了，本文將使用 Nacos 作為註冊中心打通兩者

 

3.1. 方式一

把傳統dubbo架構中的 Nginx 替換為 Spring Cloud Gateway ，並把 安全認證 等共性功能前移至網關處實現

由於web層服務本身提供的就是http接口，所以網關層無需作協議轉換，但是由於 安全認證 前移至網關了需要通過網絡隔離的手段防止被繞過網關直接請求後面的web層

 

3.2. 方式二

dubbo服務本身修改或添加 rest 傳輸協議的支持，這樣網關就可以通過http傳輸協議與dubbo服務通信了

rest傳輸協議：基於標準的Java REST API——JAX-RS 2.0（Java API for RESTful Web Services的簡寫）實現的REST調用支持

目前版本的dubbo已經支持dubbo、rest、rmi、hessian、http、webservice、thrift、redis等10種傳輸協議了，並且還支持同一個服務同時定義多種協議，例如配置 protocol = { “dubbo”, “rest” } 則該服務同時支持 dubbo 與 rest 兩種傳輸協議

 

3.3. 總結

方式一 對比 方式二 多了一層web服務所以多了一次網絡調用開銷，但是優點是各自的職責明確單一，web層可以作為聚合層用於聚合多個service服務的結果經過融合加工一併返回給前端，所以這種架構下能大大減少服務的 循環依賴

 

四、代碼實踐

依賴環境

• lombok
• jdk 1.8
• Nacos 1.3
• Spring Boot 2.2.8.RELEASE
• Spring Cloud Hoxton.SR5
• Spring Cloud Alibaba 2.2.1.RELEASE

 

在根目錄的 pom.xml 中定義全局的依賴版本

    <properties>
        <maven.compiler.source>1.8</maven.compiler.source>
        <maven.compiler.target>1.8</maven.compiler.target>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
        <java.version>8</java.version>

        <spring-boot-dependencies.version>2.2.8.RELEASE</spring-boot-dependencies.version>
        <spring-cloud-dependencies.version>Hoxton.SR5</spring-cloud-dependencies.version>
        <spring-cloud-alibaba-dependencies.version>2.2.1.RELEASE</spring-cloud-alibaba-dependencies.version>
        <jaxrs.version>3.12.1.Final</jaxrs.version>
    </properties>

    <dependencyManagement>
        <dependencies>
            <dependency>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-dependencies</artifactId>
                <version>${spring-boot-dependencies.version}</version>
                <type>pom</type>
                <scope>import</scope>
            </dependency>

            <dependency>
                <groupId>org.springframework.cloud</groupId>
                <artifactId>spring-cloud-dependencies</artifactId>
                <version>${spring-cloud-dependencies.version}</version>
                <type>pom</type>
                <scope>import</scope>
            </dependency>

            <dependency>
                <groupId>com.alibaba.cloud</groupId>
                <artifactId>spring-cloud-alibaba-dependencies</artifactId>
                <version>${spring-cloud-alibaba-dependencies.version}</version>
                <type>pom</type>
                <scope>import</scope>
            </dependency>
        </dependencies>
    </dependencyManagement>

 

4.1. 創建dubbo-api工程

分別定義兩個api接口

DubboService 使用dubbo協議的服務

public interface DubboService {
    String test(String param);
}

RestService 使用rest協議的服務

public interface RestService {
    String test(String param);
}

 

4.2. 創建web-dubbo工程

使用 方式一 整合對接網關，這裏為了簡化在同一個服務下只使用邏輯分層定義controller層與service層，並沒有做服務拆分

4.2.1. 創建配置

定義 spring boot 配置

server:
  port: 8081

spring:
  application:
    name: zlt-web-dubbo
  main:
    allow-bean-definition-overriding: true
  cloud:
    nacos:
      server-addr: 192.168.28.130:8848
      username: nacos
      password: nacos

server.port：配置應用服務器暴露的端口

spring.cloud.nacos：配置 spring cloud 的註冊中心相關參數，nacos 的配置需要改為自己環境所對應

定義 dubbo 配置

dubbo:
  scan:
    base-packages: org.zlt.service
  protocols:
    dubbo:
      name: dubbo
      port: -1
  registry:
    address: spring-cloud://localhost
  consumer:
    timeout: 5000
    check: false
    retries: 0
  cloud:
    subscribed-services:

dubbo.scan.base-packages：指定 Dubbo 服務實現類的掃描基準包

dubbo.protocols：服務暴露的協議配置，其中子屬性 name 為協議名稱，port 為協議端口（ -1 表示自增端口，從 20880 開始）

dubbo.registry.address：Dubbo 服務註冊中心配置，其中子屬性 address 的值 “spring-cloud://localhost”，說明掛載到 Spring Cloud 註冊中心

 

4.2.2. 創建DubboService的實現類

通過 protocol = "dubbo" 指定使用 dubbo協議 定義服務

@Service(protocol = "dubbo")
public class DubboServiceImpl implements DubboService {
    @Override
    public String test(String param) {
        return "dubbo service: " + param;
    }
}

 

4.2.3. 創建Controller類

使用 Spring Boot 的 @RestController 註解定義web服務

@RestController
public class WebController {
    @Autowired
    private DubboService dubboService;

    @GetMapping("/test/{p}")
    public String test(@PathVariable("p") String param) {
        return dubboService.test(param);
    }
}

 

4.3. 創建rest-dubbo工程

使用 方式二 整合對接網關，由於該服務是通過dubbo來創建rest服務，所以並不需要使用 Spring Boot 內置應用服務

4.3.1. 創建配置

定義 spring boot 配置

spring:
  application:
    name: zlt-rest-dubbo
  main:
    allow-bean-definition-overriding: true
  cloud:
    nacos:
      server-addr: 192.168.28.130:8848
      username: nacos
      password: nacos

因為不使用 Spring Boot 內置的應用服務所以這裏並不需要指定 server.port

定義 dubbo 配置

dubbo:
  scan:
    base-packages: org.zlt.service
  protocols:
    dubbo:
      name: dubbo
      port: -1
    rest:
      name: rest
      port: 8080
      server: netty
  registry:
    address: spring-cloud://localhost
  consumer:
    timeout: 5000
    check: false
    retries: 0
  cloud:
    subscribed-services:

dubbo.protocols：配置兩種協議，其中rest協議定義 8080 端口並使用 netty 作為應用服務器

 

4.3.2. 創建RestService的實現類

通過 protocol = "rest" 指定使用 rest協議 定義服務

@Service(protocol = "rest")
@Path("/")
public class RestServiceImpl implements RestService {
    @Override
    @Path("test/{p}")
    @GET
    public String test(@PathParam("p") String param) {
        return "rest service: " + param;
    }
}

 

4.4. 創建Spring Cloud Gateway工程

定義 spring boot 配置

server:
  port: 9900

spring:
  application:
    name: sc-gateway
  main:
    allow-bean-definition-overriding: true
  cloud:
    nacos:
      server-addr: 192.168.28.130:8848
      username: nacos
      password: nacos

server.port：定義網關端口為 9090

定義網關配置

spring:
  cloud:
    gateway:
      discovery:
        locator:
          lowerCaseServiceId: true
          enabled: true
      routes:
        - id: web
          uri: lb://zlt-web-dubbo
          predicates:
            - Path=/api-web/**
          filters:
            - StripPrefix=1
        - id: rest
          uri: lb://zlt-rest-dubbo
          predicates:
            - Path=/api-rest/**
          filters:
            - StripPrefix=1

分別定義兩個路由策略：

• 路徑 /api-web/ 為請求 web-dubbo 工程
• 路徑 /api-rest/ 為請求 rest-dubbo 工程

 

4.5. 測試

分別啟動：Nacos、sc-gateway、web-dubbo、rest-dubbo 工程，通過網關的以下兩個接口分別測試兩種整合方式

1. http://127.0.0.1:9900/api-web/test/abc ：請求 web-dubbo 工程測試整合方式一
2. http://127.0.0.1:9900/api-rest/test/abc ：請求 rest-dubbo 工程測試整合方式二

 

五、demo下載

ide需要安裝 lombok 插件

https://github.com/zlt2000/dubboSpringCloud

 
掃碼關注有驚喜！

本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理

【其他文章推薦】

※網頁設計一頭霧水該從何著手呢? 台北網頁設計公司幫您輕鬆架站!

※網頁設計公司推薦不同的風格，搶佔消費者視覺第一線

※想知道購買電動車哪裡補助最多?台中電動車補助資訊懶人包彙整

※南投搬家公司費用,距離,噸數怎麼算?達人教你簡易估價知識!

※教你寫出一流的銷售文案?

※超省錢租車方案

前言

halo，相信大家一定過了一個很開心的端午節吧，我看朋友圈裡各種曬旅遊，曬美食的，真是羡慕啊，不像我，感冒了只能在家擼文章。
當然，玩的多開心，節後上班就有多鬱悶，假日綜合征可不是說說而已。對此我想表達的是，沒事，不用鬱悶，來看我如何自爆家醜來讓你們開心下。

反常的sql語句

上周四午休時分，我正在工位上小憩，睡夢中彷彿看到了自己拿着李白在榮耀峽谷里大殺四方的情景，就在我剛拿完五殺準備帶領隊友推對面水晶的時候，一句慌亂急促的“糟了”把我從睡夢中驚醒。我眯開朦朧的雙眼，才發現剛才的發聲來源於我的組長庄哥，看到他在緊張的點開日誌系統查看日誌，我預感到有什麼不妙的事情發生，仔細一問才知道，原來就在我眯眼的期間，線上數據庫服務器的CPU被打滿，同時觸發了生產數據庫只讀延遲的限定時間並且發出告警，而且告警的過程持續了半個小時。

這讓我倒吸了一口涼氣，因為我們組做的系統很多都用的是同一個數據庫服務器，日用戶活躍量有好幾十萬，如果服務器崩潰了將會使所有的系統服務都不可用，於是我們趕緊通過sql日誌進行問題查找，最後排查出來是因為一張sql的高量查詢沒有走索引導致，日誌列表显示，這條sql語句的掃描行數達到了上百萬，基本就是全表掃描的情況，而且半個小時的時間查詢了達上萬次，每條sql查詢的耗時都在3000ms以上。我的天啊，難怪服務器會CPU打滿，這麼一條耗時的sql語句查詢量這麼大，數據庫的資源當然是直接就崩潰了，這是當時那條sql的查詢情況：

臨時處理

看了這條語句，我又倒吸一口涼氣，這不就是我寫的系統調用的sql語句嗎？完了，這回逃不掉了，真是人在睡夢裡，鍋從天上來。

當然，因為是我自己寫的sql，所以我一看就知道這條語句是有問題的。

根據我的代碼處理，這條sql的調用還少了個重要的參數user_fruit_id，這個參數沒有傳的話是不應該走這條sql查詢的，在我的設計里，該參數是數據表裡一個聯合索引的最左側字段，如果該字段沒有傳值的話，那麼索引就不會生效了。

KEY `idx_userfruitid_type` (`user_fruit_id`,`task_type`,`receive_start_time`,`receive_end_time`) USING BTREE

雖然定位到了sql語句，但是線上的問題刻不容緩，總不可能找出bug改完再上線吧，所以，我們只能做了一個臨時處理，就是在原來的表上多加了一個聯合索引，其實就是去掉了user_fruit_id 字段，讓這些高量的查詢都能走新的索引，就像下面這樣

KEY `idx_task_type_receive_start_time` (`task_type`,`receive_start_time`,`receive_end_time`,`created_time`) USING BTREE

加上索引后，sql的掃描行數就大幅度的降低了，重啟實例后就又能正常運行了。

最左匹配原則

那麼為什麼最左側的字段沒傳索引就不生效了，這是因為MySQL的聯合索引是基於“最左匹配原則”匹配的。

我們都知道，索引的底層是B+樹結構，聯合索引的結構也是B+樹，只不過鍵值數量不是一個，而是多個，構建一顆B+樹只能根據一個值來構建，因此數據庫依據聯合索引最左的字段來構建B+樹。

例如我們用兩個字段（name，age）這個聯合索引來分析，

圖片來源於林曉斌老師的《MySQL實戰45講》課程，

當我們在where條件中查找name為“張三”的所有記錄的時候，可以快速定位到ID4，並且查出所有包含“張三”的記錄，而如果要查找“張三，10”這一條特定的數據，就可以用 name = “張三” and age = 10 獲取，因為聯合索引的鍵值對是兩個，所以只要前面的name確定的情況下就可以進一步定位到具體的age記錄，但是如果你的查詢條件只有age的話，那麼索引就不會生效，因為沒有匹配最左邊的字段，後面所有的索引字段都不會生效，所以我之前寫的sql語句才會因為少了最左邊的user_fruit_id字段而走了全表掃描的查詢方式。

正常來說，假設一個聯合索引設計成(a,b)這樣的結構的話，那麼用a and b作為條件，或者a單獨作為查詢條件都會走索引，這種情況下我們就不要再為a字段單獨設計索引了。

但如果查詢條件裏面只有b的語句，是無法使用(a,b)這個聯合索引的，這時候你不得不維護另外一個索引，也就是說你需要同時維護(a,b)、(b) 這兩個索引。

找出Bug

雖然臨時做了處理，但問題並不算解決，很明顯是系統出現了bug才會有走這樣的查詢條件。因為是我自己寫的代碼，所以知道是哪條sql后我就馬上定位到了代碼里的具體方法，後來才發現是因為我對user_fruit_id字段的判空處理不生效所致。

因為該字段是從調用方傳過來的，所以我在方法參數里對該字段做了非空限制的註解，也就是javax包下的@NotNull，

public class GardenUserTaskListReq implements Serializable {

    private static final long serialVersionUID = -9161295541482297498L;

    @ApiModelProperty(notes = "水果id")
    @NotNull(message = "水果id不能為空")
    private Long userFruitId;
    /**以下省略*/
    .....................
}

雖然加上該註解來做非空校驗，但我卻沒有在參數加上另一個註解@Validated，該註解如果沒加上的話，那麼調用javax包下的校驗規則就都不生效，正確的寫法是在controller層方法的參數前面加上註解，

除此之外，因為user_fruit_id這個字段是另一張表的主鍵，我在代碼里也沒有對這張表是否存在這個id做查詢判斷，這樣一來，無論調用方傳什麼值過來都會直接觸發sql查詢，並且在不跑索引的情況下直接走全表掃描。

不得不說，這真是個低級錯誤，說真的，我對這個原因真是感到嘀笑皆非，再怎麼說也工作幾年了，怎麼還犯一些新手級別的錯誤呢，這臉打得真是讓我相當慚愧。

總結

雖然是低級錯誤，但造成的後果也算挺嚴重了，這次事件也讓我更加的警醒，在以後的開發工作中必須要遵守該有的原則，大概有這麼幾點：

1、不能相信調用端。重要的參數都要先做驗證，即使是非空值也需要做驗證，不符合條件的就要直接返回或拋異常，不能參与業務sql的查詢，否則頻繁的訪問也會對服務造成負擔。

2、sql語句要先做性能查詢。對於數據量大的表，建好索引后，所有的sql查詢語句要用explain檢測性能，並且根據結果來進一步優化索引。

3、代碼必須要review。之前我沒有放太大的精力在代碼的review上，雖說跟迭代排期的緊湊也有關係，但不管怎麼說，bug確實是我的疏忽造成的，尤其是像空值這種細小的錯誤在Java里可以說家常便飯。千里之堤毀於蟻穴，有時一個小bug很容易就引發整個系統的崩盤，這一次的問題也讓我更加深刻的認識到了review代碼的重要性，不管業務開發的工作量有多麻煩，這一步操作絕對不能忽視。

後續

知道了bug的原因，改完代碼當天就重新發布了，後來，庄哥告訴我說，為了以後讓組裡的其他人對此次問題有所警戒，讓我寫一篇問題記錄總結一下，我想了一下，這不是我的強項啊，但怎麼說也確實是自己的問題，還是老老實實的寫一下記錄好了。我本以為這樣就可以松一口氣了，可平哥 (組裡的一位大佬) 卻突然用詭異的眼神看着我，語重心長的說，上次xxx也因為線上出現問題寫了報告，你這一次估計也不能例外了，可能要一萬字以上。我瞬間就感覺一個雷劈到了我頭上，蒼天啊。。。。。。

本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理

【其他文章推薦】

※網頁設計一頭霧水該從何著手呢? 台北網頁設計公司幫您輕鬆架站!

※網頁設計公司推薦不同的風格，搶佔消費者視覺第一線

※Google地圖已可更新顯示潭子電動車充電站設置地點!!

※廣告預算用在刀口上，台北網頁設計公司幫您達到更多曝光效益

※別再煩惱如何寫文案,掌握八大原則!