在前面兩篇中，我們從基本概念理解了canal是一個什麼項目，能應用於什麼場景，然後通過一個demo體驗，有了基本的體感和認識。

從這一篇開始，我們將從源碼入手，深入學習canal的實現方式。了解canal相關功能的實現方式，其中有很多機制是非常值得深入了解的，從代碼實現角度去學習實時數據訂閱與同步的實現與核心技術點。當然，如果要在生產中使用這個開源項目，了解源碼更是必不可少，是解決問題和新特性定製的前提條件。

本文使用的版本是1.1.4，這也是筆者寫這篇博客時的最新穩定版。

1.準備工作

下載源碼

git clone https://github.com/alibaba/canal.git

切換到1.1.4這個tag

git checkout canal-1.1.4

 

或者可以關注我的源碼註釋版本(正在不斷更新中)

https://github.com/saigu/JavaKnowledgeGraph/tree/master/code_reading/canal

2.canal項目模塊介紹

canal項目是基於maven構建的，將不同的功能模塊劃分了不同的子模塊。

我們可以簡單執行可執行模塊deployer，也可以將模塊通過maven依賴的方式，將你需要的子模塊引入到你自己的項目中進行使用開發。

 

簡單介紹下核心模塊的功能：

• deployer模塊：獨立部署模塊，用於canal-server的獨立啟動，包括本地配置解析、拉取遠程配置、啟動canal-server。
• server模塊：canal-server的實現邏輯，一個canal-server一般是一個jvm進程。重點關注兩種canal-server的實現方式，內嵌型的canalServerEmbed和獨立使用的canalServerWithNetty。新版本中新增了直接對接mq的canal-server實現。
• instance模塊：具體實時訂閱任務是由一個個instance組成的，每個canal-server中可以同時運行多個instance。instance由parser、sink、store三個重點模塊組成。
• parser模塊：數據源接入，模擬slave協議和master進行交互，協議解析。parser模塊依賴於dbsync、driver模塊。
• sink模塊：將parser抓取到的數據，進行過濾，加工，然後發送到store模塊進行存儲。核心接口為CanalEventSink。
• store模塊：數據存儲模塊，類似內存模式到消息隊列，本質上是一個RingBuffer。核心接口為CanalEventStore。
• meta模塊：增量訂閱&消費信息管理器，核心接口為CanalMetaManager，主要用於記錄canal消費到的mysql binlog的位置
• client模塊：項目最早的消費客戶端，通過將client模塊引入自己的項目中，然後直接消費canal-server獲取的數據。
• client-adapter模塊：1.1.x后新出的模塊，可以獨立部署為canal-server的消費服務端，是一個springboot項目。通過SPI機制，能夠加載不同plugins，將消費信息投遞到ES\hbase\rdb等下游。
• admin模塊：1.1.x新出的模塊，可以獨立部署為canal-server的控制台，配置canal-server、instance相關配置，非常好用。

3.模塊關聯

那這些模塊之間是如何組織、如何關聯的呢？

我們從整體到局部來看一下。

整體架構關聯，包括admin模塊、server模塊、client-adapter模塊

 

1）server模塊是服務端核心模塊，用來拉取binlog的實時變更，然後投遞到客戶端。

2）server可以通過配置，選擇投遞到MQ，或者是啟動一個netty，讓客戶端來拉取。

3）client-adapter就是一個獨立部署到服務，可以直接拉取canal-server的消息（或者拉取mq的消息），轉發到對應RDS/Redis/HBase，當然，你也可以自己實現一個轉發到redis的adapter

4）admin模塊是管理控制台，可以調度canal-server組成一個個集群實現instance的高可用、可以更改server、instance的配置信息。

Canal-server模塊局部關係，包括deployer模塊、server模塊、instance模塊、parser模塊、sink模塊、store模塊、meta模塊、client模塊。

 

1）deployer模塊是一個啟動模塊，可以啟動canal-server。

2）一個server是一個獨立應用，是一個jvm進程，裏面可以有多個instance對象。

3）instance內包括了parser、sink、store、meta

4）parser負責獲取binlog變更，然後sink將parser獲取的binlog變更轉換為event，存入store。

5）meta是元信息管理器

6）client模塊可以內嵌入你的應用，用來消費canal-server的消息事件。

基本上核心模塊的關係就是這樣了，後續會按照模塊的維度進行源碼分析，敬請期待。

 

都看到最後了，原創不易，點個關注，點個贊吧～

文章持續更新，可以微信搜索「阿丸筆記 」第一時間閱讀，回復關鍵字【學習】有我準備的一線大廠面試資料。

知識碎片重新梳理，構建Java知識圖譜： github.com/saigu/JavaK…（歷史文章查閱非常方便）

 

本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理

【其他文章推薦】

※廣告預算用在刀口上，台北網頁設計公司幫您達到更多曝光效益

※新北清潔公司,居家、辦公、裝潢細清專業服務

※別再煩惱如何寫文案,掌握八大原則!

※教你寫出一流的銷售文案?

※超省錢租車方案

※FB行銷專家,教你從零開始的技巧