what that?

Zookeeper在分佈式開發中使用頻繁,但許多框架都對其進行了封裝,初學者可能無法較好的理解其工作原理,該文章演示了使用Zookeeper實現服務註冊,服務發現的簡單demo,希望能達到拋磚引玉的效果;

why need RegisterCenter?

之所以需要訪問註冊和服務發現是因為分佈式系統中,服務之間需要相互調用,但若每個服務自己維護一份依賴的服務信息的話,就顯得很麻煩,且自身維護的數據無法保證其實時性,當依賴的服務信息發生變更時,無法及時獲取更新,解決方案就是引入一個註冊中心,服務提供方將自己的信息寫入到註冊中心,服務使用方從註冊中心來獲取服務信息; 如下圖:

client表示服務使用方,server表示服務提供方

實現的效果: 客戶端可自動發現服務信息,當服務狀態發生變化時(上線,下線,更換地址),客戶端可以及時響應變化,效果如下圖:

效果演示

實現

1. 首先保證Zookeeper以安裝啟動,且可以正常訪問

2. 創建Maven項目並添加Zookeeper的Java客戶端依賴(注意版本號需>3.6)

   				<dependency>
               <groupId>org.apache.zookeeper</groupId>
               <artifactId>zookeeper</artifactId>
               <version>3.6.1</version>
           </dependency>
   

3. 編寫服務提供方

   package com.jerry;
   
   import org.apache.zookeeper.CreateMode;
   import org.apache.zookeeper.KeeperException;
   import org.apache.zookeeper.ZooDefs;
   import org.apache.zookeeper.ZooKeeper;
   import org.apache.zookeeper.data.ACL;
   
   import java.io.IOException;
   import java.io.InputStream;
   import java.net.*;
   import java.nio.charset.StandardCharsets;
   import java.util.ArrayList;
   import java.util.Enumeration;
   
   import static java.net.InetAddress.getLocalHost;
   
   public class UserService {
   
       public static void main(String[] args) throws IOException, InterruptedException, KeeperException {
           new UserService().serving();
       }
   
       public void serving() throws IOException, KeeperException, InterruptedException {
           //獲取本機ip地址
           String ip = null;
           Enumeration<NetworkInterface> networkInterfaces = NetworkInterface.getNetworkInterfaces();
           while (networkInterfaces.hasMoreElements()) {
               NetworkInterface ni = (NetworkInterface) networkInterfaces.nextElement();
               Enumeration<InetAddress> nias = ni.getInetAddresses();
               while (nias.hasMoreElements()) {
                   InetAddress ia = (InetAddress) nias.nextElement();
                   if (!ia.isLinkLocalAddress() && !ia.isLoopbackAddress() && ia instanceof Inet4Address) {
                       ip = ia.getHostAddress();
                   }
               }
           }
           int port = 8988;
   
           //啟動服務
           ServerSocket socket = new ServerSocket(port);
           System.out.println("服務器已啟動...");
           //註冊服務
           serverRegister(ip, port);
           //處理請求
           clientHandler(socket);
       }
   
       private void clientHandler(ServerSocket socket) throws IOException {
           while (true) {
               Socket accept = socket.accept();
               InputStream inputStream = accept.getInputStream();
               byte[] barr = new byte[1024];
               while (true) {
                   int size = inputStream.read(barr);
                   if (size == -1) {
                       //System.out.println("客戶端已關閉..");
                       accept.close();
                       break;
                   }
                   String s = new String(barr, 0, size);
                   //輸出客戶端消息
                   System.out.println(accept.getInetAddress().getHostAddress() + ": " + s);
               }
           }
   
       }
   
       private void serverRegister(String ip, int port) throws IOException, KeeperException, InterruptedException {
           //註冊服務
           ZooKeeper zooKeeper = new ZooKeeper("10.211.55.4: 2181",3000, null);
           try {
               ArrayList<ACL> acl = new ArrayList<>();
               acl.add(new ACL(31, ZooDefs.Ids.ANYONE_ID_UNSAFE));
               zooKeeper.create("/userServer", (ip + ":" + port).getBytes(StandardCharsets.UTF_8), acl, CreateMode.EPHEMERAL);
               System.out.println("服務發布成功!");
           } catch (KeeperException | InterruptedException e) {
               e.printStackTrace();
               throw e;
           }
       }
   }
   

4. 編寫服務服務使用方

   package com.yyh;
   
   import org.apache.zookeeper.*;
   
   import java.io.IOException;
   import java.io.OutputStream;
   import java.net.InetSocketAddress;
   import java.net.Socket;
   import java.util.Scanner;
   
   public class UserClient implements Watcher {
       String node = "/userServer"; //服務信息所在的節點 服務提供方和服務消費方一致
       private ZooKeeper zooKeeper;
       String server_ip;
       int server_port;
   
       public static void main(String[] args) throws Exception {
           //開始服務監聽
           UserClient userClient = new UserClient();
           userClient.run();
           //當訪問可用時與服務交互
           Scanner scanner = new Scanner(System.in);
           while (true){
               System.out.println("輸入要發送的信息(e:退出)");
               String text = scanner.next();
               if (text.equals("e"))System.exit(-1);
               if (userClient.server_ip == null){
                   System.err.println("沒有可用的服務...");
               }else {
                   userClient.sendToServer(text);
               }
           }
       }
       
       private void run() throws Exception {
           //連接zookeeper
           zooKeeper = new ZooKeeper("10.211.55.4:2181", 3000, null);
           //嘗試獲取服務信息
           getServerInfo();
           //添加對服務信息的永久監聽
           zooKeeper.addWatch(node,this,AddWatchMode.PERSISTENT);
       }
   
       //獲取服務信息
       private void getServerInfo()  {
           try {
               byte[] data = zooKeeper.getData(node, false, null);
               String[] infos = new String(data).split(":");
               server_ip = infos[0];
               server_port = Integer.parseInt(infos[1]);
               System.out.println("獲取服務信息成功!");
               System.out.println(server_ip+":"+ server_port);
           } catch (KeeperException e) {
               System.err.println("服務信息不存在! 等待服務上線........");
           } catch (InterruptedException e) {
               e.printStackTrace();
           }
       }
   
       //當節點狀態發送變化時將執行該方法(通知處理)
       @Override
       public void process(WatchedEvent event) {
           if (event.getPath().equals(node)) {
               //根據具體邏輯處理不同的事件類型,此處只關心節點的創建刪除和更新
               if (event.getType() == Event.EventType.NodeCreated) {
                   System.err.println("服務上線了");
                   getServerInfo();
               } else if (event.getType() == Event.EventType.NodeDataChanged) {
                   System.err.println("服務更新了");
                   getServerInfo();
               }else if (event.getType()== Event.EventType.NodeDeleted){
                   server_ip = null;
                   server_port = 0;
                   System.err.println("服務下線了");
               }
           }
       }
   
       public void sendToServer(String text) {
           InetSocketAddress server_address = new InetSocketAddress(server_ip, server_port);
           Socket socket = new Socket();
           try {
               socket.connect(server_address);
               //System.out.println("連接服務器成功!");
               OutputStream outputStream = socket.getOutputStream();
               outputStream.write(text.getBytes());
               System.out.println("消息發送成功!");
           } catch (IOException e) {
               e.printStackTrace();
           }
           try {
               socket.close();
           } catch (IOException e) {
               e.printStackTrace();
           }
       }
   }
   

5. 打包服務端代碼,該步驟可忽略,僅為了測試客戶端正確性, 為了在打包時附帶其全部依賴,此處藉助Spring的打包插件,在pom中添加以下內容:

   		<build>
           <plugins>
               <plugin>
                   <groupId>org.springframework.boot</groupId>
                   <artifactId>spring-boot-maven-plugin</artifactId>
                   <version>1.5.6.RELEASE</version>
                   <executions>
                       <execution>
                           <goals>
                               <goal>repackage</goal>
                           </goals>
                       </execution>
                   </executions>
               </plugin>
           </plugins>
       </build>
   

   注意:Spring-boot打包插件會自動獲取項目中的主函數,必須保證主函數只有一個,所以需要暫時註釋客戶端的主函數,最後執行maven的package,得到jar包

6. 將jar上傳至虛擬機並運行

   java -jar ZookeeperTest-1.0-SNAPSHOT.jar
   

   若沒有其他問題則客戶端依然可以正常連接服務器發送消息;

以上便是使用Zookeeper實現服務註冊和服務發現的具體步驟,在實際開發中,我們可能還會將提供的服務部署為集群,這時可將集群中的各個服務信息作為子節點註冊到指定節點下,客戶端監聽該節點變化,獲取子節點列表從而獲取到服務列表,還可以在此基礎上加上負載均衡算法實現對服務列表的合理訪問; 如圖:

本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理

【其他文章推薦】

※別再煩惱如何寫文案,掌握八大原則!

※網頁設計一頭霧水該從何著手呢? 台北網頁設計公司幫您輕鬆架站!

※超省錢租車方案

※教你寫出一流的銷售文案?

※網頁設計最專業,超強功能平台可客製化

※產品缺大量曝光嗎?你需要的是一流包裝設計!

※台中搬家遵守搬運三大原則,讓您的家具不再被破壞!

前面只說了DevOps的兩個基礎組件Jenkins和GitLab，客官也不要着急，我們玩就玩的深入一點，Gitlab和Jenkins的各種配置和

插件很多，也夠啃一陣子的，不要照着操作一通就感覺萬事大吉了，多做些邊緣測試，多玩點不一樣的操作，那今天我們來點

實戰整合加強訓練。

作者原創文章，謝絕一切轉載，違者必究！

本文只發表在”公眾號”和”博客園”，其他均屬複製粘貼！如果覺得排版不清晰，請查看公眾號文章。 

準備：

VMwareWorkstation15Pro/RHEL8.0/Jenkins2.222.3/Gitlab-ee-13.0.0

難度： 新手–戰士–老兵–大師

說明：

為了遇見各種問題，同時保持時效性，我盡量使用最新的軟件版本。源碼地址，其中的day30：https://github.com/xiexiaobiao/dubbo-project

目標：

1. window主機提交代碼到Gitlab主機，Jenkins自動完成jar打包，併發布到Gitlab主機(可為任意主機)上運行。

1 架構

整體部署架構：

2 環境

2.1開發Java應用，一個極簡的服務，可打包為jar運行：

package com.biao.study;

import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;
import org.springframework.web.bind.annotation.PathVariable;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;

@SpringBootApplication
@RestController
public class AppMain {
    public static void main(String[] args) {
        SpringApplication.run(AppMain.class,args);
        System.out.println("AppMain app started >>>>>>>>>>>>");
    }

    @RequestMapping("/jenkins/{name}")
    public String hello(@PathVariable(name = "name") String name){
        System.out.println("Variable： "+ name);
        return "hello, " + name;
    }
}

運行測試，GET http://localhost:8081/jenkins/biao 輸出：hello, biao

2.2 GitLab主機上建立一個項目，操作步驟，略！注意看下項目的兩個git地址，显示的端口號是Gitlab的端口號，不是Nginx的：

2.3 配置Jenkins主機到Gitlab主機的SSH，(配置window到Gitlab主機的SSH，也是一樣，window在CMD 下執行)：

[root@server224 docker-deploy]#ssh-keygen #生成密鑰對
[root@server224 docker-deploy]#ssh-copy-id root@192.168.2.226 #發送公鑰

Window下使用git測試ssh安裝：

2.4 Jenkins主機上測試使用SSH協議連接GitLab，這樣Git可以免密連接，並使用SSH連接執行shell，

進入新建的空白目錄 /usr/hellojenkins 下：

[root@server224 hellojenkins]# ssh -T git@192.168.2.226  #測試ssh
[root@server224 hellojenkins]# git init  #初始化本地git庫，否則報錯not a git repository
[root@server224 hellojenkins]# git remote –v  # -verbose查看遠程gitlab url
[root@server224 hellojenkins]# git remote add origin git@192.168.2.226:biao/hellojenkins.git
[root@server224 hellojenkins]# git pull origin master

如下，可見連接成功，其他git操作客官請隨意：

2.5 Jenkins主機上測試使用HTTP協議連接GitLab，在 /usr/hellojenkins 下：

[root@server224 hellojenkins]# rm -rf ./* #清空hellojenkins目錄，.git和 .idea也要刪除
[root@server224 hellojenkins]# git init 
[root@server224 hellojenkins]# git remote -v
[root@server224 hellojenkins]# git remote add origin http://192.168.2.226:9099/biao/hellojenkins.git  #注意url，不是gitlabUI中給的項目url，因有Nginx代理
[root@server224 hellojenkins]# git pull origin master

如下，可見http連接成功，其他git操作客官請隨意

特別注意：如開啟了Nginx代理，會導致gitlab UI中給的項目url (見圖1)，在git中無法使用，應使用Nginx的端口號！

2.6 訪問JenkinsUI，添加 ”Publish Over SSH” 插件(見前文：Jenkins安裝)，並在 ”系統管理-系統配置” 添加SSH目標主機 (比如我這是192.168.2.226):

要點： 1.SSH主機登錄密碼和私鑰key，可以二選一，推薦使用私鑰key，這樣可以使用相同的私鑰key登錄多個目標主機。

2.使用私鑰key測試不通過，可能是格式問題，見後文問題部分。

3.RemoteDirectory為SSH連接后要訪問的目錄 4.Test必須显示為Success才算配置成功

2.7 其他工具配置：Jenkins主機需先安裝好Maven，Git，JDK，略！並在 “系統管理—>全局工具配置”中做對應的配置：

3 任務構建

3.1 我們來個Jenkins自動構建的實驗：新建一個任務，選擇”構建一個自由風格的軟件項目”：

General中我全空，懶得寫了。

源碼管理使用Git，(也可使用Subversion，需對應的插件)，並選擇前面配置好的”憑證”：

自動構建觸發的條件是 push 事件：

構建前清空工作目錄：

構建時執行的shell腳本，source /etc/profile 不能省，可能導致mvn命令無法識別，cd $JENKINS_HOME/workspace/hellojenkins，使用環境變量來進入工作目錄，

也可使用 $WORKSPACE/hellojenkins 效果一樣，有個環境變量列錶鏈接，可供參考；mvn clean package 即 maven 編譯打包命令，內存不足的話可先只測試 mvn clean：

構建后操作：1 source files是待發送的源文件，這裏特別注意要寫相對路徑target/*.jar，不是絕對路徑/var/lib/jenkins/workspace/hellojenkins/target/*.jar；

2 remove prefix是需要去掉的前綴，置空則將文件和路徑一起發送，並在遠程主機建立對應目錄結構；

3 remote directory是遠程主機的目錄，發送的文件將保存至此；

4 執行的shell腳本，會在文件發送后執行，先可直接簡化為如下建立一個日期文件(最常見的是停止舊jar的運行，並運行新的jar，完整版見後面的腳本)；如果需要文件發送前執行，可以添加兩個”構建后操作”，並將shell腳本執行放前，文件transfer放后：

附，完整Exec comand腳本：

#!/bin/bash
pid=$(ps -ef | grep HelloJenkins-1.0-SNAPSHOT | grep 'java' | grep -v grep | awk '{print $2'})
if [ -z "$pid" ]; then
    echo 'there are no HelloJenkins process. starting will be continue.'
fi
if [ -n "$pid" ]; then
    echo 'java process id is '$pid
    if ps -p $pid > /dev/null
    then
        echo $pid' will be kill'
        kill -9 $pid
    fi
fi
echo 'start HelloJenkins wait.'
nohup java -jar HelloJenkins-1.0-SNAPSHOT.jar  > /dev/null 2>error.log &
echo 'finish starting HelloJenkins'

3.2 進行 ”立即構建” 測試：

3.3 等待構建完畢查看控制台日誌，或左側”構建執行狀態”查看正在進行的Job：

控制台內容：

以上步驟解析：1 Jenkins生成對應的工作目錄，注意 /var/lib/jenkins 對應 JENKINS_HOME 變量，即Jenkins家目錄；

2對應配置選項Delete workspace before build starts，構建前刪除； 3使用SSH連接遠程Gitlab代碼庫； 4 Git操作完畢后的消息，可用於記錄本次構建；

5可以看到Jenkins將構建的配置和構建流程共同生成了一個臨時的Shell腳本，然後執行，這也是Jenkins的工作原理之一。

 

總結：這裏的Jenkins自動構建流程是使用Git從遠程庫clone到本地，然後本地構建，同時部分流程和配置會組合生成一個臨時的Shell腳本來執行，

最終完成整個構建工作流程。(Jenkins還有其他構建方式)。

 

以上步驟解析：1對應執行”構建”配置中shell命令mvn clean package的結果； 2-5是對應”構建后操作” 中的配置，其中2是開始SSH連接，

3是開始執行”Exec command”中的shell命令，4斷開SSH連接，5文件傳輸的結果

以下為server226上對應”構建后操作”中的結果，生成的文件和傳輸過來的jar包：

4 題外話

4.1 我上傳的代碼中還包含了 Dockerfile 和自動打包/部署Docker鏡像的shell腳本，內容太多，各位看官可以嘗試一下：使用Jenkins自動構建

並生成鏡像和部署運行，有空我就後期再說吧，一次寫太多看的也累。

4.2 Gitlab的WebHook功能：在Gitlab收到push事件后，可以 POST 發送定製的信息至指定的URL，從而觸發更新。比如SpringCloud的config

配置自動更新，當GitHub上的配置文件更新后，WebHook自動觸發Refresh 到Config Server 上，而完成配置自動刷新。

5 問題

5.1 添加SSH服務器時，test失敗，提示：

Failed to connect or change directory jenkins.plugins.publish_over.BapPublisherException: Failed to add SSH key. Message [invalid privatekey: [B@d8d395a]

這是因為私鑰格式Jenkins無法識別，如果打開私鑰文件，”—–BEGIN OPENSSH PRIVATE KEY—–” 表示使用的是最新的OpenSSH格式，需要使用舊版格式，重新生成密鑰，命令如下：

ssh-keygen -t rsa -b 4096 -m PEM

再打開私鑰文件，可見私鑰文件內容開頭：”—–BEGIN RSA PRIVATE KEY—–”，

5.2 運行自動生成鏡像腳本錯誤提示$'\r' command not found：

這種錯誤是因為編寫的 shell腳本是在window下編寫的，每行結尾是 \r\n，而 Unix 結束行是 \n ， 所以在Linux下運行腳本會認為 \r 是一個字符，需要把文件轉換下：

[root@server224 docker-deploy]# sed -i 's/\r//' auto-image.sh

5.3 錯誤提示：Does not have a commit checked out，這是因為當前目錄下存在沒有提交的目錄，首先使用 pwd (present working directory)命令查看當前目錄，

需保持 .init命令和 pwd 命令目錄一致：

5.4 提示 http/https協議不支持，可能原因是url錯誤，或者沒添加遠程地址，初始化沒完成，即git remote add命令：

5.5 打包編譯時，內存不足，看控制台輸出，我將Jenkins主機由6G調整為8G才解決，還好我的小電腦內存足夠大：

總結：控制台輸出是個非常有用的記錄，比如我之前的構建失敗記錄，可以看到無法識別 mvn 命令，於是知道是maven未配置好！

全文完！

我近期其他文章：

• 1 DevOps系列——Jenkins私服
• 2 DevOps系列——Gitlab私服
• 3 聊聊算法——滑動窗口
• 4 聊聊算法——回溯算法
• 5 Redis高級應用

只寫原創，敬請關注

本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理

【其他文章推薦】

※網頁設計最專業,超強功能平台可客製化

※自行創業缺乏曝光? 網頁設計幫您第一時間規劃公司的形象門面

※回頭車貨運收費標準

※推薦評價好的iphone維修中心

※教你寫出一流的銷售文案?

※台中搬家公司教你幾個打包小技巧,輕鬆整理裝箱!

※台中搬家公司費用怎麼算?