標籤: 台北網站設計

有的同學雖然寫了一段時間 Java 了，但是對於 JVM 卻不太關注。有的同學說，參數都是團隊規定好的，部署的時候也不用我動手，關注它有什麼用，而且，JVM 這東西，聽上去就感覺很神秘很高深的樣子，還是算了吧。

沒錯，部署的時候可能用不到你親自動手，但是出現問題了怎麼辦，難道不用你解決問題嗎，如果對 JVM 了解不夠的話，有些問題可能排查起來就很費力，或者根本無法解決。

本篇以 JDK Hotspot 8 為背景，介紹一下 JVM 的常用參數。建議你在做一些小項目、小 demo 的時候，也把這些參數加上，加深印象。以我的經驗來看，有些知識你剛開始接觸的時候會感覺很難理解，但是沒關係，萬事開頭難嘛，知識點都是需要消化時間的。第一天不理解，甚至過了一個月也不理解，但是總有那麼一刻，你會突然有種茅塞頓開的感覺，感覺一下子通了。最後心裏面感謝自己在多少多少天以前能夠開始學習並堅持學習這些知識點。

只介紹一些常用參數，除了這些常用參數外，Hotspot 還提供了很多其他的參數，每一個都值得考究。

在使用這些參數之前，你需要對 Java 內存模型有一定的了解，可以讀一下 了解一下內存模型。

還是要把內存模型圖放在這裏，方便理解。

堆參數：

-Xms: 堆的初始值，例如 -Xmx2048，初始堆大小為 2G

-Xmx: 堆的最大值，例如 -Xmx2048M，允許最大堆內存 2G

-Xmn: 新生代大小

-XX:SurvivorRatio：Eden 區所佔比例，默認是 8，也就是 80%，例如 -XX:SurvivorRatio=8

最好將 -Xms 和 -Xmx 的值設置成一樣的值，這樣做是為了防止隨着堆空間使用量增加，會動態的調整堆空間大小，有一定的性能損耗，不如開始就設置成相同的值，來規避性能損失。

棧參數

-Xss：棧空間大小，棧是線程獨佔的，所以是一個線程使用棧空間的大小，例如 -Xss256K，如果不設置此參數，默認值是 1M，一般來講設置成 256K 就足夠了。

Metaspace 參數

-XX:MetaspaceSize：Metaspace 空間初始大小，如果不設置的話，默認是20.79M，這個初始大小是觸發首次 Metaspace Full GC 的閾值，例如 -XX:MetaspaceSize=256M

-XX:MaxMetaspaceSize：Metaspace 最大值，默認不限制大小，但是線上環境建議設置，例如

-XX:MaxMetaspaceSize=256M

-XX:MinMetaspaceFreeRatio：最小空閑比，當 Metaspace 發生 GC 后，會計算 Metaspace 的空閑比，如果空閑比(空閑空間/當前 Metaspace 大小)小於此值，就會觸發 Metaspace 擴容。默認值是 40 ，也就是 40%，例如 -XX:MinMetaspaceFreeRatio=40

-XX:MaxMetaspaceFreeRatio:最大空閑比，當 Metaspace 發生 GC 后，會計算 Metaspace 的空閑比，如果空閑比(空閑空間/當前 Metaspace 大小)大於此值，就會觸發 Metaspace 釋放空間。默認值是 70 ，也就是 70%，例如 -XX:MaxMetaspaceFreeRatio=70

建議將 MetaspaceSize 和 MaxMetaspaceSize 設置為同樣大小，避免頻繁擴容。

GC 日誌

簡單日誌

-verbose:gc 或者 -XX:+PrintGC

日誌格式：

[GC (Allocation Failure)  7892K->5646K(19456K), 0.0060442 secs]
[GC (Allocation Failure) , 0.0066315 secs]
[Full GC (Allocation Failure)  19302K->13646K(19456K), 0.0032698 secs]

詳細日誌

#打印詳細日誌
-XX:+PrintGCDetails
#打印 GC 的時間點
-XX:+PrintGCDateStamps

日誌格式：

2019-11-13T14:06:46.099-0800: [GC (Allocation Failure) 2019-11-13T14:06:46.099-0800: [DefNew (promotion failed) : 9180K->9157K(9216K), 0.0084297 secs]2019-11-13T14:06:46.107-0800: [Tenured: 10145K->10145K(10240K), 0.0035768 secs] 13802K->13646K(19456K), [Metaspace: 3895K->3895K(1056768K)], 0.0120887 secs] [Times: user=0.00 sys=0.00, real=0.02 secs] 
2019-11-13T14:06:47.243-0800: [Full GC (Allocation Failure) 2019-11-13T14:06:47.244-0800: [Tenured: 10145K->10145K(10240K), 0.0042686 secs] 19304K->19146K(19456K), [Metaspace: 3895K->3895K(1056768K)], 0.0043232 secs] [Times: user=0.00 sys=0.00, real=0.00 secs] 

以下幾個 GC 日誌相關的參數打印的內容比較多，生產環境可選擇性開啟，大多數時候不需要開啟。

GC 前後的堆信息

-XX:+PrintHeapAtGC

{Heap before GC invocations=0 (full 0):
 def new generation   total 9216K, used 7892K [0x00000007bec00000, 0x00000007bf600000, 0x00000007bf600000)
  eden space 8192K,  96% used [0x00000007bec00000, 0x00000007bf3b5200, 
  xxx....
  class space    used 445K, capacity 462K, committed 512K, reserved 1048576K
Heap after GC invocations=1 (full 0):
 def new generation   total 9216K, used 1023K [0x00000007bec00000,
 xxx...
 Metaspace       used 3892K, capacity 4646K, committed 4864K, reserved 1056768K
  class space    used 445K, capacity 462K, committed 512K, reserved 1048576K
}

GC 導致的 Stop the world 時間

-XX:+PrintGCApplicationStoppedTime

Total time for which application threads were stopped: 0.0070384 seconds, Stopping threads took: 0.0000200 seconds

加載類信息

-verbose:class

[Loaded java.net.URLClassLoader$3$1 from /Library/Java/JavaVirtualMachines/jdk1.8.0_111.jdk/Contents/Home/jre/lib/rt.jar]

GC 前後的類加載情況

-XX:+PrintClassHistogramBeforeFullGC
-XX:+PrintClassHistogramAfterFullGC

 num     #instances         #bytes  class name
----------------------------------------------
   1:           140       19016264  [B
   2:          2853         226256  [C
   3:           138         169072  [I
   4:           761          86240  java.lang.Class
   5:          2850          68400  java.lang.String
   6:           660          41024  [Ljava.lang.Object;

日誌輸出到文件

以上參數配置好之後，默認會輸出到控制台或者服務指定的統一日誌的位置。但是這裏還會有服務的一般性信息日誌、錯誤日誌等，都混在一起的話會比較亂，所以，一般都會把 jvm 日誌單獨存放。

#GC 活動日誌，根據配置的參數輸出內容
-Xloggc:/Users/fengzheng/jvmlog/gc.log

#致命錯誤日誌，只有在 jvm 發生崩潰的時候會輸出
-XX:ErrorFile=/Users/fengzheng/jvmlog/hs_err_pid%p.log

堆溢出現場保留

有些錯誤雖然不會導致 jvm 崩潰，但是對於服務而言也是非常嚴重的，比如stackOverflow、OutOfMemoryError，發生錯誤后，留存現場信息對分析錯誤原因是至關重要的。jvm 提供了保留堆溢出現場的方法，對於 JDK 8 而言，可能是 heap 溢出，也可能是 Metasapce 溢出。

-XX:HeapDumpPath=/Users/fengzheng/jvmlog
-XX:+HeapDumpOnOutOfMemoryError

最後出現異常后，保存的文件格式為 java_pidxxx.hprof，pid 後面是發生溢出的進程 id，之後可以用 VisualVM、JProfiler 等工具打開分析。

設置垃圾回收器類型

隨着 JDK 版本的升級，可使用的垃圾收集器類型也越來越多了。JDK 8 可使用的垃圾收集器有 7 種，當然有點只適用於年輕代，有點只使用於老年代，JDK 8 中最新的垃圾收集器是 G1，可以用於年輕代和老年代。到了 JDK 11，還出了 ZGC。

下圖是 JDK 8 中可使用的垃圾收集器以及它們配合使用的關係。

Serial、ParNew、Parallel Scavenge 只適用於年輕代，CMS、Serial Old、Parallel Old 只適用於老年代，而 G1 通用於年輕代和老年代。連線表示它們之間可配合使用的關係，其中 CMS 和 Serial Old 連線的意思是說 Serial Old 會作為 CMS 的后預案，當 CMS 發生 Concurrent Mode Failure 時啟用。

在 JDK 8 中，如果不指定垃圾收集器，默認使用參數 -XX:+UseParallelGC，新生代使用 Parallel Scavenge，老年代使用 Serial Old。

-XX:+UseSerialGC：使用 Serial + Serial Old ，運行於 client 模式下的默認設置

-XX:+UseConcMarkSweepGC：使用 ParNew+CMS+Serial Old，CMS 垃圾收集器

-XX:+UseParallelGC：Parallel Scavenge + Serial Old，JDK 8 server 模式下的默認設置

-XX:+UseParallelOldGC：Parallel Scavenge + Parallel Old

-XX:+UseG1GC：使用 G1 垃圾收集器

開啟遠程 JMX 監控

除了日誌外，當我們需要實時查看 JVM 運行情況的時候怎麼辦，當然可以到 JVM 所在服務器用 jstack、jmap、jinfo 等工具進行查看，但是又不夠直觀，這時候就需要開啟 JMX 遠程功能，使用 jConsole、VisualVM 等工具進行監控。或者自己開發監控平台，比如我之前就做了一個 web 版的簡易 VisualVm。

開啟參數如下：

-Dcom.sun.management.jmxremote
#指定 jvm 所在服務器 ip 或域名
-Djava.rmi.server.hostname=192.168.1.1
#指定端口
-Dcom.sun.management.jmxremote.port=9999
-Dcom.sun.management.jmxremote.rmi.port=9999
-Dcom.sun.management.jmxremote.authenticate=false
-Dcom.sun.management.jmxremote.ssl=false

相關閱讀:

不要吝惜你的「推薦」呦

歡迎關注，不定期更新本系列和其他文章
古時的風箏 ，進入公眾號可以加入交流群

本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理

【其他文章推薦】

※USB CONNECTOR掌控什麼技術要點? 帶您認識其相關發展及效能

※評比前十大台北網頁設計、台北網站設計公司知名案例作品心得分享

※智慧手機時代的來臨，RWD網頁設計已成為網頁設計推薦首選

※評比南投搬家公司費用收費行情懶人包大公開

提到英國倫敦，不少人就會想起經典的紅色雙層公車。倫敦交通局為響應環保，宣布與比亞迪簽約，將部分紅色雙層公車打造為搭載電池的次世代電動公車，且即將開始在倫敦市展開服務。

在英國舉辦的第40屆清潔巴士高峰會（Clean Bus Summit）上，倫敦交通局與比亞迪聯合宣布了這項消息。倫敦市場Boris Johnson指出：「過去不少人都認為雙層公車因所需的電池體積問題而無法電動化，但比亞迪辦到了，領先全球。」從今年十月開始，比亞迪所生產的紅色雙層巴士將成為倫敦第16路公車所採用的車種。

比亞迪歐洲營運經理Isbrand Ho傳達公司與倫敦交通局的愉快合作，且表示希望還能把無汙染的電動公車推廣到更多國家、城市。比亞迪電動公車採用許多領先技術，包含12年保固的碳酸鋰鐵電池技術、專利的內輪引擎、反饋制動系統等。比亞迪電動公車具有壽命較長、環保無汙染、安靜、平穩等優點，每次充電後可在市區內行駛約155英里。

本站聲明:網站內容來源於EnergyTrend https://www.energytrend.com.tw/ev/,如有侵權,請聯繫我們,我們將及時處理

【其他文章推薦】

※USB CONNECTOR掌控什麼技術要點? 帶您認識其相關發展及效能

※評比前十大台北網頁設計、台北網站設計公司知名案例作品心得分享

※智慧手機時代的來臨，RWD網頁設計已成為網頁設計推薦首選

※評比南投搬家公司費用收費行情懶人包大公開

一、前言：

　　在c#數據結構中，集合的應用非常廣泛，無論是做BS架構還是CS架構開發，都離不開集合的使用，比如我們常見的集合包括：Array、ArrayList、List、LinkedList等。這一些數據集合，在功能上都能夠實現集合的存取，但是他們內部有什麼區別，在使用時需要注意一些什麼呢？下面根據個人的經驗，對這一些集合數據的使用做一個簡單的小結，如果說的不對的地方，歡迎指出，多多交流改進。

二、Array集合簡介

　　Array集合，也就是數組，是最簡單的數據結構，其存儲的數據在內存空間是連續的，數組有一下一些特點

• 1.數據存儲是連續的
• 2.數組長度在定義時就必須制定
• 3.數組存儲的數據類型都是同一類型
• 4.數組可以直接通過小標訪問

　　優缺點：
　  優點：
　　1、可以根據索引直接訪問，訪問速度快
　  2、數據是安全的，由於數據類型一致性，在存儲使用過程中不涉及
　　缺點：
　　1、由於數據是連續存儲的，導致插入效率變慢
　   2、由於數組長度大小固定，那麼對預期非固定長度的数字不好處理

　　練習實例代碼：

 

    /// <summary>
    /// 數組練習操作 
    /// </summary>
    public class ArrayTest
    {
        /// 數組 Array 對於大家來說一點都不陌生
        /// 數組是在內存連續分配的存儲空間，這也導致數組有一下一些特點
        /// 1.數據存儲是連續的
        /// 2.數組長度在定義時就必須制定
        /// 3.數組存儲的數據類型都是同一類型
        /// 4.數組可以直接通過小標訪問
        /// 
        /// 優缺點：
        /// 優點：
        ///     1、可以根據索引直接訪問，訪問速度快
        ///     2、數據是安全的，由於數據類型一致性，在存儲使用過程中不涉及到裝箱拆箱操作
        /// 缺點：
        ///     1、由於數據是連續存儲的，導致插入效率變慢
        ///     2、由於數組長度大小固定，那麼對預期非固定長度的数字不好處理

        /// int類型的數組操作 
        public static void IntArrayTest()
        {

            //// 定義一個秒錶，執行獲取執行時間
            Stopwatch st = new Stopwatch();//實例化類
            st.Start();//開始計時

            Console.WriteLine("開始初始化長度為10000000的int數組：");

            //// 定義一個數組
            int[] nums = new int[10000000];
            for (int i = 0; i < 10000000; i++)
            {
                nums[i] = 1 + 1;
            }

            //需要統計時間的代碼段

            st.Stop();//終止計時
            Console.WriteLine(string.Format("初始化長度為10000的int數組完畢！總耗時{0}毫秒", st.ElapsedMilliseconds.ToString()));
        }
    }

 

三、ArrayList集合簡介

ArrayList 是Array的升級版，能夠解決Array的一些缺點
ArrayList其內部實現也是Array，只是其長度是可以動態，在其內部用一個變量記錄控制長度，ArrayList有如下一些特點

• 1.長度不固定
• 2.可以存儲不同的數據類型(object)
• 3.同樣支持索引查詢（可以直接通過小標訪問）
• 4.靈活性更強，以犧牲性能為代價

優缺點：
優點：
1、長度不固定，在定義是不必擔長度溢出
2、可以存儲任意數據類型
3、可根據索引查詢，查詢效率快
缺點：
1、由於長度不固定，執行效率低下，因為超出默認長度（10）后，會自動擴容拷貝數據，犧牲性能
2、由於存儲類型是object,所以在存數據時會有裝箱操作，在取數據時會有拆箱操作，影響效率
3、線程不安全，因為其內部實現是用size、array來共同控制，在新增操作時是非原子操作，所以非安全線程

使用技巧：
在實際使用過程中，為了避免自動擴容，可以預估數據長度，初始化一個數據長度，從而提高效率

練習實例代碼：

    /// <summary>
    /// ArrayList數組練習操作 
    /// </summary>
    public class ArrayListTest
    {
        /// ArrayList 是Array的升級版，能夠解決Array的一些缺點
        /// ArrayList其內部實現也是Array，只是其長度是可以動態，在其內部用一個變量記錄控制長度，ArrayList有如下一些特點
        /// 1.長度不固定
        /// 2.可以存儲不同的數據類型(object)
        /// 3.同樣支持索引查詢（可以直接通過小標訪問）
        /// 4.靈活性更強，以犧牲性能為代價

        /// 優缺點：
        /// 優點：
        ///     1、長度不固定，在定義是不必擔長度溢出
        ///     2、可以存儲任意數據類型
        ///     3、可根據索引查詢，查詢效率快
        /// 缺點：
        ///     1、由於長度不固定，執行效率低下，因為超出默認長度（10）后，會自動擴容拷貝數據，犧牲性能
        ///     2、由於存儲類型是object,所以在存數據時會有裝箱操作，在取數據時會有拆箱操作，影響效率
        ///     3、線程不安全，因為其內部實現是用size、array來共同控制，在新增操作時是非原子操作，所以非安全線程
        ///     
        /// 使用技巧：
        ///     在實際使用過程中，為了避免自動擴容，可以預估數據長度，初始化一個數據長度，從而提高效率

        /// ArrayList操作實例
        public static void ArrayListOpert()
        {

            //// 定義一個秒錶，執行獲取執行時間
            Stopwatch st = new Stopwatch();//實例化類

            //// 需要統計時間的代碼段(統計初始化長度時的執行時間)
            st.Start();//開始計時
            Console.WriteLine("");
            Console.WriteLine("");
            Console.WriteLine("ArryList集合存儲數據量為10000000，初始化一個長度，執行開始：");

            ArrayList arrayList = new ArrayList(10000000);

            //// 定義一個數組
            for (int i = 0; i < 10000000; i++)
            {
                arrayList.Add(1 + 1);
            }

            st.Stop();//終止計時
            Console.WriteLine(string.Format("ArryList集合存儲數據量為10000000，初始化一個長度，執行完畢：！總耗時{0}毫秒", st.ElapsedMilliseconds.ToString()));

            //// 需要統計時間的代碼段(統計初始化非指定長度時的執行時間)

            st.Restart();
            Console.WriteLine("");
            Console.WriteLine("ArryList集合存儲數據量為10000000，初始化不指定長度，執行開始：");

            arrayList = new ArrayList();

            //// 定義一個數組
            for (int i = 0; i < 10000000; i++)
            {
                arrayList.Add(1 + 1);
            }

            st.Stop();//終止計時
            Console.WriteLine(string.Format("ArryList集合存儲數據量為10000000，初始化不指定長度，執行完畢：！總耗時{0}毫秒", st.ElapsedMilliseconds.ToString()));
        }
    }

 

四、List集合簡介

 

隨着c#泛型的推出，為了避免ArrayList一些缺點，微軟推出了List集合
List集合內部還是採用的Array實現，同時在定義時需要指定對應的數據類型
這樣級保留了Array集合的優點，同時也避免了ArrayList集合的數據類型不安全和裝箱帶來的性能犧牲
List特點：

• 1、數據長度不固定，自動增加
• 2、存儲相同的數據類型
• 3、可根據索引查詢，查詢效率快

優缺點：
優點：
1、長度不固定，在定義是不必擔長度溢出
2、存儲相同數據類型的數據，避免的數據的裝箱拆箱，提高了數據處理效率
3、支持索引查詢，查詢效率快
缺點：
1、由於長度不固定，執行效率低下，因為超出默認長度（10）后，會自動擴容拷貝數據，犧牲性能
2、線程不安全，因為其內部實現是用size、array來共同控制，在新增操作時是非原子操作，所以非安全線程

 

練習實例代碼：

   /// <summary>
    /// List練習操作
    /// </summary>
    public class ListTest
    {
        /// 隨着c#泛型的推出，為了避免ArrayList一些缺點，微軟推出了List集合
        /// List集合內部還是採用的Array實現，同時在定義時需要指定對應的數據類型
        /// 這樣級保留了Array集合的優點，同時也避免了ArrayList集合的數據類型不安全和裝箱帶來的性能犧牲
        /// List特點：
        /// 1、數據長度不固定，自動增加
        /// 2、存儲相同的數據類型
        /// 3、可根據索引查詢，查詢效率快
        /// 
        /// 優缺點：
        /// 優點：
        ///     1、長度不固定，在定義是不必擔長度溢出
        ///     2、存儲相同數據類型的數據，避免的數據的裝箱拆箱，提高了數據處理效率
        ///     3、支持索引查詢，查詢效率快
        /// 缺點：
        ///     1、由於長度不固定，執行效率低下，因為超出默認長度（10）后，會自動擴容拷貝數據，犧牲性能
        ///     2、線程不安全，因為其內部實現是用size、array來共同控制，在新增操作時是非原子操作，所以非安全線程

        /// ArrayList操作實例
        public static void ListOpert()
        {
            //// 定義一個秒錶，執行獲取執行時間
            Stopwatch st = new Stopwatch();//實例化類
            st.Start();//開始計時
                       //// 需要統計時間的代碼段(統計初始化長度時的執行時間)
            Console.WriteLine("");
            Console.WriteLine("");
            Console.WriteLine("List集合存儲數據量為10000000，初始化一個長度，執行開始：");

            List<int> list = new List<int>(10000000);

            //// 定義一個數組
            for (int i = 0; i < 10000000; i++)
            {
                list.Add(1 + 1);
            }

            //需要統計時間的代碼段

            st.Stop();//終止計時
            Console.WriteLine(string.Format("List集合存儲數據量為10000000，初始化一個長度，執行完畢：！總耗時{0}毫秒", st.ElapsedMilliseconds.ToString()));

            //// 需要統計時間的代碼段(統計初始化非指定長度時的執行時間)
            st.Restart();
            Console.WriteLine("");
            Console.WriteLine("List集合存儲數據量為10000000，初始化不指定長度，執行開始：");

            list = new List<int>();

            //// 定義一個數組
            for (int i = 0; i < 10000000; i++)
            {
                list.Add(1 + 1);
            }

            st.Stop();//終止計時
            Console.WriteLine(string.Format("List集合存儲數據量為10000000，初始化不指定長度，執行完畢：！總耗時{0}毫秒", st.ElapsedMilliseconds.ToString()));
        }
    }

 

五、LinkedList集合簡介

LinkedList鏈表的底層是採用雙向鏈表的方式實現，
在鏈表（Linked List）中，每一個元素都指向下一個元素，以此來形成了一個鏈（chain）
可以從頭部和尾部插入數據，在存儲內存上採用非連續方式存儲，鏈表有如下一些特點

• 1、內存存儲上是非連續的
• 2、能夠支持從頭部和底部同時插入
• 3、長度是非固定的

優缺點：
優點：
1、由於非連續存儲，中部插入和刪除元素效率高
2、長度非固定，在創建時不用考慮其長度
3、可以沖頭部和底部添加元素
4、數據類型是安全的，在創建時需要指定的數據類型
缺點：
1、由於非連續存儲，不能通過小標訪問，查詢效率低

練習實例代碼：

    /// <summary>
    /// LinkedList練習操作
    /// </summary>
    public class LinkedListTest {
        /// LinkedList鏈表的底層是採用雙向鏈表的方式實現，
        /// 在鏈表（Linked List）中，每一個元素都指向下一個元素，以此來形成了一個鏈（chain）
        /// 可以從頭部和尾部插入數據，在存儲內存上採用非連續方式存儲，鏈表有如下一些特點
        /// 1、內存存儲上是非連續的
        /// 2、能夠支持從頭部和底部同時插入
        /// 3、長度是非固定的
        /// 優缺點：
        /// 優點：
        ///     1、由於非連續存儲，中部插入和刪除元素效率高
        ///     2、長度非固定，在創建時不用考慮其長度
        ///     3、可以沖頭部和底部添加元素
        ///     4、數據類型是安全的，在創建時需要指定的數據類型
        ///  缺點：
        ///     1、由於非連續存儲，不能通過小標訪問，查詢效率低

        /// LinkedList操作實例
        public static void LinkedListTestOpert() {
            //// 定義一個秒錶，執行獲取執行時間
            Stopwatch st = new Stopwatch();//實例化類
            st.Start();//開始計時
                       //// 需要統計時間的代碼段(統計初始化長度時的執行時間)
            Console.WriteLine("");
            Console.WriteLine("");
            Console.WriteLine("Linked集合存儲數據量為10000000，執行開始：");

            LinkedList<int> list = new LinkedList<int>();

            //// 定義一個數組
            for (int i = 0; i < 10000000; i++)
            {
                list.AddFirst(1 + 1);
            }

            //需要統計時間的代碼段

            st.Stop();//終止計時
            Console.WriteLine(string.Format("Linked集合存儲數據量為10000000，執行完畢：！總耗時{0}毫秒", st.ElapsedMilliseconds.ToString()));
        }
    }

 

六、每種集合數據執行結果對比分析

 

    class Program
    {
        static void Main(string[] args)
        {
            //// array數組操作測試
            ArrayTest.IntArrayTest();

            //// arrayList集合操測試
            ArrayListTest.ArrayListOpert();

            //// List集合操作測試
            ListTest.ListOpert();

            //// LinkedList集合操作測試
            LinkedListTest.LinkedListTestOpert();

            ///// 通過測試數據
            //通過測試數據大概可以分析得出一些結論
            //1、整體效率上Array效率最高，ArrayList效率最低，List效率介於Array和ArrayList之間
            //2、ArrayList和List集合，在定義時如果知道數據長度，那麼初始化時，指定長度的效率比不指定的長度效率高
            
            
            //總結：
            //在數據集合使用選擇上給出以下一些建議：
            //1、Array：當元素的數量是固定的，並且需要使用下標時
            //2、ArrayList：當存儲的元素類型不同時
            //3、List：當元素的數量是固定的，並且需要使用下標時
            //4、LinkedList：當元素需要能夠在列表的兩端添加時
            Console.ReadLine();
        }
    }

　　執行結果數據

 

通過測試數據大概可以分析得出一些結論
1、整體效率上Array效率最高，ArrayList效率最低，List效率介於Array和ArrayList之間
2、ArrayList和List集合，在定義時如果知道數據長度，那麼初始化時，指定長度的效率比不指定的長度效率高

七、總結：

在數據集合使用選擇上給出以下一些建議：
1、Array：當元素的數量是固定的，並且需要使用下標時
2、ArrayList：當存儲的元素類型不同時，初始化時給一個預估的長度
3、List：當元素的數量是固定的，並且需要使用下標時，初始化時給一個預估的長度
4、LinkedList：當元素需要能夠在列表的兩端添加時

附件：

 

關於這一些練習的代碼，上傳到github，有興趣的可以看一下：

 

 

本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理

【其他文章推薦】

※USB CONNECTOR掌控什麼技術要點? 帶您認識其相關發展及效能

※評比前十大台北網頁設計、台北網站設計公司知名案例作品心得分享

※智慧手機時代的來臨，RWD網頁設計已成為網頁設計推薦首選

※評比南投搬家公司費用收費行情懶人包大公開

ElasticSearch基礎概念

使用場景:比如分庫的情況下，你想統計所有數據的報表，就把所有數據都放在ElasticSearch上

關係型數據庫	ElasticSearch
數據庫Database	索引index，支持全文檢索
表Table	類型Type
數據行Row	文檔Document
數據列Column	字段Field
模式Schema	映射Mapping

用關係型數據庫就會想到建立一張User表，再建字段等，

而在Elasticsearch的文件存儲，Elasticsearch是面向文檔型數據庫，一條數據在這裏就是一個文檔，用JSON作為文檔序列化的格式

在ES6.0之後，已經不允許在一個index下建不同的Type了，一個index下只有一個Type(以後版本中Type概念會去掉，可以直接把index類比成Table)

節點Node：

　　一個ElasticSearch運行的實列，集群構成的單元

集群Cluster：

　　由一個或多個節點組成，對外提供服務　　

Elasticsearch實現原理-倒排索引

ElasticSearch是基於倒排索引實現的

倒排索引（Inverted Index）也叫反向索引，有反向索引必有正向索引。

通俗地來講，正向索引是通過key找value，反向索引則是通過value找key。

倒排索引—單詞詞典

單詞詞典(Term Dictionary)是倒排索引的重要組成部分。

——記錄所有文檔的單詞，一般都比較大

——記錄單詞到倒排列表的關聯信息(這個單詞關聯了哪些文檔)

倒排索引—排序列表

倒排列表(Posting List)記錄了單詞對應文檔的集合，由倒排索引項(Posting)組成

倒排索引項(Posting)主要包含如下信息

—文檔Id，用於獲取原始信息

—單詞頻率(TF,Term Frequency)，記錄該單詞在文檔中出現的次數，用於後序相關算分

—位置(Position)，記錄單詞在文檔中的分詞位置，用於做詞語搜索(Phrase Query)

—偏移(Offset)，記錄單詞在文檔的開始和結束位置，用於高亮显示

分詞

搜索引擎的核心是倒排索引，而倒排索引的基礎就是分詞。所謂分詞可以簡單理解為將一個完整的句子切割為一個個單詞的過程。也可以叫文本分析，在es稱為Analysis。

如文本：elasticSearch是最流行的搜索引擎

分詞結果：elasticSearch 流行 搜索引擎

分詞器是es中專門處理分詞的組件，英文為Analyzer，它的組成如下

Character Filters：針對原始文本特殊處理，比如除html特殊符

Tokenizer：將原始文本按照一定規則切分為單詞

TokenFilters：針對tokenizer處理的單詞就行在加工，比如轉小寫，刪除或新增處理(比如中文中的  這 呢 無實意的詞)

Analyze API

es提供了一個測試分詞的API接口，方便驗證分詞效果，endpoint是_analyze

—可以直接指定analyze測試

—可以直接指定索引中的字段進行測試

—可以自定義分詞器進行測試

文檔映射Mapping

Mapping類似數據庫中的表結構定義，主要作用如下：

—定義Index下的字段名(Field Name)

—定義字段的類型，比如數值型、字符串型、布爾型等

—定義倒排索引相關的配置，比如是否索引、記錄position等

Dynamic Mapping

es可以自動識別文檔字段類型，從而降低用戶使用成本

SearchAPI介紹和相關性算分

es中存儲的數據進行查詢分析，endpoint為_search

查詢主要有兩種形式

1）URI Search

操作簡單，方便通過命令進行測試

但 僅包含部分查詢語法

GET /indexname/_search?q=user:xx

2）Request Body Search

es提供的完備查詢語法Query DSL(Domain Specific Language)

GET /indexname/_search

{
　　”query”: {
　　　　”term”: {
　　　　　　”user”: “xx”
　　　　}
　　}
}

相關算分

相關算分是指文檔與查詢語句直接的相關度，英文為relevance

　　通過倒排索引可以獲取與查詢語句相匹配的文檔列表，那麼如何將最符合用戶查詢的文檔放到前列呢

　　本質是一個排序問題，排序的依據是相關算分

ES目前主要有兩個相關性算分模型

　　TF/IDF模型

　　BM25模型 5.x之後的默認模型

BM25相比TF/IDF的一大優化是降低了TF(Term Frequency單詞頻率)在過大時的權重

相關算分是shard與shard間是相互獨立的，也就意味着一個Term的IDF等值在不同shard上是不同的。文檔的相關算分和它所處的shard有關

在文檔數量不多時 會導致相關算分嚴重不準的情況發生

解決辦法

　　—設置分片數是一個，從根本排除問題，在文檔數據量不多時可以考慮該方法，(百萬到千萬)

　　—二是使用DFS Query Then Ftech查詢方式

Elasticsearch分佈式特性

es支持集群模式，是一個分佈式系統，好處是

—1)增加系統容量：內存、磁盤，使es集群可以支持PB級的數據

如何將數據分佈在所有節點上

　　—引入分片 Shard解決問題

分片是ES支持PB級數據的基石

　　—分片存儲了部分數據，可以分部在任意節點上

　　—分片數在索引創建時指定且後序不允許再更改(即使你後面新增了也用不到)，默認5個

　　—分片有主分片和副本分片之分，以實現數據的高可用

es集群由多個es實列組成

　　—不同集群通過集群名字來區分，可通過cluster.name修改，默認為elasticSearch

　　—每個ES實列本質是一個JVM進程，且有自己的名字，通過node.name修改

Master Node：Master節點通過集群中所有的節點選舉產生，可以被選舉的節點稱為master-eligible節點，

　　　　　　相關配置如下：node.master:true

Coordinating Node：處理請求的節點為Coordinating節點，該節點為所有節點默認角色，不能取消

　　　　　　　　    作用是把請求路由到正確的節點處理，比如創建索引請求到master節點

Data Node：存儲數據的節點即為data節點，默認節點都是data類型，相關配置如下：node.data.true

—2)提供系統可用性：即部分節點停止服務，整個集群依然可以正常服務

提高系統可用性

服務可用性

　　—兩個節點情況下，允許其中一個節點停止服務　　

數據可用性

　　—引入副本(Replication)解決

　　—每個節點上都有完備的數據

複製分片的意義在於容錯性，當一個節點掛了，另一個節點上的分片可以代替掛掉節點上的分片

故障轉移

一：

 二：

 三：

文檔到分片的映射算法

es通過如下公式計算文檔到對應的分片 -shard=hash(routing)%number_of_primary_shards

hash算法保證可以將數據均勻的分散在分片中

routing是一個關鍵參數，默認是文檔id，也可以自行指定

number_of_primary_shards是主片分數(該算法與主片分數相關，這也是分片數量一旦確定就不能修改的原因)

腦裂問題

在上述第一步的時候 node2和node3選舉node2為master節點了時候，此時會更新cluster state

此時node1節點網絡恢復了，node1自己組成集群后，也會更新cluster state

此時：同一個集群有兩個master，而且維護不同的cluster state，網絡恢復后 無法選擇正確的master

解決方案：僅在可選舉master-eligible節點數大於等於quorum時才可以進行master選舉

　　　　    即使node1節點恢復了 ，可選節點數未達到quorum，不選舉

 

本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理

【其他文章推薦】

※USB CONNECTOR掌控什麼技術要點? 帶您認識其相關發展及效能

※評比前十大台北網頁設計、台北網站設計公司知名案例作品心得分享

※智慧手機時代的來臨，RWD網頁設計已成為網頁設計推薦首選

※評比南投搬家公司費用收費行情懶人包大公開

一 Nginx代理實現kube-apiserver高可用

1.1 Nginx實現高可用

基於 nginx 代理的 kube-apiserver 高可用方案。

控制節點的 kube-controller-manager、kube-scheduler 是多實例部署，所以只要有一個實例正常，就可以保證高可用；

集群內的 Pod 使用 K8S 服務域名 kubernetes 訪問 kube-apiserver， kube-dns 會自動解析出多個 kube-apiserver 節點的 IP，所以也是高可用的；

在每個節點起一個 nginx 進程，後端對接多個 apiserver 實例，nginx 對它們做健康檢查和負載均衡；

kubelet、kube-proxy、controller-manager、scheduler 通過本地的 nginx（監聽 127.0.0.1）訪問 kube-apiserver，從而實現 kube-apiserver 的高可用；

從而基於 nginx 4 層透明代理功能實現 K8S 節點( master 節點和 worker 節點)高可用訪問 kube-apiserver 。

1.2 下載編譯Nginx

  1 [root@k8smaster01 ~]# cd /opt/k8s/work
  2 [root@k8smaster01 work]# wget http://nginx.org/download/nginx-1.15.3.tar.gz
  3 [root@k8smaster01 work]# tar -xzvf nginx-1.15.3.tar.gz
  4 [root@k8smaster01 ~]# cd /opt/k8s/work/nginx-1.15.3/
  5 [root@k8smaster01 nginx-1.15.3]# mkdir nginx-prefix
  6 [root@k8smaster01 nginx-1.15.3]# ./configure --with-stream --without-http --prefix=$(pwd)/nginx-prefix --without-http_uwsgi_module --without-http_scgi_module --without-http_fastcgi_module
  7 [root@k8smaster01 ~]# cd /opt/k8s/work/nginx-1.15.3/
  8 [root@k8smaster01 nginx-1.15.3]# make && make install

解釋：

• –with-stream：開啟 4 層透明轉發(TCP Proxy)功能；
• –without-xxx：關閉所有其他功能，這樣生成的動態鏈接二進製程序依賴最小。
• [root@k8smaster01 ~]# cd /opt/k8s/work/nginx-1.15.3/
• [root@k8smaster01 nginx-1.15.3]# ./nginx-prefix/sbin/nginx -v

1.3 驗證編譯后的Nginx

  1 [root@k8smaster01 ~]# cd /opt/k8s/work/nginx-1.15.3
  2 [root@k8smaster01 nginx-1.15.3]# ./nginx-prefix/sbin/nginx -v
  3 nginx version: nginx/1.15.3
  4 [root@k8smaster01 nginx-1.15.3]# ldd ./nginx-prefix/sbin/nginx	#查看 nginx 動態鏈接的庫
  5         linux-vdso.so.1 =>  (0x00007ffdda980000)
  6         libdl.so.2 => /lib64/libdl.so.2 (0x00007feb37300000)
  7         libpthread.so.0 => /lib64/libpthread.so.0 (0x00007feb370e4000)
  8         libc.so.6 => /lib64/libc.so.6 (0x00007feb36d17000)
  9         /lib64/ld-linux-x86-64.so.2 (0x00007feb37504000)

提示：由於只開啟了 4 層透明轉發功能，所以除了依賴 libc 等操作系統核心 lib 庫外，沒有對其它 lib 的依賴(如 libz、libssl 等)，以便達到精簡編譯的目的。

1.4 安裝和部署Nginx

  1 [root@k8smaster01 ~]# cd /opt/k8s/work
  2 [root@k8smaster01 work]# source /opt/k8s/bin/environment.sh
  3 [root@k8smaster01 work]# for master_ip in ${MASTER_IPS[@]}
  4   do
  5     echo ">>> ${master_ip}"
  6     mkdir -p /opt/k8s/kube-nginx/{conf,logs,sbin}
  7   done						#創建Nginx目錄
  8 [root@k8smaster01 ~]# cd /opt/k8s/work
  9 [root@k8smaster01 work]# source /opt/k8s/bin/environment.sh
 10 [root@k8smaster01 work]# for master_ip in ${MASTER_IPS[@]}
 11   do
 12     echo ">>> ${master_ip}"
 13     scp /opt/k8s/work/nginx-1.15.3/nginx-prefix/sbin/nginx  root@${master_ip}:/opt/k8s/kube-nginx/sbin/kube-nginx
 14     ssh root@${master_ip} "chmod a+x /opt/k8s/kube-nginx/sbin/*"
 15     ssh root@${master_ip} "mkdir -p /opt/k8s/kube-nginx/{conf,logs,sbin}"
 16   done						#分發Nginx二進制

1.5 配置Nginx 四層透明轉發

  1 [root@k8smaster01 ~]# cd /opt/k8s/work
  2 [root@k8smaster01 work]# cat > kube-nginx.conf <<EOF
  3 worker_processes 1;
  4 
  5 events {
  6     worker_connections  1024;
  7 }
  8 
  9 stream {
 10     upstream backend {
 11         hash $remote_addr consistent;
 12         server 172.24.8.71:6443        max_fails=3 fail_timeout=30s;
 13         server 172.24.8.72:6443        max_fails=3 fail_timeout=30s;
 14         server 172.24.8.73:6443        max_fails=3 fail_timeout=30s;
 15     }
 16 
 17     server {
 18         listen 127.0.0.1:8443;
 19         proxy_connect_timeout 1s;
 20         proxy_pass backend;
 21     }
 22 }
 23 EOF
 24 [root@k8smaster01 ~]# cd /opt/k8s/work
 25 [root@k8smaster01 work]# source /opt/k8s/bin/environment.sh
 26 [root@k8smaster01 work]# for master_ip in ${MASTER_IPS[@]}
 27   do
 28     echo ">>> ${master_ip}"
 29     scp kube-nginx.conf  root@${master_ip}:/opt/k8s/kube-nginx/conf/kube-nginx.conf
 30   done						#分發Nginx四層透明代理配置文件

1.6 配置Nginx system

  1 [root@k8smaster01 ~]# cd /opt/k8s/work
  2 [root@k8smaster01 work]# cat > kube-nginx.service <<EOF
  3 [Unit]
  4 Description=kube-apiserver nginx proxy
  5 After=network.target
  6 After=network-online.target
  7 Wants=network-online.target
  8 
  9 [Service]
 10 Type=forking
 11 ExecStartPre=/opt/k8s/kube-nginx/sbin/kube-nginx -c /opt/k8s/kube-nginx/conf/kube-nginx.conf -p /opt/k8s/kube-nginx -t
 12 ExecStart=/opt/k8s/kube-nginx/sbin/kube-nginx -c /opt/k8s/kube-nginx/conf/kube-nginx.conf -p /opt/k8s/kube-nginx
 13 ExecReload=/opt/k8s/kube-nginx/sbin/kube-nginx -c /opt/k8s/kube-nginx/conf/kube-nginx.conf -p /opt/k8s/kube-nginx -s reload
 14 PrivateTmp=true
 15 Restart=always
 16 RestartSec=5
 17 StartLimitInterval=0
 18 LimitNOFILE=65536
 19 
 20 [Install]
 21 WantedBy=multi-user.target
 22 EOF

1.7 分發Nginx systemd

  1 [root@k8smaster01 ~]# cd /opt/k8s/work
  2 [root@k8smaster01 work]# source /opt/k8s/bin/environment.sh
  3 [root@k8smaster01 work]# for master_ip in ${MASTER_IPS[@]}
  4   do
  5     echo ">>> ${master_ip}"
  6     scp kube-nginx.service  root@${master_ip}:/etc/systemd/system/
  7   done

二 啟動並驗證

2.1 啟動Nginx

  1 [root@k8smaster01 ~]# cd /opt/k8s/work
  2 [root@k8smaster01 work]# source /opt/k8s/bin/environment.sh
  3 [root@k8smaster01 work]# for master_ip in ${MASTER_IPS[@]}
  4   do
  5     echo ">>> ${master_ip}"
  6     ssh root@${master_ip} "systemctl daemon-reload && systemctl enable kube-nginx && systemctl restart kube-nginx"
  7   done

2.2 檢查Nginx服務

  1 [root@k8smaster01 ~]# cd /opt/k8s/work
  2 [root@k8smaster01 work]# source /opt/k8s/bin/environment.sh
  3 [root@k8smaster01 work]# for master_ip in ${MASTER_IPS[@]}
  4   do
  5     echo ">>> ${master_ip}"
  6     ssh root@${master_ip} "systemctl status kube-nginx |grep 'Active:'"
  7   done

本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理

【其他文章推薦】

※USB CONNECTOR掌控什麼技術要點? 帶您認識其相關發展及效能

※評比前十大台北網頁設計、台北網站設計公司知名案例作品心得分享

※智慧手機時代的來臨，RWD網頁設計已成為網頁設計推薦首選

※評比南投搬家公司費用收費行情懶人包大公開