chromedp入門

chromedp是什麼？

chromedp是go寫的，支持Chrome DevTools Protocol 的一個驅動瀏覽器的庫。並且它不需要依賴其他的外界服務（比如 Selenium 和 PhantomJs）。

Chrome DevTools Protocol (CDP)

Chrome DevTools Protocol (CDP) 的主頁在：https://chromedevtools.github.io/devtools-protocol/。 它提供一系列的接口來查看，檢查，調整並且檢查 Chromium 的性能。Chrome 的開發者工具就是使用這一系列的接口，並且 Chrome 開發者工具來維護這些接口。

所謂 CDP 的協議，本質上是什麼呢？本質上是基於 websocket 的一種協議。比如

在我們打開 webtool 調試工具的時候，其實調試工具也是一個web頁面，兩個web頁面通過websocket建立了一個聯繫。
所以我們如果寫了一個客戶端程序，也和目標頁面創建一個基於 CDP 的 websocket連接，我們也可以通過這個協議來對頁面進行操作。

如何打開 Protocol Monitor

在chrome的開發者工具中

打開實驗選項 Protocol Monitor

重啟chrome，在console的更多裏面就可以打開對應的 Monitor

CDP 協議內容

我們從 Protocol Monitor 面板中可以看到，其中有幾個字樣，Method，Request，Response。
這裏的 Method 就是對應官網 https://chromedevtools.github.io/devtools-protocol/ 左側每個Domain的 Event。

這裏的每個Method方法可能是調試頁面給目標頁面發送的，但是更多是目標頁面給調試頁面發送的消息。所以我們需要讀懂每個Method的內容。不過很可惜，我個人感覺官網的每個Method文檔的描述寫的實在是太簡單了，也沒有看到更詳細的描述，只能通過名字和事件來猜測每個Method意思了。

chromedp 使用

chromedp的使用最快的方法就是看 https://github.com/chromedp/examples 這個項目

基本我們可以熟悉最常用的幾個方法了：

• chromedp.NewContext() 初始化chromedp的上下文，後續這個頁面都使用這個上下文進行操作
• chromedp.Run() 運行一個chrome的一系列操作
• chromedp.Navigate() 將瀏覽器導航到某個頁面
• chromedp.WaitVisible() 等候某個元素可見，再繼續執行。
• chromedp.Click() 模擬鼠標點擊某個元素
• chromedp.Value() 獲取某個元素的value值
• chromedp.ActionFunc() 再當前頁面執行某些自定義函數
• chromedp.Text() 讀取某個元素的text值
• chromedp.Evaluate() 執行某個js，相當於控制台輸入js
• network.SetExtraHTTPHeaders() 截取請求，額外增加header頭
• chromedp.SendKeys() 模擬鍵盤操作，輸入字符
• chromedp.Nodes() 根據xpath獲取某些元素，並存儲進入數組
• chromedp.NewRemoteAllocator
• chromedp.OuterHTML() 獲取元素的outer html
• chromedp.Screenshot() 根據某個元素截圖
• page.CaptureScreenshot() 截取整個頁面的元素
• chromedp.Submit() 提交某個表單
• chromedp.WaitNotPresent() 等候某個元素不存在，比如“正在搜索。。。”
• chromedp.Tasks{} 一系列Action組成的任務

實踐

我們嘗試打開 https://www.cnblogs.com/ 的首頁，然後獲取所有文章的標題和鏈接：

package main

import (
	"context"
	"fmt"
	"log"

	"github.com/chromedp/cdproto/cdp"
	"github.com/chromedp/chromedp"
)

func main() {

	ctx, cancel := chromedp.NewContext(
		context.Background(),
		chromedp.WithLogf(log.Printf),
	)
	defer cancel()

	var nodes []*cdp.Node
	err := chromedp.Run(ctx,
		chromedp.Navigate("https://www.cnblogs.com/"),
		chromedp.WaitVisible(`#footer`, chromedp.ByID),
		chromedp.Nodes(`.//a[@class="titlelnk"]`, &nodes),
	)
	if err != nil {
		log.Fatal(err)
	}

	fmt.Println("get nodes:", len(nodes))
	// print titles
	for _, node := range nodes {
		fmt.Println(node.Children[0].NodeValue, ":", node.AttributeValue("href"))
	}
}

本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理

【其他文章推薦】

※網頁設計一頭霧水該從何著手呢? 台北網頁設計公司幫您輕鬆架站!

※網頁設計公司推薦不同的風格，搶佔消費者視覺第一線

※Google地圖已可更新顯示潭子電動車充電站設置地點!!

※廣告預算用在刀口上，台北網頁設計公司幫您達到更多曝光效益

※別再煩惱如何寫文案,掌握八大原則!

作者：CODING – 朱增輝

前言

make 工具非常強大，配合 makefile 文件可以實現軟件的自動化構建，但是執行 make 命令依然需要經歷手動輸入執行、等待編譯完成、將目標文件轉移到合適位置等過程，我們真正關心的是最終的輸出，卻在這些中間過程上浪費了很多時間。利用 CODING 持續集成功能可以實現自動觸發構建，構建全程自動化，無須分心看護，節省時間。

本文通過一個 C 語言 + Makefile Demo 項目講解如何使用 CODING 持續集成功能創建構建計劃，自動觸發構建，以及如何將生成的目標文件發布到 CODING generic 製品庫。

準備工作

環境

本文涉及到以下工具，請確認已存在，或者根據鏈接的文檔進行安裝。

• git
• make
• gcc

另外，您還需準備一個 CODING 項目。

代碼

我已經準備了一份簡單的示例代碼，使用 make 工具構建 Hello-world 程序。

// hello.c
#include <stdio.h>

int main() {
    printf("Hello, World!\n");
    return 0;
}

您可以通過下面的命令克隆到本地。

git clone https://e.coding.net/coding-public/demo-c-make.git

倉庫中還包含了一個 makefile 文件，定義了簡單的規則來完成軟件構建。

all: hello

hello: hello.o
	gcc -o hello hello.o

hello.o: hello.c
	gcc -c hello.c

clean:
	rm -rf hello.o hello

您可以在本地執行 make 命令以驗證構建正常。

下面我們正式開始通過一個 Demo 演示 CODING 平台持續集成功能的使用。

步驟一 創建製品庫

為了方便隨時使用構建出來的目標文件，我們將構建物存儲到 CODING 平台製品庫，因此需要先創建合適的製品倉庫，這裏創建 generic 倉庫比較合適。

從左側導航欄打開製品庫。

單擊新建倉庫，選擇 generic 類型，按照提示指定倉庫名稱，這裏倉庫名取為 generic。

步驟二 創建並配置構建計劃

從左側導航欄打開持續集成 --> 構建計劃頁面，點擊新建構建計劃配置創建並配置新的構建計劃。在彈出的頁面中，輸入構建計劃名稱，選擇代碼倉庫,配置來源指的的該構建計劃的構建腳本存放位置，對於簡單的、變動不頻繁的腳本可以使用靜態配置的選項，否則更推薦使用代碼倉庫中的腳本，這樣更加靈活，方便管理

點擊使用模板，可根據自己需要選擇合適模板，這裏選擇 簡易模板。

保存構建計劃后，系統會自動將構建模板對應的 Jenkinsfile 推送到倉庫，默認為 master 分支。

步驟三 編寫構建腳本

構建腳本定義構建過程的具體步驟，是構建計劃的核心部分。CODING 平台提供了圖形化編輯器方便您快速編寫構建腳本。

CODING 持續集成底層基於開源 CI/CD 軟件領導者 Jenkins 實現，完全兼容 Jenkins pipeline 構建腳本語法，根據 Jenkins 官方提供的腳本編寫指南，可以實現更複雜的構建任務，CODING 也提供了文本編輯器方便您在線編輯。

代碼倉庫中已包含一個簡單的構建腳本（Jenkisnfile），您可以按照自己的想法參考編寫。

// Jenkinsfile
pipeline {
  agent any
  stages {
    stage('檢出') {
      steps {
        checkout([
          $class: 'GitSCM',
          branches: [[name: env.GIT_BUILD_REF]],
          userRemoteConfigs: [[
            url: env.GIT_REPO_URL,
            credentialsId: env.CREDENTIALS_ID
          ]]])
        }
      }
      stage('構建') {
        steps {
          echo '構建中...'
          sh 'make'
          echo '構建完成.'
        }
      }
      stage('發布') {
        steps {
          echo '發布中...'
          codingArtifactsGeneric(
            files: 'hello',
            repoName: "${env.GENERIC_REPO_NAME}",
            version: "${env.GIT_COMMIT}",
          )
          echo '發布完成'
        }
      }
    }
  }
}

構建腳本中的大部分內容都比較容易理解，稍顯陌生的是 codingArtifactsGeneric 步驟，這是 CODING 官方提供的插件，方便上傳到 CODING generic 製品庫。該插件通過環境變量 GENERIC_REPO_NAME 獲取倉庫名，因此需要配置構建計劃設置該變量值。

步驟四 配置觸發構建規則

CODING 持續功能支持多種觸發方式包括代碼源觸發、定時觸發、API 觸發及手動觸發，這幾種觸發方式可以同時配置互不衝突，其中代碼源觸發又可配置為推送到指定分支或標籤觸發，觸發方式多樣，可滿足絕大部分場景需要。

如前言中所說，我們希望把更多的精力放在源代碼上，盡量減少構建所帶來的干擾，因此這裏必不可少的是配置通過代碼源觸發，通過配置如下正則表達式，可以在推送代碼到匹配的分支名時自動觸發構建。

^refs/(heads/(release|release-.*|build-.*|feat-.*|fix-.*|test-.*|mr/.*))

步驟五 執行構建

執行構建最簡單的方式是手動觸發構建，選中想要構建的構建計劃，單擊立即構建會彈出配置窗口，在這裏可以配置此次構建使用的參數，單擊確定即可開始構建。

按照步驟四的配置，我們的構建計劃也支持推送的匹配分支觸發構建，您可以執行如下命令創建新分支並推送到遠端倉庫，即可觸發構建。

git checkout -b build-ci-test
git push origin HEAD

觸發后，構建會自動執行，您可以繼續做其他事情。

步驟六 下載目標文件

步驟三中定義的構建腳本會將構建出的目標文件發布到 CODING 製品庫，如果我們想要在本地使用也是很方便下載的。在製品倉庫中單擊文件名即可看到指引頁，裏面給出了對文件不同操作的命令。

總結

本文通過一個 C 語言 + makefile 的 Demo 項目講解了 CODING 持續集成、製品庫的簡單使用。藉由 CODING 平台的這些功能，我們像是雇了一個永不會累的助手，承擔了耗時的構建工作，從而節省了時間，提高了效率。

本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理

【其他文章推薦】

※網頁設計一頭霧水該從何著手呢? 台北網頁設計公司幫您輕鬆架站!

※網頁設計公司推薦不同的風格，搶佔消費者視覺第一線

※Google地圖已可更新顯示潭子電動車充電站設置地點!!

※廣告預算用在刀口上，台北網頁設計公司幫您達到更多曝光效益

※別再煩惱如何寫文案,掌握八大原則!

Tesla 將推全新的敞篷電動車款，這將是特斯拉公司的第四款車型，預計在 2017 年問世。   在這之前，特斯拉曾表示將發布全新 Model X 和 Model 3 ，為了提升業績表現，特斯拉將推出更多全新車款。除了將推出全新敞篷電動車外，特斯拉還計劃售價約為 3 萬 5 千美元的 Model C。   而 Tesla 全新敞篷電動車型，可能命名為 Model R，將使用電驅動技術，百公里加速時間將小於 4 秒，最高時速可達 322km/h 。   （照片來源： Shared by CC 2.0）

本站聲明:網站內容來源於EnergyTrend https://www.energytrend.com.tw/ev/,如有侵權,請聯繫我們,我們將及時處理

【其他文章推薦】

※網頁設計一頭霧水該從何著手呢? 台北網頁設計公司幫您輕鬆架站!

※網頁設計公司推薦不同的風格，搶佔消費者視覺第一線

※Google地圖已可更新顯示潭子電動車充電站設置地點!!

※廣告預算用在刀口上，台北網頁設計公司幫您達到更多曝光效益

※別再煩惱如何寫文案,掌握八大原則!