使用Go lang從網頁中提取鏈接

Question

我在學習google's Go programming language。有誰知道從HTML網頁中提取所有網址的最佳做法嗎？

來自Java世界，有一些庫可以完成這項工作，例如jsoup,htmlparser等。但是對於lang來說，我猜沒有可用的類似庫了？

Answer 1

Go的HTML解析標準包仍在進行中，不屬於當前版本的一部分。您可能嘗試的第三方軟件包是go-html-transform。它正在積極維護。

Answer 2

儘管用於HTML解析的Go包確實還在進行中，但它在go.net存儲庫中可用。

其來源是code.google.com/p/go.net/htmlgithub.com/golang/net它正在積極開發。

它在最近的go-nuts discussion中被提及。

---

注意，用GO 1.4（2014年12月），我在this answer提到的，現在包裝是golang.org/x/net（見godoc）。

Answer 3

我搜索了一下，發現有一個名爲Gokogiri的庫，它聽起來和Ruby的Nogokiri一樣。我認爲該項目也是active。

Answer 4

如果您瞭解jQuery，您一定會喜歡GoQuery。

說實話，它是我在Go中找到的最簡單，最強大的HTML工具，它基於go.net存儲庫中的html包。 （好吧，所以它的級別高於只是一個解析器，因爲它不暴露原始的HTML標記之類的，但如果你想真正得到任何與HTML文檔完成後，這個軟件包將幫助。）

Answer 5

我剛剛爲Go發佈了一個基於事件的基於事件的HTML 5.0兼容解析包。您可以find it here

下面是示例代碼從一個頁面中的所有鏈接（從A元素）：

links := make([]string) 

parser := NewParser(htmlContent) 

parser.Parse(nil, func(e *HtmlElement, isEmpty bool) { 
    if e.TagName == "link" { 
     link,_ := e.GetAttributeValue("href") 
     if(link != "") { 
      links = appends(links, link) 
     } 
    } 
}, nil) 

有幾件事情要記住：

• 這些都是相對的鏈接，而不是完整的網址
• 不會收集動態生成的鏈接
• 還有其他鏈接未被收集（META標籤，圖片，iframe，等等。）。修改此代碼以收集這些代碼非常簡單。