如何使用Asp.net抓取過程來獲取網站的所有網址？

Question

如何獲取網站的所有網址

假設我想抓取網站中的某些部分數據，這些數據在不同的網頁中如何獲取所有網址列表以進入所有這些類似網頁。

假設在一個手機網站我想獲得一個品牌的所有手機我怎樣才能得到他們在網站的不同網址。我觀察到Div標籤類是所有手機的「品牌名稱」

Div類「諾基亞」....我想要div類爲諾基亞的網站的URL。

Answer 1

你可以使用HTML解析器如Html Agility Pack來提取錨，形式的所有URL，...如果該URL不是你解析你將無法在HTML的部分（除猜測）知道給定域名所有可能的子域名和網址。