如何以編程方式獲取網站中的所有網頁的網址

我想要使用最好的java得到這個，或者如果有一種方法可以使用selenium webdriver來做到這一點，我不希望鏈接出現在頁面中。我希望像https://www.xml-sitemaps.com/這樣的結果給出域中所有頁面URL的列表。我不需要它像一棵樹或一個XML，只是簡單的網址將做如何以編程方式獲取網站中的所有網頁的網址

來源

2015-10-28 MagicBeans

你在找什麼通常被稱爲網絡爬蟲或網絡蜘蛛。試試谷歌搜索。 – jgitter

我搜索了它，大多數人都告訴的是獲取一個頁面的鏈接並遍歷這些並使用jsoup在這些頁面中找到更多鏈接，或者我可以使用selenium webdriver做類似的工作，但我不想那樣做。這是一個tedius，並沒有解決我的目的，我的主頁可以說可能指向許多網站的五十個鏈接，但我的網站只有4頁，我的主頁沒有鏈接到所有這四個頁面，然後只是爲了獲得頁面這是很大的開銷。 – MagicBeans

[如何使用硒瀏覽整個網站？]（http://stackoverflow.com/questions/24257802/how-to-browse-a-whole-website-using-selenium） – Sighil

你可以尋找標籤（如href或a），然後將鏈接存儲在一個列表中。

List links = driver.findElements（By.tagName（「href」））;

來源

2015-10-28 23:09:16

如何以編程方式獲取網站中的所有網頁的網址

回答

相關問題