如何查找網站上的所有鏈接/頁面

Question

是否可以在任何指定網站上查找所有頁面和鏈接？我想輸入一個URL併產生一個來自該站點的所有鏈接的目錄樹？

我已經看過HTTrack，但下載整個網站，我只需要目錄樹。

Answer 1

檢出linkchecker - 它將抓取該網站（同時服從robots.txt）並生成報告。從那裏，你可以編寫一個解決方案來創建目錄樹。

Answer 2

如果這是一個編程問題，那麼我建議你編寫自己的正則表達式來解析所有檢索到的內容。目標標籤是標準HTML的IMG和A.對於JAVA，

final String openingTags = "(<a [^>]*href=['\"]?|<img[^> ]* src=['\"]?)"; 

這與模式和匹配器類一起應檢測標記的開始。如果您還想要CSS，請添加LINK標記。

然而，它並不像您想象的那麼容易。許多網頁的格式不正確。如果您需要考慮所有不規則表達式，通過編程提取所有鏈接，人類可以「識別」真的很困難。

祝你好運！

Answer 3

或者您可以使用Google來顯示它爲此域建立索引的所有頁面。例如：site:www.bbc.co.uk

Answer 4

function getalllinks($url){ 
$links = array(); 
if ($fp = fopen($url, 'r')) { 
$content = ''; 
while ($line = fread($fp, 1024)) { 
$content .= $line; 
} 
} 
$textLen = strlen($content); 
if ($textLen > 10){ 
$startPos = 0; 
$valid = true; 
while ($valid){ 
$spos = strpos($content,'<a ',$startPos); 
if ($spos < $startPos) $valid = false; 
$spos  = strpos($content,'href',$spos); 
$spos  = strpos($content,'"',$spos)+1; 
$epos  = strpos($content,'"',$spos); 
$startPos = $epos; 
$link = substr($content,$spos,$epos-$spos); 
if (strpos($link,'http://') !== false) $links[] = $link; 
} 
} 
return $links; 
} 
try this code.... 

Answer 5

如果你在瀏覽器的開發者控制檯（JavaScript的），你可以輸入這個代碼：

urls = document.querySelectorAll('a'); for (url in urls) console.log(urls[url].href); 

縮短：

​​