獲取網站的所有頁面，包括HTML，ASPX等在C＃

Question

我正在申請 將返回給定的網站的URl的所有網頁（與HTMl）。使用此代碼它工作正常。

foreach (string links in Find(htmlCode)) 
    { 
     Debug.WriteLine(links); 
     string chk = ""; 
     if (link != null) 
     { 
      chk = client.DownloadString(link); 
     }} 

但是到目前爲止，我只能訪問那些網站的href或鏈接可用HTML的HTML網頁。 我無法訪問在網站上未提及href的其他網頁 如何訪問這些網頁？

Facebook頁面的示例 我可以訪問所有的Facebook頁面嗎？

Answer 1

不。如果頁面沒有鏈接，您將無法找到它。如果您正在抓取，您還應該尊重robots.txt文件。