抓取網站和動態網址

搜索引擎機器人會抓取我動態生成的網址嗎？有了這個，我的意思是根據url中的GET變量由php生成的html頁面。這些鏈接應該是這樣的：抓取網站和動態網址

http://www.mywebsite.com/view.php?name=something 
http://www.mywebsite.com/view.php?name=somethingelse 
http://www.mywebsite.com/view.php?name=something

我試圖抓取我的網站，發現這裏的測試履帶：http://robhammond.co/tools/seo-crawler但它只能訪問我的視圖頁面一次，在頭球攻門稍稍一個變量。

我的網站上的大部分內容都是由數據庫中的這些GET變量生成的，因此我真的很希望搜索引擎抓取這些網頁。

來源

2015-02-06 Simon H

我投票結束這個問題作爲題外話，因爲純SEO問題不是編程相關的。它可能是[Webmasters]的主題（http://webmasters.stackexchange.com/help/on-topic）。 – Quentin 2015-02-06 16:26:36

我會使用'.htaccess'文件爲您的網站提供一些漂亮的網址，形式爲'www.mywebsite.com/something'，這對用戶來說更容易輸入，對於爬蟲更直觀。 – halfer 2015-02-06 16:28:56

一些搜索引擎可以，有些不會。谷歌爲一個不包括動態生成的頁面：https://support.google.com/webmasters/answer/35769?hl=en

一定要檢查你的的robots.txt文件，以確保你不希望爬蟲看到被阻止的文件，將文件你做希望編入索引沒有被阻止。

另外，請確保您要索引的所有網頁都通過其他網頁鏈接，您擁有網站地圖或將單個網址提交給您要爲網站編入索引的搜索引擎。

來源

2015-02-06 16:32:34

是的，搜索引擎會抓取這些網頁，假設他們可以找到它們。最好的做法是簡單地創建指向您網站上這些頁面的鏈接，尤其是可訪問的頁面，或者至少可以從主頁進行瀏覽。

來源

2015-02-06 16:34:02 drj

抓取網站和動態網址

回答

相關問題