網站谷歌的標籤沒有顯示所有結果

Question

如果我去這個網址 http://sppp.rajasthan.gov.in/robots.txt

我得到

User-Agent: * 
Disallow: 
Allow:/

這意味着，爬蟲被允許完全訪問的網站和所有內容建立索引，那麼爲什麼網站：在谷歌搜索sppp.rajasthan.gov.in顯示我只有幾頁，其中它包含大量的文件，包括PDF文件。

Answer 1

可能有很多原因。

1. 您不需要robots.txt允許爬行的毛毯。一切都是默認允許的。
2. http://www.robotstxt.org/robotstxt.html不允許空Disallow行：

   另外，您可能沒有空行的記錄，因爲它們是用來分隔多個記錄。

3. 檢查谷歌網站管理員工具，看看是否有一些網頁已被拒絕抓取。
4. 提交一個網站地圖到谷歌。
5. 使用「Fetch as google」查看谷歌是否可以正確地查看該網站。
6. 嘗試通過提取手動提交鏈接作爲谷歌界面。

仔細看看它。

1. 谷歌不知道如何瀏覽網站上的一些鏈接。具體來說http://sppp.rajasthan.gov.in/bidlist.php底部的導航使用onclick JavaScript動態加載，它不會更改URL，所以即使它想要，谷歌也無法鏈接到第2頁。
2. 在投標名單上，您可以點擊進入投標名單，詳細說明投標。這些沒有公開的URL。 Google無法鏈接到它們。
3. 我看到的PDF文件是梵文放入PDF文件的圖像掃描。雖然谷歌做OCR PDF文檔（http://googlewebmastercentral.blogspot.sg/2011/09/pdfs-in-google-search-results.html），但他們可能不能用梵文做它。如果他們包含正確的文字而不是圖像，你會更有可能找到他們。

雖然我的原始點仍然存在。 Google應該能夠找到位於http://sppp.rajasthan.gov.in/actrulesprocedures.php頁面的http://sppp.rajasthan.gov.in/sppp/upload/documents/5_GFAR.pdf。如果您對某個特定頁面可能缺失的原因有疑問，我會盡力回答。

但基本上網站做了一些奇怪的非標準事情，這正是你需要一個網站地圖。相反，流行的信仰網站地圖是而不是搜索引擎優化，這是當谷歌無法找到您的網頁。