搜索引擎如何獲取未鏈接的頁面？

Question

我注意到，相當多的Dropbox網頁是由谷歌，必應等索引，並想知道這些搜索引擎是如何獲得這樣的實例鏈接：

https://dl.dropboxusercontent.com/s/85cdji4d5pl5qym/37-71.pdf 

https://dl.dropboxusercontent.com/u/11421929/larin2014.pdf 

由於有上沒有鏈接dl.dropboxusercontent.com，並且路徑結構不容易猜測，搜索引擎如何獲得這樣的鏈接？

一個解決方案可能是它發佈在論壇上並被搜索引擎提取，但是我查了很多鏈接並檢查了反向鏈接而沒有成功。我還注意到，Bing和雅虎顯示出比Google多得多的結果，這意味着Bing在提取這些對我來說不太可能的鏈接方面做得更好。

Answer 1

即使文件是真的斷開鏈接（在其網站上沒有鏈接，就有人等的​​網站沒有鏈接，沒有sitemap，從獲取文檔等在鏈接的網站沒有Referer日誌），它仍然有可能搜索引擎找到鏈接。

的兩種方法：

• 可能有人提交的URL，搜索引擎（無論是通過一個公共的工具，或通過該網站的網站管理員帳戶）。

• 搜索引擎可以獲取某些用戶在其瀏覽器中訪問的所有網址。例如，這可以在用戶從該搜索引擎安裝工具欄時發生。這與冰的情況下，看到我related answer on Webmasters SE：

  微軟已經確認，他們發現，他們通過上網用戶安裝了Bing工具欄網上找的索引中的網址。

而且可能有更多的方式，當然。