如何創建搜索引擎，無需任何起始網址

我正在學習scrapy來創建搜索引擎。根據我的理解，如果我想創建一個搜索引擎，那麼我需要做的第一件事就是抓取Internet並將其緩存到我的服務器。現在爲了抓取我需要一個URL，通過它我會去下一個，下一個等。但是如果我沒有起始網址並且想要搜索我想要的內容呢？如何創建搜索引擎，無需任何起始網址

我寫了一個腳本，並遍歷IP地址，發現網站名稱傳遞給Scrapy。這就是我需要的。

2016-05-03 09:59:02

如果您沒有起始網址，想法可能是選擇一個。對我來說，這聽起來像你很迷茫。

要抓取內容，您需要向其他網站發送HTTP請求，但如果您沒有網址，則無法向其他網站發出HTTP請求。

這就像試圖映射在你周圍的物理世界中的每條道路。如果您沒有指定起點，您可以期待什麼？

2016-02-13 05:40:30

是的。但是如果有一條路線沒有映射到較大的路線上呢？我在想的是伸手去那些道路。我不知道這是否可能，所以我把它放在這裏。 –

然後你可以問我們一個字符串是多長時間...... –

假設你有100分之一的機會會有一個你選擇的一個會導致死路一條......只是選擇一組URL來減少風險，那個概率。如果我是你，我會把所有這些擔憂放在一邊，並首先得到一個概念證明 –

回答