網絡爬蟲的工作是什麼？

Question

Web爬蟲會抓取Web並創建Web數據庫嗎？它只會創建一個可搜索的Web索引？如果假設它創建了一個索引，誰將準確地收集網頁的數據並將其存儲在數據庫中？

Answer 1

雖然這個問題有點含糊讓我放一些詞來澄清。

1. Crawler發出一個URL的http請求並分析該網頁的信息。舉例來說，它使得一個http req。 http://www.example.com它檢索頁面的內容。

2. 一旦它獲得了分析它的頁面內容。現在H1，H2，Pages的重要性基於這些標籤，它可以瞭解網頁的全部內容。

3. 標識稱爲關鍵字和總結網頁內容的重要/突出的話，並把它在它的索引

4. 而且它得到的超鏈接，從將在其下一個跳躍用於這些網站，網頁的其他網站並進一步進行。這是一個永無止境的故事。

5. 所以無論何時一個關鍵字被問到，它都會從關鍵字數據庫中看到並顯示在結果中。

6. 有時，爬網程序本身會將網頁副本轉儲到名爲緩存數據庫的特殊數據庫中，以便它可以用作原始數據的備用副本。