想做一個搜索引擎

Question

我想製作一個洪流搜索引擎，它會提供其他洪流網站的鏈接。所以我需要來自其他網站的數據來將它們編入數據庫中。那麼，爲此目的抓取網站是合法的還是有其他方法可以做到這一點。

Answer 1

根據網站，未經許可，這是不合法的。

您可能希望調查Common Crawl，這是一個已經檢索完整網頁的網站。查看他們的ToU部分以檢查它的全部合法性。