如何防止IDM（或其他webstie grabber）抓住網站？有什麼方法可以阻止它？

Question

使用網站抓取器整個網站與文件夾結構可以下載。 有什麼辦法可以防止這種情況發生？ 如果是這樣，怎麼樣？

Answer 1

保護網站標記的唯一方法是不發佈它。如果您希望用戶看到他們需要獲取HTML標記和圖像的內容，應該顯示該內容。因此這些文件需要可訪問。如果您的文件可以訪問，則每個用戶/ bot/crawler/grabber都可以保存這些文件。

Answer 2

最好的方法是在主目錄中放置一些像索引頁面這樣的文件，並調用其中的其他子頁面。如果使用PHP，那麼你可以做以下事情。

說保持index.php在主文件夾中，並將homepage.php保存在一個名爲includes的目錄中，並通過php中的include函數使用index.php中的主頁。

現在添加一個.htaccess文件到包括必須包含 文件夾「從拒絕所有」

這樣，用戶可以使用網頁，但不會有這些文件的直接訪問。所以將會是抓取者。