如何防止抓取工具跟蹤鏈接？

我現在需要做的是以某種方式確保我只記錄實際的人用戶跟隨賣家網站的鏈接。如果它是一個爬行網站的機器人，我不應該爲此向賣家收費。

有沒有辦法告訴機器人不要遵循某個鏈接？我不認爲它是nofollow，因爲這並不是要阻止訪問內容。

號任何機器人。我不想人爲地增加點擊鏈接的數量。 – StackOverflowNewbie

的方式告訴機器人不要跟隨鏈接恰恰是相對= nofollow的添加到您的<一個>標籤。假設您在轉發到外部URL之前也在本地進行日誌記錄，您還可以檢查用戶代理字符串。

事實上，如果您打算根據推薦人數來要求人們支付費用，則可能需要針對每個付費點擊IP地址和用戶代理進行登錄，以防您的統計信息遭到質疑。

2011-02-12 23:12:07 DanSingerman

我在記錄IP地址。用戶代理好主意。 – StackOverflowNewbie

典型的，您可以通過用戶代理字符串來識別它們。你可以在這裏找到一個列表，不能說是可圈可點的，但它是一個良好的基礎，延長：PHP/MySQL - an array filter for bots

robots.txt的是另一種方式，more about it here

2011-02-12 23:00:50

您只需添加[的robots.txt]文件，例如像this one。

您可以在網上找到關於[robots.txt]文件的更多信息，例如， in Wikipedia。

乾杯&心連心，

2011-02-12 23:04:50

是否可以在robots.txt中使用通配符？ – StackOverflowNewbie

鏈接到上面的Google robots.txt文件說明您可以爲用戶代理使用通配符。但由於robots.txt主要是限制對整個目錄樹的訪問，所以對那裏的通配符的需求較少，我不確定你可以。請參閱我鏈接到的維基百科文章以瞭解詳細信息。 –

回答