篩選出搜索引擎機器人流量

Question

我在我的網站上進行定製滾動視圖跟蹤，我只是意識到我完全忘記了搜索機器人擊中頁面。如何從視圖跟蹤中濾除流量？

Answer 1

看看用戶代理。黑名單似乎是合乎邏輯的，即過濾掉所有包含「Googlebot」或其他已知搜索引擎機器人的字符串，但其中有很多這樣的字符串，它們可能是白名單最簡單的：使用已知瀏覽器記錄訪問者。

另一種方法是使用一些JavaScript來做實際的日誌記錄（就像Google Analytics一樣）。機器人不會加載JS，因此不會計入您的統計數據。您還可以採用這種方式進行更詳細的日誌記錄，因爲您可以準確地看到（到像素 - 如果需要）點擊了哪些鏈接。

Answer 2

您可以檢查用戶代理：here有一個不錯的列表。 或者您可以在robots.txt上進行交叉檢查，因爲所有的蜘蛛都應該先閱讀，而用戶通常不會閱讀。