使用URL Shortener追蹤捲曲請求

Question

如何構建curl命令以使其通過URL縮短器識別？當我使用從bit.ly或goo.gl縮短的url運行以下命令時，請求無法被任何服務識別。

curl -L "http://bit.ly/1efYimy" 

Answer 1

大多數URL縮寫器會執行各種形式的過濾和規範化，以從他們報告的靜態數據中排除「bot」流量。

如果您的請求量較少，您可能可以通過更改由curl報告的用戶代理來計算您的請求。

curl -LA "MyApp 1.0" "http://bit.ly/1efYimy" 

或

curl -L --user-agent "MyApp 1.0" "http://bit.ly/1efYimy" 

請一個良好的網絡公民，並選擇一個用戶代理描述你在做什麼，有一定的參考，你如何能夠發現/接觸（例如「MYCO博特」在Google上搜索MyCo會把某人帶到你的公司）。

還要注意的是，儘管基於用戶代理的過濾是一種形式的機器人檢測已完成，但各種服務將用於檢測類似於機器人的行爲的更復雜的措施。因此，如果最終發出大量請求，您的指標可能會停止遞增，否則您甚至可能會受到阻止/限制。