機械化鏈接＃點擊vs代理＃得到

Question

我有一個應用程序，查找頁面上的某些鏈接（使用CSS），並通過使用代理＃獲取href值來檢索鏈接引用的頁面。直到今天，這一直工作了幾個月（據推測該網站已經改變了一些東西，因爲其他網站仍然在工作），而不是網站返回一個不同的頁面（在網頁層次結構中，如果這有什麼不同;但它可能是網站決定返回該頁面而不是所請求的頁面）。 page.uri反映了返回的實際URI，它與請求的URI不同，但響應代碼爲200，所以大概不會發生重定向。

在試圖找出發生了什麼，我試圖找到鏈接和做page.links [38] .click。這返回正確的頁面。以編程方式查找正確的鏈接有些問題（因爲你不能使用CSS來查找鏈接，只有一個元素），所以我想繼續使用我當前的方法。我試圖理解使用代理＃get和link＃單擊檢索頁面的不同之處。在您提出問題之前，我已驗證代理的URI爲IS與我單擊的鏈接的URI相同。 #click與#get有什麼不同，可能導致一個人檢索正確的頁面，而另一個檢索另一個頁面？

Answer 1

這個問題並不是Link＃點擊和Agent＃get之間的區別，但是服務器在某些情況下改變了它的響應。換句話說，我的假設是錯誤的。

Answer 2

看看你自己what click does here。它調用get，但首先它設置引用者並檢查一些機器人。