針對特定區域內容的NodeJS網頁刮板

Question

我正在構建一個nodeJS刮板，我遇到了一個我找不到的問題。

某些網站使用位置特定的內容，我想找到一種方法來觸發/操作此。

蝙蝠，我知道這可能是一個複雜的問題。有些網站可能會使用不同的方法來確定用戶的位置。有沒有一個通用的方法來實現這一點？我目前使用節點的request模塊，並且已經設置了像這樣我的頭：

'headers': { 
     'User-Agent': 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)' 
    } 

是否有操縱我的頭欺騙到網站的位置的一種方式？

Answer 1

公司使用多種方法來確定爲您提供什麼樣的內容。

與BBC相似，大型媒體組織使用將IP範圍映射到由私人公司維護的地理位置的數據庫。打敗他們的訪問保護的唯一方法是在您希望顯示訪問的國家/地區使用虛擬服務器作爲代理。

其他公司（很多歐洲公司）可能只是想知道用什麼語言來提供內容。爲此，他們可能會查看Web請求中的一些標題。