web scraping groupon

Question

我想要報廢groupon.com現在我的問題是這樣的網站，當你第一次加載時要求你加入他們的電子郵件服務，但是當你重新加載頁面時，他們直接顯示你的網頁內容。我該怎麼做？我爲我的腳本使用php。

此外，如果任何人都可以建議一個框架或圖書館在PHP中，這使得刮很容易，這將是偉大的。

感謝

Answer 1

我將調查cURL library用於抓取網站內容。我不確定你想要的確切信息，或者刷新會導致問題，但希望這會啓動你的嘗試。

Answer 2

我們使用iMacros。 PRO：適用於瀏覽器，適用於任何網站。 CON：沒有CURL那麼快。 - 當然，沒有什麼能阻止你使用兩者。

Answer 3

你必須堅持使用PHP進行刮擦嗎？ TestPlan使這種類型的測試變得容易。您可以再次訪問該頁面，或者只需使用TestPlan註冊他們的電子郵件列表以獲得對其網站的擴展訪問權限。

這裏有一個粗略的例子，您可以到主頁，關閉小彈出：

GotoURL http://www.groupon.com/ 
Click id:step_one 

SubmitForm with 
    %Params:subscription[email_address]% somewhere@test.domain.xx 
end 

Click id:close 

Answer 4

他們有一個API http://www.groupon.com/pages/api沒有什麼幫助。