如何刮HTTPS JavaScript網頁

Question

我想從一個在線目錄中監控日常價格。 該網站使用HTTPS並使用JavaScript生成目錄頁面。我如何與網站進行交互並使其生成我需要的網頁？

我已經完成了其他網站的HTML可以很容易地訪問，我沒有問題一旦生成HTML解析。

我只知道Python和Java。

在此先感謝。

Answer 1

看看HTMLUnit - 一個可以完全由您的代碼控制的無頭Java瀏覽器。一個簡單的例子可以在這裏看到：http://htmlunit.sourceforge.net/gettingStarted.html

（強制性警告：通過屏幕抓取網站，你可能會違反其ToS，並可能打開自己的訴訟;檢查你是否被允許在你開始之前這樣做）

Answer 2

如果他們已經創建了一個JavaScript接口的Web API，那麼您可能會直接刮掉它，而不是嘗試去HTML路線。

如果他們已經對其進行了模糊處理，或者出於某種其他原因該選項不可用，則基本上需要Web瀏覽器來評估JavaScript，然後取消瀏覽器的DOM。也許寫一個瀏覽器插件？

Answer 3

我使用webkit通過它的python綁定來抓取javascript內容。 See here for example。