HTML支持JS支持

Question

我試圖爲了自動化目的而刮掉公司網頁，但頁面中的嵌入式腳本阻止我完全複製請求。最大的麻煩在於腳本生成的cookies。

我想過用Watin實現自動化IE，但是我對服務應用程序下的這個解決方案感到不舒服。

在這種情況下，您有什麼建議？

在此先感謝。

Answer 1

你有幾個選擇。

最簡單的是在您的腳本中生成cookie。你將不得不自己閱讀JavaScript代碼，並找出它在做什麼和重複。刮手時，提琴手永遠是你的朋友。

Htmlunit是一個支持JavaScript的java網絡瀏覽器庫。它沒有GUI，並且用於測試Web應用程序。

Selenium將以與watir相同的方式驅動瀏覽器，但它對大多數主要語言都有豐富的api支持。

Answer 2

screen-scraper是另一個旨在易於使用的工具（基於Java）。

的基本思想是拜倫說 - 你必須弄清楚餅乾越來越設定什麼（Web代理工具，如Fiddler，Charles，或瀏覽器擴展類似Firebug和Chrome的開發工具會派上用場）。

因此，您不一定必須閱讀甚至執行頁面上的JavaScript來模仿相同的請求。只需使用代理工具來查看瀏覽器發送給服務器的cookie，一旦知道網站希望接收哪些cookie，就可以用您使用的任何腳本或工具手動進行設置，以達到您的目的。