在Ruby中獲取完整的HTML頁面（包括AJAX響應）

Question

我試圖抓取電子商務目錄，其中使用Ajax響應加載產品數據。

因此，使用獲取請求的響應內容不完整（部分數據）。

我使用Ruby的默認HTTP庫來獲取& Nokogiri進行解析。

有什麼辦法，我可以發起請求&記錄一些延遲後的迴應？

Answer 1

你需要一個libary/method /方法，它有一個JavaScript引擎來執行javascript，因爲使用了ajax（如果你想自動完成它）。

你可以使用模擬瀏覽器這就像phantomjs：

PhantomJS Project Homepage

PhantomJS for Ruby

Wiki Article

它基本上沒有前端一個正常的瀏覽器。 PhantomJS使用Webkit引擎（例如Safari使用）。 因此它有能力執行JS，因此還有AJAX。