如何從js動態網頁中抓取Python或Php中的內容？

Question

我是新的Php和報廢，所以... 有一個問題在那裏：How to scrape contents from dynamic webpage in PHP? 我試過這樣的方式，傑夫Gortmaker建議，但我有一個問題。我想分析的那些網頁包含js生成的文本的大部分，我無法得到它。例如，here。 謝謝。

Answer 1

您將無法僅使用PHP來完成此操作，因爲在HTTP GET請求完成後，會在DOM中生成JavaScript動態網頁。 This answer更詳細地介紹了Web環境中的執行順序。

考慮使用像PhantomJS這樣的無頭瀏覽器。

你將不得不用JS庫來刮取內容。請參閱Web Scraping with Node.js以開始使用教程。然而，在Node.js之上還有一些庫專門用於通過特定的CSS選擇器來抓取動態網頁。以下是Node.JS scraping libraries的列表。