使用cURL/php獲取頁面，但缺少一些東西

Question

我需要從外部網站（使用不同的域）獲取數據。我試圖檢索的大部分數據不會顯示，除非用戶在元素上進行交互（點擊），或者如果設置了cookie，則不會顯示。

我試圖用curl和PHP，但我打開其他選項。是否可以編寫一個可以在請求期間處理javascript的程序化GET請求？

根據這個問題上的一個帖子，curl可以通過cookie，但是由此產生的行爲不會被回發，因爲它不處理js的返回數據。

setting cookie through curl

任何其他建議不勝感激。

Answer 1

據我所知，用一個框架來抓取數據並沒有多大用處，它可以從面向公衆的網頁中檢索post-js處理過的HTML輸出，因此已經放棄了它的進度。如果我找到一個允許輕鬆檢索的框架，我會更新這篇文章。