在客戶端的網頁搜刮

Question

這可能不是這個問題的最佳標題。

因此，我有一個nodejs應用程序在我的服務器上運行，它目前使用python腳本進行網絡抓取，但我正在考慮將此移動到客戶端，因爲個人客戶端會看到不同版本（可能是唯一的）現場。

我是一個理想的世界，我希望使用javascript從頁面獲得html響應（通過右鍵單擊並選擇查看源代碼，我可以在Chrome中看到）然後在JavaScript中處理。

但是，從我在網上閱讀這似乎並不可能。我知道提供響應的網站（如anyorigin.com）可以被抓取。但是，這些並不適合我，因爲我需要能夠刮取用戶看到的內容，因爲每個用戶都可能會在我想要刮取的網站上看到不同的內容。我目前使用的python腳本會執行此操作，但它需要用戶安裝python才能執行它並且不能保證。

道歉的文本塊。

有沒有解決這個問題的方法？

Answer 1

經過一些研究和收到的建議後，我使用Chrome開發人員網站上的簡單指南創建了Chrome擴展，並使用CORSrequest獲取我需要的內容。

如果有人發現這個問題，並希望提供幫助，我很樂意提供進一步的詳細信息/幫助:)

Answer 2

我最近試圖做的事情非常相似，不幸的是，據我所知在客戶端沒有辦法做到這一點。你可以做一些技巧，並將你所需要的數據「發佈」回你的服務器上，但我不認爲這將是非常有效或直接的。

雖然如果你確實找到了一些東西，請分享。