從.jsp捕獲響應

Question

我是一個天真的用戶。

有這個網站是我的業務的一個非常重要的信息來源。

爲了監控網站，我使用page2rss服務將它們轉換爲RSS提要，然後在IFTTT中監控提要。

然而，這種特定的網站不使用靜態網頁，並生成API調用的數據響應：

下面是一個簡單的API調用：

https://www.mpeproc.gov.in/ROOTAPP/GetTenderFreeView.jsp?Department=Urban%20Administration%20and%20Development%20Department&company=MPSEDC

有沒有辦法讓我可以記錄這個調用到我的服務器上的HTML頁面的響應？或者有沒有其他方式來監控這些動態頁面。

Answer 1

有解決方案，但不是簡單的。第一頁使用JavaScript來創建一個隨後提交的FORM。你可以用命令行工具curl來模擬這個;請參閱https://superuser.com/questions/149329/what-is-the-curl-command-line-syntax-to-do-a-post-request

但請注意，許多網站不喜歡刮;如果他們注意到自己在做什麼，那麼最終可能會列入黑名單。因此，在您將自動化工具瞄準他們珍貴的數據之前，最好先徵求網站所有者的許可。