從網站提取數據的方法？

Question

我想從網站上獲取數據（例如，某人正在使用的姓名，身份證號碼和資源列表）並將其發佈到其他網站。

我在想的是使用cURL從一個網站上的現有REST api獲取信息。然後，我想要做的是編寫一個程序或一個API來將該信息發佈到另一個網站上。

在使用cURL時，如何/在哪裏可以存儲該信息以便我可以通過其他程序使用它？編寫一個能夠從第一個網站提取信息並將其發佈到另一個網站的程序會更容易嗎？如果是這樣，那麼可以使用Java來做到這一點/給出一個關於如何這樣做的想法？我沒有要求代碼，只是一個方法來做到這一點。我正在使用Eclipse for Java Web EE開發人員的IDE。

Answer 1

我會把它寫成2-3個程序。一個提取數據，一個格式化數據（如有必要），一個發佈數據。

我的直覺告訴我做到這一點最簡單的方法是純粹的bash腳本。但是如果你想爲此使用Java，你可以。

我會將輸出保存在一個文件中以供讀者閱讀。這有利於讓您在沒有其他2個程序的情況下編寫/測試海報。也就是說，我建議你先寫get-er程序。這樣你就知道你真正處理的是什麼數據。

現在，如果你碰巧在java中編寫格式化程序和後處理程序，我會把它寫成一個程序而不是它們之間的「管道」文件。格式化程序將讀取文件，將其轉換爲數據結構/類，後者將讀取此數據結構/類。

這只是表面上不同於我的上一段。重點是每個「部分」是相互獨立的。這可以讓你測試一個零件而不用運行整個事情。這是重要的事情。

至於如何/從哪裏存儲來自get-er的信息，只是將其重定向到一個文件。 Here's a tutorial on how.

事實被告知，我不能告訴你是否使用linux cURL程序或java implementation like this one。根據這個我的答案會非常不同。