如何查看網頁並使用Java將數據保存到數據庫？

Question

我正在從網站收集數據並嘗試將其保存到數據庫（或類似的非常容易訪問的數據），而不是在我的桌面或文件夾中有一堆文件。

我需要看很多頁面（準確的說是1900）。我想節省獲取這些數據的時間，並決定讓Java程序來做到這一點。

這基本上是我想要做的。

1. 訪問網頁：www.TestWebsite.com/items/0
2. 保存（名稱，描述，圖像（PNG））轉換成一個陣列/類到數據庫。
3. 重複，直到我起牀：www.TestWebsite.com/items/1899

我希望能夠不必需要去網上查看訪問此離線數據。

任何想法，我應該如何開始。我做了一個基本的網頁瀏覽器，我只是錯過了將字符串和圖像保存到數據庫之間的步驟。

我感謝任何幫助！

Answer 1

其實剛剛在前些日子做過。我使用jsoup來取消我需要的網頁並寫入我的本地數據庫。非常簡單的網頁解析框架。

Answer 2

這很簡單，但如果你還沒有學過一點SQL，那就需要學習一點。

你還必須選擇一個數據庫平臺 - 我建議SQLite出於這樣的目的，因爲這些數據是供個人使用的，而且它的重量輕且易於設置。

以下是使用JDBC（Java數據庫連接）與SQLite數據庫交談的教程：http://en.wikibooks.org/wiki/Java_JDBC_using_SQLite。它從設置到插入數據，所以一旦你完成了，它應該很簡單，修改你的網頁查看代碼，以獲取你需要的數據並將其推入到數據庫中。

祝你好運！