1
我有一個履帶式的只抓取一個網站。但一個網站可以有一千頁。 每頁是一個頂點,我使用JGraphT
。用圖表處理大量數據
但是,如果我抓取一個巨大的網站,我得到StackOverflowError
片刻後。
在這種情況下我該如何處理大量數據? 我必須使用數據庫嗎? 有一個庫在數據庫中處理這種特定類型的數據(頂點,邊,...)嗎?
感謝
我有一個履帶式的只抓取一個網站。但一個網站可以有一千頁。 每頁是一個頂點,我使用JGraphT
。用圖表處理大量數據
但是,如果我抓取一個巨大的網站,我得到StackOverflowError
片刻後。
在這種情況下我該如何處理大量數據? 我必須使用數據庫嗎? 有一個庫在數據庫中處理這種特定類型的數據(頂點,邊,...)嗎?
感謝
這將是巨大的,如果你接受了幫你答案。 – yns