2012-11-13 135 views
1

我有一個履帶式的只抓取一個網站。但一個網站可以有一千頁。 每頁是一個頂點,我使用JGraphT用圖表處理大量數據

但是,如果我抓取一個巨大的網站,我得到StackOverflowError片刻後。

在這種情況下我該如何處理大量數據? 我必須使用數據庫嗎? 有一個庫在數據庫中處理這種特定類型的數據(頂點,邊,...)嗎?

感謝

+0

這將是巨大的,如果你接受了幫你答案。 – yns

回答

2

你可能想使用Neo4j這是一種高性能,NOSQL圖形數據庫。