我目前正在研究哪些數據庫用於我正在進行的項目。希望你們能給我一些提示。履帶式/鏟運機的數據庫?
該項目是一個自動化的網絡爬蟲,根據用戶的請求檢查網站,在特定情況下抓取數據,並創建完成的日誌文件。
要求:
- 只有幾列幾桌;預定義的列是沒有問題的模型之間
- 沒有過於複雜的關聯
- 巨大的日用量以&時間查詢
- 由於日誌,數據庫將快速增長,並佔用大量的空間
- 應該能比例在多個服務器
- 字段包含大多IDS(INT),字符串(約200-500個字符max)和UNIX時間戳
- 兩種不同類型的服務器將同時讀/寫數據直接向/從它:
- 一個(/後來更多)軌道應用程序,根據請求提供用戶輸入並顯示結果
- 一個(/更多)更多的Node.js服務器,用作執行爬行器/刮板。它將有足夠的負載連續運行,並且每秒都會產生數十個數據庫查詢。
我認爲它不會流於圖形數據庫(沒有複雜的關聯),也不是基於內存的鍵/值存儲(太多的數據在緩存持有)。對於我能找到的任何其他類型的數據庫,我仍然處於困境,每個數據庫似乎都有其優點。
那麼,從專業人士的任何意見我應該如何決定?
謝謝。
感謝您的詳細解釋。 – KonstantinK 2012-08-17 08:46:23