將非常大的數據集導入arangoDB時出錯

我試圖通過arangoimp將大數據集導入到ArangoDB。它大約有5500萬條邊緣。我同意將wal.logfiles的大小（--wal.logfile-size從32k增加到1024k）。這解決了最後一個錯誤。但現在我得到以下錯誤：將非常大的數據集導入arangoDB時出錯

WARNING {collector} got unexpected error in MMFilesCollectorThread::collect: no journal 
ERROR cannot create datafile '/usr/local/var/lib/arangodb3/databases/database-1/collection-2088918365-385765492/temp-2153337069.db': Too many open files

Importstatement是：arangoimp --file links_de.csv --type csv --collection links

有沒有辦法讓arangoimp工作更進行迭代喜歡做大塊的東西？我會很複雜的分割CSV的一些部分，因爲它的大小...

非常感謝！

來源

2017-07-07 Hendrik Pommerening

多個錯誤消息： '錯誤{壓實}無法創建壓實文件：沒有journal' '錯誤不能創建數據文件「在/ usr /本地的/ var/lib中/ arangodb3 /databases/database-1/collection-42-2031239911/compaction-110.db'：打開的文件過多 –

我終於解決了它： Too many open files是提示。您需要提高打開文件句柄的限制。因此，在unix/mac os上啓動arango之前，運行ulimit -n 16384或更高，以提高此shell會話的限制。之後導入仍然需要幾個小時，但爲我工作。您還可以在arango中增加集合的日誌大小以減少所需文件句柄的數量。

還看到有：ArangoDB Too many open files

來源

2017-07-09 12:34:56

將非常大的數據集導入arangoDB時出錯

回答

相關問題