RocksDB：太小的SST文件太多

我在運行服務一段時間後使用RocksDBJava我可以看到「太多打開的文件」異常。挖掘雖然在門戶網站上提到的前一個問題，我發現這是因爲系統限制打開最大數量的文件。當我檢查rocksDB使用的目錄時，我注意到有超過100K的1KB大小的sst文件，這可能是給定錯誤的原因。我想知道有沒有什麼方法可以讓我們配置rocksBD來生成大尺寸的SST文件，以便創建的文件總數最少，並且我們可以避免這個錯誤。RocksDB：太小的SST文件太多

另外在我當前的項目中有許多讀取線程和一個寫入線程，並且在讀取或寫入到rockdDB之前打開和關閉連接（使用RocksDB.open（）和RocksDB.close（））。

來源

2017-08-04 AmanSinghal

您可以使用這兩個選項來創建更大的SST文件：target_file_size_base和target_file_size_multiplier。詳情請參閱the doc。

此外，您可以使用max_open_files選項來限制RocksDB可以打開的文件數量。但是，爲了獲得良好的性能，我建議您增加對最大打開文件數的系統限制，並將max_open_files配置爲-1。

來源

2017-08-06 08:26:06

謝謝，你能幫我怎麼設置這些值在JavaRocks中。 – AmanSinghal

我檢查了API，但是我找不到使用Java API設置這些值的任何方法。 – AmanSinghal

@AmanSinghal看來，Java的API使用另一個命名規則：'org.rocksdb.Options'，'setTargetFileSizeBase'，'setTargetFileSizeMultiplier'，'setMaxOpenFiles'你檢查 –

RocksDB：太小的SST文件太多

回答

相關問題