以JSON行格式處理和查詢大量大文件

Question

哪種技術最適合導入大量大型JSON行格式文件（每個文件大約2 GB）。

我在想索爾。

一旦數據將被導入，它將不得不被查詢。

您會建議導入哪種技術，然後及時查詢JSON行格式數據？

Answer 1

您可以根據需要得到有效Solr的JSON，它通過HTTP發送到Solr與您更喜歡一些腳本語言開始成型，讀取線，按摩格式。會更快開始。

從長期來看，SolrJ將讓你獲得最大的PERF（如果需要），你可以：

1. 擊中領導副本在Solrcloud環境直接
2. 使用多線程來攝取和發送文檔（您也可以使用多個進程）。並不是說所有其他技術都難以或不可能實現，但在某些情況下是這樣。
3. 您可以完全靈活地使用所有SolrJ api