我可以使用在parallel_bulk中讀取文件的迭代器嗎？

目前我有一個函數，它以塊的形式讀取文件，做一些工作（解析，格式化），然後以elasticsearch批量加載器的格式提供數據。我可以使用在parallel_bulk中讀取文件的迭代器嗎？

當前我正在使用streaming_bulk，但我想知道是否可以使用parallel_bulk來代替？

parallel_bulk是否意味着它同時發送數據到elasticsearch，或者是否意味着它同時調用迭代器？

基本上，parallel_bulk究竟使用多餘的線程？

來源

2016-08-11 Soapy

簡答：parallel_bulk同時向elasticsearch發送數據。

從代碼段here：我們看到parallel_bulk會同時將動作塊發送到elasticsearch。它使用pythons multiprocessing.dummy模塊。
數據被分塊並且每個塊被傳遞到池中的線程

2016-08-12 02:46:21 keety

回答