巨大的文件作爲mincemeat.py的數據源

Question

我打算在〜100GB文件上使用mincemeat.py來執行我的map reduce任務。從mincemeat看到示例代碼後，似乎需要輸入內存中的字典作爲數據源。那麼，提供我的大文件作爲百果餡的數據源的正確方法是什麼？

鏈接到肉餡：https://github.com/michaelfairley/mincemeatpy

Answer 1

望着例子和概念，我本來以爲你會理想：

1. 生產數據源的迭代器，
2. 泄露了文件轉換成若干個服務器上的大量大文件，然後
3. 合併結果。