Scalding限制減速器輸出文件大小

我正在使用Scalding，並且我們有大約5.5GB的輸出文件大小。（例如，對於30個縮減器，有30個5.5GB文件）。有沒有辦法說，限制每個輸出文件爲512MB？我可以增加減速器的數量，但希望有更多的動力。Scalding限制減速器輸出文件大小

2016-01-04 ashic

AFAIK無法限制減速器中的文件大小，因此減速器的數量似乎是要走的路。你能解釋一下爲什麼你需要限制文件大小嗎？ –

-1

我不知道燙傷，但在典型的地圖減少，你可以通過實施多種輸出格式增加輸出文件的數量。您可以根據鍵生成文件名前綴（默認情況下，它使用部分作爲前綴）。

2016-01-04 15:25:27

@BenWatson我認爲杜爾加的意思是，你可以自定義輸出文件格式，將輸出分割成多個文件，這是一個合理的建議，因爲請求者不想改變reducer的數量。 –

回答