Q

如何知道分配給映射器的行總數

2017-07-10 22 views -1 likes

-1

我正在運行mapreduce作業。如何知道分配給映射器的行總數

我通過設置max_input_split_size字段來決定mappers的數量。假設輸入文件大小爲1GB，max_input_split_size = 1mb。因此，每個映射器將在文件中分配一些行數。

假設每個映射器都分配了k行。

有沒有辦法找到這個值k。

2017-07-10 Tanmay Varun

+0

爲什麼-1，在這個簡單的問題中有什麼不清楚，請評論。 –

+1

每個映射任務都返回MAP_INPUT_RECORDS的值。如果每個輸入記錄都對應一個新行，那麼我的用例是 – vefthym

A

回答

0

無法獲得k的值，即沒有分配給映射器的行。它將根據拆分大小拆分文件並將塊分配給映射器。

2017-07-10 12:07:49

+0

，爲每個1k的調用在列表中映射（）時保存並一次處理它們。如果我不知道k，我將無法爲最後一組鍵{1k）執行此操作。 –

+1

我沒有拿到用例。如果您需要計算某些值，只需在您的程序中使用計數器的建議。 –

相關問題