0
假設我有一個客戶端腳本,它從hadoop中提取大量數據。 hadoop中的哪些功能使我可以查看檢索到的數據並請求(指出)缺少的數據部分,只是爲了閱讀缺少的部分而提出具體請求? 此功能是datanode映射還是減少的一部分?Hadoop map reduce - 訪問缺失數據
謝謝
假設我有一個客戶端腳本,它從hadoop中提取大量數據。 hadoop中的哪些功能使我可以查看檢索到的數據並請求(指出)缺少的數據部分,只是爲了閱讀缺少的部分而提出具體請求? 此功能是datanode映射還是減少的一部分?Hadoop map reduce - 訪問缺失數據
謝謝
有沒有直接的方法來實現這一點。一旦腳本將數據拉出並寫入HDFS,它就是另一個數據。它與您的其他數據無關。你必須將它與你想要比較的數據一起閱讀,並通過編寫一些適合你需要的比較邏輯來自己做比較。
首先你可以看看MultipleInputs。
P.S. :如果您能找到適合您的東西,請與我們分享。這將是非常有價值的。非常感謝。