驗證Hadoop數據與EDW數據

Question

我需要比較Qubole（Hadoop數據）和EDW數據之間的數據。由於我需要驗證數十億和數十億的數據，因此您可以通過任何工具或任何其他方式向我們推薦我，通過它我可以更快，更有效地比較這些數據。

謝謝你們！非常感謝您的回覆。

謝謝，Ganesh

Answer 1

我已經做了類似的比較。將您的非Hadoop數據帶到Hadoop臨時位置。編寫一個簡短的map-reduce程序來讀取這兩個文件，將它們加入並進行逐列比較。寫出是否有任何差異。