Apache配置單元：比較兩個表之間的數據並生成報告

我在同一個集羣中有兩個具有相似架構的表。我想比較兩個表格之間的數據並生成報告。只有在hql中才有可能？你有什麼更好的方法嗎？Apache配置單元：比較兩個表之間的數據並生成報告

謝謝。

2017-04-04 Aavik

添加數據樣本，包括請求的結果 –

是的，你可以。但舉一些例子。 –

我正在使用UDF來比較兩個表之間的所有字段值。 @PadmanabhanVijay，例如： TBL1：串FIELD1，FIELD2字符串，字符串字段3 TBL2：串FIELDA，串fieldB，串fieldC 選擇FIELD1，FIELD2，字段3，FIELDA，fieldB，fieldC，compareUDF（FIELD1，FIELD2，字段3 ，fieldA，fieldB，fieldC）作爲註釋 – Aavik

你可以看看，處理蜂巢表（比較所有行和所有列）這樣的比較這個Python程序，並會告訴你在網頁中可能出現的分歧：https://github.com/bolcom/hive_compared_bq

它目前並沒有給你一個「完整的報告」，但它只是精確地指出了一些發現的差異（該工具在開發週期中更多地用於檢查代碼是否正確），但我想你可以擴展最後一部分該計劃。

來源

2017-11-22 07:43:40 Sourygna

謝謝Sourygna。我會嘗試這個並回復你。 – Aavik

你能試試Aavik嗎？ – Sourygna

Apache配置單元：比較兩個表之間的數據並生成報告

回答

相關問題