在哪裏做一個加入扁平桌..？配置單元或Oracle

Question

我在oracle中有7個規格化表，我需要將其平鋪（某些列，並非全部）以使用map-reduce作業。現在我有兩種選擇 - 一種是在oracle中進行連接，並使用sqoop將連接的表導入到hdfs中。或者一個一個地導入表格，然後使用配置單元本身進行連接。

這兩種方法之間有什麼區別，親還是弊？

謝謝。

Answer 1

我對oracle和配置單元都很滿意。在這種情況下，看起來合理的是在oracle中完成連接。您可以確保所有運動部件都同步並可用。

您也可以考慮創建一個體現連接的oracle視圖。然後，您可以更多地重複驗證並將各種表格的內容提取到您的單個非正規化表格中。