1

我使用的解決方案,如cloudera navigatoratlasWherehows如何查看元數據,存儲在AWS Redshift中的數據沿襲情況?

得到的Hadoop,HDFS,HIVE,SQOOP,MapReduce的元數據和血統。

現在我們在AWS redshift中也有一個數據倉庫。有沒有辦法從紅移中提取元數據或血統或兩種信息。

到目前爲止,我還沒有發現任何東西。

有沒有辦法將相同的東西集成到視圖中作爲爬行解決方案?

我發現只有一個post它提供了一些關於如何從redshift獲取一些信息的假設,假設它將類似於postgresql。我相信有人會爲這個問題寫一些開源的解決方案。 還是隻是寫一個簡單的單一腳本來提取這些信息的問題? 我正在尋找企業級解決方案。我希望有人能指引我正確的方向。

+1

Amazon Redshift僅僅是一個數據庫 - 它不包含任何關於數據沿襲的信息。您可以提取已經運行的查詢列表,然後根據該列表進行推斷,但這並不明顯,也不確定。 –

+0

您可以從information_schema視圖中提取元數據信息。雖然沒有血統,afaik。 –

回答

0

Nik,你能分享更多關於你在Redshift中的邏輯嗎?如前所述,Redshift僅僅是一個數據存儲,它取決於你如何移動你的數據。你用什麼語言來實現轉換?

相關問題