1
我使用的解決方案,如cloudera navigator,atlas和Wherehows如何查看元數據,存儲在AWS Redshift中的數據沿襲情況?
得到的Hadoop,HDFS,HIVE,SQOOP,MapReduce的元數據和血統。
現在我們在AWS redshift中也有一個數據倉庫。有沒有辦法從紅移中提取元數據或血統或兩種信息。
到目前爲止,我還沒有發現任何東西。
有沒有辦法將相同的東西集成到視圖中作爲爬行解決方案?
我發現只有一個post它提供了一些關於如何從redshift獲取一些信息的假設,假設它將類似於postgresql。我相信有人會爲這個問題寫一些開源的解決方案。 還是隻是寫一個簡單的單一腳本來提取這些信息的問題? 我正在尋找企業級解決方案。我希望有人能指引我正確的方向。
Amazon Redshift僅僅是一個數據庫 - 它不包含任何關於數據沿襲的信息。您可以提取已經運行的查詢列表,然後根據該列表進行推斷,但這並不明顯,也不確定。 –
您可以從information_schema視圖中提取元數據信息。雖然沒有血統,afaik。 –