2014-06-18 28 views
1

瞭解配置單元與hdfs一起使用Metastore,將從運行的hadoop-hive集羣獲取的hdfs快照還原到新的hadoop-hive集羣是否可行?可以使用hdfs快照恢復配置單元

我認爲強制執行的一步是在配置單元中再次創建表,但這些表會自動連接到快照文件嗎?

關於此主題的一個鏈接是Apache Mail Archives。我希望是否有更新的或更好的答案。

回答

3

蜂巢可與2(元數據+ warehousedata在HDFS)

給一個嘗試是這樣的:(還沒有檢查,請注意)

1)複製從目前的Hadoop的蜂巢Cluster單元倉庫數據新的Hadoop的蜂巢羣集使用dstcp

$ hadoop distcp hftp://old-custer:50070/user/hive/warehouse hdfs://new-Cluster/user/hive/warehouse 

2)假設你的元數據存儲在MySQL(不是默認德比),將您的新蜂巢舊的元數據的MySQL服務器(在蜂房的site.xml新羣集)。由此您不需要再次創建模式/表。

+0

由於metastores似乎存儲主機名,並且由於這些是集羣特定的,因此我們需要在將Metastore恢復到新集羣之前對其進行更正。或者,由於metastore具有非關鍵信息,因此可以單獨恢復hdfs快照,然後在新羣集中重新運行ddl腳本,以重新設置metastore。 – sandeepkunkunuru