2016-06-16 36 views
1

我們從數據挖掘從netezzahadoop非分區表,然後從非分區到使用插入覆蓋方法進行分區。在此之後,我們對分區表運行databasename.tablename計算增量統計,但此查詢失敗某些分區錯誤Impala查詢失敗 - 計算增量統計databsename.table名稱

無法執行命令:計算增量統計和沒有這樣的文件或目錄的一些文件中分區目錄。

回答

1

您可以在計算統計信息之前運行刷新語句以立即刷新元數據。即使刷新語句返回代碼爲0,在計算統計信息之前可能需要等待幾秒鐘,因爲過去的經驗表明,即使在返回代碼後,元數據仍然刷新。除非腳本順序執行這些命令,否則通常不會看到此問題。

refresh yourTableName 
compute stats yourTableName 

從Impala 2.3開始,您還可以使用alter table恢復分區而不是刷新元數據或修復表。

alter yourTableName recover partitions 
compute stats yourTableName 
+0

感謝您的答案,我們運行統計語句之前運行的是無效的元數據,但它不能正常工作,但是當我們嘗試之前計算增量統計刷新表名的表名,然後它開始工作的罰款。 –

+0

我在自己遇到這種情況後改進了答案。修復表格可以很好地用新分區更新Metastore。 – Jared