2015-09-03 137 views
5

我們有我們需要appednd ORC文件的要求。我試圖谷歌它,但沒有結果。另外org.apache.hadoop.hive.ql.io.orc.WriterImplORC沒有附加API。有無論如何追加ORC文件? (更具體地使用JAVA)如何追加ORC文件

回答

4

ORC數據文件被細分爲獨立的條紋;每個條紋都是在一個原子步驟中創建的。有關詳細信息,請參閱the official documentation

我不相信你可以直接追加到一個現有的文件即時。這意味着如果在寫作時發生作業崩潰,則會留下損壞的條紋(因此是損壞的文件)。

但是你可以

  • 創建一個新的ORC數據文件(它將包含1..1條紋根據 實際數據量與orc.stripe.size屬性)每減速
  • 然後在「串聯」這些數據文件和現有文件 - 使用Hive V0.14 and above