將ORC數據文件附加到Vora表的大小是否有限制

Question

我在Vora 1.3中創建了Vora表，並試圖從我從SAP BW歸檔過程（Hadoop上的NLS）獲得的ORC文件中向該表附加數據。我有20個文件，總共包含約50 Mio記錄。

當我試圖使用「文件」在追加語句設置爲「/路徑/ *」，經過約長1小時沃拉返回此錯誤消息：

com.sap.spark.vora.client.VoraClientException: Could not load table F002_5F: [Vora [eba156.extendtec.com.au:42681.1640438]] java.lang.RuntimeException: Wrong magic number in response, expected: 0x56320170, actual: 0x00000000. An unsuccessful attempt to load a table might lead to an inconsistent table state. Please drop the table and re-create it if necessary. with error code 0, status ERROR_STATUS 

我想是附加數據接下來的事情從每個文件使用單獨的APPEND語句。在15日追加（20）我有相同的錯誤信息。

Answer 1

該錯誤表明節點eba156.extendtec.com.au上的Vora引擎不可用。我懷疑它或者崩潰或者遇到了內存不足的情況。

您可以檢查日誌目錄中的崩潰轉儲。如果您找到，請打開客戶留言以供進一步調查。

如果您未找到故障轉儲，則可能是內存不足的情況。您應該在引擎日誌文件或/ var/log/messages中找到確認（如果oom殺手結束了該進程）。在這種情況下，可用內存不足以加載數據。