2014-12-24 32 views
0

我在將文件直接從HDFS(豬腳本輸出文件)以及躺在本地硬盤上的原始數據加載到較大的工作表中時出現一些錯誤。 我觀察到,無論何時加載文件併發出行計數以查看是否所有數據都加載到bigsheets中,然後我都會看到lesses加載的行數。 我檢查過這些文件是一致的和適當的delimeters(/ t或逗號分隔的字段)。 我的文件大小約爲2GB,我使用的格式爲* .csv/* .tsv。IBM BigSheets問題

而且在某些情況下,當我已經厭倦了從Windows操作系統加載一個文件,然後直接將文件有時會與行數與數據線的實際數量有時匹配,然後用較少數量的行數的成功加載。

即使有時當第一次使用新文件時,它會給出正確的結果,但是如果我在下次執行相同操作時丟失了某些行。

請分享您的經驗您bigsheets,解決方案到整個數據沒有被加載等。在此先感謝

回答