軌道導入數據文件..討論主題

我有我通過一個Rails應用程序導入到我的數據庫CSV文件。

如果由於某種原因，進口被停止方式中旬該文件已被標記爲進口，這樣就不會再進口，但它是不完整的。

有人建議第一步我拿的是把文件數據導入到表中，那麼我可以處理記錄，如果該過程停止，我只能拿起我離開。我這個看到的問題是，因此目前保存爲ZIP文件的數據將被分解到數據庫中，佔用了比它需要的方式更多的空間。我目前還爲每一個進口，包含原始數據的文件（response.csv），但與響應。

我想知道其他人如何處理這一點。什麼是「導軌」方式來導入大量的數據？什麼是最好的做法..

2012-11-25 baash05

或者：

2012-11-26 20:00:59 averell

鑑於這種情況，你會怎麼產生的反應？ – baash05

如果您真的想要與原始數據混合 - 您可以即時生成響應行。如果您有交易並且失敗，那麼您只需重新開始。如果您有一個導入繼續，您只需繼續追加到該文件。但如果可能的話，我會在導入後從數據庫生成整個響應。 – averell

是的..在飛行中產生響應是不實際的..每個文件60k行，每個壓縮導入集多個文件。我可以看到如何切換到數據庫..仍然不喜歡導入20兆壓縮文件原始數據庫的想法。這感覺很糟糕。 – baash05

回答