保存大量的數字向量到硬盤驅動器

Question

我使用unsigned short類型的向量在RAM中分配了一大塊連續字節。

vector<unsigned short> testDump(204800000); 

for(int k = 0; k<204800000; k++) 
    testDump[k] = 9; \\ This is different in my real program 

現在我想將此矢量保存到我的硬盤驅動器。如何以及什麼是最快的方式來做到這一點？數據的大小相當大（〜1/2   GB）。我試過如下：

ofstream outfile("allMyNumbers.txt", ios::out | ios::binary); 
outfile.write(&testDump[0], testDump.size()); 

但我發現了以下錯誤：

cannot convert parameter 1 from 'unsigned short *' to 'const char *' 

什麼來完成我的任務，是用最快的方法來保存矢量文件的最快方法？

*的平臺是Windows 7

Answer 1

一個獨立於平臺的技術是使用一個ostream_iterator您的矢量級持有的類型。由於您的矢量包含的類型已經爲operator<<對於ostream類類型過載，所以對於矢量類型，您不應該爲ostream_iterator類實例化模板。然後，您將結合ostream_iterator和STL中的copy算法遍歷您的向量，並將原始字節序列化到文件中。使用operator<<將使用比使用ofstream::write更多的數據，該數據將原始二進制數據寫入磁盤，但具有序列化數據的優點，使其可在任何平臺上獨立讀取。

因此，例如：

vector<unsigned short> testDump(2048000000); 
//...fill in your vector 

ofstream outfile("allMyNumbers.txt", ios::out | ios::binary); 

//tab-delinate the data 
ostream_iterator<unsigned short> o_iter(outfile, "\t"); 
copy(testDump.begin(), testDump.end(), o_iter); 

Answer 2

您可以只投的指針。

outfile.write(reinterpret_cast<char*>(&testDump[0]), testDump.size() * sizeof(unsigned short)); 

注意，生成的文件在某種程度上這是特定於您的特定平臺/執行格式化。所以你不一定在不兼容的機器上以明顯的方式閱讀它。

在Windows上，這將爲您提供一個400MB-ish文件，每個204800000對字節代表一個小端無符號短整型。

這應該是相當快的。我發現很難相信你的任務真的是「使用最快的方法」來保存數據。怎麼會有人知道你的代碼真的是最優的，沒有其他代碼可以使它的速度提高一納秒？還有什麼額外的努力來削減納秒？等等。

當然，使用快速流式壓縮算法來減少所需的磁盤空間可能會更快，因爲操作可能受磁盤I/O限制。但是代碼會更加複雜，並且它的幫助與否取決於數據的可壓縮性。

Answer 3

一個串行化的交叉平臺方式是將注意力集中在little endian表達式上並轉儲所有短褲。這將避免Jason解決方案中的ASCII數據膨脹，同時也是跨平臺的。

所以，我只想做

ofstream outfile("allMyNumbers.data", ios::out | ios::binary); 
for(int k = 0; k < testDump.size(); k++) 
{ 
    unsigned short leData = htole16(testDump[k]);  
    outfile.write(&leData, sizeof(leData)); 
} 

htole16（主機爲16個整數小端）的實現如下：

對於x86，x64系統：

unsigned short htole16(unsigned short x) 
{ 
    return x; 
} 

對於像Sparc/PowerPC這樣的大型機器（儘管沒有一個會運行Windows 7）

unsigned short htole16(unsigned short x) 
{ 
    return _byteswap_ushort(x); 
}