加載巨大（8GB）的二進制文件，並將其轉移到內存中C++ Linux 64bit

Question

我正在嘗試將8GB二進制文件讀入內存並對其進行處理。 文件包含序列HEADER，DATA，HEADER，DATA，....我想將其移到（在內存中）以：DATA，DATA，DATA，...

它是灰度16位圖像數據。

我的問題是，我只能使用順序uproach（代碼以下），因爲.read（）函數只適用於32位寄存器，並且指針下方只允許我有32位最大數量的無符號短褲。

有什麼我失蹤？這是在64位的Linux與64GB內存，所以這是很多。 （並且它確實需要一次全部存儲在內存中） 然後我可以獲得更多的指針，然後[2^32]？如果閱讀是我唯一的選擇，我可以順序讀入它們。

編輯：我更新了我的代碼，它不會抱怨任何事情，只有memove給我分段錯誤（對於j> = 448）。任何想法爲什麼？

示例代碼：

const unsigned int HEADERSIZE=384; 
ifstream fs; 
fs.open("./myfile.bin", ios::in | ios::binary); 

unsigned short *tmp0 = new unsigned short [256*256*256*256+HEADERSIZE/2*256*256]; 
unsigned short *tmpNoHead = new unsigned short [256*256*256*256]; 

fs.read((char*)tmp0, 2*256*256*256*256+HEADERSIZE*256*256); 
//endian swap 
unsigned char*c0 = (unsigned char*)tmp0; 
for (long i = 0; i < HEADERSIZE*256*256+256*256*256*256*2; i += 2) 
swap(c0[i], c0[i + 1]); 

//memmove or memcpy seg fault if j>=448 
for (int j = 0; j<256*256;j++) memmove(tmpNoHead+j*256*256,c0+HEADERSIZE*(j+1)+j*256*256*2,256*256*2); 

fs.close(); 
return 0; 

Answer 1

在64位系統中，雖然短是16位和一個int仍然是32位，指針是64位，所以可以確實訪問自己的整個8GB數據數組，帶有短*或者int *指針。

爲了證實這一點，你可以運行這個命令：

printf("sizeof(short*) = %lu\n", sizeof(short*)); 

在我的64位機，8（64位）被打印出來。

小心你的i + j * DATA_SIZE行，如果總和可以超過2^31，你應該讓i和j長整數。