更快的方式來讀取文件比boost :: file_mapping？

Question

我正在寫一個延遲敏感的應用程序，它在初始化時讀取一個文本文件。我已經成型，並重新寫了我所有的算法，使得我的執行時間的85％是從線：

boost::interprocess::file_mapping file(Path, read_only); 
boost::interprocess::mapped_region data(file, read_only); 

我對Windows的是有映射文件到內存中的任何更快的方法寫這個？可移植性不是一個問題。

Answer 1

你可以只使用Win32的原生功能，但我想你不會節省很多，因爲升壓不會增加的開銷很多：

OFSTRUCT ofStruct; 
ofStruct.cBytes=sizeof (OFSTRUCT); 
HANDLE file=(HANDLE)OpenFile(fileName, &ofStruct, OF_READ); 
if (file==INVALID_HANDLE_VALUE) 
    handle errors 
else { 
    HANDLE map=CreateFileMapping(file, NULL, PAGE_READONLY, 0, 0, 0); 
    if (map==INVALID_HANDLE_VALUE) 
    handle errors 
    else { 
    const char *p=(const char *)MapViewOfFile(map, FILE_MAP_READ, 0, 0, 0)); 
    if (p) { 
     // enjoy using p to read access file contents. 
    } 
    // close all that handles now... 
    } 

Answer 2

我建議下探文件映射的想法。

FM是一個複雜的構造，並增加了一些開銷。普通緩存讀取還涉及與物理設備的非平凡交互。你可以做無緩衝的讀取。可能接下來要問的是你實際需要什麼樣的IO--文件有多大？它是順序的嗎？它在網絡上嗎？你有硬件的選擇，還是在客戶的機器上？

Answer 3

如果文件很小，只需打開並使用標準的Win32 CreateFile（）/ ReadFile（）API將它們讀入內存。

如果您按順序使用每個文件（或者可以按照您的方式排列代碼），則應該指定FILE_FLAG_SEQUENTIAL_SCAN。這是文件/緩存子系統積極預讀的提示。對於小文件，在第一次調用ReadFile（）之前，該文件可能會被讀入緩存中。

編輯：按照要求，下面是說明讀取文件的內容到使用Win32 API字節的載體的片段：

void ReadFileIntoBuffer(const std::wstring& fileName, std::vector<uint8_t>& output) 
{ 
    HANDLE hFile(INVALID_HANDLE_VALUE); 
    try 
    { 
     // Open the file. 
     hFile = CreateFile(filename.c_str(), 
           GENERIC_READ, 
           FILE_SHARE_READ, 
           NULL, 
           OPEN_EXISTING, 
           FILE_FLAG_SEQUENTIAL_SCAN, 
           NULL); 
     if(INVALID_HANDLE_VALUE != hFile) 
      throw std::runtime_error("Failed to open file."); 

     // Fetch size 
     LARGE_INTEGER fileSize; 
     if(!GetFileSizeEx(hFile, &fileSize)); 
      throw std::runtime_error("GetFileSizeEx() failed."); 

     // Resize output buffer. 
     output.resize(fileSize.LowPart); 

     // Read the file contents. 
     ULONG bytesRead; 
     if(!ReadFile(hFile, &output[0], fileSize.LowPart, &bytesRead, NULL)) 
      throw std::runtime_error("ReadFile() failed."); 

     // Recover resources. 
     CloseHandle(hFile); 
    } 
    catch(std::exception&) 
    { 
     // Dump the error. 
     std::cout << e.what() << " GetLastError() = " << GetLastError() << std::endl; 

     // Recover resources. 
     if(INVALID_HANDLE_VALUE != hFile) 
      CloseHandle(hFile); 

     throw; 
    } 
}