在C++中，如何使用多個線程讀取一個文件？

Question

我正在使用Windows 7中的VS2012（64位8核）從本地硬盤讀取.csv文件。

我正在閱讀的文件有50,000多行，每行有200多個屬性，因此讀取數據並將它們提供給相應的變量非常耗時。因此，我想知道是否可以用多線程加速它，每個線程讀取文件的一部分。

我已經google了一下，發現有人說，由於硬盤不是多線程，使用多線程來做到這一點將會實際上慢下來。 這是真的嗎？

如果可以讀取多個線程的文件，任何人都可以給我一個我可以學習的例子嗎？

此外，是否有可能將明確分配給CPU內核的線程或任務？

還有一個最後的問題：我用Python讀了同一個文件，並且在幾秒鐘內就完成了。 我可以知道爲什麼Python的讀取速度比C++快嗎？

Answer 1

讀取文件需要在任何語言或操作系統下創建一個系統調用，這意味着調用底層操作系統，並等待它將文件內容放入內存中（假設您通過操作系統安全檢查和所有這些）。多線程文件讀取確實會減慢你的速度，因爲你會製造更多的系統調用，使你不能執行程序並將控制權交給操作系統。

因此，最好的建議是海德的 - 如果需要的話，也許將文件解析到多個線程。如果你能夠在幾秒鐘內解析一個很大的文件，我會說它並不值得。例如，如果您正在運行圖形應用程序，那麼您肯定希望爲文件加載保留一個單獨的線程，以免凍結您的用戶界面。

在速度問題上，我猜想有兩個主要問題。首先，我懷疑python默認通過內存緩衝區讀取它的文件，這將加速執行。如果你可以緩衝你的文件讀取（這樣你可以減少系統調用），你可能會看到一些性能上的提升。另一個問題是你在Python和C++中使用哪些數據結構來加載/解析數據。在不知道代碼的情況下，我無法提出任何具體的建議，但花一點時間研究/思考適用於您的程序的不同數據結構可能會有所幫助。請記住，Python和C++的數據結構具有非常不同的性能配置文件，所以在Python中運行良好的一個可能是C++中更差的選擇。

編輯：從http://www.cplusplus.com/reference/

// read a file into buffer - sgetn() example 
#include <iostream>  // std::cout, std::streambuf, std::streamsize 
#include <fstream>  // std::ifstream 

int main() { 
    char* contents; 
    std::ifstream istr ("test.txt"); 

    if (istr) { 
    std::streambuf * pbuf = istr.rdbuf(); 
    std::streamsize size = pbuf->pubseekoff(0,istr.end); 
    pbuf->pubseekoff(0,istr.beg);  // rewind 
    contents = new char [size]; 
    pbuf->sgetn (contents,size); 
    istr.close(); 
    std::cout.write (contents,size); 
    } 
    return 0; 
}