有沒有什麼辦法從文件中自動讀取一行C++

Question

我目前正在開發一個項目，其中有一個大型文本文件（15+ GB），我試圖在文件的每一行上運行一個函數。爲了加速這個任務，我創建了4個線程，並試圖讓他們同時讀取文件。這與我有什麼：

#include <stdio.h> 
#include <string> 
#include <iostream> 
#include <stdlib.h> 
#include <thread> 
#include <fstream> 

void simpleFunction(*wordlist){ 
    string word; 
    getline(*wordlist, word); 
    cout << word << endl; 
} 
int main(){ 
    int max_concurrant_threads = 4; 
    ifstream wordlist("filename.txt"); 
    thread all_threads[max_concurrant_threads]; 

    for(int i = 0; i < max_concurrant_threads; i++){ 
     all_threads[i] = thread(simpleFunction,&wordlist); 
    } 

    for (int i = 0; i < max_concurrant_threads; ++i) { 
     all_threads[i].join(); 
    } 
    return 0; 
} 

getline函數（帶「*單詞表>>字」沿着）似乎增加了指針和2個步驟讀出的值，因爲我會定期得到：

Item1 
Item2 
Item3 
Item2 

回。

所以我想知道是否有一種方法來自動讀取文件的一行？首先將其加載到數組中不起作用，因爲文件太大，我不希望一次加載文件。

我無法找到任何關於fstream和getline的原子性的悲哀。如果有readline的原子版本，或者甚至是使用鎖來實現我想要的簡單方法，那麼我都是耳朵。

在此先感謝！

Answer 1

正確的方法是鎖定文件，防止所有其他進程使用它。請參閱Wikipedia: File locking。這對你來說可能太慢了，因爲你一次只讀一行。但是，如果您在每次函數調用期間正在讀取例如1000或10000行，那麼可能是實現它的最佳方式。

如果沒有其他進程訪問該文件，並且其他線程無法訪問該文件就足夠了，則可以使用在訪問文件時鎖定的互斥鎖。

void simpleFunction(*wordlist){ 
    static std::mutex io_mutex; 
    string word; 
    { 
     std::lock_guard<std::mutex> lock(io_mutex); 
     getline(*wordlist, word); 
    } 
    cout << word << endl; 
} 

來實現你的程序可以創建一個正在讀線到內存中的所有時間一個線程，而其它線程會從被存儲它們的類申請單線條的另一種方式。你需要這樣的東西：

class FileReader { 
public: 
    // This runs in its own thread 
    void readingLoop() { 
     // read lines to storage, unless there are too many lines already 
    } 

    // This is called by other threads 
    std::string getline() { 
     std::lock_guard<std::mutex> lock(storageMutex); 
     // return line from storage, and delete it 
    } 
private: 
    std::mutex storageMutex; 
    std::deque<std::string> storage; 
};