如何使用多線程處理緩存的數據結構（例如openmp）

Question

我正在使用OpenMP來並行化C++庫。在那裏，我們有許多地方可以避免通過將結果存儲在變量中（即緩存重用結果）來重新計算某些東西。但是，這種行爲在類的方法中對用戶是隱藏的。例如，首次使用方法時，緩存將被填充。所有後續使用只會從緩存中讀取。

我現在的問題是，在一個多線程程序中，多個線程可以同時調用這種方法，從而導致創建/訪問緩存的競爭條件。我目前正在通過將緩存內容放入關鍵部分來解決這個問題，但這當然會拖慢一切。

一個例子類可能會按如下步驟

class A { 
public: 
    A() : initialized(false) 
    {} 
    int get(int a) 
     { 
#pragma omp critical(CACHING) 
     if (!initialized) 
      initialize_cache(); 
     return cache[a]; 
     } 
private: 
    bool initialized; 
    void initialize_cache() 
    { 
     // do some heavy stuff 
     initialized=true; 
    } 
    int *cache; 
}; 

這將是更好，如果關鍵部分是在initialize_cache（）函數，那麼它只會鎖定所有線程當緩存尚未初始化（即只有一次），但這似乎很危險，因爲多線程可能試圖同時初始化緩存。

任何建議，以改善這一點？理想情況下，該解決方案將與舊的OpenMP版本兼容（甚至v2 for Visual Studio ...）

PS：這可能是以前問過的，但是搜索openmp和caching會在處理器緩存中拋出很多東西，不是我想知道的...

Answer 1

高效的單身人士是您的最佳選擇。 請在這裏檢查。 efficient thread-safe singleton in C++

此外，Herb Sutter talks about that in CppCon 2014

這裏是從視頻我上面顯示的完整的代碼片段：

class Foo { 
public: 
    static Foo* Instance(); 
private: 
    Foo() {init();} 
    void init() { cout << "init done." << endl;} // your init cache function. 
    static atomic<Foo*> pinstance; 
    static mutex m_; 
}; 

atomic<Foo*> Foo::pinstance { nullptr }; 
std::mutex Foo::m_; 

Foo* Foo::Instance() { 
    if(pinstance == nullptr) { 
    lock_guard<mutex> lock(m_); 
    if(pinstance == nullptr) { 
     pinstance = new Foo(); 
    } 
    } 
    return pinstance; 
} 

運行此代碼：http://ideone.com/olvK13

Answer 2

您可以使用"Double-Checked-Locking(DCL) pattern"使用OpenMP原子操作，需要OpenMP v3.1或更高版本（read/write選項omp atomic編譯指示）。

class A { 
public: 
    A() : initialized(false) 
    {} 
    int get(int a) 
     { 
     bool b; 
#pragma omp atomic read 
     b = initialized; 
     if (!b) { 
#pragma omp critical(CACHING) 
      // you must recheck in critical section 
      if (!initialized) 
      initialize_cache(); 
     } 
     return cache[a]; 
     } 
private: 
    bool initialized; 
    void initialize_cache() 
    { 
     // do some heavy stuff 
#pragma omp atomic write 
     initialized = true; 
    } 
    int *cache; 
}; 

...但我推薦的下列選項而不是DCL模式之一：

• pthread_once()（POSIX線程庫）
• std::call_once()（C++ 11標準庫）
• 線 - 安全static變量（C++ 11核心語言功能）