如何在多核上運行使用bash進行管理的進程？

Question

我有一個簡單的bash腳本，它將一個進程的輸出管道傳輸到另一個進程。即：。

dostuff | filterstuff 

在我的Linux系統上（openSUSE，如果有問題的話，內核2.6.27），這兩個進程都運行在一個內核上。但是，運行不同過程在不同的內核是不會發生在這種情況下觸發默認策略。

什麼組件系統的負責人認爲，我應該怎樣做才能利用多核功能？

注意，有對2.6.30內核沒有這樣的問題。

澄清：具有其次Dennis Williamson的建議，我做了肯定與頂級方案，即管道輸送過程確實總是在同一處理器上運行。 Linux調度程序通常做得非常好，但這次不行。

我想的東西在bash阻止OS從這樣做。事情是，我需要一個便攜式解決方案的多核心和單核心機器。通過Dennis Williamson提出的tasksetsolution不會在單核機工作。目前我正在使用：，

dostuff | taskset -c 0 filterstuff 

但這似乎是一個骯髒的黑客攻擊。有誰能提供更好的解決方案嗎？

Answer 1

假設dostuff正在一個CPU上運行。它將數據寫入管道，並且該數據將在該CPU的緩存中。由於filterstuff正在從該管道讀取，因此調度程序決定在同一CPU上運行它，以便其輸入數據已存在於高速緩存中。

如果你的核心是建立與CONFIG_SCHED_DEBUG=y，

# echo NO_SYNC_WAKEUPS > /sys/kernel/debug/sched_features

應禁用這類啓發式的。 （有關其他調度程序可調參數，請參見/usr/src/linux/kernel/sched_features.h和/proc/sys/kernel/sched_*。）

如果幫助，這個問題仍然較新的內核，和它的真正更快地在不同的CPU數量多於一個CPU運行的情況下，請將該問題報告給Linux內核郵件列表，以便他們能夠調整自己的啓發式。

Answer 2

試試這個設置CPU（處理器）的親和力：

taskset -c 0 dostuff | taskset -c 1 filterstuff 

編輯：

試試這個實驗：

• 創建一個名爲proctest和chmod +x proctest以此爲內容：

  #!/bin/bash 
  while true 
  do 
      ps 
      sleep 2 
  done 
  

• 啓動這個運行：

  ./proctest | grep bash 
  

在另一端
• ，開始頂 - 確保它的排序由％CPU
• 讓它沉澱幾秒鐘，然後退出
• 發出命令ps u

• top -p開始top -p帶有最高的幾個進程的PID的列表，其中8個是從退出的top屏幕上的列表加上01的那個和其通過ps列出grep - 所有由逗號分隔的，像這樣（在順序無關緊要）：

  top -p 1234, 1255, 1211, 1212, 1270, 1275, 1261, 1250, 16521, 16522 
  

• 添加處理器字段 - 按˚F然後Ĵ然後空間
• 設置排序，以PID - 按移 + ˚F然後一個然後空間
• 可選的：按移 + ħ開啓螺紋視圖
• 可選的：按d並鍵入.09並按輸入設置一個短的延遲時間
• 現在觀看作爲處理移動從處理器到處理器，您應該看到proctest和grep反彈，有時在同一個處理器上，有時在不同的處理器上

Answer 3

Linux調度程序旨在提供最大的吞吐量，而不是做你認爲最好的。如果您正在運行與管道連接的進程，很有可能其中一個進程阻塞了另一個進程，然後它們會交換。在單獨的核心上運行它們會獲得很少或沒有任何效果，所以它不會。

如果你有兩個任務都是真正可以在CPU上運行的，我希望看到它們被安排在不同的內核上（某些時候）。

我的猜測是，dostuff會一直運行，直到管道緩衝區變滿爲止，此時它不能再運行，所以「filterstuff」進程會運行，但運行的時間很短，以至於dostuff直到filterstuff完成對整個管道緩衝區的過濾之後纔會重新計劃，此時dostuff會再次進行調度。