兩個進程可能抓住「空閒」目錄的可能性有多大？

Question

如果我有一個需要處理一堆目錄的多進程系統，每個進程有一個目錄，兩個進程碰巧抓住同一個目錄的可能性有多大？

說我有dir/1直到目錄/ 99。我認爲，如果我touch在進程正在工作的目錄中有一個.claimed文件，就不會有衝突。我的方法有問題嗎？

---

還有一點複雜性。它不僅是多進程的，而且分佈在多臺計算機上。

Answer 1

我記得有關目錄創建是原子的，但不是文件創建，所以你的.claimed應該是一個目錄 - 然而我不記得應用到什麼操作系統。

我會採取一種不同的方法：列出你想要處理的所有目錄，將輸出寫入一個管道，它作爲每個進程讀取的工作隊列。 IIRC系統管道語義（命名或匿名）是從管道讀取是原子操作：兩個進程將無法讀取相同的數據。

主進程可以將列表寫入管道併產生工作進程，或者工作進程可以阻止嘗試讀取，直到您手動將列表寫入管道。

Answer 2

如果您擔心碰撞，那麼我會有一個主進程將目錄委託給進程。我之前使用的另一個選項是將所有目錄列在數據庫表中。然後，您可以使用數據庫的內置併發功能來提取記錄並將其標記爲已鎖定。

Answer 3

我不知道你的應用程序是如何工作的，但是如果你的應用程序在給定一個根文件夾的情況下遞歸處理這些文件夾，那麼很可能你會雙重處理你的文件。

這裏有一些選擇

選項1

，如果你有應用程序的完全控制，你可以修改你的應用程序在文件夾列表讀取（從配置文件）。

myprogram.exe file1.config

myprogram.exe file2.config

其中file1.config包含目錄1-50 和file2.config的名字包含目錄51-100

的名字

選項2

使用在你的O/S環路明確指定哪些文件夾你的程序應該處理。 （注意：我指定了DOS命令語法，請根據您的操作系統修改您的語法）。

for %f in (dir1, dir2, dir3, dir4) do start myprogram.exe %f 
for %f in (dir11, dir12, dir13, dir14) do start myprogram.exe %f 

Answer 4

如果已知工作線程數和目錄數，則可以在進程間劃分目錄範圍，從而避免衝突。

因此，例如，進程1知道要照顧目錄/ 1到目錄/ 10。