我正在研究HPC應用程序和並行文件系統。我遇到了術語臨時空間和臨時文件系統。什麼是HPC中的暫存空間/文件系統
我無法想象這個暫存空間的存在位置。它是否在計算節點上作爲已掛載的文件系統/暫存或主存儲空間。
它是什麼內容。
是暫存空間獨立每個計算節點，或者兩個或更多節點可以共享一個暫存空間上。
所以可以說我有，我想並行處理文件123.txt。暫存空間是否包含此文件的各個部分，否則將複製整個文件。
我很困惑，谷歌上沒有任何明確的描述。請指出一些。
非常感謝。
這一切都取決於如何設置羣集以及用戶需要什麼。當你被授予訪問集羣的權限時，還應該提供一些有關如何使用它的信息，這些信息應該可以回答你的大部分問題。
在我與NFS工作星團之一，用於長期存儲和一些光澤的空間可用於工作暫存空間。所有節點都可以看到NFS和Lustre。每個節點在節點上也有一些臨時空間，只有該節點才能看到。
如果您希望自己的作業能夠並行處理123.txt，則可以將123.txt複製到共享臨時空間（Lustre），或者將其複製到作業文件中的每個節點暫存空間。
for i in `cat $PBS_NODEFILE | sort -u ` ; do scp 123.txt $i:/scratch ; done
一旦每個節點都有副本，您就可以運行您的工作。作業完成後，您需要將結果複製到持久性存儲，因爲羣集通常會運行腳本來清理暫存空間。
有很多不同的方式來思考或部署暫存空間或暫存文件系統。
比方說，你有Linux的節點的集羣，而這些節點都有一個硬盤。您可以想象每個節點本地的/ scratch空間。由於操作系統映像將會相對較小，而且現在無法獲得比太字節驅動器更小的任何內容，因此最終會爲節點使用接近1TB的存儲空間。
如何處理這個節點本地存儲？哦，很多東西。可擴展的檢查點重新啓動。當地的核心業務。
當我第一次開始玩集羣，這似乎是一個好主意，團伙所有這些未使用的空間變成一個並行文件系統。爲此，PVFS非常有效。
它讓我繼續使用所有節點可用的/ scratch式並行文件系統。這有一個技術組件（站點部署哪個並行文件系統？），但還有一個策略組件：該文件系統上的數據將保留多久？它是否備份？ /劃傷往往意味着文件沒有備份起來，其實不被訪問（通常爲兩週）的一段時間後，將被清除
不，我已經被告知要拿出我自己的這些terminologies..hence研究。正如你所說，作業暫存空間可用作Lustre文件系統即。基於對象的存儲。該暫存空間可以是任何類似磁帶HDD媒體等。同樣，本地暫存空間可以是磁盤驅動器或基於PCI的SSD。我的理解是否正確？ – RootPhoenix 2015-01-21 17:38:03
我認爲這個問題，正如你在谷歌搜索中發現的那樣，這些術語沒有很好的定義。一般的定義是，暫存文件系統/空間/分區被用於短期存儲，用於單個作業或一組計算作業，並且它們通常具有比常規存儲更快的速度或提供比通常更大的空間池的益處有權訪問或兼而有之。使用並最可能支付羣集的人將確定他們是否需要快速或較大的暫存空間，以及是否需要根據他們運行的應用程序在節點之間共享這些空間。 – chuck 2015-01-21 19:43:34
Lustre是一個全新的文件系統還是基於ext3或ext4修改的。 – RootPhoenix 2015-02-12 11:17:37