如何處理大文件上傳

我想創建一個簡單的文件上傳服務器。服務器應該能夠處理每個10 GB大小的文件和大約10,000個文件。如何處理大文件上傳

我想知道什麼是最好的體系結構 - 使用文件系統或數據庫？我必須使用RAID嗎？有什麼辦法可以免費實現這個要求嗎？

我有哪些最便宜的選項？

來源

2011-11-13 Jonathan

你想100TB存儲是免費的嗎？這聽起來有點樂觀 - 不是很遠，但仍然。而且你也找不到具有這種容量的單個驅動器，因此RAID的某種形式或其他形式是必需的。 – Mat

我可以從雲端進行突襲嗎？我應該使用數據庫嗎？ – Jonathan

你的問題太廣泛/模糊，無法回答。這取決於你想要完全用這些數據來做什麼。（「從雲中突襲」幾乎就是一系列流行語。） – Mat

「文件系統或數據庫」

您將需要一個數據庫中的文件列表，而實際存儲文件的文件系統。

「我必須使用RAID嗎？」

基本上沒有。 RAID是設置硬盤驅動器的各種模式的集合，以速度和可靠性爲代價，而犧牲與額外驅動器相關的額外成本。如果您希望有一臺可容納100 TB的服務器，則可能需要將這些驅動器組合在一起形成一個非常大的邏輯磁盤，而不是多個較小的驅動器，並使用用於數據安全的奇偶校驗驅動器。 RAID是主板上的內置控制器，或者如果您打算使用幾十塊硬盤，則需要使用專用電源和專用RAID控制器。在這一點上，考慮租用雲中的存儲空間會更具成本效益，儘管我現在不會要求提供數百TB的存儲空間，但我會盡量在增長時擴展。

「有什麼辦法可以免費實現這個要求嗎？」

編號RAID控制器成本很高（8端口最低300美元），所以任何體面的硬盤足夠滿足您的需求。您可以從4磁盤設置開始，並使用主板的內置RAID工具（可在許多高端主板上使用），並且在時機到來時，轉而使用更大的RAID卡。

調查雲存儲。它的整體成本要低很多，特別是包括兩點還沒有提出：功耗和網絡連接的成本。

來源

2011-11-13 15:45:29 Tim

如何處理大文件上傳

回答

相關問題