如何用幾臺Linux電腦下載很多遠程文件？

Question

假設我需要通過HTTP從遠程主機下載很多小文件，並且我有一個要下載的URL列表。假設遠程主機只允許K連接到我的本地網絡。我的本地網絡有M電腦，我想平均分配文件。我所有的電腦都運行Linux。現在我想知道如何組織下載。

現在我假設一臺計算機足以處理所有K連接並將所有這些文件存儲在其本地文件系統中。因此，我將分配一臺計算機將文件「下載」到以M本地主機命名的M文件夾中。本地主機將文件從這些文件夾複製（移動）到其文件系統。是否有意義 ？實現它的最簡單方法是什麼？

Answer 1

您的方法很好，但有一個假設，所有文件的大小相同，所有計算機的性能相同。 如果一臺計算機完成其中的文件，其他計算機仍處於中途會發生什麼情況？在這種情況下，儘管您有可用的處理器，但它將閒置。 但是爲了實現這個，你將需要分佈式計算，這將會變得更加複雜，所以我會說如果這是一次性任務，或者如果總時間不是很大，那麼你的方法應該沒問題，否則你需要評估分佈式方法。