快速在服務器之間傳輸大數據

這是一個常見問題，但使用谷歌搜索可以給出很多廢話。
快速在服務器之間傳輸大數據

隨着數據量越來越高，以及雲處理能力，我們看到對快速數據傳輸技術的需求日益增長，能夠通過傳播/移動/共享釋放所有這些可用數據的能量它跨越不同的服務器/客戶端。

在我們的案例中，我們記錄的是實時二進制數據（每天50Gig），我們需要每天上傳/下載它到/來自訂閱者（是的，每個訂閱者服務器在本地都需要它，用於計算和各種數據分析的東西）

所以，給爲不久，什麼可今天到遠程Windows服務器的（VPS的雲之間非常快的數據傳輸的許多演出有「相當」一致bandwitdth選擇 - （光纖放在一邊））

這是一個懸而未決的問題。無論協議如何，每個想法都受到歡迎

來源

2012-07-19 Mehdi LAMRANI

我認爲這可能更適合程序員？ – Thousand 2012-07-19 13:26:24

如何存儲數據？ – 2012-07-19 13:26:26

我知道CloudOpt，這似乎是一個有趣的解決方案（http://www.cloudopt.com/）。我很想知道最近有哪些技術/設置必須提供 – 2012-07-19 13:27:06

通過網絡發送和接收數據的挑戰是多方面的。

的網絡帶寬是最重要的限制因素，幾乎沒有什麼可以在應用程序級別爲這個做（除了偶爾的壓縮數據，甚至在這種情況下，壓縮比決定了增益）。所以更快的網絡是第一選擇。
某些協議更適合傳輸某些類型的文件/數據。例如，http是一個基於文本的協議，並不適合二進制和大內容。但是因爲它是最流行的網絡協議，需要通過網絡發送二進制內容，所以像encoding and chunking這樣的技術已經發展。 HTTP 真的不是選擇如果您的數據是在您的情況GBs的順序。
FTP是最流行的通過網絡傳輸文件的協議，它專門爲傳輸文件而設計。有幾種擴展名的FTP，如GridFTP,bbftp，其中非常特別爲設計的用於大數據傳輸。

BitTorrents是另一種可以探索的選擇。 Facebook使用BitTorrents將二進制文件推送到服務器（成千上萬）。

你問題很開放，我受到我的經驗限制:)。 Here is link我發現了大數據傳輸的交易。希望這可以幫助你。

來源

2012-07-19 13:56:50 Santosh

+1使用比特流或類似的對等協議，因爲您必須發送多份副本，網絡帶寬可能是限制因素。 – 2012-07-19 14:30:07

+1多種方法。我還會添加[sneakernet]（https://en.wikipedia.org/wiki/Sneakernet）。不知何故，爲此，Serverfault [皺眉]（http://serverfault.com/a/332612/82856）ftp的人。還討論了[另外一些]解決方案（http://serverfault.com/questions/332606/what-is-the-fastest-and-most-reliable-way-of-transferring-a-lot-of-files），不知道這些是否可以通過編程方式使用。 – oleksii 2012-07-19 16:55:20

快速在服務器之間傳輸大數據

回答

相關問題