使用wget下載帶有視頻的整個網站

Question

我一直在使用wget下載網站，但如果網站上有來自YouTube，vimeo或其他網站的視頻，我遇到了一些麻煩。

我似乎也無法擺脫廣告。

，我試圖讓目前的網站是： https://www.ctrlpaint.com

我只需要它暫時是因爲我有在那裏是沒有互聯網的地方工作。所以我不想去從vimeo下載所有視頻的麻煩。

感謝您的幫助，讓我知道如果您需要更高的精度或如果你想我嘗試任何東西。

我正在使用gentoo。

我使用的命令是：

$ wget \ --recursive \ --no-clobber \ --page-requisites \ --html-extension \ --convert-links \ --restrict-file-names=windows \ --domains website.org \ --no-parent \ website_to download 

它給我留下了完整的網站，但看起來連接到互聯網的視頻。

Answer 1

這是因爲視頻在不同的主機上，我想。

這將工作

wget -H -r --level=1 -k -p --no-clobber https://www.ctrlpaint.com/ 

-H選項包括其他主機。話雖如此，這裏的視頻主機是vimeo，當我嘗試它時，他們檢測到wget用戶代理並拒絕實際發送視頻。

另外，這種事情通常被認爲是不好的形式，因爲你鏡像的主機必須支付帶寬。 （事實上​​可能拒絕履行一些請求，發送過多的請求的錯誤響應。）

Answer 2

爲什麼影片不能下載的原因是因爲他們不是一個單一的文件，它們是多個文件或塊流。

像Vimeo或YouTube的網站很可能會使用DASH或HLS，這是所有的HTTP視頻流。這要求您與其中一名玩家一起打開視頻。將視頻的初始請求發送給服務器後，服務器將發送一個清單文件，其中包含電影塊的所有鏈接列表。從那裏玩家將發送後續請求每個電影塊。

當使用wget或curl時，服務器拒絕您訪問清單或塊，因爲您需要一些必要的條件和auth才能訪問這些文件。玩家需要處理所有這些，這就是爲什麼你必須使用他們的一個球員。

您可能需要一個可以下載YouTube視頻的應用程序。我很肯定你可以在那裏找到一些選擇。

祝你好運！