使用Scrapy刮Youtube用戶頁面上的標題和持續時間信息

正如標題所示，我想構建一個應用程序，存儲用戶視頻標題信息和持續時間，並使用Scrapy存儲它。使用Scrapy刮Youtube用戶頁面上的標題和持續時間信息

使用BeautifulSoup來解析HTML源代碼相對容易，但在處理上傳了大量視頻的Youtube用戶頁面時，我認爲不可能使用BeautifulSoup。

任何幫助，將不勝感激。

你嘗試過這麼遠嗎？ – stovfl

@stovfl我還沒有開始任何編碼。點擊「加載更多」按鈕後，我無法瞭解YouTube如何在用戶頁面上動態加載更多視頻。是否有一種特殊的方法來一次加載整個HTML，以便我可以看到所有視頻對象的來源？ – user2965071

閱讀相關的SO QA開始：[youtube-get-url-video-list]（https://stackoverflow.com/questions/36854168/python-youtube-get-url-video-list） – stovfl

您可以使用youtube-dl

youtube-dl --get-title --get-duration (youtube link)

2017-07-17 02:54:52 Surkal

回答