如何抓取YouTube視頻鏈接與關鍵詞搜索

我正在做一些研究我想在YouTube上抓取視頻鏈接（然後得到的視頻ID）如何抓取YouTube視頻鏈接與關鍵詞搜索

例如，如果我在關鍵字輸入「奧巴馬」 YouTube搜索欄然後youtube.com將返回頁面結果

http://www.youtube.com/results?search_query=htc&page=2 滾動頁面下到谷底我們可以看到頁碼1 2 3 4 5 6 7 點擊頁面上的數量從2到3到4到5 .... 然後我們可以達到最大頁碼：50

所以我想所有的頁面下載從1到50 有一個url招，像

http://www.youtube.com/results?search_query=obama&page=5

不過，如果我使用wget下載的每一頁，有時，下載將被阻止或者有時，當頁面號很大時，返回的頁面不是異常頁面。

所以一個正確的方法是手動點擊頁碼按鈕並使用網頁瀏覽器下載每一頁，是否可以自動執行手動程序？我在因特網上搜索過，有些人提到chrome javascript extention，無論如何，有沒有什麼方法可以編寫一些自動化腳本來模仿手動操作？謝謝！

爲什麼不只是使用他們的API？爬行通常是不好的做法。

https://gdata.youtube.com/feeds/api/videos? 
    q=football+-soccer 
    &orderby=published 
    &start-index=11 
    &max-results=10 
    &v=2

2013-01-03 17:39:59 Halcyon

這些API無法得到所有相關的搜索關鍵字 – user1944267

的視頻ID，如果在API中的一些限制，它可能是有原因的。你能舉個例子嗎？ – Halcyon

啊，這似乎沒問題，但我都想收集評論，如https://www.youtube.com/all_comments?v=FL7yD-0pqZg&page=6，所以我仍然希望使用自動化腳本來模仿手動操作 – user1944267

回答