我目前正在爬取一個網站,有很多級別的鏈接,它似乎像mechanize不能處理嵌套的鏈接。例如,讓我們說我有:嵌套鏈接的Python機械化
br = mechanize.Browser()
response = br.open('some_site');
for link in br.links():
br.follow_link(link)
for link in br.links():
br.follow_link(link)
機械化,一旦出了內循環,它只是停在那裏,而無需通過從外循環的鏈接循環。
我試過br.back(),但它也沒有工作。有沒有解決方法,或者我做錯了什麼?謝謝。
只是一個建議:嘗試請求(http://docs.python-requests.org/en/latest/)會讓你的生活更輕鬆 – scripts