通過提供包含多個URL的文件來檢索網頁源代碼

Question

我想通過提供包含其URL的列表的文件來下載網頁源代碼。 例如，我有一個具有以下網址

http://www.adobe.com/support/security/bulletins/apsb09-19.html 
http://www.adobe.com/support/security/bulletins/apsb09-20.html                         

文件我可以使用它，因爲urllib我想用Python模塊不是Unix命令（像wget）呢？

我想讀取這個文件，並將每個URL作爲urlopen或urlretrieve的輸入，誰能告訴我該怎麼做？

Answer 1

試着儘可能最好地分解問題。你有一個文本文件，每一個URL都列在它自己的行上。您知道Python對逐行讀取有很大的支持，這要歸功於open()，您可能熟悉urllib或requests，具體取決於您的偏好。

因此，所有你需要做的是：

1. Open the file

2. Read line by line

3. 使用行作爲一個URL字符串

4. 使用發送到URL的請求urllib或requests

5. 捕獲輸出，並對其進行解析/保存

大功告成！