爬行使用Python

Question

對於我的第一個爬行程序的網站，我打算做到以下幾點：

1. 打開下面的網址使用硒：http://www.google.com/
2. 收集所有培訓相關鏈接
3. 在結果頁，枚舉所有存在的http鏈接並將它們存儲在csv中。
4. 回到步驟2，但單擊下一個

誰能給我一些幫助上手？ （如果有幫助，我在Python 2.6.6上）

Answer 1

看看BeautifulSoup庫，在頁面上查找鏈接非常簡單，並且已經有了StackOverflow的示例。

Answer 2

國際海事組織，lxml是更容易使用和pythonic API。查看here作爲詳細解釋的例子。

Answer 3

如果您的目標只是爲了獲取數據，您有沒有考慮聯繫Cars.com的人員？他們可能能夠爲您提供Feed或API訪問權限，前提是您的最終目標是獲取數據，而不是僅開發抓取程序。