如何在Python中加速Beautifulsoup？

Question

我試圖解析使用Python中Beautifulsoup 50 000網址。 的分析過程中循環：

我弄清楚，時間解析一個頁面爲15 - 18秒。從頁面抓取20個元素。

爲什麼Beautifulsoup工作這麼慢？如何在Python中加速Beautifulsoup？

Answer 1

確保您瞭解您的瓶頸。

的第一個和主要問題不是HTML解析 - 這是「解析環路工程」。

這意味着代碼是同步/阻止 - 在您完成當前操作之前，您沒有處理下一個URL。這絕對是不可擴展。

爲了解決這個問題，切換到異步方式 - 切換到例如Scrapy網絡抓取框架 - 這是當前縮放網絡抓取項目最自然的舉動。

另見：

• Speeding up beautifulsoup

Answer 2

並行化處理。

例如

import Queue 
import threading 

# will execute parrallel 
def taskProcess(q, url): 
    q.put(beautifulSoupFunction(url)) 

urls = ["http://url1.com", "http://url2.com"] 

q = Queue.Queue() 

for u in urls: 
    t = threading.Thread(target=taskProcess, args = (q,u)) 
    t.daemon = True 
    t.start() 

s = q.get() 
print s