推薦用於抓取html數據的庫

我需要處理相當多[相當]任意的html數據。幸運的是，這些數據可以分解成大約十二種不同的模板。我目前的計劃是爲每個模板構建一個過濾器，以使我能夠提取所需的數據，而不需要相關的內容。問題是我不確定這個工作的理想工具是什麼。推薦用於抓取html數據的庫

我希望有人可以推薦一個好的庫來處理/從任意html數據中提取元素。在這種情況下，良好的解析器是理想的自由/開放源碼軟件。在過去，我已經做了一切，從編寫我自己的解析器，使用正則表達式*，並使用各種解析庫，如python的ElementTree和BeautifulSoup。理想情況下，你會建議使用一些技術，而不僅僅是'我使用的一個庫'。

我將在Linux主機上執行此操作，並且我對使用的語言沒有任何真正的擔憂。

（*）是的，大家都知道這句話「使用正則表達式來解析html是不好的」。再次提起它毫無意義。

來源

2010-02-18 Jotham

我發誓我看到其中的一個每週..語言無關：http://stackoverflow.com/questions/2861/options-for-html - 刮臉 – Earlz 2010-02-18 17:18:35

@Earlz - 更奇怪的是，這是搜索「HTML抓取」時的第一個結果。 – 2010-02-18 19:36:25

是的，我先讀了那個，還有其他一些。似乎沒有人做了很多事情，還有很多話要說。我已經與Beautiful Soup合作過，perl中的東西可能會更快（比如Mechanize）。 C中的東西可能會更好，但我不知道。這裏的問題（我試圖通過）是我想聽到實際經驗豐富的人。 – Jotham 2010-02-19 02:27:20

我已經與hpricot取得了很多成功。

http://hpricot.com/

來源

2010-02-18 17:17:26 emh

的QueryPath - www.querypath.org

你可以通過CSS選擇器訪問的元素，就像在JQuery的。

您也可以使用它作爲一個模板引擎等。

來源

2010-08-18 22:09:59

推薦用於抓取html數據的庫

回答

相關問題