html-content-extraction

2熱度

4回答

我正在用Perl寫一個爬蟲程序，它必須提取駐留在同一臺服務器上的網頁內容。我目前使用HTML::Extract模塊來完成這項工作，但是我發現模塊有點慢，所以我查看了它的源代碼，發現它沒有使用任何連接緩存來處理LWP::UserAgent。我最後的手段是抓住HTML::Extract的源代碼，並修改它以使用緩存，但我真的想避免，如果我可以。有沒有人知道任何其他模塊可以更好地執行相同的工作？我基本上

1熱度

5回答

可能解析一個HTML文檔並構建一個DOM樹（java）

是否可以使用什麼工具將html文檔解析爲字符串或文件，然後構造DOM樹以便開發人員可以通過一些API走樹。例如： DomRoot = parse("myhtml.html"); for (tags : DomRoot) { } 注：這是一個HTML文檔不是XHTML。

5熱度

7回答

編寫可維護的網頁抓取應用程序的最佳方式是什麼？

前段時間我寫了一個perl腳本，它登錄到我的網上銀行並每天給我發電子郵件給我餘額和一個小型報表。我發現它對於追蹤我的財務狀況非常有用。唯一的問題是我只是使用perl和curl來編寫它，它很複雜，很難維護。在我的銀行改變他們的網頁的幾個實例之後，我厭倦了調試它以保持它的最新狀態。那麼編寫這樣一個程序的最好方法是什麼，以便易於維護？我想用Perl或Java編寫一個很好的工程設計版本，當銀行不可避免地

1熱度

4回答

尋找信息回報/文本挖掘應用程序或圖書館

我們從電子郵件中提取各種信息 - 航班，汽車租賃，酒店等。該方法是提取郵件正文，通常採用HTML格式，但有時候是文本或我們使用PDF/Word/RTF附件中的信息。然後，我們應用正則表達式（有時以幾個步驟）以獲取以表格形式提供的信息（您可以考慮飛行表，酒店表等）。注意，儘管我們解析HTML，但這不是網頁抓取。目前我們正在使用QL2的WebQL引擎，但我們正在考慮將其替換爲商業原因。你能推薦另一臺

6熱度

3回答

如何以編程方式保存網頁？

我想以編程方式保存網頁。我不是說只保存HTML。我還想自動存儲所有相關文件（圖像，CSS文件，可能嵌入SWF等），並希望重寫本地瀏覽鏈接。預期用途是個人書籤應用程序，其中鏈接內容被緩存以防原始副本被取下。

2熱度

3回答

從wsj.com或finance.yahoo.com刮掉

我想在wordpress頁面上顯示紐約證券交易所最近2周內已交易的股票總量。做這件事的最好方法是什麼？

7熱度

2回答

BeautifulSoup - 簡單的方法來獲得免費的HTML內容

我使用這個代碼，以查找頁面中所有相關鏈接： soup.findAll('a', href=re.compile('^notizia.php\?idn=\d+')) 而且它的工作非常好。不幸的是，在一個標籤有很多嵌套標籤，如字體,b和不同的東西...我想只得到文本內容，沒有任何其他的HTML標籤。鏈接例子： <A HREF="notizia.php?idn=1134" OnMouseOver=

0熱度

5回答

如何使用PHP從HTML文件中提取所有文本？

如何提取從HTML文件所有文字我想提取所有文字，在ALT屬性，< p>標籤等。但是我不想提取風格之間的文本和腳本標籤感謝現在我有以下代碼 <?PHP $string = trim(clean(strtolower(strip_tags($html_content)))); $arr = explode(" ", $string); $count = array

1熱度

3回答

Beautifulsoup在表中獲取價值

我想湊 http://www.co.jefferson.co.us/ats/displaygeneral.do?sch=000104 並獲得「業主姓名（或名稱）」我有什麼工作，但實在是太醜了，而不是最好的，我敢肯定，所以我要尋找一個更好的辦法。以下是我有： soup = BeautifulSoup(url_opener.open(url)) x = soup('table', text

0熱度

2回答

提取給定區域中的html元素？

給定一個由矩形和url定義的區域，有沒有什麼辦法可以確定在給定的url上給定的矩形內的元素是什麼？編輯：屏幕分辨率，字體大小等..都可以設置爲合理的默認值。