可編程的網頁抓取軟件/ API

Question

我要尋找一個屏幕/網頁抓取解決方案，它可以讓我以下面的方式提取網頁數據：

1. 我手動選擇通過一個元素，表/款某種用戶界面/工作臺。
2. 我使用基於標籤和模式定義的元素來重複任務。

就像在excel中記錄一個宏，然後編程和參數化代碼。我想要這樣的理由是爲了提高我們搜索的衆多網站的生產力。

Answer 1

我聽到好東西的iMacros的網頁抓取：http://wiki.imacros.net/Data_Extraction

Answer 2

http://scrapy.org/在Python

這其中有很多庫，你可以使用 http://www.httrack.com/

Answer 3

您可以通過Rebol具有真的很好的解析語言本身的引擎在不到1 Mo！ http://reboltutorial.com/index.php?s=parse&x=Search

您可以通過CMDLINE用C＃接口，PHP，Java的...（該網站還對C＃和PHP的例子）