編程語言自動導航網站？

public static void Main() 
{ 
    // Create a request for the URL.   
    WebRequest request = WebRequest.Create ("http://www.contoso.com/default.html"); 
    // If required by the server, set the credentials. 
    request.Credentials = CredentialCache.DefaultCredentials; 
    // Get the response. 
    HttpWebResponse response = (HttpWebResponse)request.GetResponse(); 
    // Display the status. 
    Console.WriteLine (response.StatusDescription); 
    // Get the stream containing content returned by the server. 
    Stream dataStream = response.GetResponseStream(); 
    // Open the stream using a StreamReader for easy access. 
    StreamReader reader = new StreamReader (dataStream); 
    // Read the content. 
    string responseFromServer = reader.ReadToEnd(); 
    // Display the content. 
    Console.WriteLine (responseFromServer); 
    // Cleanup the streams and the response. 
    reader.Close(); 
    dataStream.Close(); 
    response.Close(); 
}

來源

2009-11-17 20:15:24 Bob

webrequest et similar（cURL）不允許與表單，javascript等進行交互 – kappa 2013-05-24 10:24:41

我相信你是不是在找一個語言，而是一個框架，允許你這樣做這個。這通常由web scraping software完成。有一些在線服務，例如Mozenda，可以讓你做簡單的事情。還有一些框架可以幫助您以更嚴格的方式進行操作。我有一些screen-scraper的經驗，我認爲這是最豐富的功能之一。

另一種類型的框架是網絡爬蟲 - 。這是要經過一個網站，並建立索引（像搜索引擎

來源

2009-11-17 20:16:10

在Perl中，WWW::Mechanize是用於導航網站的標準工具，它可以處理餅乾，會話，知道如何與表單交互，執行點擊等等，它保持了狀態，因爲它一直沿着它的方向來維持狀態

它的一個缺點是沒有處理javascript，有一些與Javascript交互的Perl模塊，但它們不是't整合WWW :: Mechanize。

來源

2009-11-17 20:23:56

我肯定會去一些腳本la nguage，Ruby/Mechanize是我的最愛，看看一些examples ......當然，Perl和Python也是不錯的選擇。除非有計劃將它作爲其他應用程序的一部分，否則我會避免使用靜態類型語言 - 過多的樣板代碼恕我直言。

require 'rubygems' 
require 'mechanize' 

agent = WWW::Mechanize.new 
page = agent.get('http://google.com/') 
google_form = page.form('f') 
google_form.q = 'ruby mechanize' 
page = agent.submit(google_form) 
pp page

機械化是真正偉大的圖書館，因爲它不只是簡單的HTTP GET/POST請求，並取：它跟蹤的cookie密切相關，從而模擬真實的網絡瀏覽器的行爲。

來源

2009-11-17 20:33:43