如何通過一些參數獲取網站內容？

我使用華廷（我使用2個天... ...），以得到任何網站的內容就像：通過華廷（HTTP如何通過一些參數獲取網站內容？

<body> 
    <form id="form1" runat="server"> 
    <div> 
    <asp:TextBox ID="some_textbox" runat="server"> </asp:TextBox> 
    <asp:Button ID="submit_button" runat="server" Text="search" 
      onclick="submit_button_Click" /> 
    <asp:Label ID="lblMsg" runat="server" Text="" ></asp:Label> 
    </div> 
    </form> 
</body>

我的客戶代碼：

Deault.aspx // watin.org/documentation/getting-started/）


    private void button1_Click(object sender, EventArgs e) 
     { 
      //launch a new IE browser 
      using (FireFox browser = new FireFox("http://localhost:3411/Default.aspx")) 
      { 
       //now we have access to the browser object 
       //filling a textbox and clicking a button is as easy as 
       browser.TextField(Find.ByName("some_textbox")).TypeText("foobar"); 
       browser.Button(Find.ByName("submit_button")).Click(); 

       //we can also access the full html of the page to perform regex matches, scrapes, etc... 
       string fullPageSource = browser.Html; 

      } 
     }

我有2個問題：
1）我不喜歡打開網頁瀏覽器，必須運行回地面。因爲我會在20-30頁的一個事件中搜索一些數據。 PLease不監視我的網頁每一件事都必須跑回地面
2）我正在寫文本框名稱按鈕名稱或whatelse。我沒有任何想法textboxname或搜索按鈕的名稱，因爲我會搜索一些產品在亞馬遜。我需要一些技巧如何使價格比較像http://www.pricegrabber.com/ WATIN是個好主意，或者你有任何httprequest的DLL或方法？

來源

2011-04-25 programmerist

你有什麼想法是迫切的：（ – programmerist 2011-04-25 20:26:11

供參考：亞馬遜的庫存：「此許可證不包括任何轉售或商業用途的本網站或其內容;任何收集和使用任何產品列表，說明或價格;對本網站或其內容的任何衍生使用;爲其他商家的利益下載或複製帳戶信息;或使用數據挖掘，機器人或類似的數據收集和提取工具本網站或本網站的任何部分未經亞馬遜明確書面同意，不得複製，複製，複製，出售，轉售，訪問或以其他方式用於任何商業目的。「 – 2011-04-25 23:04:52

除非我知道您有亞馬遜以這種方式訪問他們的網站的權限，否則聽起來像我喜歡你違反他們的使用條件。爲我自己說話，因爲我希望其他人能夠遵守這些條件對於我的僱主製作的產品，除非我知道你在做的是'猶太教'，否則我不會幫助你。否則，我會協助你製作一個工具，以達到以下目的：「數據挖掘，機器人或類似的數據收集和提取」 – 2011-04-25 23:09:21

Watin旨在以與用戶相同的方式驅動Web瀏覽器。如果你不想打開網頁瀏覽器，Watin和Watir都不會成爲你想要做的事情的有效解決方案。（拋開合法性問題）。

您可能想要使用其他方式發出HTTP請求，然後通過返回的HTML進行解析，一旦您獲得了Amazon的書面許可以使用數據收集工具訪問其網站，因爲這樣做未經許可不得違反其使用條件。

來源

2011-04-25 23:16:13

我只使用它我的國家電子商務網站有很多樣品。如何使用它？我想搜索搜索框中的任何值獲取html結果。但沒有打開新的Web瀏覽器如何做到這一點？ – programmerist 2011-04-26 06:05:31

如何通過一些參數獲取網站內容？

回答

相關問題