將谷歌的頁面加載到字符串

Question

我需要分析谷歌上的一個特定頁面，並且我有一個直接的頁面。當我將該鏈接粘貼到IE時，它工作正常。

現在，我想這個過程自動化

WebClient w = new WebClient(); 
       string s = w.DownloadString("https://www.google.com/#q=" + MYSEARCHSTRING + "&start=0"); 

但它不是在頁面加載正確成「S」

Answer 1

當加載與代碼的網址，你在那裏不能使用「＃」字符，因爲這是一個Fragment Identifier和谷歌現在運行使用JavaScript的搜索，所以瀏覽器不再要求每個頁面。

要做到這一點，你需要使用舊的搜索語法：https://www.google.com/search?q=

更好的解決辦法可能是使用的API搜索：Custom Search，使用這將是對你的結果的解析更好，更好的谷歌。

需要注意的一件事是確保如何使用符合服務條款的結果，使用API​​應該有助於避免濫用它，我還沒有查看搜索條件所以我不確定可能存在哪些限制。