通過我的瀏覽器獲取URL的最簡單方法？

Question

我想通過Google搜索我搜索的內容時搜索所有網址。我已經嘗試製作腳本，但Google不喜歡它，並且添加Cookie支持和驗證碼過於乏味。我在尋找某些東西，當我瀏覽Google搜索頁面時，會簡單地將所有網頁上的網址放在一個.txt文件中，或以某種方式存儲它們。 你們有沒有人知道這樣做的事情？也許是一個greasemonkey腳本或Firefox插件？將不勝感激。謝謝！

Answer 1

請參閱JSON/Atom Custom Search API。

Answer 2

我爲Google Scholar做了類似的工作，但沒有API可用。我的做法基本上是創建一個代理Web服務器（Tomcat上的一個Java Web應用程序），它可以獲取頁面，對其執行某些操作，然後向用戶顯示。這是100％功能的解決方案，但需要一些編碼。如果您有興趣，我可以詳細瞭解一些代碼。

Answer 3

谷歌搜索結果很容易刮。這裏是一個例子在PHP中。

<? 
# a trivial example of how to scrape google 
$html = file_get_contents("http://www.google.com/search?q=pokemon"); 

$dom = new DOMDocument(); 
@$dom->loadHTML($html); 
$x = new DOMXPath($dom); 
foreach($x->query("//div[@id='ires']//h3//a") as $node) 
{ 
    echo $node->getAttribute("href")."\n"; 
} 
?> 

Answer 4

但谷歌不喜歡它，..

你需要插入（隨機）等語句在你的代碼，所以你不「超載」的網站，並觸發該塊。

Answer 5

您可以嘗試使用IRobotSoft書籤附件登錄http://irobotsoft.com/bookmark/index.html