1
我在我的網絡爬蟲中使用Jsoup。這是我用來下載網頁的代碼。掩碼java jsoup網絡爬蟲作爲谷歌機器人下載網頁
String ua = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_6_8) AppleWebKit/534.30 (KHTML, like Gecko) Chrome/12.0.742.122 Safari/534.30";
Document doc = Jsoup.connect(url).userAgent(ua).timeout(20000).get();
Elements links = doc.select("a[href]");
我該如何掩飾我的java程序作爲googlebot？