有一個在線網頁,其中包含我需要記錄的大量數據字段。 而且和所有普通人一樣,我不想親自去做。 那麼,是不是可以「進口」網頁「對象」,這將使我訪問的數據字段」因此,像:。在Javascript中獲取網頁'對象'
myWebpage.getElementById("field1").value;
將在‘進口’現場返回數據 任何幫助在此,將不勝感激。或任何其他的替代品。 感謝
或者,如果有人有任何更簡單的方法,這可以在任何其他語言來實現隨時分享!
有一個在線網頁,其中包含我需要記錄的大量數據字段。 而且和所有普通人一樣,我不想親自去做。 那麼,是不是可以「進口」網頁「對象」,這將使我訪問的數據字段」因此,像:。在Javascript中獲取網頁'對象'
myWebpage.getElementById("field1").value;
將在‘進口’現場返回數據 任何幫助在此,將不勝感激。或任何其他的替代品。 感謝
或者,如果有人有任何更簡單的方法,這可以在任何其他語言來實現隨時分享!
有看看PhantomJS
這是一個例子,從網頁獲取一些元素:
var page = new WebPage(),
url = 'http://lite.yelp.com/search?find_desc=pizza&find_loc=94040&find_submit=Search';
page.open(url, function (status) {
if (status !== 'success') {
console.log('Unable to access network');
} else {
var results = page.evaluate(function() {
var list = document.querySelectorAll('span.address'), pizza = [], i;
for (i = 0; i < list.length; i++) {
pizza.push(list[i].innerText);
}
return pizza;
});
console.log(results.join('\n'));
}
phantom.exit();
});
好的謝謝你的信息! – bsimmons 2012-03-31 02:25:32
這真的取決於你的技能。如果你可以學習像Ruby或Python這樣的腳本語言,寫起來很容易網絡爬蟲/刮板這些語言。谷歌網絡爬蟲(插入語言),你會很容易找到它們。
如果你不是那麼編程傾斜,你可以嘗試FF擴展比如這個:
也看看這個信息:
http://www.slideshare.net/michelleminkoff/almost-scraping-web-scraping-without-programming
每頁都不一樣。所以每個解決方案都會不同。因此,詢問如何做到這一點通常是一個愚蠢的問題。 – 2012-03-31 01:58:23
當您一遍又一遍記錄相同頁面時不是。是的,如果這是你的意思,我正在編寫非常狹窄的代碼。 – bsimmons 2012-03-31 02:15:00