Q

使用無限滾動頁面的抓取工具

2013-05-31 28 views 0 likes

0

我正在尋找一個爬蟲應用程序，它掃描AJAX請求頁面的JavaScript並查找執行AJAX調用的函數，從而從頭到尾獲取整個內容。使用無限滾動頁面的抓取工具

我會自己寫一些東西，但我現在真的很忙，認爲也許有人已經做了這樣的爬蟲。

有嗎？

2013-05-31 zShell

+0

忙？時間管理。始終有效。你應該試試。 – Joseph

+0

感謝您的建議，但如果有這樣的爬蟲，我寧願知道，因爲它不會是我第一次浪費一個週末編碼工具，已經存在。 – zShell

A

回答

1

有沒有這樣的事情，你要求什麼，因爲它會太具體到一個特定的網站 - 沒有通用的方式讓爬蟲生成阿賈克斯生成的內容出現。

如果網站願意合作，谷歌已經實施了一些制定Ajax生成頁面可抓取的約定。你可以在這裏閱讀：http://support.google.com/webmasters/bin/answer.py?hl=en&answer=174992

2013-05-31 08:42:53 jfriend00

+0

謝謝，我猜這個網站是爬蟲友好的，因爲它的內容在搜索引擎中非常突出 – zShell

相關問題