scraperwiki：爲什麼我的刮板工作1個網址但不是另一個？

Question

這是我的第一個刮板https://scraperwiki.com/scrapers/my_first_scraper_1/

我設法刮掉google.com而不是這個頁面。

http://subeta.net/pet_extra.php?act=read&petid=1014561

任何原因？

我已經按照這裏的文檔。

https://scraperwiki.com/docs/php/php_intro_tutorial/

而且也沒有理由代碼不應該工作。

Answer 1

看起來您正在指定查找特定元素。元素更改取決於您正在抓取的網站。所以，如果它找不到你正在尋找的元素，你將無法獲得回報。此外，我會考慮創建自己的捲曲/抓取工具。你不僅會學到很多，但你會發現很多關於如何刮取網站的信息。

另外一方不是你可能想考慮遵守robots.txt文件的網站上你刮或要求許可前刮，因爲它被認爲是不禮貌的。