實現此爬蟲的難度

根據您的經驗，您認爲以編程方式在the Yellow Pages website中以編程方式搜索術語並將結果中的聯繫信息從CSV文件中刮掉有多困難？實現此爬蟲的難度

在此先感謝。

2012-10-18 stanigator

可你只需要使用YP Search API？訪問是免費的，只需一分鐘即可設置開發者帳戶。

2012-10-18 03:06:46

這是一個有點偏離主題，但你記得他們批准你的時間需要多長時間API訪問的開發者帳戶？ –

@pXdty通過我的電子郵件搜索後，它看起來像在註冊幾分鐘內自動批准。 –

謝謝你。只是想回復我的個人結果。他們似乎只在正常工作時間回覆，所以他們在第二天回覆我。 –

有了正確的模塊和庫，它非常適合！這取決於你的工具，Perl或者Python，你會全部設置好。如果你試圖用C++來做到這一點，那麼你可能會有更多的痛苦。

如果您提供有關您的情況（語言框架約束）的更多信息，我可以更具體。

此外，還有一些法律問題需要考慮與刮，我不確定機器人黃頁政策。在繼續之前閱讀他們的robots.txt。 http://www.robotstxt.org/應該給你一些關於學習這些東西的初始信息。

最好的辦法是既安全和法律是隻使用API，http://developer.yp.com/

2012-10-18 02:47:50 jozefg

我不知道這個工作最好的工具是什麼。此外，我需要提供哪些信息才能知道哪些是正確的模塊和庫？我如何找到他們的robots.txt？ – stanigator

你目前知道哪些語言？ – jozefg

我知道一點Python。 – stanigator

使用Perl和WWW :: Robot等模塊可能不會那麼難。我沒有嘗試，但由於您瞭解Python，Scrapy可能會提供幫助。 http://scrapy.org

記住不要在抓取網站時敲擊網站，因爲您的IP可能被禁止。

2012-10-24 09:24:03

回答