如何使用spider.py python模塊

Question

我已經從here下載了spider.py 0.5模塊。裏面的spider.py文件有很多功能，其中之一是： -

def webspider(self, b=None, w=200, d=5, t=None): 

    '''Returns two lists of child URLs and paths 
    b -- base web URL (default: None) 
    w -- amount of resources to crawl (default: 200) 
    d -- depth in hierarchy to crawl (default: 5) 
    t -- number of threads (default: None)''' 

    if b: self.weburls(b, w, d, t) 
    return self.webpaths(), self.urls 

我創建了一個名爲run.py用下面的代碼相同的目錄中的新文件： -

import spider 

webspider(b='http://example.com', w=200, d=5, t=5) 

當我執行run.py我收到以下消息：

NameError: name 'webspider' is not defined 

關於如何正確使用此模塊的任何想法？我希望所有發現的鏈接都保存在一個名爲的文件中。urls.txt。

Answer 1

你應該稱呼它：

import spider 
spider.webspider(b='http://example.com', w=200, d=5, t=5) 

或者你只能導入webspider：

from spider import webspider 
webspider(b='http://example.com', w=200, d=5, t=5) 

您可以重命名導入的方法：

from spider import webspider as myspider 
myspider(b='http://example.com', w=200, d=5, t=5)