如何開始運行portia蜘蛛？

從https://github.com/scrapinghub/portia#running-a-portia-spider 如何開始運行portia蜘蛛？

portiacrawl PROJECT_PATH SPIDER_NAME

我試圖運行

portiacrawl D:/portia-master/slyd/data/projects/darkwoods example 
portiacrawl slyd/data/projects/darkwoods example 
portiacrawl slyd/data/projects/darkwoods

但他們給我同樣的幫助信息給定的語法。

Usage: portiacrawl <project dir/project zip> [spider] [options] 

Allow to easily run slybot spiders on console. If spider is not given, print a 
list of available spiders inside the project 

Options: 
    -h, --help   show this help message and exit 
    --settings=SETTINGS Give specific settings module (must be on python path) 
    --logfile=LOGFILE  Specify log file 
    -a NAME=VALUE   Add spider arguments 
    -s NAME=VALUE   Add extra scrapy settings 
    -o FILE, --output=FILE 
         dump scraped items into FILE (use - for stdout) 
    -t FORMAT, --output-format=FORMAT 
         format to use for dumping items with -o (default: 
         jsonlines) 
    -v, --verbose   more verbose

我對portia非常陌生，所以我很在意怎麼做。任何人都可以給我一個我應該爲PROJECT_PATH寫什麼的樣本？我目前通過無業遊民使用portia。

來源

2014-11-02 Kiera Knight

我忘記了哪個問題，但有人在使用命令portiacrawl之前提到cd到目錄。在探索了一段時間後，我發現了這個目錄及其在/ vagrant/slyd/data/projects。

所以運行portiacrawl，你只需要cd到鮑西婭目錄做portiacrawl

portiacrawl /vagrant/slyd/data/projects/[project name] [spider] [options]

之前，我跑了這個命令，它的工作

portiacrawl /vagrant/slyd/data/projects/darkwoods example

來源

2014-11-02 14:56:35

您可以使用scrapyd運行蜘蛛。

curl http://your_scrapyd_host:6800/schedule.json -d project=your_project_name -d spider=your_spider_name

這種方式，您也可以讓蜘蛛的基本監控。我還發現了一個快速和簡單的網絡界面，可以幫助部署spider後部署spider： https://gist.github.com/MihaiCraciun/78f0a53b7a99587d178b

希望它有幫助！

來源

2014-12-22 12:53:24 Mihai

我已經創建了portia-dashboard，您可以在github找到，docker圖像也可以在docker hub上獲得。藉助portia-dashboard，您可以部署項目，啓動蜘蛛，或通過在簡單的Web界面中單擊鼠標來監控作業狀態。請參閱doc以獲取有關如何啓動蜘蛛的詳細信息。

來源

2018-01-23 06:02:49 siegfried415

要回答這個問題 - 你能舉例說明運行蜘蛛的工作原理嗎？ – user7294900 2018-01-23 06:14:37

請參閱https://stackoverflow.com/help/how-to-answer「請在鏈接附近添加上下文」 – user7294900 2018-01-23 06:21:51

請參閱[鏈接]（https://github.com/siegfried415/portia-dashboard/blob/master /docs/getting-started.rst）。（感謝您的提示，這是我第一次使用stackoverflow）。 – siegfried415 2018-01-23 06:29:46

如何開始運行portia蜘蛛？

回答

相關問題