從Scrapinghub下載項目的源代碼

Question

我有一個項目部署在Scrapinghub，我根本沒有任何該代碼的副本。

如何從Scrapinghub下載我的本地主機上的整個項目代碼？

Answer 1

我可以使用它來下載項目代碼

shub fetch-eggs project_id_here 

哪裏project_id_here可以從瀏覽器的網址打開項目時被抓住。

生成的文件將是一個*.egg只需使用WinRAR或任何其他您使用的工具將其提取爲ZIP文件。

Answer 2

據我所知，目前還沒有公共API用於在Scrapy Cloud上檢索項目源代碼。 （如果錯誤，請糾正我。）
但確實有可能在沒有附加特權的情況下檢索項目源代碼。

當作業運行時，與項目相關的文件定位在/app路徑：

job-<some-job-id>:/app$ ls -la /app                                                                        
total 48                                                                              
drwxr-xr-x 5 root root  4096 Jul 27 17:13 .                                                                    
drwxr-xr-x 82 root root  4096 Jul 28 04:09 ..                                                                    
-rw-r--r-- 1 root root 26695 Jul 27 17:13 __main__.egg                                                                 
drwxr-xr-x 2 nobody nogroup 4096 May 23 07:34 addons_eggs                                                                 
drwxr-xr-x 2 nobody nogroup 4096 Jul 24 14:27 python                                                                   
-rw-r--r-- 1 root root  14 Jul 24 14:27 requirements.txt 

該文件__main__.egg包含所有項目的源代碼。

因此，您可以：

1. 選擇一個當前正在運行的任務，在訪問它的控制檯：https://app.scrapinghub.com/p/[project_id]/[spider_id]/[job_id]/console
2. 發送.egg文件放到你可以在以後檢索，例如curl http://IP-address-of-your-own-server:8888/retrieve-file --data-binary @/app/__main__.egg（假設您已準備好接收數據的服務）。

另外，我想你總是可以聯繫Scrapinghub支持尋求幫助。