什麼是start_urls的最大尺寸

Question

我只是在用scrapy做一個項目。

我定義我的start_urls如下：

start_urls = [] 
    for i in (1,10): 
      for j in (1,10): 
        start_urls.append(base_url + '/' + str(i) + '/' + str(j)) 

但由於某些原因，scrapy只挑選了4鏈接抓取，而不是所有100鏈接。

在這個例子中

我只爬： base_urls/1/1 base_urls/1/10 base_urls/10/1 base_urls/10/10

這是爲什麼？ scrapy中的start_urls有限制嗎？

Answer 1

不是scrapy的問題。
(1, 10) in Python表示具有2個元件1和10的元組。您可能需要使用range(1, 10)。

另外如果你想100個鏈接，使用range(10)（給人0，1，...，9） 或range(1, 11)（給人1，2，...，10）