如何用紅寶石/海葵/ nokogiri從網站刮擦產品

Question

是否有可能從紅寶石使用海葵和nokogiri庫的電子商務網站刮擦產品？

我明白如何使用nokogiri從每個產品頁面獲取所需的數據，但我無法弄清楚如何讓海葵/ nokogiri抓取網站並抓取所有產品頁面。

在正確的方向推動將不勝感激

Answer 1

我想出了我的問題。首先是海葵似乎沒有爬行所有的頁面。這是因爲我想要的網頁位於一個子域名下，我不得不告訴海葵與主域名分開抓取。其次，我需要一種方法來確定哪些頁面實際上是產品頁面（因此需要解析）。我通過解析其中一個我想要的字段（sku編號），然後測試它是否爲帶有RegEX的sku來做到這一點。