如何測試爬蟲？即︰模擬網絡請求

Question

所以我正在測試我的抓取工具的各個部分，現在我打了一個殘端：嘲笑實際的請求。

我不想每次運行規範時提出請求。

任何人都曾嘗試在測試助手中啓動webrick服務器？

喜歡的東西

myserver = SomeServerLib.start('localhost', some_port) 
myserver.serve_directory(a_directory_with_some_html_files) 

謝謝！

Answer 1

您可以模擬HTTP請求並使用期望值。 請參閱Webmock項目。

Answer 2

您還可以使用FakeWeb，它允許您在測試期間提供預設的HTTP響應。

http://fakeweb.rubyforge.org/

（作爲一個方面說明，你應該考慮的替代品，如果你正在使用的Net :: HTTP。這是非常緩慢的。退房EM-http請求）