好網站測試webcrawler

Question

我正在測試一個新的webcrawler，我正在尋找一些好的網站，可能會絆倒它（重定向，框架，任何東西）。有沒有人知道一些非常複雜的網站，或者可能會將它絆倒的網站？ Thx

Answer 1

如果你在Alexa top 1000左右進行測試，你會得到一個很有代表性的網站內容。你可能沒有機會測試一些傳統協議（例如框架，等等），但是你會得到一個相當不錯的性能概念，尤其是在重要的地方。