捲曲並獲取100個網址並行

Question

cat urllist.txt | xargs -P0 -n1 curl | grep「HREF =」> out.txt

這工作正常，但它同時連接一個網址。我怎麼能在同一時間捲曲100個網址？

Answer 1

而不是使用xargs，使用parallel來做到這一點。它與xargs非常相似，但是並行啓動命令 - 因此名稱...

Answer 2

如果要基準測試網址，請使用apache基準測試。它帶有httpd。樣品運行：

$ ab -n 100 -c 100 "<url>" 

什麼上面所做的是，打網址100次在（C）oncurrency 100