Macos上的批處理文件執行lynx命令下載網站列表

Question

我正在嘗試爲研究準備一個定性數據集。我有一大堆我爲某些主題分類的網站。我所需要的並不複雜，但超出了我對命令行的瞭解。 我需要使用lynx命令行工具將各種網站轉儲到.txt文件。如：lynx -dump -nolist「https://en.wikipedia.org/wiki/Turkey」> file.txt 我有一個1000個網站的列表，所以幾乎不可能一個接一個地做。 如何在mac osx上創建腳本以從文本文件中獲取列表並將所有內容轉儲到單個文本文件中。如果不可能在一個文本文件上完成，我該如何通過分別創建一個新文件來相互關聯。文件名稱本身可以是文件（1），文件（2）等等。但無論如何，一個轉儲文件會更好。 這可能嗎？或者這可以通過簡單的編程來完成？ 在此先感謝。

Answer 1

我會建議一個bash的一行是這樣的：

while read l; do echo "##########"; echo $l; echo "##########"; lynx -dump -nolist "$l"; done <sites.txt> results.txt 

那假設你的列表是在一個名爲sites.txt文件，要在文件中的結果稱爲results.txt。

---

另外，如果你使用自制，您可以安裝GNU並行這樣的：

brew install parallel 

，然後把工作與更快的完成：

parallel -j 16 -a sites.txt lynx -dump -nolist > results.txt