運行命令平行

Question

我有一個Perl程序，需要兩個參數的 英語單詞每行一個組成字典文件，並與串聯詞每 還行之一，像這樣的文件：

lovetoplayguitar 
... 
... 

所以通常使用的程序，如：

perl ./splitwords.pl words-en.txt bigfile.txt 

它打印結果stdout。

我試圖把它通過GNU parallel這樣的：

time parallel -n 2 -j8 -k perl ./splitwords.pl {1} {2} ::: words-en.txt bigfile.txt > splitted.txt 

，但它不工作的方式..試了很多組合，但迄今爲止未能 使用並行運行它。

編輯

其實這似乎是工作，但它僅使用一個核心..？爲什麼..？

Answer 1

這將砍大文件到1 MB塊：

cat bigfile.txt | parallel --pipe --cat -k perl ./splitwords.pl words-en.txt {} 

如果perlscript只讀取該文件，那麼這將是更快：

cat bigfile.txt | parallel --pipe --fifo -k perl ./splitwords.pl words-en.txt {}