gnu-parallel

1熱度

1回答

如何進行文件的並行搜索？（我想通過parallaly在一百萬個文件中搜索一個文件）？

如何對文件進行並行搜索？（我想找到一個百萬個文件的文件）通過使用此命令來執行上述操作 find . -type f -print0 | xargs -0 -P number_of_processes用grep my_pattern 它給grep的：沒有這樣的文件或目錄，實際上這個命令在做什麼？如何對文件進行並行搜索？（即使我試圖找到型F |。平行-j + 1個的grep my_patte

1熱度

2回答

GNU平行MySQL的LOAD DATA LOCAL INFILE

我試圖使用GNU並行執行多個LOAD DATA LOCAL INFILE MySQL的命令，其中： {1}是文件的，我從UNIX find命令管道獲取名稱 {2}是chop.pl腳本，按照一定的規則看來，我打電話GNU平行正確的方法，但它01從文件字符串打印出一定的令牌結果不會在 -e之後的mysql命令周圍保留雙引號，並且導致它不起作用。 E.g. find /my/folder/ -name

0熱度

1回答

堅持GNU並行處理

我有一個簡單的腳本這樣之間的變量： #!/usr/bin/env zsh count=0 while read -A words do # set count for processed records ((count++)) printf ":%d:\n" $count .. .. .. # go find som

0熱度

2回答

導出的BASH函數中的進程替換在OS X中不起作用？

考慮以下（誠然可笑）最小的非工作實施例： #!/usr/bin/env bash test_func() { echo "$1" \ | tee >(cat - > test) \ | cat } export -f test_func parallel test_func :::: <(seq 1 4) 在bash版本3.2.57（1）-releas

1熱度

1回答

運行命令平行

我有一個Perl程序，需要兩個參數的英語單詞每行一個組成字典文件，並與串聯詞每還行之一，像這樣的文件： lovetoplayguitar ... ... 所以通常使用的程序，如： perl ./splitwords.pl words-en.txt bigfile.txt 它打印結果stdout。我試圖把它通過GNU parallel這樣的： time parallel -n 2

0熱度

2回答

GNU並行以保持docker-compose處於連接模式

我試圖運行一堆使用GNU並行的docker-compose命令。不過由於某些原因，它看起來像是以分離模式強制docker-compose開始parallel，所以我無法再訪問容器輸出。我希望並行只是將docker-compose連接起來，並在完成過程後按順序打印輸出。這裏是我的命令 echo 'tests/test_foo.py' | parallel -X docker-compose --

1熱度

1回答

當使用GNU並行時輸出到文件的最快方式

我使用並行來並行處理某些非常重的腳本。在command1 ...等我基本上調用一個R文件。 test1.sh： parallel ::: 'command1 > output1.txt' 'command2 > output2.txt' ...etc test2.sh： parallel ::: 'command7 > output7.txt' 'command8 > output8.txt'

2熱度

1回答

Python中的並行處理問題

我有一個python腳本A.py，它需要一個目標文件的參數與一些list of IPs和一個CSV文件與來自某些來源的有關IP的信息。 (Run Method : python A.py Input.txt -c Output.csv)。花了很長時間才完成工作。後來，我拆分輸入文件(split -l 1000 Input.txt) - >創建的目錄（10 directories） - >執行與輸

1熱度

1回答

GNU並行排序標準輸出和stderr

我一直在使用GNU parallel，我想保持輸出順序（--kepp-order），按作業（--grouped）分組，但也使用排序後的stdout和stderr。現在，分組的選項首先打印標準輸出，然後纔打印標準錯誤。作爲一個例子，這兩個命令給出相同的輸出的任何方式？ seq 4 | parallel -j0 'sleep {}; echo -n start{}>&2; sleep {}; ech

3熱度

1回答

GNU並行 - 保持輸出有顏色

我並行化一些0-args命令（腳本/任何），它們有彩色輸出，但是當並行打印輸出時它是無色的（除非我使用-u選項，但是它是無序的）。有沒有辦法改變這種情況？我使用的線（圖）： echo "script1 script2 script3" | tr " " "\n" | parallel -j3 'echo {}":\n\n"; eval {}' 順便說一句，我使用的GNU並行的本地版本，但它