gnu-parallel

2熱度

1回答

以下需要24分鐘到47000名的條目上的文件運行（8個內核窗口7，運行Cygwin的）： cat File_Path.txt | parallel --progress --tag -j +0 'pdftotext {} 2>/dev/null - | wc -w;' > results.txt 我正在在File_Path.txt每行從PDF轉換爲文本文件並對其中的單詞進行計數。有什麼辦法可以

8熱度

1回答

如何向GNU Parallel提供大量命令？

我在評估是否可以使用GNU Parallel來並行搜索存儲在系統中的文件。系統上每年只能有一個文件（每年最多366個文件）。假設系統上有3660個文件（大約10年的數據）。該系統可以是多CPU多核Linux或多CPU Solaris。我正在存儲搜索命令以在陣列中的文件上運行（每個文件一個命令）。這是我在做什麼，現在（使用bash），但是我有多少搜索並行開始無法控制（絕對不希望一次啓動所有3660

1熱度

1回答

並行sed與組捕獲

我必須處理一個大文件，並且一直在閱讀有關並行命令，以便在使用sed，sort等時嘗試使用多於1個核心處理器。所以我首先想改變每四個的第一行（因爲這種文件的命名約定--FastQ格式）。例如，這將是一組4個，我想修改第一行： cat sbcc073_pcm_ill_all.musket_default.fastq | head -4 @HWUSI-EAS1752R:29:FC64CL3AAXX

51熱度

3回答

GNU並行根本不工作

我一直在嘗試使用GNU並行一段時間，但我從來沒有能夠得到它的功能！例如，在運行（在非空目錄！）： ls | parallel echo # Outputs single new line ls | parallel echo echo echo # Outputs three new lines. ls | parallel echo {} # /bin/bash: {}: comm

1熱度

2回答

如何找到特定的二進制文件與find命令並行

運行它們，我想執行一個具有相同的名稱，並放置在不同的目錄中一些像這樣的二進制文件： binary/1/app binary/2/app binary/3/app 我想執行的應用程序文件在同一時間。我已經創造了一個二進制目錄中的文件，慶典和書面命令，但什麼都沒有發生： find . -name app -type f | parallel -j 4 感謝。

1熱度

1回答

替換並行程序的bash循環

我真的很努力重做bash循環以便並行運行。循環是這樣的： for i in `cat names` do cp $i.pqr dum.pqr apbs parameters.in mv dum.grd $i.grd rm dum.grd done 我想這沒有成功。它告訴我「需要-c的參數」 for i in `cat names` do

0熱度

1回答

GNU內存泄漏並行擴展

我有一個內存泄漏，只有在我使用OpenMP支持和GNU並行擴展編譯時出現：-fopenmp -DGLIBCXX_PARALLEL。例子： std::transform(buffer, buffer + _tabLength, _origData, MathUtil::ShortToDouble); 結果（抱歉Valgrind的模板恐怖）： ==7109== 912 bytes in 3 bl

7熱度

3回答

並行化與在bash從文件中讀取陣列

我在擊while循環while循環處理是這樣的： while IFS=$'\t' read -r -a line; do myprogram ${line[0]} ${line[1]} ${line[0]}_vs_${line[1]}.result; done < fileinput 它從與該結構的文件中讀取，以供參考： foo bar baz foobar 等等（製表符分

1熱度

1回答

從tsv的gnu並行輸入

我有一個tsv爲3或4列，每列是一個shell腳本的參數。所以我要使用GNU平行於從TSV ~ parallel --colsep "\t" thescript.py --arg1 {1} --arg2 {2} --arg3 {3} --arg4 {4} :::: input.tsv 第4列並不總是存在運行與價值觀的shell腳本，所以我想知道是否有添加--arg4 {4}只有當一個聰明的辦法{

2熱度

3回答

如何通過參數的一部分，一個GNU並行命令

我試圖運行GNU並行指令，並通過它一串日期，這樣的事情，但更復雜的命令： parallel '/some/binary {}' ::: 20131017 20131018 這的作品，但後來我需要的日期跨越兩個不同的月份，命令應該是這樣的說法20131018： '/some/binary 201310/20131018' 所以它分裂出去的argument..how我可以達到這個效果的第一部分