MulticoreCPUAccelerationCommand - juedaiyuer/researchNote GitHub Wiki

#多核CPU加速Linux命令#

计算非常大的数据

GUN Parallel命令

##BZIP2##

尤其是针对bzip2，GNU parallel在多核CPU上是超级的快。你一不留神，它就执行完成了

cat bigfile.bin | parallel --pipe --recend '' -k bzip2 --best > compressedfile.bz2

##GREP##

#原始操作
grep pattern bigfile.txt

#优化做法	
cat bigfile.txt | parallel  --pipe grep 'pattern'

#每个内核处理1千万行
cat bigfile.txt | parallel --block 10M --pipe grep 'pattern'

##AWK##

cat rands20M.txt | awk '{s+=$1} END {print s}'

cat rands20M.txt | parallel --pipe awk \'{s+=\$1} END {print s}\' | awk '{s+=$1} END {print s}'

##source##

• 如何利用多核CPU来加速你的Linux命令 — awk, sed, bzip2, grep, wc等