强大的并行工具 GNU Parallel

你是否曾经计算过一个非常大的数据(几百GB)？或是在里面搜索，或其它操作（一些无法并行的操作比如grep, bzip2, wc, awk, sed），然而这些不能并行运算的软件都只能使用一个CPU内核，不能发挥出计算机的真正实力，所以往往会造成一核有难，N核围观的局面。

本期就要强烈安利一个真·并行工具 —— GNU Parallel，它是一个shell工具，可以在一台或多台计算机上并行的执行计算任务，一个计算任务可以是一条shell命令或者一个以每一行做为输入的脚本程序。GNU Parallel会把输入分块，然后通过管道并行执行。

如果你会使用xargs和tee命令，你会发现GNU Parallel非常易于使用，因为GNU Parallel具有与xargs一样的选项。GNU Parallel可以替代大部分的shell循环，并且用并行的方式更快的完成计算任务。