那些常用的 Unix 命令,你不知道的功能!
我逐渐意识到，Unix 的命令行工具可以解决一切与文字处理有关的问题。我来讲一个我遇到过的问题，以及怎样用 Unix 命令行工具解决的。
问题
我在做我的硕士论文研究。像许多统计学家一样，我需要进行许多vwin 。首先我利用一些数字的种子（以保证可复现性）来模拟了一些数据，然后在这些数据上用一个算法来估算一些东西。每次运行模拟时我都会创建一些文件，大概像下面这样：
dataset-directory/0001_data.csvdataset-directory/0001_A.csv
但有时候运行会失败。这并不是太严重，模拟失败了我只需要运行另一个模拟就好了。比如，0001 这个数据我成功地运行了算法 A。因此我想在 0001 数据上使用算法 B。但我真正需要的是跟踪哪些命令失败了。
在许多数据上运行算法 A 之后，我得到了一大堆文件，像这样：
dataset-directory/0001_data.csvdataset-directory/0001_A.csvdataset-directory/0002_data.csvdataset-directory/0002_A.csvdataset-directory/0003_data.csvdataset-directory/0003_A.csvdataset-directory/0004_data.csvdataset-directory/0005_data.csvdataset-directory/0005_A.csvdataset-directory/0006_data.csvdataset-directory/0006_A.csvdataset-directory/0007_data.csvdataset-directory/0007_A.csvdataset-directory/0008_data.csvdataset-directory/0009_data.csvdataset-directory/0009_A.csv...dataset-directory/0499_A.csv
通过观察得知算法 A 在数据 0004 和 0008 上的结果不存在。那么，怎样才能列出所有 A 没有成功的数据呢？
我当然可以手工来做，但那样很容易出错，而且很麻烦。要是能写程序完成就最好了！
解决方案
简单地来说，那些没有成功的就是从0001到0500的数字中去掉那些成功了的数字。而得到数字列表的最好命令就是 seq：
$>seq1012345678910
（如果只给出一个数字，那么默认序列从1开始。当然，seq 2 10也会按照你期待的那样工作。）
现在，如果我能获得成功运行的列表，就可以通过 seq 命令生成所有可能的数字，再交叉检查两个列表来获得想要的结果了！
许多命令行工具只完成一项工作。例如，cut 可以获得每行指定位置上的字符：
$>cattextLoremipsumdolorsitamet$>cattext|cut-c2-5oremolor
注意这里使用了所谓的“管道运算符” | 。我说过，许多工具只做一件事，而且把那件事做到最好。很方便的是这些工具可以组合使用。使用管道，左边命令的结果就会变成右边命令的输入。注意这些命令会将输入当做一系列行来处理，通常来说这非常方便。
我们可以把成功的文件名单列表利用管道输入至 grep 命令，该命令可以使用正则表达式来查找。由于所有文件都以同样长度的四个数字开始，我们可以利用正则表达式 dddd 来匹配这四个连续的数字，然后将文件末尾的 A 算法加到正则表达式中。要获得文件列表，每行一个文件，只需执行 ls。（尽管直接调用 ls 时并不会显示成每行一个文件，但放在管道中时输出就会变成这样。）
$>lsdataset-directory|grep'dddd_A.csv'0009_A.csv0001_A.csv0002_A.csv0005_A.csv0007_A.csv0003_A.csv0006_A.csv...
出于某些原因，在使用 grep 之后这里的顺序混乱了。我们可以使用 sort 命令来改正。而且由于我们只关心数字，可以使用 cut -c 1-4 来取出数字部分。
$>lsdataset-directory|grep'dddd_A.csv'|sort|cut-c1-40001000200030005000600070009...0499
这些数字跟 seq 命令的结果不太一样，因为它们前面补了零。我们可以使用一段 Python 脚本将它们转成整数。
#parse.pyimportsysforlineinsys.stdin:i=int(line)print(i)
现在将结果用管道导入这个脚本就能得到我们需要的数字：
$>lsdataset-directory|grep'dddd_A.csv'|cut-c1-4|python3parse.py1235679...499
接近目标了！现在需要找出怎样才能交叉检查这两个数字的列表。幸运的是，有个命令叫做comm，它能检查两个输入流中的公共字符。为了将上面这个命令的输出作为输入使用，我们可以将其求值后重定向，只需使用<(...)即可实现：
$>comm<(ls dataset-directory | grep 'dddd_A.csv' | cut -c 1-4 | python3 parse.py) <(seq 500) 1 2 3 4 5 6 7 8 9 10... 500
这个输出不是太好理解。阅读 comm 的手册（运行 man comm）可以发现，comm 会“产生三列的输出，分别是：只存在于 file1 的行，只存在于 file2 的行，以及存在于两个文件的行”。要去掉第一列（其实它是空的，因为没有任何数字只存在于文件列表中），可以在调用 comm 时加入参数-1。我们也不关心同时存在于两个输入中的数字，因此还要传递标志-3。
$>comm-1-3<(ls dataset-directory | grep 'dddd_A.csv' | cut -c 1-4 | python3 parse.py) <(seq 500)48...500
搞定！
-
算法
+关注
关注
23文章
4607浏览量
92821 -
UNIX
+关注
关注
0文章
296浏览量
41476
原文标题：程序员，你真的会用 Unix 命令？
文章出处：【微信号：LinuxHub，微信公众号：Linux爱好者】欢迎添加关注！文章转载请注明出处。
发布评论请先 登录
相关推荐
工商网监
评论