/ linux

AWK 从不会到入门 Skr Skr

AWK 从不会到入门 Skr Skr

awk 含义: Aho, Weinberger & Kernighan,是由这两个人共同发明的。

这不是一个工具,「这是一个伟大、有着奇怪的名字的语言」。

发音:awk [ɔk]

基本用法

awk '{ print }' /etc/passwd # 相当于 "cat /etc/passwd"
awk '{ print $0 }' /etc/passwd # 与前面一行语句等价
  1. 花括号里的 print 函数用于将匹配到的每一行逐行打印出来
  2. print 和 print $0 等价

Multiple Fields

awk -F":" '{ print "username: " $1 "\t\tuid:" $3 }' /etc/passwd # 打印第一列和第三列的字符串,并以制表符分隔
awk -F":" '					\
BEGIN{ 						\
	print "username\tuid" 	\
}; { 						\
	print $1 "\t" $3 		\
}' /etc/passwd # 同上,但是将 username 和 uid 放置表头打印,看起来更美观
  1. -F 参数表示以 ":" 作为分隔符
  2. BEGIN 表示会在匹配第一行之前执行,因此很适合用作打印表头

Block(pattern-action,man-page 的说法)

如你所见,AWK 单引号内的脚本被称作「AWK Script」,脚本内由一个或多个花括号对组成,每一个花括号被叫做 Block。像「基本用法」里的单个 Block 是最简单的 Block。AWK 是按行处理文本的,每拿到一行字符串,都会将 AWK Script 内的 Block 按序匹配,匹配成功时则执行 Block 内的代码

awk ' 						\
BEGIN { 					\
	FS = ":"; 				\
	count = 0;				\
    print "username\tuid"; 	\
} 							\
{							\
	count += 1;				\
    print $1 "\t" $3		\
} 							\
END {						\
    print "Totals:" count 	\
}' /etc/passwd

awk -f block.awk /etc/passwd # 如果你嫌在命令行里输入麻烦,还可以将脚本以文件的方式执行

以上代码共有三个 Block,awk 每拿到一行字符串都会从前到后匹配这三个 Block,如若匹配上,则执行里面的代码。BEGIN 里定义了分隔符 FS(Field Seperator),这和之前的「Multiple Fields」里的 -F 选项是完全等价的效果。此外还定义了一个记录行数的变量 count,第二个 Block 没有定义任何条件,因此从第一行到最后一行都会被匹配成功!END 行最后输出行数。

awk 会在待匹配的文本第一行之前和最后一行之后各插入一行空行BEGINEND Block 则只有当分别匹配到这两行空行的时候才会执行。BEGIN 和 END 就好像语法糖一样,只是执行的时间一个最靠前,一个最靠后,其它与正常的 Block 并没有任何区别

正因为 BEGIN 这样的特性,因此你可以将变量定义、打印表头等初始化工作放在这里;END 适合用来做一些总结性的操作,打印行数、总字符数、行平均长度等等。

带条件的 Block

awk ' 					\
BEGIN { x=0 } 			\
/^$/  { x=x+1 } 		\
END   { print "I found " x " blank lines. :)" }'  file

以上代码用于打印文件中所有的空行,如果你是 JSer 或者 Perl-er,可能会对 /^$/ 比较熟悉,借鉴关系链:JavaScript <- Perl <- awk。awk 可以说是这套正则表示的鼻祖。

其实在每一个 Block 之前都存在一个隐含条件,无条件的 Block 会匹配所有文件中存在的行(不包括 awk 插入的两行空行)。当 Block 被附加条件后,只有当条件为真时才会执行。

awk '( $1 == /[0-9]+\.[0-9]*/ ) && NR%3 { print }' file

以上仅仅打印以浮点数开头且行数不为 3 的倍数的行,由于 AWK Script 是弱类型的,因此像 0 会被判为 false。在 awk 里,Record 就是行,因此 NR 表示 Number of Record。

在 AWK Script 中,所有变量的类型都是 string,当对 string 进行算术运算(比如加减乘除)时,awk 会将string 解析为 number,如果不是合法的 number,则视为 0;然后再进行算术运算。

为了更好的表现 BEGIN 的含义,欣赏下面的代码:

awk ' !/^$/ && NR <= 100 {          \
    if (NR == 1) {                  \
        FS = ":";             	    \
    }                               \
    # 过滤掉注释和 NF 小于 3 的行 	 \
    if (!($1 ~ /^#/) || NF >= 3) {  \
       	print $1 ":" $3;  	        \
    }                               \
}' /etc/passwd

整个代码只有一个 Block,这个 Block 只有在非空的行以及行数小于 100 里才能执行,当 awk 拿到第一行(NR == 1)时,定义了分隔符 FS(Field Seperate),这原本是在 BEGIN Block 中完成的(因为这个例子中的第一个 if 每次都会被执行,浪费性能)。第二个 if 过滤掉注释语句且 NF(Number of Field)大于 3 才执行,在 awk 中,NF 表示每一行被 FS 分隔后得到的 Field 的数量,相当于 NF = line.split(FS)。这个例子说明了 BEGIN 和 END 仅仅是语法糖,在本质上和普通的 Block 没有任何区别。像 NF 和 FS 这一类的是 awk 的自带变量,变量可以出现在 Block 的匹配条件里,同时也可以修改自带变量的值来改变 awk 的行为

函数

awk 靠 AWK Script 脚本工作,为了方便,awk 提供了一些内置函数,以及允许你定义函数的功能。下面是一个找出 /etc/passwd 文件中第三列最大的数所对应的行。

function find_max(n1, n2)
{
    if (n1 > n2) {
        return n1;
    }
    return n2;
}

BEGIN {
    FS = ":";
    max = -1;
}
{
    if (NF < 3) {
        next
    }
    # 第一行
    max = $3;
    mR = NR;
    while (getline == 1) {
        _max = find_max(max,$3);
        if (max < _max) {
            max = _max;
            mR = NR;
        }
    }
}
END {
    print "max is:" max;
    print "NR is:" mR;
}

然后执行 awk -f ./max.awk /etc/passwd

find_max 是自定义函数,调用的时候要带上圆括号,像 getline 和 next 则是内建函数,内建函数的调用不需要带圆括号。其中 next 用来跳过本次执行,主要用于处理文件开头的一些注释;getline 用来获取下一行,getline 会把下一行赋值给 $x(x 代表数字)。如果没有下一行就返回 0,while 循环结束。getline 改变了 awk 的行为,awk 从开始到结束只执行了一次 Block。

还有一些数学函数(如 sin、cos、sqrt)以及字符串处理函数(length、sprintf 格式化字符串)属于内建函数。

总结

awk 可玩性极强,借助 AWK Script,你可以用它模拟其它常见的文本处理工具(谁又会这么做呢?)

参考链接