awk命令

awk是shell进阶的重要命令，可以用来编排字段

awk把输入流看做一串记录的集合，每条记录都可以进一步细分为字段，一个awk程序是一对以模式和大括号框起来的操作组合而成的，awk每次从文件中读取一条记录

awk [选项] '条件{动作} 条件{动作}' 文件

-v var=value 设置变量值
-F fs  指定行中划分数据字段的分隔符，默认是空格
-f file 从指定文件中读取程序

1 2	pattern {action} 如模式匹配，则执行操作 pattern {action}

# 打印第一个字段
awk 'print $1'
# 打印整行
awk 'print $0'
# 打印第2与第5个字段
awk 'print $2,$5'
# 打印非空行
awk 'NF  > 0 {print $0}'

#多个命令使用分号隔开
echo "My name is zh" | awk '{$4="zhh";print $0}'

在读取数据时，默认的分隔符是空格，可以使用-F来指定分隔符

#awk [-F 分隔符] '命令' input-file
# 分隔符默认是空格
# 例： 打印出root用户记录
awk -F: '$1=="root"{print $0}' /etc/passwd

在输出数据时，默认的分隔符是空格，可以使用-v来设置输出字段分隔符

1 2	# 默认情况下，-v 改变输出字段的分隔字符,这里必须设置OFS变量来改变输出字段分隔符 awk -F: -v 'OFS=**' '{print $1,$5}' /etc/passwd

内建变量

常用的有

FILENAME 当前输入文件的名称
FNR 当前输入文件的当前行号，当有多个输入文档时相当有用
1
FNR == 3 选定第三条记录

FS 字段分隔符，默认为空格

NF 当前记录的字段数

1
2
3

NF == 0    选定空记录
NF > 3     选定拥有三个字段以上的记录
NF < 5     选定第1到第4条记录

NR 输入数据流的当前行号
ARGC. 当前命令行参数个数
ARGIND 当前文件在ARGV中的位置
ARGV 包含命令行参数的数组
OFS 输出字段分隔字符，默认为空格
ORS 输出记录分隔字符，默认为\n
RS 输入记录分隔字符
$0 当前行的全部内容
$n 当前行的第n的字段的内容

自定义变量

可以使用-v来设置自定义变量

free | awk -v age="10" -v name="lily" '{print name,age}'

lily 10
lily 10
lily 10

-v必须在脚本代码之前

BEGIN和END

BEIGIN

BEGIN导致动作指令仅在读取任何数据记录之前执行一次

1 2	awk 'BEGIN {print "OK"}' OK

也可以在BEIGIN中完成自定义变量的操作

1
2
3

# 在BEGIN中设置自定义变量就类似于shell中的赋值
# 会输出test  
awk 'BEGIN{aa="test";print aa}'

END

END导致动作指令仅在读取完所有数据记录后执行一次

1 2	free \| awk 'END {print "共有"NR"行"}' 共有3行

结构化命令

条件判断

awk还支持if判断语句

if(判断条件){
动作指令1;
} else if(判断条件2){
动作指令2;
} else {
动作指令N;
}

1
2
3

free | awk '{if(NR==1){print $1}else if(NR==2){print $2}}'
total
8008932

循环语句

awk还支持循环，如for循环、while循环，且支持使用continue、break、exit来进行中断

for循环

1
2
3

for(表达式1;表达式2;表达式3) {
动作指令序列
}

awk 'BEGIN{ for (i=1;i<=4;i++) {print i}}'
1
2
3
4

while循环

1
2
3

while(条件判断){
动作指令序列;
}

awk 'BEGIN{ i=1; while(i<=4) {print i;i++}}'
1
2
3
4

命令行参数

awk通过内建变量ARGC(参数计数)和ARGV(参数值)让命令行参数可用

1 2	awk 'BEGIN {print ARGV[0]}' 输出 awk

awk 'BEGIN {for (k=0;k<ARGC;k++) print "ARGV["k"]=["ARGV[k]"]"}' a b c
ARGV[0]=[awk]
ARGV[1]=[a]
ARGV[2]=[b]
ARGV[3]=[c]

举例

统计磁盘可用空间

1 2	df \| grep -v tmpfs \| awk '{sum+=$4} END{print "磁盘可用容量:"sum/1024/1024"G"}'' 磁盘可用容量:1.01912G

统计nginx各ip访问次数

awk ' \
> {IP[$3]++} \
> END { \
> for (i in IP) {print i,IP[i]} \
> }' /var/log/nginx/access.log