<!–
p.p1 {margin: 0.0px 0.0px 0.0px 0.0px; font: 12.0px Helvetica; color: #454545}
p.p2 {margin: 0.0px 0.0px 0.0px 0.0px; font: 12.0px ‘PingFang SC’; color: #454545}
span.s1 {font: 12.0px Helvetica}
–>
简介
awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。
awk有3个不同版本: awk、nawk和gawk，未作特别说明，一般指gawk，gawk 是 AWK 的 GNU 版本。
awk其名称得自于它的创始人 Alfred Aho 、Peter Weinberger 和 Brian Kernighan 姓氏的首个字母。实际上 AWK 的确拥有自己的语言： AWK 程序设计语言 ， 三位创建者已将它正式定义为“样式扫描和处理语言”。它允许您创建简短的程序，这些程序读取输入文件、为数据排序、处理数据、对输入执行计算以及生成报 表，还有无数其他的功能
使用方法
awk'{pattern + action}’ {filenames}
awk ：对于文件中一行行的独处来执行操作
调用方法
<!–
p.p1 {margin: 0.0px 0.0px 0.0px 0.0px; font: 12.0px ‘PingFang SC’; color: #454545}
p.p2 {margin: 0.0px 0.0px 0.0px 0.0px; font: 12.0px Helvetica; color: #454545}
span.s1 {font: 12.0px Helvetica}
span.s2 {font: 12.0px ‘PingFang SC’}
–>
1.命令行方式
awk [-F field-separator] ‘commands’ input-file(s)
其中，commands 是真正awk命令，[-F域分隔符]是可选的。 input-file(s) 是待处理的文件。
在awk中，文件的每一行中，由域分隔符分开的每一项称为一个域。通常，在不指名-F域分隔符的情况下，默认的域分隔符是空格。
2.shell脚本方式
将所有的awk命令插入一个文件，并使awk程序可执行，然后awk命令解释器作为脚本的首行，一遍通过键入脚本名称来调用。
相当于shell脚本首行的：#!/bin/sh
可以换成：#!/bin/awk
3.将所有的awk命令插入一个单独文件，然后调用：
awk -f awk-script-file input-file(s)
其中，-f选项加载awk-script-file中的awk脚本，input-file(s)跟上面的是一样的。
工作流程
awk的工作流程师这样的，读入有’\n’换行符分割的一条记录，然后将记录按指定的域分隔符划分域，填充域， $0则表示所有域,$1表示第一个域,$n表示第n个域。 默认域分隔符是”空白键” 或 “[tab]键”,所以$1表示登录用户，$3表示登录用户ip,以此类推
1.基本用法
只显示最近登录的5个账号
[root@www ~]$ last -n | awk'{print $1}'
root
root
root
dmtsai
root
只显示／etc/passwd的账户
[root@www ~]$ cat /etc/passwd |awk -F ':''{print $1}'
root
daemon
bin
sys
<!–
p.p1 {margin: 0.0px 0.0px 0.0px 0.0px; font: 12.0px Helvetica; color: #454545}
span.s1 {font: 12.0px ‘PingFang SC’}
–>
如果只是显示/etc/passwd的账户和账户对应的shell,而账户与shell之间以tab键分割
[root@www ~]$ cat /etc/passwd |awk -F ':''{print $1"\t"$7}'
root /bin/bash
daemon /bin/sh
bin /bin/sh
sys /bin/sh
<!–
p.p1 {margin: 0.0px 0.0px 0.0px 0.0px; font: 12.0px Helvetica; color: #454545}
span.s1 {font: 12.0px ‘PingFang SC’}
–>
搜索/etc/passwd有root关键字的所有行
[root@www ~]$ cat /etc/passwd | awk -F':' '/root/'
root:x:::root:/root:/bin/bash
operator:x:::operator:/root:/sbin/nologin
找／etc/passwd 以root开头的
[yangjiao@www ~]$ cat /etc/passwd | awk -F':' '/^root/'
root:x:::root:/root:/bin/bash
2.内置变量
|
ARGC |
命令行参数个数 |
NF |
浏览记录的域个数 |
|
AGRV |
命令行参数排列 |
NR |
已读的记录数 |
|
ENVIRON |
支持队列中系统环境变量的使用 |
OFS |
输出域分隔符 |
|
FILENAME |
awk浏览的文件名 |
ORS |
输出记录分隔符 |
|
FNR |
浏览文件的记录数 |
RS |
控制记录分隔符 |
|
FS |
设置输入域分隔符，同- F选项 |
NF |
浏览记录的域个数 |
打印每一行的行数
[root@www ~]$ ls -l | awk '{print NR " " $1}'
total
drwx------
drwx------+
drwx------+
drwx------+
drwx------@
drwx------+
drwx------+
drwx------+
drwxr-xr-x+
再理解如下应该比较简单了
[root@www ~]$awk -F ':' '{printf("filename:%s,linenumber:%s,columns:%s,linecontent:%s\n",FILENAME,NR,NF,$0)}' /etc/passwd
filename:/etc/passwd,linenumber:,columns:,linecontent:root:x:::root:/root:/bin/bash
filename:/etc/passwd,linenumber:,columns:,linecontent:daemon:x:::daemon:/usr/sbin:/usr/sbin/nologin
filename:/etc/passwd,linenumber:,columns:,linecontent:bin:x:::bin:/bin:/usr/sbin/nologin
filename:/etc/passwd,linenumber:,columns:,linecontent:sys:x:::sys:/dev:/usr/sbin/nologin
filename:/etc/passwd,linenumber:,columns:,linecontent:sync:x:::sync:/bin:/bin/sync
filename:/etc/passwd,linenumber:,columns:,linecontent:games:x:::games:/usr/games:/usr/sbin/nologin
3.数组和计算
<!–
p.p1 {margin: 0.0px 0.0px 0.0px 0.0px; font: 12.0px ‘PingFang SC’; color: #454545}
span.s1 {font: 12.0px Helvetica}
–>
因为awk中数组的下标可以是数字和字母，数组的下标通常被称为关键字(key)。值和关键字都存储在内部的一张针对key/value应用hash的表格里。由于hash不是顺序存储，因此在显示数组内容时会发现，它们并不是按照你预料的顺序显示出来的。数组和变量一样，都是在使用时自动创建的，awk也同样会自动判断其存储的是数字还是字符串。一般而言，awk中的数组用来从记录中收集信息，可以用于计算总和、统计单词以及跟踪模板被匹配的次数等等。
[root@www ~]$ awk -F ':''BEGIN {count=0;} {name[count] = $1;count++;}; END{for (i = 0; i < NR; i++) print i, name[i]}' /etc/passwd
0 root
daemon
bin
sys
4 sync5 games
准备测试文件
[root@www ~]$ cat test.txt8888
[root@www ~]awk '{name[x++]=$1};END{for(i=0;i<NR;i++) print i, name[i]}' test.txt
0 5555
1 4444
2 2222
3 3333
4 7777
5 8888
求和
[root@www ~]$awk '{sum+=$1} END {print "sum=",sum}' test.txt
sum=
求平均值
[root@www ~]$ awk '{sum+=$1} END {print "avg=",sum/NR}' test.txt
avg= 5369.83
求最大值
[root@www ~]$ awk 'BEGIN {max=0} {if($1>max) max=$1 fi} END {print "MAX=",max}' test.txt
MAX= [root@www ~]$ awk 'BEGIN{max=0;print "max="max} {max=($1>max)?$1:max; print $1, "Now max is" max}' test.txt
max=
Now max is5555
Now max is5555
Now max is5555
Now max is5555
Now max is7777
Now max is8888
求最小值
[root@www ~]$ awk 'BEGIN{min=9999999}{if($1<min) min=$1} END {print "MIN=",min}' test.txt
MIN=
<!–
p.p1 {margin: 0.0px 0.0px 0.0px 0.0px; font: 12.0px ‘PingFang SC’; color: #454545}
–>
统计某个文件夹下的文件占用的字节数
[root@www ~]$ls -l | awk 'BEGIN{size=0;} {size=size+$5} END {print "size is", size}'
size is
4.条件操作符
<、<=、==、!=、>=、~匹配正则表达式、!~不匹配正则表达式
匹配:awk ‘{if ($4~/ASIMA/) print $0}’ temp 表示如果第四个域包含ASIMA，就打印整条
精确匹配:awk ‘$3==”48″ {print $0}’ temp 只打印第3域等于”48″的记录
不匹配: awk ‘$0 !~ /ASIMA/’ temp 打印整条不包含ASIMA的记录
不等于: awk ‘$1 != “asima”‘ temp
小于: awk ‘{if ($1<$2) print $1 “is smaller”}’ temp
设置大小写: awk ‘/[Gg]reen/’ temp 打印整条包含Green，或者green的记录
任意字符: awk ‘$1 ~/^…a/’ temp 打印第1域中第四个字符是a的记录，符号’^’代表行首，符合’.’代表任意字符
或关系匹配: awk ‘$0~/(abc)|(efg)/’ temp 使用|时，语句需要括起来
AND与关系: awk ‘{if ( $1==”a” && $2==”b” ) print $0}’ temp
OR或关系: awk ‘{if ($1==”a” || $1==”b”) print $0}’ temp
awk有三种循环: while循环；for循环；special for循环。$ awk '{ i = 1; while ( i <= NF ) { print NF,$i; i++}}' test。变量的初始值为1，若i小于可等于NF(记录中域的个数),则执行打印语句，且i增加1。直到i的值大于NF.$ awk '{for (i = 1; i<NF; i++) print NF,$i}' test。作用同上。bread continue 语句。break用于在满足条件的情况下跳出循环；continue用于在满足条件的情况下忽略后面的语句，直接返回循环的顶端。如：{for ( x=; x<=NF; x++)
if ($x<){print "Bottomed out!"; break}}
{for ( x=; x<=NF; x++)
if ($x==){print "Get next item"; continue}}next 语句从输入文件中读取一行，然后从头开始执行awk脚本。如：{if ($ ~/test/){next}
else {print}
}exit 语句用于结束awk程序，但不会略过END块。退出状态为0代表成功，非零值表示出错。
if 语句
格式：
{if (expression){
statement; statement; ...
}
}
$ awk '{if ($1 <$2) print $2 "too high"}' test。如果第一个域小于第二个域则打印。$ awk '{if ($1 < $2) {count++; print "ok"}}' test.如果第一个域小于第二个域，则count加一，并打印ok。
if/else语句，用于双重判断
格式：
{if (expression){
statement; statement; ...
}
else{
statement; statement; ...
}
}
$ awk ‘{if ($1 > 100) print $1 “bad” ; else print “ok”}’ test。如果$1大于100则打印$1 bad,否则打印ok。
$ awk ‘{if ($1 > 100){ count++; print $1} else {count–; print $2}’ test。如果$1大于100，则count加一，并打印$1，否则count减一，并打印$1。
[root@www ~]$awk 'BEGIN {BASE="7000"} {if($1<BASE) print $0}' test.txt
[root@www ~]$ awk '{total+=$1};END{print total}' test.txt
5.BEGIN和END模块
BEGIN模块后紧跟着动作块，这个动作块在awk处理任何输入文件之前执行。所以它可以在没有任何输入的情况下进行测试。它通常用来改变内建变量的值，如OFS,RS和FS等，以及打印标题
END不匹配任何的输入文件，但是执行动作块中的所有动作，它在整个输入文件处理完成后被执行。如$ awk ‘END{print “The number of records is” NR}’ test，上式将打印所有被处理的记录数。
6.举个例子
有a.txt如下
"北京" =>
"上海" =>
"天津"=>
"重庆"=>
"河北省"=>
"山西省"=>
"内蒙古"=>
"辽宁省"=>
"吉林省"=>
"黑龙江省"=>
现把key和value互换并去掉空格，用如下命令，或者先去掉空格，用下边第二条命令
cat a.txt | awk -F'=>' '{printf("%s=>%s\n",$2,$1)}' | sed 's/\s\+//g' > b.txt
cat a.txt | sed ‘s/\s\+//g’ | awk -F’=>’ ‘{printf(“%s => %s\n”,$2,$1)}’ > b.txt
修改完后的b.txt如下
=>"北京"
=>"上海"
=>"天津"
=>"重庆"
=>"河北省"
=>"山西省"
=>"内蒙古"
=>"辽宁省"
=>"吉林省"
=>"黑龙江省"
7.常用例子
cat www.slow.log. | grep -E "08-May-2019 [^]]+" -o | awk -F "\t" '{a[$1]++}END{for (i in a) print i,a[i]}'cat www.slow.log | grep -E "09-May-2019 [0-9]+:[0-9]+:[0-9]+" -ocat forbidword.txt | awk '{a[$1]++}END{for (i in a) {if(a[i]>1)print i,a[i]}}'cat access.log.minute. |grep mtoutiao/ads | grep -E "ls=[^&]+" -o | awk '{a[$1]++}END{for(i in a) print i,a[i]}'
参考文档：https://www.cnblogs.com/losbyday/p/5854707.html
https://www.cnblogs.com/losbyday/p/5854725.html
https://www.cnblogs.com/bugingcode/p/8287914.html
https://www.cnblogs.com/emanlee/p/3327576.html
<!–
p.p1 {margin: 0.0px 0.0px 0.0px 0.0px; font: 12.0px ‘PingFang SC’; color: #454545}
span.s1 {font: 12.0px Helvetica}
–>
<!–
p.p1 {margin: 0.0px 0.0px 0.0px 0.0px; font: 12.0px Helvetica; color: #454545}
–>
