awk
awk:报告生成器,格式化文本输出
     种类 ;nawk  gawk
     gawk;模式扫描和处理语言
      
awk基本用法
awk变量
awk格式化
awk操作符
awk条件判断
awk循环
awk数组
awk函数
调用系统命令



基本用法
    awk [option] 'program' var=valur file...
          选项     awk语言 变量赋值
    awk [option] -f programfile var=value file...
                    调用脚本
    awk [option] 'BEGIN{ action;...}pattern{ action,...} END{action;...}' file...
     
    awk程序通常由:BEGIN语句块、能够使用模式匹配的通用语句块、END语句块,3个部分

组成;
     
    program通常是被单引号或双引号中

选项:
    -F指明输入时用到的字段分隔符,默认情况下为空白符(一个空白符)
    -v var=value: 自定义变量

awk语言

基本格式:awk [option] 'program' file...
program 有两大块组成;pattern模式(如正则)、action行为动作


pattern{action statements;..}
pattern部分决定动作语句何时触发及触发事件
BEGIN刚开时还没有执行要执行的命令时,先执行BEGIN语句,打印输出(如打印报表),
END 最后使用,如(统计学员成绩总和,最后汇总值)


action statements 对数据进行处理,放在{}内指明
print打印输出 ,printf打印输出并支持格式化,(如左对齐...)

分隔符

        行切为列

        row    行  ---   record 记录
        column 列,字段---   field 域 属性 
       
       一行为一条记录,一般换行符行分割,特定        时
        也可以用符号分割,
       
       -F:  $0所有域 $1字段  $2   $3
            (系统自带变量)

        record 记录

第一步:执行BEGIN{action;… } 语句块中的语句
  第二步:从文件或标准输入(stdin) 读取一行,然后执行pattern{
action;… } 语句块,它逐行扫描文件,从第一行到最后一行重复这
个过程,直到文件全部被读取完毕。
  第三步:当读至输入流末尾时,执行END{action;…} 语句块
 BEGIN 语句块在awk 开始从输入流中读取行之前被执行,这是一个
可选的语句块,比如变量初始化、打印输出表格的表头等语句通常
可以写在BEGIN 语句块中
 END 语句块在awk 从输入流中读取完所有的行之后即被执行,比如
打印所有行的分析结果这类信息汇总都是在END 语句块中完成,它
也是一个可选语句块
 pattern 语句块中的通用命令是最重要的部分,也是可选的。如果
没有提供pattern 语句块,则默认执行{ print } ,即打印每一个读取
到的行,awk读取的每一行都会执行该语句块


print 格式:print item1, item2, ...
  要点:
• (1)  逗号分隔符
• (2)  输出的各item 可以字符串,也可以是数值;当前记录的字段、
变量或awk 的表达式
• (3)  如省略item ,相当于print $0
  示例:
awk '{print "hello,awk"}' (awk读取标准输入)不显示只有随意打出内容
awk –F: '{print}' /etc/passwd
awk –F: ‘{print “wang”}’ /etc/passwd
awk –F: ‘{print $1}’ /etc/passwd
awk –F: ‘{print $0}’ /etc/passwd
awk –F: ‘{print $1”\t”$3}’ /etc/passwd
tail –3 /etc/fstab |awk ‘{print $2,$4}’

变量

变量:内 置 和自定义变量
 FS :输入字段分隔符,默认为空白字符
awk -v FS=':' '{print $1,FS,$3}’ /etc/passwd
awk –F: '{print $1,$3,$7}’ /etc/passwd
 OFS :输出字段分隔符,默认为空白字符
awk -v FS=‘:’ -v OFS=‘:’ '{print $1,$3,$7}’ /etc/passwd
 RS :输入记录分隔符,指定输入时的换行符,原换行符仍有效
awk -v RS=' ' ‘{print }’ /etc/passwd
 ORS :输出记录分隔符,输出时用指定符号代替换行符
awk -v RS=' ' -v ORS='###'‘{print }’ /etc/passwd
 NF :字段数量
awk -F: : ‘{print NF}’ /etc/fstab, 引用内置变量不用$
awk -F: '{print $(NF-1)}' /etc/passwd
 NR :行号
awk '{print NR}' /etc/fstab ; awk END'{print NR}' /etc/fstab ; awk END'{print 

NR}' /etc/fstab

 FNR :各文件分别计数, 行号
awk '{print FNR}' /etc/fstab /etc/inittab
 FILENAME :当前文件名
awk '{print FILENAME}’ /etc/fstab
 ARGC :命令行参数的个数
awk '{print ARGC}’ /etc/fstab /etc/inittab
awk ‘BEGIN {print ARGC}’ /etc/fstab /etc/inittab
 ARGV :数组,保存的是命令行所给定的各参数
awk ‘BEGIN {print ARGV[0]}’ /etc/fstab
/etc/inittab
awk ‘BEGIN {print ARGV[1]}’ /etc/fstab
/etc/inittab

自定义变量
自定义 变量( 区分 字符大小写)
(1) -v var=value
(2)  在program 中直接定义
  示例:
awk -v test='hello gawk' '{print test}' /etc/fstab
awk -v test='hello gawk' 'BEGIN{print test}'
awk 'BEGIN{test="hello,gawk";print test}'
awk –F:‘{sex=“male”;print $1,sex,age;age=18}’
/etc/passwd
cat awkscript
{print script,$1,$2}
awk -F: -f awkscript script=“awk” /etc/passwd

############################################# ###基本使用方法###
 
 查看awk类型;
[root@centos6 ~]#which awk
/bin/awk
[root@centos6 ~]#ll /bin/awk
lrwxrwxrwx. 1 root root 4 May 17 07:59 /bin/awk -> gawk

[root@centos6 ~]#awk '{print "hello,awk"}'
asd
hello,awk
111
hello,awk
^C----action选项动作执行判断语句,将随意输入内容时才执行print "hello,awk"
[root@centos6 ~]#awk 'BEGIN{print "hello,awk"}'
hello,awk 
 BEGIN 读取文件内容之前执行,BEGIN语句执行后满足action条件,所以输出print 

"hello,awk"

[root@centos6 ~]#awk -F: '{print $1}' /etc/passwd

root
bin
daemon
adm
lp
sync
shutdown
halt
mail
uucp
打印第一列;$0--表示所有列,$1....$n对应列数;
[root@centos6 ~]#awk -F: '{print $1"---"$2}' /etc/passwd 
---
root---x
bin---x
daemon---x
adm---x
lp---x
sync---x
shutdown---x
halt---x
mail---x
uucp---x
除特殊符号外,普通字符需加双引号;
 
[root@centos6 ~]#df |grep "^/dev/sd"|awk '{print $5}'|awk -F% '{print $1}'
5
1
5

bai:x:500:500::/home/bai:/bin/bash
user11:x:501:517::/home/user11:/bin/bash
user12:x:502:517::/home/user12:/bin/bash
user13:x:503:517::/home/user13:/bin/bash
user14:x:504:517::/home/user14:/bin/bash
user15:x:505:517::/home/user15:/bin/bash
user16:x:506:517::/home/user16:/bin/bash
user17:x:507:517::/home/user17:/bin/bash
user18:x:508:517::/home/user18:/bin/bash
user19:x:509:517::/home/user19:/bin/bash
user20:x:510:517::/home/user20:/bin/bash
[root@centos6 ~]#awk '{print}' /etc/passwd
相当于  awk '{print $0}' /etc/passwd 
打印所有列



[root@centos6 ~]#awk -F: '{print $1 "\t" $3}' /etc/passwd 
root    0
bin     1
daemon  2
adm     3
lp      4
sync    5
shutdown        6
halt    7
mail    8
uucp    10
operator        11

"\t" 不是变量所以需要加双引号,用tab键补齐;


[root@centos6 ~]#grep "^UUID=" /etc/fstab |awk -F" " '{print $2}'
/
/app
/boot
swap
[root@centos6 ~]#grep "^UUID=" /etc/fstab |awk '{print $2}'      
/
/app
/boot
swap 

将-F“ ”去除后默认为空白符为分割符,进行取列;
  
内置变量的使用举例;
 pulse 497
sshd 74
tcpdump 72
bai 500
user11 501
user12 502
user13 503
user14 504
user15 505
user16 506
user17 507
user18 508
user19 509
user20 510
[root@centos6 ~]#awk -v FS=: '{print $1,$3}' /etc/passwd
内置变量赋值后没有使用;去除-F“ ”默认空白符分割

sshd 74
tcpdump 72
bai 500
user11 501
user12 502
user13 503
user14 504
user15 505
user16 506
user17 507
user18 508
user19 509
user20 510
[root@centos6 ~]#awk -F" " -v FS=: '{print $1,$3}' /etc/passwd
跟上述结果一样;

sshd:74
tcpdump:72
bai:500
user11:501
user12:502
user13:503
user14:504
user15:505
user16:506
user17:507
user18:508
user19:509
user20:510
[root@centos6 ~]#awk -F" " -v FS=: '{print $1FS$3}' /etc/passwd
变量使用

pulse:497
sshd:74
tcpdump:72
bai:500
user11:501
user12:502
user13:503
user14:504
user15:505
user16:506
user17:507
user18:508
user19:509
user20:510
[root@centos6 ~]#awk -v FS=: '{print $1FS$3}' /etc/passwd

sshd:74
tcpdump:72
bai:500
user11:501
user12:502
user13:503
user14:504
user15:505
user16:506
user17:507
user18:508
user19:509
user20:510
[root@centos6 ~]#S=:;awk -v FS=$S '{print $1FS$3}' /etc/passwd
调用bash变量到awk里使用;

sshd---74
tcpdump---72
bai---500
user11---501
user12---502
user13---503
user14---504
user15---505
user16---506
user17---507
user18---508
user19---509
user20---510
[root@centos6 ~]#awk -F: -v OFS='---' '{print $1,$3}' /etc/passwd
OFS指定输出分隔符;

[root@centos6 app]#cat a
a: aa: aa
bb: cads: asdfa
adsfa:afd
[root@centos6 app]#cat -A a
a: aa: aa$
bb: cads: asdfa$
adsfa:afd$
[root@centos6 app]#awk -v RS=: '{print $1}' a
a
aa
aa
cads
asdfa
afd
[root@centos6 app]#awk -v RS=: '{print $2}' a 


bb

adsfa
建一个文本输入内容,用冒号隔开,RS是以(:)分割成为一条条记录,{print $1 $2}是从

一条记录中用空白符分割出来打印输出。

[root@centos6 app]#awk -F: '{print $1}' /etc/passwd

root
bin
daemon
adm
lp
sync
shutdown
halt
mail
uucp
operator
games
[root@centos6 app]#awk -F: -v ORS=':' '{print $1}' /etc/passwd     
:root:bin:daemon:adm:lp:sync:shutdown:halt:mail:uucp:operator:games:gopher:ftp:no

body:dbus:usbmuxd:rpc:rtkit:avahi-

autoipd:vcsa:abrt:rpcuser:nfsnobody:haldaemon:ntp:apache:saslauth:postfix:mysql:g

dm:pulse:sshd:tcpdump:bai:user11:user12:user13:user14:user15:user16:user17:user18

:user19:user20:[root@centos6 app]#
ORS=':' 输出时使用‘:’为分隔符输出。

[root@centos6 app]#awk -F: 'BEGIN{print NF}' /etc/passwd
0
[root@centos6 app]#awk -F: 'END{print NF}' /etc/passwd     
7 
打印列数;BEGIN执行是在执行文件之前执行所以列数为0
          END执行是在文件执行结束后执行所以输出列数为7
7
7
7
7
7
7
7
7
7
7
7
7
[root@centos6 app]#awk -F: '{print NF}' /etc/passwd

[root@centos6 app]#awk -F: 'END{print NF-1}' /etc/passwd
6
[root@centos7 ~]#awk -F: '{print $(NF-1)}' /etc/passwd
/root
/bin
/sbin
/var/adm
/var/spool/lpd
/sbin
/sbin
/sbin
/var/spool/mail
/root
/usr/games
/var/ftp


[root@centos6 ~]#awk '{print NR,$0}' /etc/issue /etc/fstab
1 CentOS release 6.9 (Final)
2 Kernel \r on an \m
3 
4 
5 #
6 # /etc/fstab
7 # Created by anaconda on Wed May 17 07:58:47 2017
8 #
9 # Accessible filesystems, by reference, are maintained under '/dev/disk'
10 # See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
11 #
12 UUID=debde2b5-2a12-4413-9a87-e16f92414999 /                       ext4    defaults        1 1
13 UUID=d66829e7-bc4a-4a65-b8c6-b00d01be3ad1 /app                    ext4    defaults        1 2
14 UUID=7e0e42d1-8fbe-4b4b-b37d-ae645d50b654 /boot                   ext4    defaults        1 2
15 UUID=80d05338-43e4-4f3a-bf05-64e42445077e swap                    swap    defaults        0 0
16 tmpfs                   /dev/shm                tmpfs   defaults        0 0
17 devpts                  /dev/pts                devpts  gid=5,mode=620  0 0
18 sysfs                   /sys                    sysfs   defaults        0 0
19 proc                    /proc                   proc    defaults        0 0

将两个文件合并成一个进行排序记数;


[root@centos6 ~]#awk '{print FNR,$0}' /etc/issue /etc/fstab 
1 CentOS release 6.9 (Final)
2 Kernel \r on an \m
3 
1 
2 #
3 # /etc/fstab
4 # Created by anaconda on Wed May 17 07:58:47 2017
5 #
6 # Accessible filesystems, by reference, are maintained under '/dev/disk'
7 # See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
8 #
9 UUID=debde2b5-2a12-4413-9a87-e16f92414999 /                       ext4    defaults        1 1
10 UUID=d66829e7-bc4a-4a65-b8c6-b00d01be3ad1 /app                    ext4    defaults        1 2
11 UUID=7e0e42d1-8fbe-4b4b-b37d-ae645d50b654 /boot                   ext4    defaults        1 2
12 UUID=80d05338-43e4-4f3a-bf05-64e42445077e swap                    swap    defaults        0 0
13 tmpfs                   /dev/shm                tmpfs   defaults        0 0
14 devpts                  /dev/pts                devpts  gid=5,mode=620  0 0
15 sysfs                   /sys                    sysfs   defaults        0 0
16 proc                    /proc                   proc    defaults        0 0
分别计数

[root@centos6 ~]#awk '{print FNR,$0,FILENAME}' /etc/issue /etc/fstab 
1 CentOS release 6.9 (Final) /etc/issue
2 Kernel \r on an \m /etc/issue
3  /etc/issue
1  /etc/fstab
2 # /etc/fstab
3 # /etc/fstab /etc/fstab
4 # Created by anaconda on Wed May 17 07:58:47 2017 /etc/fstab
5 # /etc/fstab
6 # Accessible filesystems, by reference, are maintained under '/dev/disk' /etc/fstab
7 # See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info /etc/fstab
8 # /etc/fstab
9 UUID=debde2b5-2a12-4413-9a87-e16f92414999 /                       ext4    defaults        1 1 /etc/fstab
10 UUID=d66829e7-bc4a-4a65-b8c6-b00d01be3ad1 /app                    ext4    defaults        1 2 /etc/fstab
11 UUID=7e0e42d1-8fbe-4b4b-b37d-ae645d50b654 /boot                   ext4    defaults        1 2 /etc/fstab
12 UUID=80d05338-43e4-4f3a-bf05-64e42445077e swap                    swap    defaults        0 0 /etc/fstab
13 tmpfs                   /dev/shm                tmpfs   defaults        0 0 /etc/fstab
14 devpts                  /dev/pts                devpts  gid=5,mode=620  0 0 /etc/fstab
15 sysfs                   /sys                    sysfs   defaults        0 0 /etc/fstab
16 proc                    /proc                   proc    defaults        0 0 /etc/fstab

打印文件名 FILENAME

[root@centos6 ~]#awk '{print ARGC}' /etc/issue /etc/fstab           3
3
3
3
查看参数个数

[root@centos6 ~]#awk '{print ARGV[1]}' /etc/issue /etc/fstab 
/etc/issue
/etc/issue
/etc/issue
/etc/issue
查看参数1是那一个

[root@centos6 ~]#awk '{print ARGC,ARGV[ARGC-4]}' /etc/issue /etc/fstab  /etc/passwd
4 awk
4 awk
4 awk



[root@centos6 ~]#awk -F: '{print $(NF-1)}' /etc/passwd
awk: (FILENAME=/etc/passwd FNR=1) fatal: attempt to access field -1

因为/etc/passwd 第一行为空行时 echo |awk -F: ‘{print NF}‘输出值为零 ,$(NF-1)为$(-1)不支持,所以报错;



自定义变量

[root@centos6 ~]#awk -v name=root '{print name}' /etc/passwd
root
root
没有实际意义,只是打印
[root@centos6 ~]#awk '{sex="male";print sex}' /etc/passwd
male
male
自定义变量使用方法
[root@centos6 ~]#awk '{sex="male";print sex,age;age=20}' /etc/passwd
male 
male 20
male 20
male 20
male 20
{}里定义变量,不用加$,顺序执行。

[root@centos6 ~]# awk -f f1.awk /etc/passwd

{sex="male";print sex,age;age=20}放到f1.awk里,进行调用。
Logo

为开发者提供学习成长、分享交流、生态实践、资源工具等服务,帮助开发者快速成长。

更多推荐