注: 部分概念介绍来源于网络

一、简介
grep (global search regular expression(RE) and print out the line,全面搜索正则表达式并把行打印出来)是一种强大的文本搜索工具,它能使用正则表达式搜索文本,并把匹配的行打印出来。

二、grep常用用法
1、grep [-acinv] [--color=auto] '搜寻字符串' filename.txt
选项与参数:
-w :被匹配的文本只能是单词,而不能是单词中的某一部分,如文本中有liker,而我搜寻的只是like,就可以使用-w选项来避免匹配liker
-q : 静默模式,没有任何输出,得用$?(echo $?)来判断执行成功没有,即有没有过滤到想要的内容
-l :如果匹配成功,则只将文件名打印出来,失败则不打印,通常-rl一起用,grep -rl 'root' /etc 
-A n : 如果匹配成功,则将匹配行及其后n行一起打印出来
-B n : 如果匹配成功,则将匹配行及其前n行一起打印出来
-C n :如果匹配成功,则将匹配行及其(前后)n行一起打印出来
-E :等同于egrep,支持扩展的正则表达式;
-F :--fixed-strings:支持使用固定字符串,不支持正则表达式,相当于fgrep;
-G :--basic-regexp:支持使用基本正则表达式;
-P :--perl-regexp:支持使用pcre正则表达式;
-o : 只显示匹配的内容
-a :将 binary 文件以 text 文件的方式搜寻数据
-c :计算找到 '搜寻字符串' 的次数,注意如果同时使用-cv选项是显示有多少行没有被匹配到
-i :忽略大小写的不同,所以大小写视为相同
-n :顺便输出行号
-v :反向选择,亦即显示出没有 '搜寻字符串' 内容的那一行!
-R :搜索子目录
--color=auto :可以将找到的关键词部分加上颜色的显示喔!
在关键字的显示方面,grep 可以使用 --color=auto 来将关键字部分使用颜色显示。 这可是个很不错的功能啊!但是如果每次使用 grep 都得要自行加上 --color=auto 又显的很麻烦~ 此时那个好用的 alias 就得来处理一下啦!你可以在 ~/.bashrc 内加上这行:『alias grep='grep --color=auto'』再以『 source ~/.bashrc 』来立即生效即可喔! 这样每次运行 grep 他都会自动帮你加上颜色显示啦

2、以 grep 找出内含 aaa 那行,在关键字所在行的前两行与后三行也一起显示出来
cat filename.txt | grep -n -A2 -B1 --color=auto 'aaa'
1-bbb
2:aaa
3:aaa
4-ccc
5-ccc
# 如上所示,你会发现关键字 2 所在的前一行及 3 所在后二行也都被显示出来!

3、根据文件内容递归查找目录
# grep ‘energywise’ *           #在当前目录搜索带'energywise'行的文件
# grep -r ‘energywise’ *        #在当前目录及其子目录下搜索'energywise'行的文件
# grep -l -r ‘energywise’ *     #在当前目录及其子目录下搜索'energywise'行的文件,但是不显示匹配的行,只显示匹配的文件

三、grep与正规表达式
^    行首 grep '^how' => how行首
$    行尾 grep 'name$' => name行尾
.    除了换行符以外的任意单个字符 grep 'n..e' => name
*    前导字符的零个或多个 grep 'x*y' => y,xy,xxy
.*    所有字符 grep 'n.*e' => naaame
[]    字符组内的任一字符 grep 'm[a-z]' => my
[^]    对字符组内的每个字符取反(不匹配字符组内的每个字符) grep '[^b-z]re' => are
^[^]    非字符组内的字符开头的行
[a-z]    小写字母
[A-Z]    大写字母
[a-Z]    小写和大写字母
[0-9]    数字
[[:alpha:]]    任何字母
[[:digit:]]    任何数字
[[:alnum:]]    任何字母和数字
[[:upper:]]    任何大写字母
[[:lower:]]    任何小写字母
[[:punct:]]    任何标点符号
[[:xdigit:]]    任何16进制的数字,相当于[0-9a-fA-F]
[:blank:]    空白字符(空格和制表符)
[:space:]    包括空格、制表符(水平和垂直)、换行符、回车符等各种类型的空白
[:cntrl:]    不可打印的控制字符(退格、删除、警铃...)
[:graph:]    可打印的非空白字符
[:print:]    可打印字符
\< 或 \b    词首锚定,用于单词模式的左侧 grep '\<a' => are
\> 或 \b    词尾锚定,用于单词模式的右侧 grep 'e/>' => name
?    前导字符零个或一个最多一个 grep 'x\?y' => y,xy
+    前导字符至少一个或多个 grep 'x\+y' => xy,xxy 
x{m}    x出现m次 grep 'x\{2\}y' => xxy,xxxy
x{m,}    x出现m次至多次(至少m次) grep 'x\{2,\}y' => xxy,xxxy
x{m,n}    x出现m次至n次 grep 'x\{2,4\}y' => xxy,xxxy,xxxxy
x{0,n}    x出现至多n次 grep 'x\{0,2\}y' => y,xy,xxy
abc|def    表示abc或def
a(bc|de)f    表示abcf 或 adef
扩展正则    grep -E 或 egrep
^$    空白行
^[[:space:]]*$    空行或包含空白字符的行;
匹配完整单词    grep '\<n.*e\>' => name
()    一个整体
|    表示匹配符号两边的任意一边,比如a|b,表示匹配a或者b
\b    匹配一个单词边界,也就是指单词和空格间的位置。
\B    匹配非单词边界。
\cx    匹配由x指明的控制字符。
\d    匹配一个数字字符。等价于 [0-9]。
\D    匹配一个非数字字符。等价于 [^0-9]。
\f    匹配一个换页符。等价于 \x0c 和 \cL。
\n    匹配一个换行符。等价于 \x0a 和 \cJ。
\r    匹配一个回车符。等价于 \x0d 和 \cM。
\s    匹配任何空白字符,包括空格、制表符、换页符等等。等价于[ \f\n\r\t\v]。
\S    匹配任何非空白字符。等价于 [^ \f\n\r\t\v]。
\t    匹配一个制表符。等价于 \x09 和 \cI。
\v    匹配一个垂直制表符。等价于 \x0b 和 \cK。
\w    匹配包括下划线的任何单词字符。等价于’[A-Za-z0-9_]’。
\W    匹配任何非单词字符。等价于 ’[^A-Za-z0-9_]’。
\xn    匹配 n,其中 n 为十六进制转义值。十六进制转义值必须为确定的两个数字长。
\num    匹配 num,其中num是一个正整数。对所获取的匹配的引用。
\n    标识一个八进制转义值或一个后向引用。如果 \n 之前至少 n 个获取的子表达式,则 n 为后向引用。否则,如果 n 为八进制数字 (0-7),则 n 为一个八进制转义值。
\nm    标识一个八进制转义值或一个后向引用。
    如果 \nm 之前至少有is preceded by at least nm 个获取得子表达式,则 nm 为后向引用。
    如果 \nm 之前至少有 n 个获取,则 n 为一个后跟文字 m 的后向引用。
    如果前面的条件都不满足,若 n 和 m 均为八进制数字 (0-7),则 \nm 将匹配八进制转义值 nm。
\nml    如果 n 为八进制数字 (0-3),且 m 和 l 均为八进制数字 (0-7),则匹配八进制转义值 nml。
\un    匹配 n,其中 n 是一个用四个十六进制数字表示的Unicode字符。
以一个可选的负号 ([-]?) 开头 (^)、跟着1个或更多的数字([0-9]+)、和一个小数点(\.)再跟上1个或多个数字([0-9]+),并且后面没有其他任何东西($)
特殊字符 ? 与 {0,1} 是相等的,它们都代表着: 0个或1个前面的内容 或 前面的内容是可选的 。所以刚才的例子可以简化为:
^\-?[0-9]{1,}\.?[0-9]{1,}$
特殊字符 * 与 {0,} 是相等的,它们都代表着 0 个或多个前面的内容 
字符 + 与 {1,} 是相等的,表示 1 个或多个前面的内容 

1、字符类
1.1、字符类的搜索:如果想要搜寻 test 或 taste 这两个单字时,可以发现到,其实她们有共通的 't?st' 存在这个时候,我可以这样来搜寻:
grep -n 't[ae]st' filename.txt
其实 [] 里面不论有几个字节,他都谨代表某『一个』字节, 所以,上面的例子说明了,我需要的字串是『tast』或『test』两个字串而已!

1.2、字符类的反向选择 [^] :如果想要搜索到有 oo 的行,但不想要 oo 前面有 g,如下
grep -n '[^g]oo' filename.txt

1.3、字符类的连续:假设我 oo 前面不想要有小写字节,所以,我可以这样写 [^abcd....z]oo ,但是这样似乎不怎么方便,由於小写字节的 ASCII 上编码的顺序是连续的, 因此,我们可以将之简化为底下这样:
grep -n '[^a-z]oo' filename.txt
也就是说,当我们在一组集合字节中,如果该字节组是连续的,例如大写英文/小写英文/数字等等, 就可以使用[a-z],[A-Z],[0-9]等方式来书写,那么如果我们的要求字串是数字与英文呢? 呵呵!就将他全部写在一起,变成:[a-zA-Z0-9]。
我们要取得有数字的那一行,就这样:
grep -n '[0-9]' filename.txt

2、行首与行尾字节 ^ $
2.1、行首字符:如果我想要让 the 只在行首列出呢? 这个时候就得要使用定位字节了:
grep -n '^the' filename.txt
如果我想要开头是小写字节的那一行就列出呢:
grep -n '^[a-z]' filename.txt
如果我不想要开头是英文字母,则可以是这样:
grep -n '^[^a-zA-Z]' filename.txt
^ 符号,在字符类符号(括号[])之内与之外是不同的! 在 [] 内代表『反向选择』,在 [] 之外则代表定位在行首的意义!
那如果我想要找出来,行尾结束为小数点 (.) 的那一行:
grep -n '\.$' filename.txt
特别注意到,因为小数点具有其他意义,所以必须要使用转义字符(\)来加以解除其特殊意义!

2.2、找出空白行:
grep -n '^$' filename.txt
因为只有行首跟行尾 (^$),所以,这样就可以找出空白行啦!

3、任意一个字节 . 与重复字节 *
这两个符号在正则表达式的意义如下:
. (小数点):代表『一定有一个任意字节』的意思;
* (星号):代表『重复前一个字符, 0 到无穷多次』的意思,为组合形态
假设我需要找出 g??d 的字串,亦即共有四个字节, 起头是 g 而结束是 d ,我可以这样做:
grep -n 'g..d' filename.txt
如果我想要列出有 oo, ooo, oooo 等等的数据, 也就是说,至少要有两个(含) o 以上,该如何是好?
因为 * 代表的是『重复 0 个或多个前面的 RE 字符』的意义, 因此,『o*』代表的是:『拥有空字节或一个 o 以上的字节』,因此,『 grep -n 'o*' filename.txt 』将会把所有的数据都列印出来终端上!
当我们需要『至少两个 o 以上的字串』时,就需要 ooo* ,亦即是:
grep -n 'ooo*' filename.txt
如果我想要字串开头与结尾都是 g,但是两个 g 之间仅能存在至少一个 o ,亦即是 gog, goog, gooog.... 等等,那该如何?
grep -n 'goo*g' filename.txt
如果我想要找出 g 开头与 g 结尾的行,当中的字符可有可无
grep -n 'g.*g' filename.txt
因为是代表 g 开头与 g 结尾,中间任意字节均可接受,所以这个 .* 的 RE 表示任意字符是很常见的.
如果我想要找出『任意数字』的行?因为仅有数字,所以就成为:
grep -n '[0-9][0-9]*' filename.txt

4、限定连续 RE 字符范围 {}
我们可以利用 . 与 RE 字符及 * 来配置 0 个到无限多个重复字节,那如果我想要限制一个范围区间内的重复字节数呢?
举例来说,我想要找出两个到五个 o 的连续字串,该如何作?这时候就得要使用到限定范围的字符 {} 了。 但因为 { 与 } 的符号在 shell 是有特殊意义的,因此, 我们必须要使用字符 \ 来让他失去特殊意义才行。至於 {} 的语法是这样的,假设我要找到两个 o 的字串,可以是:
grep -n 'o\{2\}' filename.txt
假设我们要找出 g 后面接 2 到 5 个 o ,然后再接一个 g 的字串,他会是这样:
grep -n 'go\{2,5\}g' filename.txt
如果我想要的是 2 个 o 以上的 goooo....g 呢?除了可以是 gooo*g ,也可以是:
grep -n 'go\{2,\}g' filename.txt

四、扩展grep(grep -E 或者 egrep):
使用扩展grep的主要好处是增加了额外的正则表达式元字符集。
打印所有包含NW或EA的行。如果不是使用egrep,而是grep,将不会有结果查出。
egrep 'NW|EA' filename.txt     
对于标准grep,如果在扩展元字符前面加\,grep会自动启用扩展选项-E。
grep 'NW\|EA' filename.txt
搜索所有包含一个或多个3的行。
egrep '3+' filename.txt
grep -E '3+' filename.txt
grep '3\+' filename.txt        
搜索所有包含0个或1个小数点字符的行。
egrep '2\.?[0-9]' filename.txt 
grep -E '2\.?[0-9]' filename.txt
grep '2\.\?[0-9]' filename.txt 
#首先含有2字符,其后紧跟着0个或1个点,后面再是0和9之间的数字。
搜索一个或者多个连续的no的行。
# egrep '(no)+' filename.txt
# grep -E '(no)+' filename.txt
# grep '\(no\)\+' filename.txt   
grep -E '(ab)*' filename.txt
1:abababc


五、grep查找文件内容单双引号用法的区别
5.1、单引号:全引用。shell命令不做转义处理。
5.2、双引号:部分引用。shell命令会做转义处理。优先解析命令和变量。
5.3、不加引号:效果等同于双引号的作用,优先解析命令和变量。

六、需要转义的特殊字符:\,$等
6.1、查找特殊字符\
grep '\\' test.log  
# 单引号全引用,shell不做转义处理;\\———shell——\\——grep——\——>查找 
# \\ shell不做转义处理传递给grep,grep做转义处理为\,拿去查找\字符
grep "\\\\" test.log 
# 双引号部分引用,shell做特殊字符的转义处理;\\\\———shell——\\——grep——\——>查找 
# \\\\ shell做转义处理为\\传递给grep,grep做转义处理为\,拿去查找\字符
6.2、查找$字符
grep '\$' test.log  
# 单引号全引用,shell不做转义处理;
# \$ shell不做转义处理传递给grep,grep做转义处理为$,拿去查找$字符
grep "\\$" test.log 
# 双引号部分引用,shell做特殊字符的转义处理;
# \\$ shell做转义处理为\$传递给grep,grep做转义处理为$,拿去查找$字符
 
七、查找单双引号:
7.1、查找单引号'name'
grep "'name'" test.log
如果用单引号方式去查找,无论外面嵌套多少层单引号,都只能匹配出name,而不是'name'
7.2、查找双引号"age"
grep '"age"' test.log
如果用双引号方式去查找,无论外面嵌套多少层双引号,都只能匹配出age,而不是"age"
对于单双引号同时存在需要匹配的情况下,比较简单粗暴的处理方式就是用单引号方式查找,查找字符里的单双引号均用.(点号)去匹配。
grep '.name.' test.log
grep '.age.' test.log


八、grep命令的-P选项
-P, --perl-regexp
-P 可以让grep使用perl的正则表达式语法,因为perl的正则更加多元化,能实现更加复杂的场景。
最典型的用法是,匹配指定字符串之间的字符。比如,我们想在一句话(Hello,my name is aming.)中匹配中间的一段字符串(my name is) 可以这样写正则表达式。 
echo "Hello, my name is aming."|grep -P '(?<=Hello, ).*(?= aming.)'
如果只需要匹配到的部分,还可以加上-o选项
echo "Hello, my name is aming."|grep -Po '(?<=Hello, ).*(?= aming.)'
根据这个思路,我们可以去匹配IP地址
ifconfig eth0 |grep -Po '(?<=addr:).*(?= Bcast)'


九、示例
9.1、字母开头,包含字母数字下划线,长度小于20:
^[a-zA-Z][a-zA-Z0-9_]{1,19}$
9.2、字母开头,数字结尾,最长20,使用 ?=.{1,20}$ 固定总长度
^(?=.{1,20}$)[a-zA-Z][a-zA-Z_]{0,19}[0-9_]{0,19}$
 

Logo

为开发者提供学习成长、分享交流、生态实践、资源工具等服务,帮助开发者快速成长。

更多推荐