思享工具箱

shell命令三剑客之grep命令详解

摘要：
目录1.通配符2.grep2.1linux系统支持的三种形式的grep命令3.正则表达式3.1扩展正则表达式4.IP的正则4.1ip地址的类别4.2ip地址的正则5.shell中的特殊字符6.练习正则表达式和grep、vim、awk、sed等的关系：正则表达式是一种方法，相当于一种工艺，grep等命令相当于是一个具体的加工机器，机器在加工产品的时候，采用这种方法。其实，grep是一个过滤命令，根据特定的正则表达式来过滤文本里的内容。作用等同于例wubing代表以wubing结尾。
目录

正则表达式和grep、vim、awk、sed等的关系：
正则表达式是一种方法，相当于一种工艺，grep等命令相当于是一个具体的加工机器，机器在加工产品的时候，采用这种方法。
三者的效率：grep>sed>awk

1. 通配符（globbing）

常用通配符：

* 代表 匹配0个或者多个字符 
？代表匹配1个字符 
[…] ：匹配范围内任意1个字符，例如[az]、[a-z]、[a-z] 
[^…]： 匹配范围外任意1个字符，表示取反 
{}：组合匹配，touch a{1,3,5} touch b{1..10}  touch {a,b,c}_{1,2,3}

例：

[0-9] 代表数字
[abcd123]代表取中括号里的任意一个字符
[a-Z] 代表大小写字母
[0-Z]代表数字0-9和所有的大小写字母

正则表达式里通配符和shell里面的通配符的区别：

  • shell里面的通配符：用在bash里面；
  • 正则里面的通配符：用在真正的命令里面。
2. grep

grep全称通用正则表达式分析程序（global research regular expression and printing）。

其实，grep是一个过滤命令，根据特定的正则表达式来过滤文本里的内容。
grep是根据某个模式进行匹配文件里的一行一行的数据去处理的，如果有匹配的行，就会将整行输出到屏幕上。
grep用的时候模式要用双引号""引起来!!!

用途：使用正则表达式搜索文本，并把匹配的行打印出来

格式：grep [选项] 模式 目标文件

模式其实就是一个公式，里面有字母+数字+特殊符号，组合成一个正则表达式，表达出某个含义。

常用选项：

-v：invert，反转查找，输出与模式不相符的行；
-An：after-context，同时显示符合条件行的下面n行；
-Bn：before-context，同时显示符合条件行的上面n行；
-Cn：同时显示符合条件行的上面n行和下面n行；
-E：extended regular，支持扩展正则表达式；
-o：only-matching，仅显示匹配的字符串；
-f：根据文件内容进行匹配；
-a：以文本文件方式搜索，不忽略二进制的数据；
-c：计算找到的符合行的次数；
-i：ignore-case忽略大小写；
-n：line-number，顺便输出行号；
-P  "	"  --》得到Tab键 --》使用perl语言的正则语法，支持	表示table键，s表示空白。

2.1 linux系统支持的三种形式的grep命令

Linux系统支持三种形式的grep命令，通常将这三种形式的grep命令称为grep命令族，这三种形式具体为：

  1. ls /bin/*grep
  2. fgrep：不支持正则表达式，快速搜索简单模式，按照字符串的字面意思进行匹配吗，相当于grep -F
  3. grep：可以使用基本正则表达式搜索
  4. egrep：可以使用基本和扩展正则表达式搜索，相当于grep -E
3. 正则表达式

正则表达式是一个指定文本模式的标准Unix 语法。
使用特殊元字符实现复杂的搜索问题；
元字符（meta characters）是用来阐释字符表达式意义的字符，简言之，元字符就是描述字符的字符，它用于对字符表达式的内容、转换及各种操作信息进行描述。

正则表达式是由一串字符和元字符构成的字符串，简称RE（Regular Expression）。

基本正则表达式和Unix兼容；
扩展正则表达式增加了一些新的元字符。

正则表达式由下列元素构成 ：

  • 普通字符，a、b 、1、2
  • 通配符，与文件名通配符不是一回事
  • 修饰符：”*” ”?”等
  • 锚点：以什么开头、以什么结尾。

正则里的通配符：

  1. “.”：表示一定有一个任意字符
例：a…b ：代表ab之间有三个字符。
  1. 方括号表达式：一个文字字符域
[abc] ：a或者b或者c中的一个。
[^abc] ：不是abc其中的一个。
[0-9]、[a-z]、[A-Z] ： 数字、小写、大写。
  1. 域表达式和字符类
    考虑到不同的编码方案推荐使用字符类方式(此类方法不常用，以被上面②方式代替！)。
[:alnum:]    －字母数字混排 等同于[0-Z]
[:digit:]       －数字  等同于[0-9]
[:lower:]     －小写字母 等同于[a-z]
[:upper:]    －大写字母 等同于[A-Z]
[:space:]     －空白字符，空格、TAB、换行符等

通用修饰符(理解为通配符即可)

  • 问号：表示0个或者1个前面的字符（0或1个）（扩展）
例：ab?c  代表没有b或者只有一个b，即等同于ac、abc。
  • 星号：表示>=0个前面的字符
例：ab*c 代表没有b或者多个b，即等同于ac、abc、abbc、abbbc......
  • +：表示1个或者多个前面的字符（>=1）
例：ab+c 代表 一个b或者多个b，即等同于abc、abbc、abbc......
  • {n}：表示n个前面的字符（前面的字符出现了n次）
例：ab{2}c 代表b出现了两次，即等同于abbc。
  • {n,m}：表示n个到m个前面的字符。
例：ab{2,4}c 代表2个到4个b，即等同于abbc、abbbc、abbbbc。
  • .* ：点代表任意一个，星号表示前面的0个或多个，即等同于所有字符。

锚点搜索

  • “^”：表示以什么开头行
例 ^aa 代表以aa开头的行。
  • 美元符：表示以什么结尾的行
例 bash$代表以bash结尾的行。
  • <：表示词首部。作用等同于
例 wubing 代表以wubing开头的行。
  • >：表示词尾部。作用等同于 
例 wubing 代表以wubing结尾。
  • < abc >：表示abc这个单词 等价于 abc
例 <wubing> 代表wubing这个单词。

grep在界定单词的时候，默认使用的分隔符是空白。

3.1 扩展正则表达式

egrep、awk和Perl等Linux工具还支持正则表达式扩展出来的一些元字符，这些元字符如下表所示：

  • ？：匹配0个或1个在其之前的那个普通字符
  • +：匹配1个或多个在其之前的那个普通字符
  • ( )：表示一个字符集合
  • | ：表示'或'，匹配一组可选的字符

正则表达式分组
①“？”、”*”、”+”默认只能修饰前面一个字符
②利用圆括号( )可以实现多个字符分组。

例 f(oo)* ：因为oo括起来了，所以把oo看成"一个字符"，即f、foo、foooo......

③在圆括号中利用”|”实现或者的功能

echo foooeee | egrep --color "(oo|ee){2}"
echo foooeee | egrep --color "(oo|ee){1}"

转义元字符

egrep ‘cat.' /etc/aa
egrep ‘cat.' /etc/aa

正则表达式与通配符匹配的区别：

  • 正则表达式只在少数搜索和替换文本命令中使用；
  • 文件名匹配在bash中匹配文件名；
  • 都使用”*”、”?”但意义不一样；
  • 正则表达式元字符要放在引号内，避免bash Shell解释。
4. IP的正则

4.1 ip地址的类别

简单来讲分为三类：

  • A类网络的IP地址范围为：1.0.0.1－126.255.255.254；
  • B类网络的IP地址范围为：128.1.0.1－191.255.255.254；
  • C类网络的IP地址范围为：192.0.1.1－223.255.255.254

4.2 ip地址的正则

写ip地址正则时的方法：需要按个位(1位)、十位(2位)、百位(3位)
显示文件中的所有A类地址：（1-126）

"([1-9]|[1-9][0-9]|1[01][0-9]|12[0-6])(.([0-9]|[1-9][0-9]|1[0-9]{2}|2[0-4][0-9]|25[0-5]) ){3}"

解析：
先写的个位，十位，百位先写的100-119，再120-126；
0-255,先0-9,再10-99,100-199,200-249,最后250-255

显示文件中的所有B类地址：（128-191）

 "(12[89]|1[3-8][0-9]|19[01])(.([0-9]|[1-9][0-9]|1[0-9][0-9]|2[0-4][0-9]|25[0-5]) ){3}"

显示文件中的所有C类地址：（192-223）

"(19[2-9]|2[01][0-9]|22[0-3])(.([0-9]|[1-9][0-9]|1[0-9][0-9]|2[0-4][0-9]|25[0-5]) ) {3}"

匹配email地址：

egrep "[0-Z._]+@[0-Z]+.[a-Z]+"

匹配HTTP URL：

egrep "^http://([0-Z]+.){2}[a-Z]{2,3}"
egrep --color "http://(.*..*){2}" --》网址至少有两个点！（适用所有网址）
5. shell中的特殊字符
  • ：冒号
    内置的空命令，返回值为0--》while ：
  • ；分号
    连续运行命令
  • | 管道
    前面命令的标准输出作为后面命令的标准输入
    正则中表示或者
  • &
    将命令放到后台执行
    表示标准输出和标准错误输出
  • &&
    前面命令执行成功才执行后面的命令
  • ||
    前面命令执行不成功才执行后面的命令
  • 井号
    表示注释
  • ? 问号
    通配符中表示任意1个字符
    正则表达式中表示0个或者1个前面的字符
  • 星号
    通配符中表示0个到多个任意字符
    正则表达式中表示0个或者多个前面的字符
    算术运算中的乘法
  • ！惊叹号
    将命令或者条件表达式的返回值取反
    执行历史命令
    vi或者ftp中执行外部shell命令
    间接应用变量 --》${！b}
  • $ 美元符号
    取变量的值
    正则表达式表示行尾
  • 反斜杠
    单字符转义
  • 大于号
    输出重定向
    条件测试中的大于号
  • 小于号
    输入重定向
    条件测试中的小于号
  • = 等号
    变量赋值
    条件测试中的等号
  • 加号
    算术运算中的加号
    正则表达式中1个或多个前面的字符
  • >>
    输出重定向追加
    <<
    here document
  • - 减号
    算术运算中的减号
    命令的选项
    上一次工作目录
    通配符和正则表达式中表示范围[a-z]
    tar -cvf - /home | tar -xvf - 表示输出流或输入流
  • ' ' 单引号
    解决变量赋值空格的问题
    阻止shell替换
  • " " 双引号
    解决变量赋值空格的问题
    阻止shell部分字符替换，对$、！等无效
  • `` 反引号
    命令行替换
  • % 百分号
    算术运算中的模运算
    vi中替换操作中表示所有行
  • () 单圆括号
    子shell中执行命令，会继承父shell的变量
    括起数组元素
  • (()) 双圆括号
    算术运算
    整数比较测试
  • [] 单方括号
    通配符和正则中表示匹配括号中的任意一个字符
    条件测试表达式
    数组中下标括号
  • [[]] 双方括号
    字符串比较测试 --》不能比较小数！比较小数要用bc计算机--》echo "4.5>5.5"|bc ,返回值为0,假的
  • . 句点号
    正则中表示任意1个字符
    当前shell执行脚本命令
    表示当前目录
  • {} 大括号
    通配符扩展 abc{1,2,3}
    正则表达式中表示范围
    匿名函数{cmd1；cmd2；cmd3} &> /dev/null
    括起变量名${abc}a
  • / 正斜杠
    算术运算中的除法
    根目录或路径分割符
  • ^
    在[^abc]通配符中表示取反
    在正则表达式中表示以什么开头
6. 练习

1.新建/lianxi目录，复制/etc/passwd到当前目录下。
2.查找出当前passwd文件中以ftp开头或者mail开头的行，在屏幕输出。
3.查找出当前passwd文件中首行不是以r、m、f开头的行，在屏幕输出。
4.查找出当前passwd文件中以bash结尾的行。
5.查找出/etc/login.defs文件中的有效行（不显示空行和注释行）。
6.查找出/var/log/messages文档中有16个字母的单词。
7.查找/etc/passwd文件里用户名包含liu同时使用bash的用户。
8.查找/etc/ssh/sshd_config文件里的有效行。
9.查找/etc/ssh/sshd_config文件里的包含连续2个数字的行。
10.查找出包含特殊字符的行。
11.查找出不包含数字的行。
12.查找出/var/log/messages里的ip地址出来。
13.写一个正则来表示出下面的网址，例如：

http://www.baidu.com
http://www.sina.com
http://www.163.com
http://www.12306.cn
http://www.qillu.edu

14.写一个表示邮箱的正则，例如：

feng@qq.com
1234feng@163.com
meng.xianhui@yahoo.cn
liudenghua@sina.com
10001@qq.com
123_ui@12306.com
qilu@qilu.edu

15.C类ip地址的正则表达式
section1：范围在192-223之间
section2和section3和section4范围：0-255之间
例如：193.168.23.1
16.监控/var/log/secure文件，统计出ssh错误连接本机次数超过十次的ip地址，拒绝这个ip地址再ssh连接过来（将这个ip地址写入到/etc/hosts.deny黑名单，/etc/hosts.allow是白名单）。

答案：
1.新建/lianxi目录，复制/etc/passwd到当前目录下。

mkdir /lianxi
cd /lianxi 
cp /etc/passwd .

2.查找出当前passwd文件中以ftp开头或者mail开头的行，在屏幕输出。

cat passwd|grep "^ftp|^mail"

3.查找出当前passwd文件中首行不是以r、m、f开头的行，在屏幕输出。

cat passwd|grep -v "^r|^m|^f"

4.查找出当前passwd文件中以bash结尾的行。

cat passwd|grep "bash$"

5.查找出/etc/login.defs文件中的有效行（不显示空行和注释行）。

cat /etc/login.defs|egrep -v "^$|^#"

6.查找出/var/log/messages文档中有16个字母的单词。

cat /var/log/messages|egrep "<[0-Z]{16}>"

7.查找/etc/passwd文件里用户名包含liu同时使用bash的用户。

cat passwd|egrep "^[0-Z]*liu[0-Z]*" | egrep "bash"

或

cat /etc/passwd|egrep "^.*liu.*:x:"|egrep "bash"

或

cat passwd|egrep "^[0-Z_]*liu.*bash$"

8.查找/etc/ssh/sshd_config文件里的有效行。

cat /etc/ssh/sshd_config|egrep -v "^$|^#"

9.查找/etc/ssh/sshd_config文件里的包含连续2个数字的行。

cat /etc/ssh/sshd_config|egrep "[0-9]{2}"

10.查找出包含特殊字符的行。

cat /etc/ssh/sshd_config|egrep "[^0-Z]" --》包含特殊字符（^在[]里面，表示取反）

11.查找出不包含数字的行。

cat /etc/passwd|grep -v ".*[0-9].*"

12.查找出/var/log/messages里的ip地址出来。

cat /var/log/messages | egrep "([0-9]|[1-9][0-9]|1[0-9]{2}|2[0-4][0-9]|25[0-5])(.([0-9]|[1-9][0-9]|1[0-9]{2}|2[0-4][0-9]|25[0-5]) ){3}"

13.写一个正则来表示出下面的网址，例如：
http://www.baidu.com
http://www.sina.com
http://www.163.com
http://www.12306.cn
http://www.qillu.edu

[root@liupeng lianxi]# cat dizhi.txt 
http://www.baidu.com
http://www.sina.com
http://www.163.com
http://www.12306.cn
http://www.qillu.edu
[root@liupeng lianxi]# cat dizhi.txt|egrep --color "http://(.*..*){2}"
http://www.baidu.com
http://www.sina.com
http://www.163.com
http://www.12306.cn
http://www.qillu.edu
[root@liupeng lianxi]#

14.写一个表示邮箱的正则，例如：

feng@qq.com
1234feng@163.com
meng.xianhui@yahoo.cn
liudenghua@sina.com
10001@qq.com
123_ui@12306.com
qilu@qilu.edu

PS：用户名最大16位。

[root@liupeng lianxi]# cat youxiang.txt 
feng@qq.com
1234feng@163.com
meng.xianhui@yahoo.cn
liudenghua@sina.com
10001@qq.com
123_ui@12306.com
qilu@qilu.edu
[root@liupeng lianxi]# cat youxiang.txt|egrep "[0-Z._]{1,16}+@[0-Z]+.[a-Z]+"
feng@qq.com
1234feng@163.com
meng.xianhui@yahoo.cn
liudenghua@sina.com
10001@qq.com
123_ui@12306.com
qilu@qilu.edu
[root@liupeng lianxi]#

15.C类ip地址的正则表达式
section1：范围在192-223之间
section2和section3和section4范围：0-255之间
例如：193.168.23.1

[root@liupeng lianxi]# cat ipip.txt 
193.168.23.1
10.10.10.1
192.168.12.12
123.123.123.123
[root@liupeng lianxi]# cat ipip.txt|egrep "(19[2-9]|2[01][0-9]|22[0-3])(.([0-9]|[1-9][0-9]|1[0-9][0-9]|2[0-4][0-9]|25[0-5])){3}"
193.168.23.1
192.168.12.12
[root@liupeng lianxi]#

16.监控/var/log/secure文件，统计出ssh错误连接本机次数超过十次的ip地址，拒绝这个ip地址再ssh连接过来（将这个ip地址写入到/etc/hosts.deny黑名单，/etc/hosts.allow是白名单）。

#!/bin/bash
while true
do
        cat secure|egrep "Failed passwd"|egrep -o "192(.([0-9]|[1-9][0-9]|1[0-9][0-9]|2[0-4][0-9]|25[0-5])){3}"|sort|uniq -c|sort -nr >secure.txt
        deny=$(cat /etc/hosts.deny|egrep "^sshd:192(.([0-9]|[1-9][0-9]|1[0-9][0-9]|2[0-4][0-9]|25[0-5])){3}$"|awk -F: '{print $2}')
        echo $deny >deny_ip.txt
        cat secure.txt|while read times IP
        do
                if (( $times>=2 ))
                then
                        if ! grep $IP deny_ip.txt &>/dev/null
                        then
                                echo "sshd:$IP" >>/etc/hosts.deny&&echo "$IP has been written to /etc/hosts.deny"
                        fi
                fi
        done
sleep 1
done

shell命令三剑客之grep命令详解第1张

标签：#正则表达式#shell#grep#命令模式#通配符#字符 | 浏览：253 | 发布日期：

免责声明：文章转载自《shell命令三剑客之grep命令详解》仅用于学习参考。如对内容有疑问，请及时联系本站处理。

上篇Spring Security 实战干货：自定义配置类入口WebSecurityConfigurerAdapterAndroid弹出输入提示框--PopupWindow实现下篇

宿迁高防，2C2G15M，22元/月；香港BGP，2C5G5M，25元/月 雨云优惠码：MjYwNzM=

相关文章

编一程序，将两个字符串连接起来，不要用strcat函数

编一程序，将两个字符串连接起来，不要用strcat函数 【答案解析】 直接将s2中的字符逐个拷贝到s1的末尾即可，用户需要保证s1中能存的下s2中的字符 获取s1末尾的位置 将s2中的字符逐个拷贝到s1中 【代码实现】 #include<stdio.h> int main() { char s1[100] = {0}; char s2...

VIM常见用法总结

欢迎和大家交流技术相关问题：邮箱: jiangxinnju@163.com博客园地址: http://www.cnblogs.com/jiangxinnjuGitHub地址: https://github.com/jiangxincode知乎地址: https://www.zhihu.com/people/jiangxinnju vim中光标如何回到上一次...

性能调优之top命令详解

top命令是Linux下常用的性能分析工具，能够实时显示系统中各个进程的资源占用状况，类似于Windows的任务管理器。 在linux系统下输入top命令如下： 参数含义 top - 00:10:55 up 81 days, 6:00, 17 users, load average: 0.00, 0.02, 0.05Tasks: 155 total,...

Aviator

Aviator简介¶Aviator是一个高性能、轻量级的java语言实现的表达式求值引擎，主要用于各种表达式的动态求值。现在已经有很多开源可用的java表达式求值引擎，为什么还需要Avaitor呢？ Aviator的设计目标是轻量级和高性能，相比于Groovy、JRuby的笨重，Aviator非常小，加上依赖包也才450K,不算依赖包的话只有70K；当然，...

邮件服务器之SMTP协议分析

第1章.SMTP概述 1.1.SMTP在邮件通信过程中的位置 SMTP，即简单邮件传送协议，所对应RFC文档为RFC821。同http等多数应用层协议一样，它工作在C/S模式下，用来实现因特网上的邮件传送。SMTP在整个电子邮件通信中所处的位置如图1所示。 图1.电子邮件的通信过程 可以看出，SMTP是用来将客户机上的邮件传送到服务器上。这里的客户机是...

Linux使用Shell在线语音播报功能

在文件夹中创建一个sh文件，内容如下： #!/bin/bash say() { #mplayer -really-quiet "http://tts.baidu.com/text2audio?lan=zh&ie=UTF-8&spd=5&text=$*"; #mpg321 -q "http://tts.baidu....

最新文章

随机推荐

思享工具箱导航