Linux命令之md5sum

摘要:
md5sum命令用于生成和验证文件的md5值。它一点一点地检查文件的内容。2.重要选项-b以二进制模式读取文件内容-t以文本模式读取文件属性-c根据生成的md5值验证现有文件-状态验证完成后。

1. 背景

   在网络传输、设备之间转存、复制大文件等时,可能会出现传输前后数据不一致的情况。这种情况在网络这种相对更不稳定的环境中,容易出现。那么校验文件的完整性,也是势在必行的。

    md5sum命令用于生成和校验文件的md5值。它会逐位对文件的内容进行校验。是文件的内容,与文件名无关,也就是文件内容相同,其md5值相同。md5值是一个128位的二进制数据,转换成16进制则是32(128/4)位的进制值。

    md5校验,有很小的概率不同的文件生成的md5可能相同。比md5更安全的校验算法还有SHA*系列的。

    在网络传输时,我们校验源文件获得其md5sum,传输完毕后,校验其目标文件,并对比如果源文件和目标文件md5 一致的话,则表示文件传输无异常。否则说明文件在传输过程中未正确传输。


2. 重要的选项

  • -b 以二进制模式读入文件内容
  • -t 以文本模式读入文件内容
  • -c 根据已生成的md5值,对现存文件进行校验
  • --status 校验完成后,不生成错误或正确的提示信息,可以通过命令的返回值来判断。

3. 使用举例

  •     生成文件md5值
md5sum file
   1: [root@master lianxi]# md5sum data    
   2: 0a6de444981b68d6a049053296491e49  data
   1: [root@master lianxi]# md5sum *
2: 0a6de444981b68d6a049053296491e49 data
3: 13df384c47dd2638fd923f60c40224c6 data2

     md5sum校验的是文件内容,与文件名无关

  • 以文本模式或二进制模式读入文件并对其进行校验

        -b 以二进制模式读入内容
        -t 以文本模式读入文件内容进行校验
        虽然是不同的读入模式,但是在进行求md5的时候,是一样的,因为是逐位校验的。
        如下文本文件,无论通过哪种模式读取md5都一致。

1: [root@master lianxi]# file data   
2: data: ASCII text   
3: [root@master lianxi]# md5sum data   
4: 0a6de444981b68d6a049053296491e49  data   
5: [root@master lianxi]# md5sum -b data   
6: 0a6de444981b68d6a049053296491e49 *data   
7: [root@master lianxi]# md5sum -t data   
8: 0a6de444981b68d6a049053296491e49  data
  • md5值重定向

        将生成md5值重定向到指定的文件,通常文件的扩展名我们会命为.md5

   1: [root@master lianxi]# md5sum data > data.md5
   2: [root@master lianxi]# md5sum data
   3: 0a6de444981b68d6a049053296491e49  data
   4: [root@master lianxi]# cat data.md5
   5: 0a6de444981b68d6a049053296491e49  data
  • 将多个文件的md5重定向到指定的文件

        每个文件的md5生成为一行

   1: [root@master lianxi]# ls
   2: data  data.bak  data.md5  d.md5
   3: [root@master lianxi]# md5sum data* > d.md5
   4: [root@master lianxi]# cat d.md5
   5: 0a6de444981b68d6a049053296491e49  data
   6: 0a6de444981b68d6a049053296491e49  data.bak
   7: 0bd94658869c53cdcdf35a0f7de93e01  data.md5
  • 重定向追加

        这里新增文件ls,单独求其md5,将其md5追加到文件中

   1: [root@master lianxi]# cp /bin/ls .
   2: [root@master lianxi]# ls
   3: data  data.bak  data.md5  d.md5  ls
   4: [root@master lianxi]# md5sum ls >> d.md5
   5: [root@master lianxi]# cat d.md5
   6: 0a6de444981b68d6a049053296491e49  data 
   7: 0a6de444981b68d6a049053296491e49  data.bak
   8: 0bd94658869c53cdcdf35a0f7de93e01  data.md5
   9: c6337b20f3c159544bff5cf622391f9e  ls
  •  md5校验

         -c选项来对文件md5进行校验。校验时,根据已生成的md5来进行校验。生成当前文件的md5,并和之前已经生成的md5进行对比,如果一致,则返回OK,否则返回错误信息
         md5sum –c d.md5

   1: [root@master lianxi]# md5sum -c d.md5
   2: data: OK
   3: data.bak: OK
   4: data.md5: OK 
   5: ls: OK

        修改文件后,文件md5变化

   1: [root@master lianxi]# ls
   2: data
   3: [root@master lianxi]# md5sum data
   4: 2360752c3368ca4f89169f5ecc06e383  data
   5: [root@master lianxi]# md5sum data  > data.md5
   6: [root@master lianxi]# echo "lwg" >> data
   7: [root@master lianxi]# md5sum data
   8: 287d237083a42f09785daa46a5fa3afe  data
   9: [root@master lianxi]# md5sum -c data.md5
   10: data: FAILED
   11: md5sum: WARNING: 1 of 1 computed checksum did NOT match

         --status,不显示校验信息,以命令返回值来判断
         校验一致返回0,不一致返回1

   1: [root@master lianxi]# md5sum -c data.md5
   2: data: FAILED
   3: md5sum: WARNING: 1 of 1 computed checksum did NOT match
   4: [root@master lianxi]# md5sum -c --status data.md5
   5: [root@master lianxi]# echo $?
   6: 1
  • 多个文件文件校验和grep连用

        通过grep将正确的信息过滤掉

   1: [root@master lianxi]# md5sum -c ../value.md5
   2: acpid: OK
   3: acpid.1: OK
   4: anaconda.log: OK
   5: anaconda.syslog: OK
   6: anaconda.xlog: OK
   7: boot.log: OK
   8: boot.log.1: OK
   9: ...
   10: ...
   11: 省略中间部分
  12: ...
   13: ...
   14: yum.log.2: OK  15: md5sum: WARNING: 1 of 56 computed checksums did NOT match
     1: [root@master lianxi]# md5sum -c ../value.md5 | grep -v OK
     2: md5sum: WARNING: 1 of 56 computed checksums did NOT match
     3: cron.1: FAILED

特殊说明
1)md5sum 是校验文件内容,与文件名是否相同无关

2)md5sum值逐位校验,所以文件越大,校验时间越长。

总结
通过md5sum来校验生成文件校验码,来发现文件传输(网络传输、复制、本地不同设备间的传输)异常造成的文件内容不一致的情况。


工作 实践应用场景:

需要比较2个rc1.tar.gz 包和rc2.tar.gz两个包,变更是不是和开发说的一致

1.获取包,确保包正确无误

   获取包后,验证包的MD5值:md5sum rc*.tar.gz

2. 解压缩到指定目录

    确保对应的目录存在

    tar -zxvf  rc1.tar.gz -C ./test_rc1

     tar -zxvf  rc2.tar.gz -C ./test_rc2

3. 递归生成各文件的的MD5值

    find ./test_rc1 -type f -print0| xargs -0 md5sum >> rc1_md5.txt

    find ./test_rc2 -type f -print0| xargs -0 md5sum >> rc2_md5.txt

4. 比较两文件的MD5值

    diff -c rc1_md5.txt  rc2_md5.txt

     或者用UltraCompare Professional比对结果

免责声明:文章转载自《Linux命令之md5sum》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇Oracle SQL获取每个分组中日期最大的一条数据搭建PHP开发环境(XAMPP+PhpStorm)下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

相关文章

移植busybox构建最小根文件系统

Busybox:瑞士军刀,里面装有很多小命令。 STEP 1:构建目录结构  创建根文件系统目录,主要包括以下目录/dev  /etc /lib  /usr  /var /proc /tmp /home /root /mnt /bin  /sbin  /sys  #mkdir     /home/rootfs#cd        /home/rootfs...

selenium解决上传文件问题之总结

一、上传文件框是input形式 首先定位上传按钮 发送要上传的文件 driver.findElement(By.id("XX")).sendKeys("D:\20.jpg"); 利用Robot类处理文件上传。 其大致流程可以为: 1、 利用selenium点击web上本地文件的上传按钮; 2、 在弹出的弹框中,文件路径输入框默认的是光标的聚焦,将文件在...

通过 redo日志恢复数据库

如果还原存档的重做日志文件和数据文件,则必须先执行介质恢复,然后才能打开数据库。归档重做日志文件中未反映在数据文件中的任何数据库事务都将应用于数据文件,从而在打开数据库之前将它们置于事务一致状态。 介质恢复需要控制文件,数据文件(通常从备份恢复)以及包含自备份数据文件以来的更改的联机和归档重做日志文件。介质恢复通常用于从介质故障中恢复,例如丢失文件或磁盘,...

Python爬虫入门

Python爬虫简介(来源于维基百科): 网络爬虫始于一张被称作种子的统一资源地址(URLs)列表。当网络爬虫访问这些统一资源定位器时,它们会甄别出页面上所有的超链接,并将它们写入一张"待访列表",即所谓"爬行疆域"(crawl frontier)。此疆域上的统一资源地址将被按照一套策略循环访问。如果爬虫在他执行的过程中复制归档和保存网站上的信息,这些档案...

CentOS7下简单几步操作自建DNS(使用coredns快速搭建简单dns服务器)

本文介绍了如何使用CoreDNS快速搭建一个简单DNS服务器,从而对CoreDNS有一个初步的认识。 1、下载coredns 通过coredns的github,下载coredns。coredns的release版本地址:https://github.com/coredns/coredns/releases 这里我下载的是当前最新版本——1.6.9:http...

geotrellis使用(四十二)将 Shp 文件转为 GeoJson

前言 一个多月没有写博客了,今天尝试着动笔写点。 原因很多,最重要的原因是我转行了。是的,我离开了开发岗位,走向了开发的天敌-产品经理。虽然名义上是产品经理,但是干的事情也很杂,除了不写代码,其他的都干,经常还要加个小班,所以就没那么多时间研究技术上的东西,机械键盘上已经落下了一层薄薄的灰尘。但是自己确实又爱码农这一行,上班看着同事畅快的敲着代码,心里就有...