索引节点(inode)爆满问题处理

摘要:
后来,我用df-I检查/data分区的索引节点,发现它已满,这导致系统无法创建新的目录和文件。inode是用于存储这些数据的信息,包括文件大小、所有者、用户组、读写权限等。inode索引每个文件的信息,因此它具有inode的值。根据指令,操作系统可以通过inode值最快找到对应的文件。故障排除的原因是/data/cache目录中有大量小字节缓存文件,这些文件占用少量块,但占用大量inode。

关于磁盘空间中索引节点爆满的问题还是挺多的,借此跟大家分享几个情况:

情况一

在公司一台配置较低的Linux服务器(内存、硬盘比较小)的/data分区内创建文件时,系统提示磁盘空间不足,用df -h命令查看了一下磁盘使用情况,发现/data分区只使用了66%,还有12G的剩余空间,按理说不会出现这种问题。

后来用df -i查看了一下/data分区的索引节点(inode),发现已经用满(IUsed=100%),导致系统无法创建新目录和文件。
[root@bastion-IDC ~]# df -i
Filesystem Inodes IUsed IFree IUse% Mounted on
.......
.......
/dev/mapper/VolGroup-lv_home
53452800 53452800 0 100% /data

inode译成中文就是索引节点,每个存储设备(例如硬盘)或存储设备的分区被格式化为文件系统后,应该有两部份,一部份是inode,另一部份是Block,Block是用来存储数据用的。而inode呢,就是用来存储这些数据的信息,这些信息包括文件大小、属主、归属的用户组、读写权限等。inode为每个文件进行信息索引,所以就有了inode的数值。操作系统根据指令,能通过inode值最快的找到相对应的文件。

这台服务器的Block虽然还有剩余,但inode已经用满,因此在创建新目录或文件时,系统提示磁盘空间不足。

排查是由于/data/cache目录中存在数量非常多的小字节缓存文件,占用的Block不多,但是占用了大量的inode。

解决方案:
1)删除/data/cache目录中的部分文件,释放出/data分区的一部分inode,特别要留意那些spool出来的文件,这种文件一般会占用比较多的节点,因为比较小而且零碎,同时要多留意日志文件信息等

2)用软连接将空闲分区/opt中的newcache目录连接到/data/cache,使用/opt分区的inode来缓解/data分区inode不足的问题:
# ln -s /opt/newcache /data/cache

3)更换服务器,用高配置的服务器替换低配置的服务器。

情况二

问题:使用"df -h"命令发现磁盘使用率没有占满,但是无法写入文件,提示"no space left on device"!
原因:磁盘的inode节点使用爆满了!("df -i"命令查看/var空间的inode爆满)。

-------------------------------------------------------------------------------
可能原因1:
crontab里面定时执行的句子里没有加 > /dev/null 2>&1,系统中cron执行的程序有输出内容,
输出内容会以邮件形式发给cron的用户,而sendmail没有启动所以就产生了很大零碎的文件:
crontab的job有问题,造成/var/spool/clientmqueue中产生许多的零碎文件。

处理方法:
用"rm -rf *"会不能删除,并会有相应的提示,大意是参数太多。

正确方法:
在/var/spool/clientmqueue/下执行命令:
# lsattr ./|awk -F"/" '{print $3}'|xargs -i rm -rf {}

表示用lsattr列出./下面的文件名的属性,用awk取出名字,然后rm -rf

还有一个比较靠谱的方法:
# find /var/spool/clientmqueue/ -type f -exec rm {} ;

或者在/var/spool/clientmqueue/目录下
# cd /var/spool/clientmqueue/
# find ./ -exec rm {} ;

将crontab中没有定向输出的行都在最后加上"> /dev/null 2>&1",在删除的过程中操作。
或者先停止crontab,加上重定向。
--------------------------------------------------------------------------------
可能原因2
可以看下日志文件是否太多,如果是日志文件占用大量的inodes可以临时释放清理下过期的日志。
也可以根据较大目录的文件占用情况,临时转移部分文件到占用磁盘较小的目录中。

其他总结

===================================================
当发现某个分区下的inode使用率过大时,需要找到该分区下的某些目录里有哪些文件可以清理。
查找某个目录下一个月或两个月之前的文件,然后删除
# find . -type f -mtime +30 |wc -l
# find . -type f -mtime +60 |wc -l
# find . -type f -mtime +30 -exec rm -f {} ;
# find . -type f -mtime +60 -exec rm -f {} ;

释放inode缓存
# sync
# echo 3 > /proc/sys/vm/drop_caches

再次检查下磁盘inode使用情况
# df -i
===================================================

1)删除无用的临时文件,释放inode。比如/tmp下有很多临时文件
# ls -lt /tmp | wc -l
# find /tmp -type f -exec rm {} ;
  
如果使用rm *,有可能因为文件数量太多而出现Argument list too long错误
------------------------------------------------------------------------------------------
是在linux下,试图传太多参数给一个系统命令(ls *; cp *; rm *; cat *; etc..)时,就会出现 Argument list too long错误。
  
解决方法:使用find -exec 遍历,然后执行删除便可。
# find /tmp -type f -exec rm {} ;
------------------------------------------------------------------------------------------
  
2)除了的临时文件外,0字节的文件也会占用inode,应该也释放。
# find /home -type f -size 0 -exec rm {} ;
  
3)inode爆满,也可能是某些目录下存在大量的小文件导致。
大量小文件分布有两种可能:
a)一是只有一个或少量目录下存在大量小文件,这种情况可以使用如下命令来找出这个异常目录:
# find / -type d -size +10M  
即找出大小大于10M的目录(目录大小越大,表示目录下的文件越多)。
  
b)大量的小文件分布在大量的目录下,这时候上面的命令可能找不出异常的目录,需要以下命令:
# cd /
# find */ ! -type l | cut -d / -f 1 | uniq -c
此命令作用是找出目录下文件总数,可能需要执行多次,直到找出具体的目录。比如上面的命令找出了/data目录下存在大量的小文件,
但/data/目录还有很多目录,这时候我们还需要继续执行:
# cd /data
# find */ ! -type l | cut -d / -f 1 | uniq -c
直到找出具体的目录。
  
如果可以直接删除节点满的文件夹:
# find . -type f -exec rm {} ;
  
还可以按照文件的inode节点删除文件
# find . -inum 342137 -exec rm -i {} ;

免责声明:文章转载自《索引节点(inode)爆满问题处理》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇springsession生成sessionid不一致问题解决linux性能评估-磁盘io概念实战篇下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

相关文章

BAT文件编写基础知识

BAT脚本编写基础知识 BAT文件,即批处理(Batch)文件,在DOS或Windows系统中都是可执行文件。BAT文件由一系列命令构成,其中可以包含对其他程序的调用。批处理定义:批处理文件是将一系列命令按一定的顺序集合为一个可执行的文本文件,其扩展名为BAT或者CMD。这些命令统称批处理命令。有关BAT的百度百科介绍:BAT(批处理文件类型) 批处理...

【Linux】2 安装 Linux 操作系统(超级详细版)

CentOS 系统官网下载:http://isoredirect.centos.org/centos/7/isos/x86_64/CentOS-7-x86_64-DVD-1810.iso 点击创建新的虚拟机,选择 自定义(高级),然后点击下一步; 默认设置就好,点击"下一步"; 选择 "稍后安装操作系统",点击"下一步"; 选择"Linux", 版本选...

AJAX全套

概述  对于WEB应用程序:用户浏览器发送请求,服务器接收并处理请求,然后返回结果,往往返回就是字符串(HTML),浏览器将字符串(HTML)渲染并显示浏览器上。 AJAX类似于偷偷像后台发送数据。 1、传统的Web应用 一个简单操作需要重新加载全局数据 2、AJAX AJAX,Asynchronous JavaScript and XML (异步的Ja...

linux中find与rm实现查找并删除目录或文件

linux 下用find命令查找文件,rm命令删除文件。 删除指定目录下指定文件find 要查找的目录名 -name .svn |xargs rm -rf 删除指定名称的文件或文件夹: find -type d | grep .svn$ | xargs rm -r 分析:find -type d | grep .svn$ 通过此命令查找文件夹 过滤正则表达...

ORM操作mysql

创建表和添加数据import sqlalchemyfrom sqlalchemy import create_enginefrom sqlalchemy.ext.declarative import declarative_basefrom sqlalchemy import Column, Integer, Stringfrom sqlalchemy.o...

win10+jenkins+git+自动发布(搭建+构建)

1.下载jenkinshttps://jenkins.io/download/ 直接百度jenkins 进行下载  我一般是直接下载最新的 这里已windows为例 下载成功后 会给到你一个压缩包 解压后得到 jenkins.msi 点击安装 自己选择安装目录 例如我的 D:softwarejenkins   2.修改jenkins的端口因为jenkin...