Linux查看哪些进程占用的系统 buffer/cache 较高 (hcache,lsof)命令

摘要:
原文来自LZ(建筑所有者)的印象笔记。如果出现排版异常或图片丢失等问题,可以查看当前链接:https://app.yinxiang.com/shard/s17/nl/19391737/9652651a-7449-4e8e-b77e-1c60ea8b7d12本文主要解释了以下问题:1.服务器缓冲区/缓存的原因以及释放缓冲区/缓冲区的两种方法(自动和手动)。2.生产环境

原文内容来自于LZ(楼主)的印象笔记,如出现排版异常或图片丢失等问题,可查看当前链接:https://app.yinxiang.com/shard/s17/nl/19391737/9652651a-7449-4e8e-b77e-1c60ea8b7d12

本篇主要说明以下问题:
1、服务器 buffer/cache 的产生原因和释放buffer/cache 的两种方式(自动 & 手动)
2、生产环境遇到服务 buffer/cache 过高如何排查是由那几个进程引起的(hcache ,lsof 的使用方式
 

服务器 buffer/cache 的产生原因和释放buffer/cache 的两种方式(自动 & 手动)
 
1、什么是buffer/cache ?
    buffer/cache 其实是作为服务器系统的文件数据缓存使用的,尤其是针对进程对文件存在 read/write 操作的时候,所以当你的服务进程在对文件进行读写的时候,Linux内核为了提高服务的读写速度,则将会把文件放在此处的 buffer/cache 中进行缓存使用,由于 Linux服务的特点便是任何事物都会以文件的形式进行存在,所以你会发现不管你是否对文件做了大规模的读写,机器的 buffer/cache 是一直都存在的,并且持续的增高不下,这是因为服务器所产生的网络连接也好,用户协议的(UDP)套接字也好,这部分的数据系统都会为应用程序创建对应的文件描述符,而这些文件描述符的使用,则又都会重新进入 buffer/cache 中做读写使用,所以这也是你的机器始终都会存在较高 buffer/cache 的原因,(因为所有的文件读写都会用到 buffer/cache,在内存合理的情况下)
2、buffer/cache 需要注意的一些特点
    在服务内存够用的情况下,Linux内核为了加快对文件的读写效率会将文件放入之 buffer/cache 中 以保证读写效率,但其实,尽管当你的应用程序对文件的读写运行结束后,buffer/cache 也不会自动释放该部分内存,而是作为缓冲进行保留,等到你的服务进程在下一次进行相同文件的读写时就可以直接使用,省去了各种重新进行内存初始化的操作;所以这将会导致,当你的应用进程频繁对不同的文件进行读写时,你会发现服务所可以直接使用的free内存将会越来越少的一个重要原因;难道 buffer/cache 在这样无休止的缓存当中就不会自动释放?当然不是,当服务器在内存压力较大的情况下时,则将会自动进行内存的回收,作为free空间分给其它进程使用,这其中主要回收的一个内存则是 buffer/cache 的缓冲区内存块;
3、如何进行手动 buffer/cache 回收?
    除了在系统进程内存使用较大压力的情况下进行内存的回收外,我们也可以进行手动的buffer/cache回收,但由于buffer/cache主要是用于文件的读写使用,所以进行文件回收时,一般常伴随系统的IO彪高,因为系统内核也对比cache中的数据与硬盘中的数据是否一致,如果不一致需要写会,然后才能进行内存的回收;
将内存中数据强制先刷新到磁盘中
sync;
 
清理Buffer缓存区域
echo 3 > /proc/sys/vm/drop_caches 表示清除pagecache和slab分配器中的缓存对象
echo 1 > /proc/sys/vm/drop_caches:表示清除pagecache。
echo 2 > /proc/sys/vm/drop_caches:表示清除回收slab分配器中的对象(包括目录项缓存和inode缓存)。slab分配器是内核中管理内存的一种机制,其中很多缓存数据实现都是用的pagecache。
关于buffer/cache 的相关描述,具体也可以参考如下链接:
生产环境遇到服务 buffer/cache 过高如何排查是由那几个进程引起的(hcache 的使用方式)
 
1、hcache的下载地址
      hcache的github地址:https://github.com/silenceshell/hcache
 
2、 hcache的使用方式
    当前下载完对应的hcache后,则直接是一个对应的 bin文件,此时直接将对应的bin文件进行 chmod 授权后即可使用
将该bin文件设置为可执行文件
 
chmod 755 hcache
 
将该hcache移动到usr的bin目录中,使其可以被全局调用该命令
 
mv  hcache  /usr/local/bin/
 
3、hcache常用命令
全局显示10个最大的被缓存文件
hcache --top 10
 
| Name                                               | Size (bytes)   | Pages      | Cached    | Percent |
|-----------------------------------------------------------------------------------+----------------+-
| /app/java/jdk1.8.0_92/jre/lib/amd64/server/libjvm.so  | 41943040       | 10240      | 8682      | 084.785 |
| libmergedlo.so                                 | 101021431      | 24664      | 5858      | 023.751 |
| dockerd-current                               | 33398384       | 8154       | 3425      | 042.004 |
| libjvm.so                                           | 16938578       | 4136       | 2429      | 058.728 |
| libjvm.so                                           | 13363349       | 3263       | 1696      | 051.977 |
| docker-containerd-current               | 10807760       | 2639       | 1171      | 044.373 |
 
 
查看指定进程ID所使用的buffer/cache 的使用情况
 
hcache -pid 16322 
 
    通过上述所获取到的被缓存最大的文件名称后,可以直接通过 lsof   file_name 得到当前所开启该文件的所有进程信息;
显示使用 kbase-psrt.jar 的进程信息
 
[root@xiaoi-3614 ~]# lsof  /app/kbase-psrt-wscc/kbase-psrt.jar
COMMAND  PID USER   FD   TYPE DEVICE SIZE/OFF      NODE NAME
java    6048 root  mem    REG    8,2 59936357 137027366 /app/kbase-psrt-wscc/kbase-psrt.jar
java    6048 root    5r   REG    8,2 59936357 137027366 /app/kbase-psrt-wscc/kbase-psrt.jar
java    6048 root    6r   REG    8,2 59936357 137027366 /app/kbase-psrt-wscc/kbase-psrt.jar
java    6050 root  mem    REG    8,2 59936357 137027366 /app/kbase-psrt-wscc/kbase-psrt.jar
java    6050 root    5r   REG    8,2 59936357 137027366 /app/kbase-psrt-wscc/kbase-psrt.jar
java    6050 root    6r   REG    8,2 59936357 137027366 /app/kbase-psrt-wscc/kbase-psrt.jar
获取当前进程号所打开的所有文件信息
 
[root@xiaoi-3614 ~]# lsof -p 6048
COMMAND  PID USER   FD      TYPE             DEVICE  SIZE/OFF      NODE NAME
java    6048 root  cwd       DIR                8,2      4096 136958862 /app/kbase-psrt-wscc
java    6048 root  rtd       DIR                8,2      4096       128 /
java    6048 root  txt       REG                8,2      7734 202909666 /app/java/jdk1.8.0_92/bin/java
java    6048 root  mem       REG                8,2     88776 203501791 /usr/lib64/libgcc_s-4.8.5-20150702.so.1
java    6048 root  mem       REG                8,2    256702 135314838 /app/java/jdk1.8.0_92/jre/lib/amd64/libsunec.so
java    6048 root  mem       REG                8,2 106075056      2663 /usr/lib/locale/locale-archive
java    6048 root  mem       REG                8,2     93112 135314912 /app/java/jdk1.8.0_92/jre/lib/amd64/libnio.so
更多关于LSOF的使用,可以参考如下链接:

免责声明:文章转载自《Linux查看哪些进程占用的系统 buffer/cache 较高 (hcache,lsof)命令》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇sublime使用经验汇总ES6新特性概览下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

相关文章

TLS1.2协议设计原理

目录 前言 为什么需要TLS协议 发展历史 协议设计目标 记录协议 握手步骤 握手协议 Hello Request Client Hello Server Hello Certificate Server Key Exchange Certificate Request Server Hello Done Client Certificate C...

Linux Shellcode

Linux Shellcode 本篇主要是以x64系统为例对系统调用中一些功能性函数的解读和实际运用。目前网络上流传的通用shellcode,均使用系统调用实现,在记录整个学习过程的同时分享给大家一起学习探讨。 0x01 Shellcode 简介 0x1 shellcode Shellcode 是一段可以执行特定功能的特殊汇编代码,在设备漏洞利用过程...

Linux 安装 erlang 和 rabbitmq

1. 更新基本系统 安装任何软件包之前,建议使用以下命令更新软件包和存储库 yum -y update 2. 安装Erlang 由于RabbitMQ是基于Erlang(面向高并发的语言)语言开发,所以在安装RabbitMQ之前,需要先安装Erlang。在本教程中我们将安装最新版本的Erlang到服务器中。 Erlang在默认的YUM存储库中不可用,因此您...

android drawable 资源文件

做Android有段时间了,但是好多细节还没有深入理解,关于Android中drawable文件夹的使用理解的就不是很深入。 Android为开发者提供了两种解决适配问题的方法,第一种方式是使用dip的单位,另一种方法是使用不同的drawable文件夹,今天就详细说下不同文件夹的区别 Android中提供了三个存放图片的文件夹,分别为hdpi,mdpi,l...

手把手教你用C#打包应用程序(安装程序)【卸载模块已添加】

手把手教你用C#打包应用程序(安装程序)【卸载模块已添加】声明:软件平台:VisualStudio2005中文版(在03下操作雷同).1:新建安装部署项目打开VS,点击新建项目,选择:其他项目类型->安装与部署->安装向导(安装项目也一样),然后点击确定.(详细见下图)2:安装向导关闭后打开安装向导,点击下一步,或者直接点击完成.如下图:3:开...

ios模拟器安装测试包方法

1. 使用ios-sim ios-sim是一个可以用命令空着ios模拟器的工具。利用这个命令,我们可以启动模拟器、安装app、启动app、查询ios sdk,它可以使我们像自动化测试一样打开xcode,ios-sim只支持xcode6以后的版本。 命令使用如下: # 安装ios-sim的命令 # 先安装node npm install ios-sim...