mongodb 占用内存及解决方法

摘要:
解决方案是限制Swap的使用:[root@mongodb~]#Sysctl wvm。swap=0查看内存最常用的命令是空闲的:[root@mongodb~]#Free totalused freesharedbuff/cacheavailableEm:78250931925992443Swap:000当新手看到used列中的值太大而Free列中的数值太小时,他通常认为内存不足。除了free命令,您还可以使用sar命令:[root@mongodb~]#sar-rLinux3.10.0-514.6.2.el7.x86 _ 6407/16/2021_ x86 _ 64 _12: 00:01AMkbmemfreekbmemused%memusedkbbufferskbcachedkbccommit%commitkbactivekbinatkbdirty12:0:01AM178424783201697.771260099756074044492.44705067252753212412:2:01AM132188787825298.351262810432847404882092.44706806560648012:301AM152124785831698101254410235687404478892.4470787005252009212:40:01AM168408784203297.90152281005108740480092.4470537245347924142:0:02AM150300786014098.1212688109264743484492.81707514853047266401:0:01am968078807609.88106241033012742229692.667084864541293677201:10:01am35820787462098.3064521054888742229292.6670883645377041797201:20:01AM146848786359298.181801063844742232492.667074765395283408001:301am30196788024498.3786161089936741954492.62707428855876031048[root@mongodb~]#sar-WLinux3.10.0-514.6.2.el7.x86 _ 6407/16/2021_ x86 _ 64 _ 12:00:01AMpswpin/spwpout/s12:10:01AM0.000.0012:20:01AM0.000.0012-30:01AM.000.0012:40:01AM0000.0012:50:02AM0.000.0001:00:01AM 0.000.000.000.000.002查看MongoDB服务器的顶部命令结果:[root@mongodb~]#Top-p$Top-10:25:25up1074天,21:31,2个用户,平均负载:0.77,0.63,0.58任务:1个总任务,0个正在运行,1个正在休眠,0个停止,0个僵尸%Cpu:6.8us,1.1sy,0.0ni,91.6id,0.5wa,0.0hi,0.1si,0.0stKiBMem:8010440总任务,848492free,5102988已使用,2058960buff/cacheKiBSwap:0总任务,0free,0已使用。2621556availMemPIDUSER PRNIVIRTRESHRS%CPU%MEMTIME+COMMAND8416root20035434402.385g9864S29.331.26:52.62 mongod或top first,然后shift+m将根据占用的内存量对当前条目进行排序。看看mongodb可以使用多少内存。

1.先了解一下linux对内存的管理方式: 
在Linux里(别的系统也差不多),内存有物理内存和虚拟内存之说,物理内存是什么自然无需解释,虚拟内存实际是物理内存的抽象,多数情况下,出于方便性的考虑,程序访问的都是虚拟内存地址,然后操作系统会把它翻译成物理内存地址。 
很多人会把虚拟内存和Swap混为一谈,实际上Swap只是虚拟内存引申出的一种技术而已:操作系统一旦物理内存不足,为了腾出内存空间存放新内容,就会把当前物理内存中的内容放到交换分区里,稍后用到的时候再取回来,需要注意的是,Swap的使用可能会带来性能问题,偶尔为之无需紧张,糟糕的是物理内存和交换分区频繁的发生数据交换,这被称之为Swap颠簸,一旦发生这种情况,先要明确是什么原因造成的,如果是内存不足就好办了,加内存就可以解决,不过有的时候即使内存充足也可能会出现这种问题。解决方法是限制使用Swap: 

[root@mongodb ~]# sysctl -w vm.swappiness=0 

查看内存情况最常用的是free命令: 

[root@mongodb ~]# free -m
              total        used        free      shared  buff/cache   available
Mem:           7822        5093         129           0        2599        2443
Swap:             0           0           0

新手看到used一栏数值偏大,free一栏数值偏小,往往会认为内存要用光了。其实并非如此,之所以这样是因为每当我们操作文件的时候,Linux都会尽可能的把文件缓存到内存里,这样下次访问的时候,就可以直接从内存中取结果,所以cached一栏的数值非常的大,不过不用担心,这部分内存是可回收的,操作系统会按照LRU算法淘汰冷数据。除了cached,还有一个buffers,它和cached类似,也是可回收的,不过它的侧重点在于缓解不同设备的操作速度不一致造成的阻塞,这里就不多做解释了。 
知道了原理,我们就可以推算出系统可用的内存是free + buffers + cached,至于系统实际使用的内存是used – buffers – cached。

除了free命令,还可以使用sar命令:

[root@mongodb ~]# sar -r
Linux 3.10.0-514.6.2.el7.x86_64 (mongodb)       07/16/2021      _x86_64_        (4 CPU)

12:00:01 AM kbmemfree kbmemused  %memused kbbuffers  kbcached  kbcommit   %commit  kbactive   kbinact   kbdirty
12:10:01 AM    178424   7832016     97.77     12600    997560   7404844     92.44   7050672    527532       124
12:20:01 AM    132188   7878252     98.35     12628   1043284   7404820     92.44   7068096    556064        80
12:30:01 AM    152124   7858316     98.10     12544   1023568   7404788     92.44   7078700    525200        92
12:40:01 AM    168408   7842032     97.90     15228   1005108   7404800     92.44   7053724    534792       144
12:50:02 AM    150300   7860140     98.12     12688   1009264   7434844     92.81   7075148    530472       664
01:00:01 AM    129680   7880760     98.38     10624   1033012   7422296     92.66   7084864    541296       372
01:10:01 AM    135820   7874620     98.30      6452   1054888   7422292     92.66   7088364    537704     17972
01:20:01 AM    146848   7863592     98.17      8180   1063844   7422324     92.66   7077476    539528     34080
01:30:01 AM    130196   7880244     98.37      8616   1089936   7419544     92.62   7074288    558760     31048

[root@mongodb ~]# sar -W
Linux 3.10.0-514.6.2.el7.x86_64 (mongodb) 07/16/2021 _x86_64_ (4 CPU)

12:00:01 AM pswpin/s pswpout/s
12:10:01 AM 0.00 0.00
12:20:01 AM 0.00 0.00
12:30:01 AM 0.00 0.00
12:40:01 AM 0.00 0.00
12:50:02 AM 0.00 0.00
01:00:01 AM 0.00 0.00

2.看一个MongoDB服务器的top命令结果:

[root@mongodb ~]# top -p $(pidof mongod)

top - 10:25:25 up 1074 days, 21:31,  2 users,  load average: 0.77, 0.63, 0.58
Tasks:   1 total,   0 running,   1 sleeping,   0 stopped,   0 zombie
%Cpu(s):  6.8 us,  1.1 sy,  0.0 ni, 91.6 id,  0.5 wa,  0.0 hi,  0.1 si,  0.0 st
KiB Mem :  8010440 total,   848492 free,  5102988 used,  2058960 buff/cache
KiB Swap:        0 total,        0 free,        0 used.  2621556 avail Mem 

  PID USER      PR  NI    VIRT    RES    SHR S  %CPU %MEM     TIME+ COMMAND                                                         
 8416 root      20   0 3543440 2.385g   9864 S  29.3 31.2   6:52.62 mongod

或者 先top后,然后 shift+m 把当前进场按占用内存的多少排序。看看你的mongodb能占用多少内存。 

平时可以通过mongo命令行来监控MongoDB的内存使用情况,如下所示:

MongoDB Enterprise > db.serverStatus().mem;
{
        "bits" : 64,
        "resident" : 2588,
        "virtual" : 3612,
        "supported" : true,
        "mapped" : 0,
        "mappedWithJournal" : 0
}

还可以通过mongostat命令来监控MongoDB的内存使用情况,如下所示:

[root@mongodb ~]# mongostat  --authenticationDatabase=admin
insert query update delete getmore command dirty  used flushes vsize   res qrw arw net_in net_out conn                time
  1636    *0     *0     *0       0     4|0  8.0% 80.1%       0 3.53G 2.53G 0|0 1|0   452k    105k   13 Jul 16 10:42:39.357
  1620    *0     *0     *0       0     3|0  8.0% 80.1%       0 3.53G 2.53G 0|0 1|0   450k    103k   13 Jul 16 10:42:40.358
  1671    *0     *0     *0       0     1|0  7.9% 80.0%       0 3.53G 2.53G 0|0 1|0   460k    103k   13 Jul 16 10:42:41.358
  1630    *0     *0     *0       0     2|0  8.1% 80.0%       0 3.53G 2.53G 0|0 1|0   450k    103k   13 Jul 16 10:42:42.356
  1626    *0     *0     *0       0     1|0  7.9% 79.9%       0 3.53G 2.53G 0|0 1|0   451k    103k   13 Jul 16 10:42:43.356

其中内存相关字段的含义是: 
mapped:映射到内存的数据大小 
visze:占用的虚拟内存大小 
res:实际使用的内存大小 
注:如果操作不能再内存中完成,结果faults列的数值不会是0,视大小可能有性能问题。

vsize是mapped的两倍,而mapped等于数据文件的大小,所以说vsize是数据文件的两倍,之所以会这样,是因为本例中,MongoDB开启了journal,需要在内存里多映射一次数据文件,如果关闭journal,则vsize和mapped大致相当。 

如果想验证这一点,可以在开启或关闭journal后,通过pmap命令来观察文件映射情况: 

[root@mongodb ~]# pmap $(pidof mongod) 
8416:   /usr/local/mongodb/bin/mongod --config=/usr/local/mongodb/mongodb.conf
00001190f3743000 655360K -----   [ anon ]
00007f467c968000      4K -----   [ anon ]
00007f467c969000   1024K rw---   [ anon ]
00007f467ca69000      4K -----   [ anon ]
00007f467ca6a000   1024K rw---   [ anon ]

接着咱们分析一下mongodb是怎么使用内存的: 

目前,MongoDB使用的是内存映射存储引擎,它会把磁盘IO操作转换成内存操作,如果是读操作,内存中的数据起到缓存的作用,如果是写操作,内存还可以把随机的写操作转换成顺序的写操作,总之可以大幅度提升性能。MongoDB并不干涉内存管理工作,而是把这些工作留给操作系统的虚拟缓存管理器去处理,这样的好处是简化了MongoDB的工作,但坏处是你没有方法很方便的控制MongoDB占多大内存,事实上MongoDB会占用所有能用的内存,所以最好不要把别的服务和MongoDB放一起。 

有时候,即便MongoDB使用的是64位操作系统,也可能会遭遇臭名昭著的OOM问题,出现这种情况,多半是因为限制了虚拟内存的大小所致,可以这样查看当前值: 

[root@mongodb ~]# ulimit -a | grep 'virtual' 
virtual memory          (kbytes, -v) unlimited

多数操作系统缺省都是把它设置成unlimited的,如果你的操作系统不是,可以这样修改: 

[root@mongodb ~]# ulimit -v unlimited 

不过要注意的是,ulimit的使用是有上下文的,最好放在MongoDB的启动脚本里。 

到底MongoDB配备多大内存合适?宽泛点来说,多多益善,如果要确切点来说,这实际取决于你的数据及索引的大小,内存如果能够装下全部数据加索引是最佳情况,不过很多时候,数据都会比内存大,比如本文说涉及的MongoDB实例: 

MongoDB Enterprise > db.stats();
{
"db" : "loc",
"collections" : 2,
"views" : 0,
"objects" : 1335266749,
"avgObjSize" : 230.06233968311003,
"dataSize" : 307194592376,
"storageSize" : 225892519936,
"numExtents" : 0,
"indexes" : 2,
"indexSize" : 63411568640,
"fsUsedSize" : 338585542656,
"fsTotalSize" : 845376524288,
"ok" : 1
}

索引只有1G多,内存完全能装下,而数据文件则达到了1T,估计很难找到这么大内存,此时保证内存能装下热数据即可,至于热数据有多少,这就是个比例问题了,取决于具体的应用。如此一来内存大小就明确了:内存 > 索引 + 热数据。 

3.解决方法,操作步骤如下:

  (1)限制内存: sysctl -w vm.swappiness=0

  (2)调整内核参数drop_caches释放缓存: 
  # sysctl -w vm.drop_caches=1 

  # echo 3 > /proc/sys/vm/drop_caches

  (3)在Mongodb对应的config中改如下参数:

storage:
  #dbPath: /var/lib/mongo
  dbPath: /home/mongodb/rs/data
  journal:
    enabled: true
  directoryPerDB: true
  engine: wiredTiger
#  mmapv1:
  wiredTiger:
     engineConfig:
        cacheSizeGB: 5
#这个数字是你设置的limit x 60% - 1G,最小1G。

修改配置后重启mongo,以后内存占用就不会自动上升了。

根据以上的分析我们可以得出几点结论: 
1. mongodb 直接用操作系统的内存管理器来管理内存。而操作系统采用的是LRU算法淘汰冷数据。 
2. mongodb可以用重启服务、调整内核参数以及调整配置mongodb清理mongodb对内存的缓存。可能存在的问题是:这几种清理方式都是全部清理,这样的话mongodb的内存缓存就失效了。 
3. mongodb 对内存的使用是可以被监控的,在生产环境中要定时的去监控这些数据。 
4. mongodb 对内存这种占用方式使其尽量的和其他占用内存的业务分开部署,例如memcahe,sphinx,mysql等。 
5. 操作系统中的交换分区swap 如果操作频繁的话,会严重降低系统效率。要解决可以禁用交换分区,以及增加内存以及做分布式。 
6.  生产环境中mongodb所在的主机应该尽量的大内存。 

 参考:

https://blog.csdn.net/a799645820/article/details/81239652

https://www.cnblogs.com/luo-mao/p/5872388.html

免责声明:文章转载自《mongodb 占用内存及解决方法》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇ActiveMQ教程(消息发送和接受)Makefile系列之三 : 变量下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

相关文章

MongoDB 备份与恢复的实践

网站运行了不少日子了,一些数据需要备份。今天研究了下MongoDB的一些有关备份的方法: 1)使用mongodump和mongorestore工具:(参见http://cn.docs.mongodb.org/master/reference/program/mongodump/) 使用起来很简单,在任何目录执行mongodump就行了(把mongodb安装...

NoSQL代表: Mongo DB(芒果数据库)

转载(NoSQL代表: Mongo DB(芒果数据库) ) 一、MongoDB简介         MongoDB是一个基于分布式文件存储的数据库,由C++语言编写,旨在为WEB应用提供可扩展的高性能数据存储解决方案。其名字来自humongous这个单词的中间部分,从名字可见其野心所在就是海量数据的处理。(humongous:堆积如山)2011年将被记住,...

MongoDB 3.4.2 安装填坑

1,安装 mongodb-win32-x86_64-enterprise-windows-64-3.4.2-signed  到  Win Server 2008 Enterprise R2 上;安装打开后报错如下: ---------------------------mongo.exe - 无法找到入口--------------------------...

mongoDB的文档查询

1.简单查询:   find() 方法以非结构化的方式来显示所有文档。 语法 MongoDB 查询数据的语法格式如下:      collection是集合名字,注意应该是当前数据库的集合,collection也可以换为getCollection('colle_name') db.collection.find(query, projection) q...

MongoDb问题集

一、解决SpringBoot MongoDB插入文档默认生成_class字段问题  @Configuration public class SpringMongoConfig{ @Bean public MongoTemplate mongoTemplate() throws Exception { //remove _clas...

MongoDB 权限管理 用户名和密码的操作

在刚安装完毕的时候MongoDB都默认有一个admin数据库,而admin.system.users中将会保存比在其它数据库中设置的用户权限更大的用户信息。  当admin.system.users中一个用户都没有时,即使mongod启动时添加了--auth参数,如果没有在admin数据库中添加用户,此时不进行任何认证还是可以做任何操作,直到在admin....