Docker——JVM 感知容器的 CPU 和 Memory 资源限制

摘要:
前言对于那些在Java应用程序中使用Docker的CPU和内存限制的人来说,他们可能会遇到一些挑战。然而,如果不指定上述JVM命令行选项,当使用JavaSE8u121和更早版本的Java应用程序在Docker容器中运行时,可能会出现以下问题:旧的JVM版本无法自动发现Docker设置的内存限制和CPU限制。从JDK8u131开始,在JDK9中,JVM可以透明地了解Docker的CPU限制。然后,JVM将调整GC线程和JIT编译器线程的数量,就像它在裸机系统上运行一样。CPU数量设置为Docker CPU限制。
前言

对于那些在Java应用程序中使用Docker的CPU和内存限制的人来说,可能会遇到一些挑战。特别是CPU限制,因为JVM在内部透明地设置GC线程和JIT编译器线程的数量。

这些可以通过命令行选项 -XX:ParallelGCThreads 和 -XX:CICompilerCount 显式设置。对于内存限制,也可以通过JVM命令行选项 -Xmx 显式设置最大Java堆大小。

但是,在没有指定上述JVM命令行选项的情况下,当使用Java SE 8u121和更早版本的Java应用程序在Docker容器中运行时,可能会出现以下问题:

  • 老的 JVM 版本并不能自动的发现Docker设置的内存限制,CPU限制。这将导致JVM不能稳定服务业务,容器会杀死你JVM进程,而健康检查又将拉起你的JVM进程,进而导致一天重启次数甚至能达到几百次

首先Docker容器本质是是宿主机上的一个进程,它与宿主机共享一个/proc目录,也就是说我们在容器内看到的/proc/meminfo/proc/cpuinfo

与直接在宿主机上看到的一致,如下:

Host:

1
2
3
4
cat /proc/meminfo 
MemTotal: 197869260 kB
MemFree: 3698100 kB
MemAvailable: 62230260 kB

容器:

1
2
3
4
docker run -it --rm alpine cat /proc/meminfo
MemTotal: 197869260 kB
MemFree: 3677800 kB
MemAvailable: 62210088 kB

那么Java是如何获取到Host的内存信息的呢?没错就是通过/proc/meminfo来获取到的。

默认情况下,JVM的Max Heap Size是系统内存的1/4,假如我们系统是8G,那么JVM将的默认Heap≈2G。

Docker通过CGroups完成的是对内存的限制,而/proc目录是已只读形式挂载到容器中的,由于默认情况下Java压根就看不见CGroups的限制的内存大小,而默认使用/proc/meminfo中的信息作为内存信息进行启动,

这种不兼容情况会导致,如果容器分配的内存小于JVM的内存,JVM进程会被理解杀死。

  • 发现 “Parallel GC Threads” 和 “C* CompilerThread” 的线程数量不正常

以一个 CPU 设置为 4 的 docker 容器为例,“Parallel GC Threads” 线程数的计算公式在 vm_version.cpp 中:

  1)如果cpu核心数目少于等于8,则GC线程数量和CPU数一致

  2)如果cpu核心数大于8,则前8个核,每个核心对应一个GC线;其他核,每8个核对应5个GC线程

如果 os::active_processor_count() 返回 4,那么线程数应该是 4;但是实际的线程数为 33,可以反推 JVM 获取到的 CPU 核心数为 48,与物理机的核心数一致。

  • 使用Runtime.getRuntime().availableProcessors() ,会拿到宿主机CPU个数,而不是容器申请时的CPU个数
JDK 版本差异
  • 老的 JVM 版本(JDK 8u131以前)是无法感知容器的资源限制的。
  • JDK 8u131开始,在JDK 9,JVM可以透明地了解Docker的CPU限制。
CPU 限制
  • Java SE 8u131 和 JDK9

如果没有将 -XX:paralllelgthreads-XX:CICompilerCount 指定为命令行选项,JVM将应用Docker CPU限制作为JVM在系统上看到的CPU数量。

然后,JVM将调整GC线程和JIT编译器线程的数量,就像它在裸机系统上运行一样,CPU数量设置为Docker CPU限制。

如果 -XX:ParallelGCThreads-XX:CICompilerCount 被指定为JVM命令行选项,并且指定了Docker CPU限制,JVM将使用 -XX:ParallelGCThreads-XX:CICompilerCount 值。

只支持 --cpuset-cpus 这种指定固定 CPU 的方式:

docker run -it --cpuset-cpus="0" ubuntu /bin/bash
  • Java SE 8u191 和 JDK10

JVM知道在Docker容器中运行,并将提取特定于容器的配置信息,而不是从宿主机提取。正在提取的信息是已分配给容器的CPU数量和总内存。

Java进程可用的cpu总数是根据任何指定的cpu集、cpu共享或cpu配额计算的。此支持仅在基于Linux的平台上可用。默认情况下,此新支持是启用的,可以在命令行中使用JVM选项禁用:

-XX:-UseContainerSupport

此外,此更改还添加了一个JVM选项,该选项提供指定JVM将使用的cpu数量的能力:

-XX:ActiveProcessorCount=count

完整示例:

docker run -it --cpus=2 ubuntu /bin/bash

docker run -it --cpu-period=800000 --cpu-quota=100000 ubuntu /bin/bash

如果你对 docker 不太熟悉,可以通过官方文档理解cpus、cpu_quota、cpu_period 这三个配置项

Memory 限制
  • Java SE 8u131 和 JDK9

对于Docker内存限制,最大Java堆的透明设置还有一些工作要做。要告诉JVM在没有通过 -Xmx 设置最大Java堆的情况下注意Docker内存限制,需要两个JVM命令行选项:

-XX:+UnlockExperimentalVMOptions 和 -XX:+UseCGroupMemoryLimitForHeap

-XX:+UnlockExperimentalVMOptions 是必需的,因为在将来的版本中,目标是透明地标识Docker内存限制。

当使用这两个JVM命令行选项并且未指定 -Xmx 时,JVM将查看Linux cgroup配置,这是Docker容器用于设置内存限制的配置,以便透明地调整最大Java堆大小。

仅供参考,Docker容器也使用cGroup配置来限制CPU。

  • Java SE 8u191 和 JDK10

添加了三个新的JVM选项,以允许Docker容器用户更细粒度地控制将用于Java堆的系统内存量:

-XX:InitialRAMPercentage    #初始百分比
-XX:MaxRAMPercentage       #最大百分比
-XX:MinRAMPercentage        #最小百分比

这些选项替换已弃用的分数形式(-XX:InitialRAMFraction、-XX:maxmRamFraction和-XX:MinRAMFraction)。

总结

CPU

  • java5/6/7/8u131以前:手动设置jvm相关的选项,如:
    • ParallelGCThreads
    • ConcGCThreads
    • G1ConcRefinementThreads
    • CICompilerCount / CICompilerCountPerCPU
  • java8u131+ 和 java9+
    • java 8u131+ 和 java 8u191以前:--cpuset-cpus
    • java 8u191+: UseContainerSupport默认开启
  • java 10+:
    • 使用最新版就好了,UseContainerSupport默认开启

Memory

  • java5/6/7/8u131以前:务必设置内存选项
  • java8u131+ 和 java9+
    • java 8u131+ 和 java 8u191以前:-XX:+UnlockExperimentalVMOptions -XX:+UseCGroupMemoryLimitForHeap
    • java 8u191+: UseContainerSupport默认开启
  • java10+
    • 使用最新版就好了,UseContainerSupport默认开启

参考资料:

免责声明:文章转载自《Docker——JVM 感知容器的 CPU 和 Memory 资源限制》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇OBS 录制视频 自己留存cnetos7.3离线安装vscode下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

相关文章

Docker开发环境预览

目录 1.1 开发环境预览 1.1.1 启动单个容器开发 1.1.2 从特定的分支或标签创建一个开发环境 2.1 分享你的开发环境 3.1 优缺点 docker在我们印象中完成的是开发完阶段的部署与协作共享功能,最近Docker推出了适合开发阶段的Docker环境容器开发。 1.1 开发环境预览 开发环境允许您与团队成员共享正在进行的代码,从...

selenium+docker 遇到的问题

镜像3个   分别是   selenium/hub,selenium/node-firefox,selenium/node-chorme 出现错误:from unknown error: cannot determine loading status from tab crashed   (Session info: headless chrom 解决方法...

使用docker私有化部署nuget server-proget

在linux上使用docker部署proget 首先创建共用网络proget docker network create proget 创建postgresql库 docker run -d -v /etc/localtime:/etc/localtime:ro -v /var/proget/db:/var/lib/postgresql/data --ne...

CH5 ResourceManager重启

目录 概述 特性 非工作保留RM重启 工作保留RM重启 配置 Enable RM Restart 配置RM状态的保存 配置工作保留RM恢复 概述 ResourceManager是集群中绝对的资源管理工具,并且调度应用在YARN上运行。因此对于YARN来说是一个单点问题。这个文档介绍RM的重启。 有2种重启的方式: 1.非工作保留RM...

前端开发中常遇到的浏览器兼容问题小结

1. 默认的内外边距不同 问题:各个浏览器默认的内外边距不同 解决:*{margin:0;padding:0;} 2. 水平居中的问题 问题:设置 text-align: center;  ie6-7文本居中,嵌套的块元素也会居中,ff /opera /safari /ie8文本会居中,嵌套块不会居中 解决:块元素设置 1、margin-left:auto...

idea连接docker实现一键部署

一、修改配置文件,打开2375端口 [root@microservice ~]# vim /usr/lib/systemd/system/docker.service 在ExecStart=/usr/bin/dockerd-current 后面多加上一个原来的不用动 -H tcp://0.0.0.0:2375 重新加载配置文件和启动: systemctl...