kubelet说明
首先kubelet的运行环境是在node上
在Kubernetes集群中的每个workNode需要运行kubelet用于与apiServer通信
kubeadm join过程
如果使用kubeadm集群管理工具安装的集群，官方提供二种方式将worknode加入到Kubernetes集群中
- 使用共享令牌、apiserver地址:端口（具体命令形式 kubeadm join apiserver地址:6443 --token --discovery-token-ca-cert-hash sha256: --v=5 ）
- 提供kubeconfig相关文件，该文件的形式可以是一个本地文件，或者是URL的形式（kubeadm join --discovery-file apth/to/file.conf 或者 kubeadm join --discovery-file https://usr/file.conf）
token 提供标识的令牌
--discovery-token-ca-cert-hash，提供Kubernetes集群根证书颁发机构CA公钥的哈希值
加入过程
- 预加入检测（环境检查，镜像下载）
- 从control-plane节点的kubeadm-certs 下载需要的证书
- 生成kubelet配置文件，生成的源文件位于Kubernetes集群中的kubelet-config ConfigMap中，用于集中管理
- 启动kubelet
到此WorkNode注册完成，然后持续监控API服务器调度指令，同时kubelet也会将自身节点状态信息（节点资源CPU/MEM/DISK、资源消耗/资源空闲信息、故障事件、）报告于API服务器
同时接收API服务器的调度指令，如创建Pod、故障转移、状态检测
kubelet配置管理
kubelet的配置文件管理方式如下3种
- 单独维护自身节点的配置文件（/var/lib/kubelet/config.yaml）可以直接修改需要重启kubelet，存在一定的风险，如果在高并发情况下，服务短暂停止也有可能hang住
- 动态配置kubelet运行环境（kubernetes v1.22已经废掉该功能，不推荐使用）
- kubelet配置集中管理，初始化文件被Kubernetes kubelet-config ConfigMap集中管理，统一下发到各个WorkNode下
方案一
通过配置文件设置 Kubelet 参数
具体二种方式配置如下
- 修改kubelet启动参数，参考阿里云ACK配置，如下
/etc/systemd/system/kubelet.service.d
具体kubelet参数请参考官方文档，如下
https://kubernetes.io/docs/reference/command-line-tools-reference/kubelet/
[root@iZj6c9xktnoxcwok6asqa9Z kubelet.service.d]# cat 10-kubeadm.conf [Service] EnvironmentFile=-/etc/kubernetes/kubelet-customized-args.conf Environment="KUBELET_KUBECONFIG_ARGS=--bootstrap-kubeconfig=/etc/kubernetes/bootstrap-kubelet.conf --kubeconfig=/etc/kubernetes/kubelet.conf" Environment="KUBELET_SYSTEM_PODS_ARGS=--max-pods 23 --pod-max-pids 16384 --pod-manifest-path=/etc/kubernetes/manifests" Environment="KUBELET_NETWORK_ARGS=--network-plugin=cni --cni-conf-dir=/etc/cni/net.d --cni-bin-dir=/opt/cni/bin --dynamic-config-dir=/etc/kubernetes/kubelet-config --v=3" Environment="KUBELET_DNS_ARGS=--enable-controller-attach-detach=true --cluster-dns=192.168.0.10 --pod-infra-container-image=registry-vpc.cn-hongkong.aliyuncs.com/acs/pause:3.2 --enable-load-reader --cluster-domain=demo.local --cloud-provider=external --hostname-override=cn-hongkong.172.31.34.242 --provider-id=cn-hongkong.i-j6c9xktnoxcwok6asqa9" Environment="KUBELET_AUTHZ_ARGS=--authorization-mode=Webhook --authentication-token-webhook=true --anonymous-auth=false --client-ca-file=/etc/kubernetes/pki/ca.crt" Environment="KUBELET_CGROUP_ARGS=--cgroup-driver=systemd" Environment="KUBELET_CERTIFICATE_ARGS=--tls-cipher-suites=TLS_ECDHE_ECDSA_WITH_AES_128_GCM_SHA256,TLS_ECDHE_RSA_WITH_AES_128_GCM_SHA256,TLS_ECDHE_ECDSA_WITH_CHACHA20_POLY1305,TLS_ECDHE_R SA_WITH_AES_256_GCM_SHA384,TLS_ECDHE_RSA_WITH_CHACHA20_POLY1305,TLS_ECDHE_ECDSA_WITH_AES_256_GCM_SHA384,TLS_RSA_WITH_AES_256_GCM_SHA384,TLS_RSA_WITH_AES_128_GCM_SHA256 --tls-cert-file=/v ar/lib/kubelet/pki/kubelet.crt --tls-private-key-file=/var/lib/kubelet/pki/kubelet.key --rotate-certificates=true --cert-dir=/var/lib/kubelet/pki" ExecStart= ExecStart=/usr/bin/kubelet $KUBELET_KUBECONFIG_ARGS $KUBELET_SYSTEM_PODS_ARGS $KUBELET_NETWORK_ARGS $KUBELET_DNS_ARGS $KUBELET_AUTHZ_ARGS $KUBELET_CGROUP_ARGS $KUBELET_CERTIFICATE_ARGS $ KUBELET_EXTRA_ARGS $KUBELET_CUSTOMIZED_ARGS
ps -ef查看进程如下效果
[root@iZj6c9xktnoxcwok6asqa9Z kubelet.service.d]# ps -ef | grep kubelet root 3288 1 2 Oct26 ? 1-08:52:32 /usr/bin/kubelet --bootstrap-kubeconfig=/etc/kubernetes/bootstrap-kubelet.conf --kubeconfig=/etc/kubernetes/kubelet.conf --max-pods 23 --pod-max-pids 16384 --pod-manifest-path=/etc/kubernetes/manifests --network-plugin=cni --cni-conf-dir=/etc/cni/net.d --cni-bin-dir=/opt/cni/bin --dynamic-config-dir=/etc/kubernetes/k ubelet-config --v=3 --enable-controller-attach-detach=true --cluster-dns=192.168.0.10 --pod-infra-container-image=registry-vpc.cn-hongkong.aliyuncs.com/acs/pause:3.2 --enable-load-reader --cluster-domain=demo.local --cloud-provider=external --hostname-override=cn-hongkong.172.31.34.242 --provider-id=cn-hongkong.i-j6c9xktnoxcwok6asqa9 --authorization-mode=Webhook --authe ntication-token-webhook=true --anonymous-auth=false --client-ca-file=/etc/kubernetes/pki/ca.crt --cgroup-driver=systemd --tls-cipher-suites=TLS_ECDHE_ECDSA_WITH_AES_128_GCM_SHA256,TLS_EC DHE_RSA_WITH_AES_128_GCM_SHA256,TLS_ECDHE_ECDSA_WITH_CHACHA20_POLY1305,TLS_ECDHE_RSA_WITH_AES_256_GCM_SHA384,TLS_ECDHE_RSA_WITH_CHACHA20_POLY1305,TLS_ECDHE_ECDSA_WITH_AES_256_GCM_SHA384, TLS_RSA_WITH_AES_256_GCM_SHA384,TLS_RSA_WITH_AES_128_GCM_SHA256 --tls-cert-file=/var/lib/kubelet/pki/kubelet.crt --tls-private-key-file=/var/lib/kubelet/pki/kubelet.key --rotate-certific ates=true --cert-dir=/var/lib/kubelet/pki --eviction-hard=imagefs.available<15%,memory.available<300Mi,nodefs.available<10%,nodefs.inodesFree<5% --system-reserved=memory=300Mi --kube-res erved=memory=400Mi --kube-reserved=pid=1000 --system-reserved=pid=1000
- 生成一个config.yaml文件，如下
可以在原有基础上修改或者新增一些必要的参数
具体config.yaml配置文件，结构可参考官方文档
https://kubernetes.io/zh/docs/reference/config-api/kubelet-config.v1beta1/
apiVersion: kubelet.config.k8s.io/v1beta1 authentication: anonymous: enabled: false webhook: cacheTTL: 0s enabled: true x509: clientCAFile: /etc/kubernetes/pki/ca.crt authorization: mode: Webhook webhook: cacheAuthorizedTTL: 0s cacheUnauthorizedTTL: 0s clusterDNS: - 10.12.0.10 maxPods: 32 systemReserved: cpu: 300m memory: 300Mi kubeReserved: cpu: 300m memory: 200Mi evictionHard: memory.available: "300Mi" nodefs.available: "15%" nodefs.inodesFree: "5%" imagefs.available: "15%" evictionMinimumReclaim: memory.available: "0Mi" nodefs.available: "20Gi" imagefs.available: "10Gi" clusterDomain: cluster.local cpuManagerReconcilePeriod: 0s evictionPressureTransitionPeriod: 0s fileCheckFrequency: 0s healthzBindAddress: 127.0.0.1 healthzPort: 10248 httpCheckFrequency: 0s imageMinimumGCAge: 0s kind: KubeletConfiguration nodeStatusReportFrequency: 0s nodeStatusUpdateFrequency: 0s rotateCertificates: true runtimeRequestTimeout: 0s staticPodPath: /etc/kubernetes/manifests streamingConnectionIdleTimeout: 0s syncFrequency: 0s volumeStatsAggPeriod: 0s
如何查看默认kubelet的配置，如下
curl -sk https://kubernetes.default.svc/api/v1/nodes/pre-be-k8s-wn1/proxy/configz | jq -r
方案二
动态配置kubelet运行环境
既然官方明确指出，此功能已在Kubernetes v1.22版本被废除，运行环境需低于1.22版本
引用官方文档，地址如下
https://v1-22.docs.kubernetes.io/zh/docs/tasks/administer-cluster/reconfigure-kubelet/
大致过程如下
- 准备自定义一个kubelet config.yaml配置文件
- 将此文件生成Kubernetes ConfigMap资源用于集中管理（保存在Kubernetes Control-plane节点）
- 修改WorkNode节点对象从此ConfigMap获取配置配置文件
被废除的功能，不详细说明
方案三
使用Kubernetes ConfigMap集中管理kubelet config.yaml
引用官方文档，地址如下
https://kubernetes.io/zh/docs/setup/production-environment/tools/kubeadm/kubelet-integration/
使用kubeadm配置kubelet模式共有二种，如下
- 集群中心配置传播到节点的kubelet
方式一，在kubeadm init & kubeadm join 可以使用默认值，在初始化 & 加入集群后节点的默认配置文件位置位于/var/lib/kubelet/config.yaml并且上传至集群的ConfigMap命名是kubelet-config-1.x，其中x代表的是你当前使用的kubernetes版本。如果在初始化完成后，也可以及时修改ConfigMap配置（根据你需要的参数，比如DNS地址，clusterDomain），同时生成kubelet与集群API交互的通信加密文档kubelet.conf，存放在/etc/kubernetes/kubelet.conf，配置范围边界为整个集群内
方式二，当然也可以在初始化前，自定义kubeadm-config配置文件，这个有点复杂，具体参考官方文档，https://kubernetes.io/docs/reference/config-api/kubeadm-config.v1beta2/。可以使用 kubeadm config print init-defaults --component-configs [KubeProxyConfiguration KubeletConfiguration] 生成一个默认的，然后再加以修改
在集群中特殊的节点配置指定的参数
通常在初始化完成 & 加入集群之后进行调整，通过调整kubelet的启动参数，如 KUBELET_KUBECONFIG_ARGS
[Service] Environment="KUBELET_KUBECONFIG_ARGS=--bootstrap-kubeconfig=/etc/kubernetes/bootstrap-kubelet.conf --kubeconfig=/etc/kubernetes/kubelet.conf" Environment="KUBELET_CONFIG_ARGS=--config=/var/lib/kubelet/config.yaml" # This is a file that "kubeadm init" and "kubeadm join" generates at runtime, populating the KUBELET_KUBEADM_ARGS variable dynamically EnvironmentFile=-/var/lib/kubelet/kubeadm-flags.env # This is a file that the user can use for overrides of the kubelet args as a last resort. Preferably, the user should use # the .NodeRegistration.KubeletExtraArgs object in the configuration files instead. KUBELET_EXTRA_ARGS should be sourced from this file. EnvironmentFile=-/etc/sysconfig/kubelet ExecStart= ExecStart=/usr/bin/kubelet $KUBELET_KUBECONFIG_ARGS $KUBELET_CONFIG_ARGS $KUBELET_KUBEADM_ARGS $KUBELET_EXTRA_ARGS
比如你需要自定义，集群中node的名称（默认情况下是使用 .metadata.name 即主机的名字）当然你可以使用kubelet参数 --hostname-override覆盖默认值
指定cgroup驱动，现在kubernetes不推荐使用cgroups，则推荐使用systemd成为默认值，具体参数--cgroup-driver，此参数定义的值必须与CRI运行时的环境的值匹配，否则kubelet报错。参考官方文档 https://kubernetes.io/zh/docs/tasks/administer-cluster/kubeadm/configure-cgroup-driver/
指定--network-plugin 容器网络驱动模型，默认情况下kubernetes采用的CNI模型，并永久不更换
kubelet systemd
如果使用yum安装Kubernetes程序，则可以使用以下命令来定位kubelet.service，如下
- kubelet.serivce
<root@PROD-BE-K8S-WN18 ~># systemctl status kubelet ● kubelet.service - kubelet: The Kubernetes Node Agent Loaded: loaded (/usr/lib/systemd/system/kubelet.service; enabled; vendor preset: disabled) Drop-In: /usr/lib/systemd/system/kubelet.service.d └─10-kubeadm.conf Active: active (running) since Mon 2021-12-20 15:06:27 CST; 1 day 20h ago Docs: https://kubernetes.io/docs/ Main PID: 10413 (kubelet) Tasks: 43 Memory: 84.3M CGroup: /system.slice/kubelet.service └─10413 /usr/bin/kubelet --bootstrap-kubeconfig=/etc/kubernetes/bootstrap-kubelet.conf --kubeconfig=/etc/kubernetes/kubelet.conf --config=/var/lib/kubelet/config.yaml --cgroup-driver=systemd --network-plugin=cni --pod-infra-container-imag...
- 10-kubelet.conf，该文件是kubelet启动时指定配置文件
# Note: This dropin only works with kubeadm and kubelet v1.11+ [Service] Environment="KUBELET_KUBECONFIG_ARGS=--bootstrap-kubeconfig=/etc/kubernetes/bootstrap-kubelet.conf --kubeconfig=/etc/kubernetes/kubelet.conf" Environment="KUBELET_CONFIG_ARGS=--config=/var/lib/kubelet/config.yaml"
# This is a file that "kubeadm init" and "kubeadm join" generates at runtime, populating the KUBELET_KUBEADM_ARGS variable dynamically
# 该文件是在运行kubeadm ini & kubead join 时生成的，用于动态调整KUBELET_KUBEADM_ARGS变量指定的参数 EnvironmentFile=-/var/lib/kubelet/kubeadm-flags.env
# This is a file that the user can use for overrides of the kubelet args as a last resort. Preferably, the user should use # the .NodeRegistration.KubeletExtraArgs object in the configuration files instead. KUBELET_EXTRA_ARGS should be sourced from this file.
# /etc/sysconfig/kubelet 主要用于配置一些外置参数，比如日志，文件内置变量为KUBELET_EXTAR_ARGS EnvironmentFile=-/etc/sysconfig/kubelet ExecStart= ExecStart=/usr/bin/kubelet $KUBELET_KUBECONFIG_ARGS $KUBELET_CONFIG_ARGS $KUBELET_KUBEADM_ARGS $KUBELET_EXTRA_ARGS该文件为 kubelet 指定由 kubeadm 管理的所有文件的默认位置。
用于 TLS 引导程序的 KubeConfig 文件为
/etc/kubernetes/bootstrap-kubelet.conf， 但仅当/etc/kubernetes/kubelet.conf不存在时才能使用。具有唯一 kubelet 标识的 KubeConfig 文件为
/etc/kubernetes/kubelet.conf。包含 kubelet 的组件配置的文件为
/var/lib/kubelet/config.yaml。包含的动态环境的文件
KUBELET_KUBEADM_ARGS是来源于/var/lib/kubelet/kubeadm-flags.env。包含用户指定标志替代的文件
KUBELET_EXTRA_ARGS是来源于/etc/default/kubelet（对于 DEB），或者/etc/sysconfig/kubelet（对于 RPM）。KUBELET_EXTRA_ARGS在标志链中排在最后，并且在设置冲突时具有最高优先级。