K8s容器资源限制

# kubectl  describe  node   node1.zcf.com
    .......................
   Allocated resources:
      (Total limits may be over 100percent, i.e., overcommitted.)
      Resource           Requests    Limits             #这里显示的就是 资源的需求 和 限额
      --------           --------    ------
      cpu                250m (12%)  0 (0%)
      memory             0 (0%)      0 (0%)
      ephemeral-storage  0 (0%)      0 (0%)
    Requests:  就是需求限制，也叫软限制
    Limits：最大限制，也叫硬限制
    通常来说：Limits >=Requests
    并且requests 和 limits 通常要一起配置，若只配置了requests，而不配置limits，则很可能导致Pod会吃掉所有资源。

#以下压测时，若压测内存，可能导致登录容器都成问题，因此改为仅测试CPU。
apiVersion: v1
kind: Pod
metadata:
  name: pod-cpu-limits
  labels:
    app: test
    tier: frontend
spec:
  containers:
  -name: myapp
    image: ikubernetes/stress-ng
    command: ["/usr/bin/stress-ng","-c 1","--metrics-brief"]
    resources:
      requests:
        cpu: "500m"
        memory: "512Mi"
      limits:
        cpu: "500m"
        memory: "512Mi"

#需要注意：
apiVersion: v1
kind: ServiceAccount     #heapSter需要使用一个服务帐户,因为它需要能从所有Node上获取Pod的资源统计信息,因此它必须被授权.
metadata:
  name: heapster
  namespace: kube-system
#在HeapSter容器定义部分可以看到它引用了上面创建的SA帐户
spec:
  serviceAccountName: heapster
  containers:
  -name: heapster
    image: k8s.gcr.io/heapster-amd64:v1.5.4
    imagePullPolicy: IfNotPresent
    command:
        - /heapster
        - --source=kubernetes:https://kubernetes.default        #这里是定义HeapSter从K8s内部访问APIServer的地址.
        - --sink=influxdb:http://monitoring-influxdb.kube-system.svc:8086     
#这是指明HeapSter访问InfluxDB的地址，因为InfluxDB是Pod,不能直接访问Pod的IP，因此这里访问的是InfluxDB前端的SerivseIP。
#另外还有注意，HeapSter也需要Serivce
apiVersion: v1
kind: Service
.....
  name: heapster
  namespace: kube-system
spec:
  ports:
  - port: 80#这里可以看到它在Node上暴露的端口是80
    targetPort: 8082#HeapSter在Pod内部启动的端口为8082
 type: NodePort        #若需要K8s外部访问HeapSter，可修改端口类型为NodePort
  selector:
    k8s-app: heapster

#另外还有需要注意:
volumeMounts:
    - mountPath: /etc/ssl/certs #它会自动挂载Node上的/etc/ssl/certs目录到容器中，并自动生成证书，因为它使用的HTTPS.
      name: ca-certificates
      readOnly: true
#Grafana启动时，会去连接数据源，默认是InfluxDB，这个配置是通过环境变量来传入的
env:
 -name: INFLUXDB_HOST
   value: monitoring-influxdb  #这里可看到,它将InfluxDB的Service名传递给Grafana了。
 -name: GF_SERVER_HTTP_PORT
   value: "3000"#默认Grafara在Pod内启动时,监听的端口也是通过环境变量传入的,默认是3000端口.
#在一个是，我们需要配置Grafana可以被外部直接访问
  ports:
    - port: 80
      targetPort: 3000
    selector:
      k8s-app: grafana
    type:  NodePort

#需要修改两个文件:
#第一个文件: metrics-server-deployment.yaml
  #此清单文件定义了metrics-server镜像和metrics-server-nanny容器启动的参数，这些参数有些需要修改
  #metrics-server容器:
    command:
        - /metrics-server
        - --metric-resolution=30s
        #- --kubelet-insecure-tls    
                #网上很多文章都说必须加上此参数, 此参数含义: 
                #若不能做TLS加密认证，使用不安全的通信也可以.但我测试时，不加也能正常工作，仅做借鉴
        # These are needed for GKE, which doesn't support secure communication yet.
        # Remove these lines for non-GKE clusters, and when GKE supports token-based auth.
        - --kubelet-port=10255
        - --deprecated-kubelet-completely-insecure=true
        - --kubelet-preferred-address-types=InternalIP,Hostname,InternalDNS,ExternalDNS,ExternalIP
  #metrics-server-nanny容器: 
    command:
      - /pod_nanny
      - --config-dir=/etc/config                         
      #下面这些{{....}} 这些若不替换，启动metrics-server-nanny容器时会报错，但从报错日志中可以到它们的简单说明
      - --cpu={{ base_metrics_server_cpu }}       #设置metrics-server基本运行可用CPU豪核数量，测试设置100m
      - --extra-cpu=0.5m
      - --memory={{ base_metrics_server_memory }} #分配给metrics-server基本运行的内存大小, 测试设置 150Mi
      - --extra-memory={{ metrics_server_memory_per_node }}Mi  #每个节点上的metrics-server额外分配内存大小，测试50Mi
      - --threshold=5
      - --deployment=metrics-server-v0.3.3
      - --container=metrics-server
      - --poll-period=300000
      - --estimator=exponential
      # Specifies the smallest cluster (defined innumber of nodes)
      # resources will be scaled to.
      #- --minClusterSize={{ metrics_server_min_cluster_size }}               
      #这里字面意思似乎是 设置启动几组Metrics-server,选项说明提示默认是16组. 但这我注释掉了。
#第二个文件：resource-reader.yaml
    rules:
    -apiGroups:
      - ""
      resources:
      -pods
      -nodes
      - nodes/stats  
          #这里需要注意：默认是没有添加的,若只添加nodes，它是获取不到nodes/stats的状态信息的，
          #      因为nodes/stats和nodes是两个不同的资源. nodes/stats是获取节点监控数据的专用资源. 
      -namespaces
#以上两个文件修改好后，就可执行应用了
    kubectl  apply  -f  ./
#在应用使用，可查看kube-system名称空间中 metrics-server pod的创建
    kubectl  get  pod  -n  kube-system  -w        #会发现metrics-server先创建一组,等第二组启动为running后，第一组就会自动终止。目前还没有弄明白是什么逻辑。
#上面修改好后，测试发现还是会报错，但已经不报参数无效的错误了
# kubectl get pod -n kube-system 
        NAME                                       READY   STATUS    RESTARTS   AGE
        ................
        metrics-server-v0.3.3-7d598d5c9d-qngp7     2/2     Running   049s
# kubectl logs -n kube-system metrics-server-v0.3.3-7d598d5c9d-qngp7 -c metrics-server-nanny 
   ERROR: logging before flag.Parse: I0729 13:06:42.923342       1 pod_nanny.go:65] Invoked by [/pod_nanny --config-dir=/etc/config --cpu=100m --extra-cpu=0.5m --memory=300Mi --extra-memory=50Mi --threshold=5 --deployment=metrics-server-v0.3.3 --container=metrics-server --poll-period=300000 --estimator=exponential]
   ERROR: logging before flag.Parse: I0729 13:06:42.923611       1 pod_nanny.go:81] Watching namespace: kube-system, pod: metrics-server-v0.3.3-7d598d5c9d-qngp7, container: metrics-server.
   ERROR: logging before flag.Parse: I0729 13:06:42.923642       1 pod_nanny.go:82] storage: MISSING, extra_storage: 0Gi
   ERROR: logging before flag.Parse: I0729 13:06:42.927214       1 pod_nanny.go:109] cpu: 100m, extra_cpu: 0.5m, memory: 300Mi, extra_memory: 50Mi
   ERROR: logging before flag.Parse: I0729 13:06:42.927362       1 pod_nanny.go:138] Resources: [{Base:{i:{value:100 scale:-3} d:{Dec:<nil>} s:100m Format:DecimalSI} ExtraPerNode:{i:{value:5 scale:-4} d:{Dec:<nil>} s: Format:DecimalSI} Name:cpu} {Base:{i:{value:314572800 scale:0} d:{Dec:<nil>} s:300Mi Format:BinarySI} ExtraPerNode:{i:{value:52428800 scale:0} d:{Dec:<nil>} s:50Mi Format:BinarySI} Name:memory}]
  #上面准备就绪后，就可做以下测试   
    1. 查看api-versions是否多出了一个 metrics.k8s.io/v1beta1
        # kubectl  api-versions
           .............
            metrics.k8s.io/v1beta1
    2. 若以上验证都通过了，则可做以下测试
          kubectl  proxy  --ports=8080
    3. 在另一个终端访问8080
       curl   http://localhost:8080/apis/metrics.k8s.io/v1beta1
{
              "kind": "APIResourceList",
              "apiVersion": "v1",
              "groupVersion": "metrics.k8s.io/v1beta1",
              "resources": [
                {
                  "name": "nodes",
                  "singularName": "",
                  "namespaced": false,
                  "kind": "NodeMetrics",
                  "verbs": [
                    "get",
                    "list"
            ........................
            }
   #查看收集到的Pods 和 node监控数据
    curl  http://localhost:8080/apis/metrics.k8s.io/v1beta1/node

下面以马哥版本来做说明：
1. 先部署名称空间：
  kubectl  apply  -f   namespace.yaml
    ---
    apiVersion: v1
    kind: Namespace
    metadata:
      name: prom       #这里需要注意： 他是先创建了一个prom的名称空间，然后，将所有Prometheus的应用都放到这个名称空间了。
2. 先创建node_exporter:
cd  node_exporter
  #需要注意：
   apiVersion: apps/v1
    kind: DaemonSet
    metadata:
      name: prometheus-node-exporter
      namespace: prom
   .......
       spec:
          tolerations:   #这里需要注意：你要保障此Pod运行起来后，它能容忍Master上的污点.这里仅容忍了默认Master的污点.这里需要根据实际情况做确认。
          -effect: NoSchedule
            key: node-role.kubernetes.io/master 
         containers:
              - image: prom/node-exporter:v0.15.2  #这里使用的node-exporter的镜像版本。
                name: prometheus-node-exporter
#应用这些清单
 kubectl  apply  -f   ./

#接着进入Prometheus的清单目录
cd  prometheus
#prometheus-deploy.yaml 它需要的镜像文件可从hub.docker.com中下载，若网速慢的话。
#prometheus-rbac.yaml
    apiVersion: rbac.authorization.k8s.io/v1beta1
    kind: ClusterRole
    metadata:
      name: prometheus
    rules:
    - apiGroups: [""]
      resources:
      -nodes
      - nodes/proxy
      -services
      -endpoints
      -pods
      verbs: ["get", "list", "watch"]
    -apiGroups:
      -extensions
      resources:
      -ingresses
      verbs: ["get", "list", "watch"]
    - nonResourceURLs: ["/metrics"]
      verbs: ["get"]
#prometheus-deploy.yaml
    resources:         
    #这里做了一个资源使用限制，需要确认你每个节点上要能满足2G的可用内存的需求，若你的Node上不能满足这个limits，就将这部分删除，然后做测试。   
      limits:
        memory: 2Gi
#接着开始应用这些清单：
   kubectl  apply  -f   ./

#现在来部署，让K8s能获取Prometheus的监控数据
 cd  kube-state-metrics
 #此清单中的镜像若不能从google仓库中获取，可到hub.docker.com中搜索镜像名，下载其他人做的测试
 #K8s需要通过kube-state-metrics这个组件来进行格式转化，实现将Prometheus的监控数据转换为K8s API Server能识别的格式。
 #但是kube-state-metrics转化后，还是不能直接被K8s所使用，它还需要借助k8s-prometheus-adpater来将kube-state-metrics聚合到k8s的API Server里面，这样才能通过K8s API Server来访问这些资源数据。
 
#应用kube-state-metrics的清单文件
 　　kubectl   apply  -f  ./

#以上创建好以后，可先到k8s-prometheus-adapter的开发者github上下载最新的k8s-prometheus-adapter的清单文件
　　https://github.com/DirectXMan12/k8s-prometheus-adapter/tree/master/deploy/manifests

#注意：
# ！！！！！！！！！
#   使用上面新版本的k8s-prometheus-adapter的话，并且是和马哥版的metrics-server结合使用，需要修改清单文件中的名称空间为prom
# !!!!!!!!!!!!!!!
#     但下面这个文件要特别注意：
    custom-metrics-apiserver-auth-reader-role-binding.yaml
        piVersion: rbac.authorization.k8s.io/v1
        kind: RoleBinding
        metadata:
          name: custom-metrics-auth-reader
          namespace: kube-system     #这个custom-metrics-auth-reader必须创建在kube-system名称空间中，因为它要绑到这个名称空间中的Role上
        roleRef:
          apiGroup: rbac.authorization.k8s.io
          kind: Role                 #此角色是用于外部APIServer认证读的角色
          name: extension-apiserver-authentication-reader
        subjects:
        -kind: ServiceAccount
          name: custom-metrics-apiserver  #这是我们自己创建的SA账号
          namespace: prom     #这些需要注意：要修改为prom

#以上清单文件下载完成后，需要先修改这些清单文件中的namespace为prom，因为我们要部署的Prometheus都在prom这个名称空间中.
之后就可以正常直接应用了
　　kubectl  apply  -f  ./

下面测试将Grafana部署起来，并且让Grafana从Prometheus中获取数据
#部署Grafana,这里部署方法和上面部署HeapSter一样，只是这里仅部署Grafana
wget  https://raw.githubusercontent.com/kubernetes-retired/heapster/master/deploy/kube-config/influxdb/grafana.yaml

#此清单若需要修改apiVersion，也要向上面修改一样，配置其seletor。
#另外还有需要注意:
   volumeMounts:
    - mountPath: /etc/ssl/certs  #它会自动挂载Node上的/etc/ssl/certs目录到容器中，并自动生成证书，因为它使用的HTTPS.
      name: ca-certificates
      readOnly: true
#Grafana启动时，会去连接数据源，默认是InfluxDB，这个配置是通过环境变量来传入的
   env:
    #-name: INFLUXDB_HOST
    # value: monitoring-influxdb              
        #这里可看到,它将InfluxDB的Service名传递给Grafana了。
        #需要特别注意：因为这里要将Grafana的数据源指定为Prometheus，所以这里需要将InfluxDB做为数据源给关闭，若你知道如何定义prometheus的配置，
        #也可直接修改，不修改也可以，那就直接注释掉，然后部署完成后，登录Grafana后，在修改它的数据源获取地址。
    -name: GF_SERVER_HTTP_PORT
      value: "3000"
      #默认Grafara在Pod内启动时,监听的端口也是通过环境变量传入的,默认是3000端口.
 #在一个是，我们需要配置Grafana可以被外部直接访问
  ports:
      - port: 80
        targetPort: 3000
      selector:
        k8s-app: grafana
      type:  NodePort
#配置完成后，进行apply
  kubectl  apply  -f   grafana.yaml
#然后查看service对集群外暴露的访问端口
  kubectl   get   svc   -n  prom

#查看当前Pod是Service：
# kubectl getsvc
    NAME         TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)        AGE
    ..................
    myapp        NodePort    172.30.162.48   <none>        80:50113/TCP   103m
#创建成功后，就可以通过ab等压测工具来测试自动伸缩
#apt-get install  apache2-utils
#
# ab  -c 1000  -n 3000   http://192.168.111.84:50113

#查看HPA自动伸缩情况
   # kubectl describe hpa
    Name:                                                  myapp
    Namespace:                                             default
   ............................
      resource cpu on pods  (as a percentage of request):  76% (38m) / 40%
    Min replicas:                                                                        1
    Max replicas:                                                                        8
    Deployment pods:                                       6 current / 8desired   #这里可看到现在已经启动6个Pod
#创建一个HPA v2版本的自动伸缩其
#完整配置清单：
vim  hpa-pod-demo-v2.yaml 
    apiVersion: v1
    kind: Service
    metadata:
      labels:
        app: myapp
      name: myapp-v2
    spec:
      clusterIP: 172.30.10.98
      ports:
      - port: 80
        protocol: TCP
        targetPort: 80
      type: NodePort
      selector:
        app: myapp
    ---
    apiVersion: apps/v1
    kind: Deployment
    metadata:
      labels:
        app: myapp
      name: myapp-v2
    spec:
      replicas: 1
      selector:
        matchLabels:
          app: myapp
      strategy: {}
      template:
        metadata:
          labels:
            app: myapp
        spec:
          containers:
          - image: harbor.zcf.com/k8s/myapp:v1
            name: myapp-v2
            ports:
            - containerPort: 80
            resources:
              limits:
                cpu: 50m
                memory: 256Mi
              requests:
                cpu: 50m
                memory: 256Mi
    ---
    apiVersion: autoscaling/v2beta1
    kind: HorizontalPodAutoscaler
    metadata:
      name: myapp-v2
    spec:
      maxReplicas: 8
      minReplicas: 1
      scaleTargetRef:
        apiVersion: extensions/v1beta1
        kind: Deployment
        name: myapp
      metrics:
       -type: Resource
         resource:
           name: cpu
           targetAverageUtilization: 55
       -type: Resource
         resource:
           name: memory
           targetAverageValue: 50Mi

vim  hpa-http-requests.yaml
apiVersion: v1
kind: Service
metadata:
  labels:
    app: myapp
  name: myapp-hpa-http-requests
spec:
  clusterIP: 172.30.10.99#要根据实际情况修改为其集群IP
  ports:
  - port: 80
    protocol: TCP
    targetPort: 80
  type: NodePort             #若需要集群外访问，可添加
  selector:
    app: myapp
---
apiVersion: apps/v1
kind: Deployment
metadata:
  labels:
    app: myapp
  name: myapp-hpa-http-requests
spec:
  replicas: 1#这里指定Pod副本数量为1
  selector:
    matchLabels:
      app: myapp
  strategy: {}
  template:
    metadata:
      labels:
        app: myapp
      annotations:         #annotations一定要，并且要定义在容器中！！
        prometheus.io/scrape: "true"#这是允许Prometheus到容器中抓取监控指标数据
        prometheus.io/port: "80"
        prometheus.io/path: "/metrics"#这是指定从那个URL路径中获取监控指标数据
    spec:
      containers:
      - image: harbor.zcf.com/k8s/metrics-app  #此镜像中包含了做好的，能输出符合Prometheus监控指标格式的数据定义。
        name: myapp-metrics
        ports:
        - containerPort: 80
        resources:
          limits:
            cpu: 50m
            memory: 256Mi
          requests:
            cpu: 50m
            memory: 256Mi
---
apiVersion: autoscaling/v2beta1
kind: HorizontalPodAutoscaler
metadata:
  name: myapp-hpa-http-requests
spec:
  maxReplicas: 8
  minReplicas: 1
  scaleTargetRef:       #这指定要伸缩那些类型的Pod。
    apiVersion: extensions/v1beta1
    kind: Deployment    #这里指定对名为 myapp-hpa-http-requests这个 Deployment控制器 下的所有Pod做自动伸缩.
    name: myapp-hpa-http-requests
  metrics:
   -type: Pods    #设置监控指标是从那种类型的资源上获取：它支持Resource，Object，Pods ；
                   #resource:核心指标如:cpu,内存可指定此类型，若监控的资源指标是从Pod中获取，那类型就是Pods
     pods:
       metricName: http_requests   #http_requests就是自定义的监控指标,它是Prometheus中Pod中获取的。
       targetAverageValue: 800m    #800m：是800个并发请求，因为一个并发请求，就需要一个CPU核心来处理，所以是800个豪核，就是800个并发请求。
#  curl http://192.168.111.84:55066/metrics
#注意：Prometheus抓取数据时，它要求获取资源指标的数据格式如下：
    # HELP   http_requests_total The amount of requests intotal   #HELP:告诉Prometheus这个数据的描述信息
    # TYPE   http_requests_total   counter     #TYPE: 告诉Prometheus这个数据的类型
    http_requests_total   1078#告诉Prometheus这个数据的值是多少。
    # HELP http_requests_per_second The amount of requests per second the latest ten seconds
    # TYPE http_requests_per_second gauge
    http_requests_per_second   0.1
# 测试方法：
1. 先在一个终端上执行：
   for  i  in  `seq  10000`;  do   curl  http://K8S_CLUSTER_NODE_IP:SERVER_NODE_PORT/ ;  done
2. 查看hpa的状态
  # kubectl   describe   hpa 
    Name:                       myapp-hpa-http-requests
    Namespace:                  default
    .........
    Reference:                  Deployment/myapp-hpa-http-requests
    Metrics:                    ( current /target )
      "http_requests" on pods:  4366m /800m
    Min replicas:                                1
    Max replicas:                               8
    Deployment pods:            8 current / 8desired
    ........................
    Events:
      Type     Reason                        Age   From                       Message
      ----     ------                        ----  ----                       -------
      .....................
      Normal   SuccessfulRescale             51s   horizontal-pod-autoscaler  New size: 4; reason: pods metric http_requests above target
      Normal   SuccessfulRescale             36s   horizontal-pod-autoscaler  New size: 8; reason: pods metric http_requests above target
3. 查看Pod
   # kubectl   getpod
    NAME                                       READY   STATUS    RESTARTS   AGE
    myapp-hpa-http-requests-69c9968cdf-844lb   1/1     Running   024s
    myapp-hpa-http-requests-69c9968cdf-8hcjl   1/1     Running   024s
    myapp-hpa-http-requests-69c9968cdf-8lx9t   1/1     Running   039s
    myapp-hpa-http-requests-69c9968cdf-d4xdr   1/1     Running   024s
    myapp-hpa-http-requests-69c9968cdf-k4v6h   1/1     Running   0114s
    myapp-hpa-http-requests-69c9968cdf-px2rl   1/1     Running   039s
    myapp-hpa-http-requests-69c9968cdf-t52xr   1/1     Running   039s
    myapp-hpa-http-requests-69c9968cdf-whjl6   1/1     Running   0          24s