时间不同步导致的nova,cinder服务一会up一会down的来回跳跃

摘要:
多次检查nova和煤渣服务,发现许多节点的服务状态一直在上下浮动。1.节点1上的nova服务全部关闭。其他节点上的nova服务基本正常约210秒,然后再次执行。发现节点1上的nova服务全部启动,但其他节点上的nov服务全部关闭。节点1上的煤渣服务全部启动。其他节点上的煤渣服务都关闭了大约410秒。其他节点上的煤渣服务正常,请检查rabimq,发现它正常,并且没有消息阻塞。

               客户反馈无法创建虚拟机(openstack版本为Juno),登录控制节点,发现nova 和cinder服务有为down的,检查down节点的nova和cinder日志,未发现任何日志信息显示error,且日志显示nova和cinder都在正常更新状态,创建虚拟机的请求,nova-schedule未做任何调度,创建的虚拟机状态直接变为error。

       多检查几次nova和cinder服务,发现很多节点的服务状态一直在down和up之间跳动。

      1 node-1上面的nova服务全部为down的,其他节点nova服务基本正常

时间不同步导致的nova,cinder服务一会up一会down的来回跳跃第1张


    2  10秒左右之后再次执行,发现node-1上面的nova服务全部up了,但是其他节点nova服务又全部down了

  时间不同步导致的nova,cinder服务一会up一会down的来回跳跃第2张


    3 node-1上面的cinder服务全部为up,其他节点down

时间不同步导致的nova,cinder服务一会up一会down的来回跳跃第3张


    4  10秒左右,node-1的cinder服务又全部为down,其他节点cinder服务正常

时间不同步导致的nova,cinder服务一会up一会down的来回跳跃第4张


    5 开始怀疑是否是rabbitmq脑裂造成的,检查rabbimq发现正常,也无消息阻塞。

  时间不同步导致的nova,cinder服务一会up一会down的来回跳跃第5张


        6 检查时间服务,发现各节点时间不同步,时间差比较大(部署完毕后,ntp.conf里面配置的是各节点会向部署节点做时间同步,如果关闭部署节点会修改配置,一段时间后会造成各节点时间差很大)。

时间不同步导致的nova,cinder服务一会up一会down的来回跳跃第6张

    

        7 修改ntp配置,调整向node-1做时间同步,之后发现各服务正常,虚拟机正常创建。

时间不同步导致的nova,cinder服务一会up一会down的来回跳跃第7张

  


      结论:本次事故,是实施完毕后未修改相关配置优化埋下的坑。运维事无大小,生产环境,必须有严格的时间同步,否则极有可能哪天就炸了。


免责声明:文章转载自《时间不同步导致的nova,cinder服务一会up一会down的来回跳跃》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇c# 调用c++类库控制usb继电器Android jdb debug下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

相关文章

vue实现消息的无缝滚动效果

JS export default { data() { return { animate:false, items:[ {name:"马云"}, {name:"雷军"}, {name:"王勤"} ] } }, created(){...

OpenStack介绍

一、背景 OpenStack是一个开源的云计算项目,里面包含了许多的组件,可以提供免费下载,对一些想要搭建公有云和私有云的公司或个人提供了非常好的帮助。 国内OpenStack最大的用户是华为云,由于华为本身发展云服务比较慢,软件方面又没有BAT有经验,OpenStack提供了一个非常好的捷径,让华为云可以在短短几年时间快速成长,同时华为也是OpenSta...

ByteBuf Netty的数据容器

两个组件 ByteBuf ByteBufHolder  使用模式 1.堆缓冲区 backing array模式 直接缓冲区 直接缓冲区的内容将驻留在常规的会被垃圾回收的堆之外。 复合缓冲区 CompositeByteBuf 为了举例说明,让我们考虑一下一个由两部分——头部和主体——组成的将通过 HTTP 协议传输的消息。这两部分由应用程序的不同模...

论文阅读 《MDev-NVMe: A NVMe Storage Virtualization Solution with Mediated Pass-Through》

1 Background NVMe协议 传统的SATA接口已经不能满足现在对更高的吞吐量的IO需求,而NVMe协议中正是使用PCIe接口设计和开发的,可以满足当前的IO需求,PCIe接口取代了SATA接口。NVMe中含有多个IO(SQ&CQ)队列对,将传统的串行存储改为并行存储,很大程度上提高了吞吐量,降低了延时。在NVMe SSDs设备的应用场景...

Windows SMBv3 CVE-2020-0796 漏洞分析和l漏洞复现

0x00 漏洞描述 漏洞公告显示,SMB 3.1.1协议中处理压缩消息时,对其中数据没有经过安全检查,直接使用会引发内存破坏漏洞,可能被攻击者利用远程执行任意代码。攻击者利用该漏洞无须权限即可实现远程代码执行,受黑客攻击的目标系统只需开机在线即可能被入侵。 0x01 漏洞响应版本 Windows 10 1903版本(用于基于x32的系统) Windows...

Storm实战:在云上搭建大规模实时数据流处理系统(Storm+Kafka)

在大数据时代,数据规模变得越来越大。由于数据的增长速度和非结构化的特性,常用的软硬件工具已无法在用户可容忍的时间内对数据进行采集、管理和处理。本文主要介绍如何在阿里云上使用Kafka和Storm搭建大规模消息分发和实时数据流处理系统,以及这个过程中主要遭遇的一些挑战。实践主要立足建立一套汽车状态实时监控系统,可以在阿里云上立即进行部署。   实时大数据处理...