利用NBI可视化+influxDB时序数据库构建物联网大数据分析平台

摘要:
什么是时间序列数据库?首先,我们将介绍什么是时间序列数据。时间序列数据库是存储时间序列数据的数据库,它需要支持时间序列数据基本功能,如快速写入、持久化、多纬度聚合查询等。与传统数据库只记录数据的当前值不同,时间序列数据库记录所有历史数据。时间序列数据库的场景都适用于时间序列数据库,其中生成所有时间序列数据,需要显示历史趋势、周期性规律和异常,并需要进行未来预测和分析。最终的客户使用influxDB定时数据库解决方案来帮助他解决问题。
什么是时序数据库
       先来介绍什么是时序数据。时序数据是基于时间的一系列的数据。在有时间的坐标中将这些数据点连成线,往过去看可以做成多纬度报表,揭示其趋势性、规律性、异常性;往未来看可以做大数据分析,机器学习,实现预测和预警。
时序数据库就是存放时序数据的数据库,并且需要支持时序数据的快速写入、持久化、多纬度的聚合查询等基本功能。
       对比传统数据库仅仅记录了数据的当前值,时序数据库则记录了所有的历史数据。同时时序数据的查询也总是会带上时间作为过滤条件。
时序数据库的场景
所有有时序数据产生,并且需要展现其历史趋势、周期规律、异常性的,进一步对未来做出预测分析的,都是时序数据库适合的场景。
在工业物联网环境监控方向,由于工业上面的要求,需要将工况数据存储起来。举例客户每个厂区具有20000个监测点,500毫秒一个采集周期,一共20个厂区。这样算起来一年将产生惊人的26万亿个数据点。假设每个点50Byte,数据总量将达1P(如果每台服务器10T的硬盘,那么总共需要100多台服务器)。这些数据不只是要实时生成,写入存储;还要支持快速查询,做可视化的展示,帮助管理者分析决策;并且也能够用来做大数据分析,发现深层次的问题,帮助企业节能减排,增加效益。最终客户采用了influxDB时序数据库方案,帮助他解决了难题。
在互联网场景中,也有大量的时序数据产生。举个例子,为了保障用户的使用体验,将用户的每次网络卡顿、网络延迟都会记录到百度天工的时序数据库。由时序数据库直接生成报表以供技术产品做分析,尽早的发现、解决问题,保证用户的使用体验。
什么是InfluxDB
InfluxDB是一个由InfluxData开发的开源时序型数据。它由Go写成,着力于高性能地查询与存储时序型数据。InfluxDB被广泛应用于存储系统的监控数据,IoT行业的实时数据等场景。
利用NBI可视化+influxDB时序数据库构建物联网大数据分析平台第1张
Influxdb关键特性
1. 支持类似SQL的查询语法
2.提供了Http Api直接访问
3.存储超过10亿级别的时间序列数据
4.灵活的数据保留策略,可以定义到Database级别(只保留最热的数据)
5.内置管理接口和CMD
6.飞一般速度的聚合查询
7.按不同时间段进行聚合查询
8.内置持续查询功能,定时计算指定时间段的数据,插入到指定表中,可以理解为定时归集数据
9. 水平扩展,支持集群模式
方案介绍:
利用NBI可视化+influxDB时序数据库构建物联网大数据分析平台第2张 
 
技术架构:
利用NBI可视化+influxDB时序数据库构建物联网大数据分析平台第3张 
 
NBI可视化平台介绍:
NBI大数据可视化分析平台作为新一代自助式、探索式分析工具,在产品设计理念上始终从用户的角度出发,一直围绕简单、易用,强调交互分析为目的的新型产品。我们将数据分析的各环节(数据准备、自服务数据建模、探索式分析、权限管控)融入到系统当中,让企业有序的、安全的管理数据和分析数据。
利用NBI可视化+influxDB时序数据库构建物联网大数据分析平台第4张
产品特点:
利用NBI可视化+influxDB时序数据库构建物联网大数据分析平台第5张
案例展示:
利用NBI可视化+influxDB时序数据库构建物联网大数据分析平台第6张 
 
利用NBI可视化+influxDB时序数据库构建物联网大数据分析平台第7张
 
利用NBI可视化+influxDB时序数据库构建物联网大数据分析平台第8张
 
利用NBI可视化+influxDB时序数据库构建物联网大数据分析平台第9张
 
更多信息请参考(http://www.easydatavis.com

免责声明:文章转载自《利用NBI可视化+influxDB时序数据库构建物联网大数据分析平台》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇怎样理解测试指标 :TPS和HPS查询设计分析下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

相关文章

[问题]数据库MySQL和Navicat的乱码问题

计算机中存储字符需要使用编码集,早期有ASCII集,但是随着技术的发展,ASCII集不能满足需求,出现了越来越多的字符,比如中文字符等。后来又发展出了Unicode、GB2312、utf8等字符集。字符集多了以后,问题就出现了,如果运行环境和对应使用情况的字符集不形同就会出现乱码或者“?”,如下图所示。 为了让字符能够正确显示,首先我们需要调整MySQL...

Mysql的索引

什么是索引: 数据库中的索引与书籍中的目录类似,在一本书中,利用目录可以快速查找所需要的信息,无需阅读整本书.在数据库中,索引使数据库程序无须对整个表进行扫描,就可以在其中找到所需数据.书中的目录是一个词语列表,其中注明了包含各个词的页码,在数据库中,由于数据存储在数据表中,因此索引是创建在数据表对象上的,由表中的一个字段或多个字段生成的键组成,这些键存储...

Slurm任务调度系统部署和测试(源码)(1)

1. 概述1.1 节点信息2. 节点准备3. 部署NTP服务器4. 部署LDAP服务器5. 部署Munge认证服务6. 部署Mysql数据库服务7. 部署slurm7.1 创建slurm用户7.2 挂载全局文件系统7.3 slurm下载7.4 编译安装8. slurm配置8.1 配置slurm.conf8.2 配置slurmdbd.conf8.3 配置c...

破解数据匮乏现状:纵向联邦学习场景下的逻辑回归(LR)

摘要:主要介绍了华为云可信智能计算服务(TICS)采用的纵向联邦逻辑回归(LR)方案。 本文分享自华为云社区《纵向联邦学习场景下的逻辑回归(LR)》,作者: 汽水要加冰。 海量训练数据是人工智能技术在各个领域成功应用的重要条件。例如,计算机视觉和商务经融推荐系统中的 AI 算法都依靠大规模标记良好的数据才能获得较好的推理效果。然而在医疗、银行以及一些政务...

MongoDB简单的配置及应用

一、简介 由于工作需要,最近使用了NoSQL的典型代表——MongoDB数据库。这个在2011年被炒的沸沸扬扬的东东,据说在2010年会成为《2012最受企业欢迎的开发技能Top10》之一。 首先了解几个关键词: NoSQL:是相对于我们熟知的MS Sql Server和My SQL这种关系型数据库来说的,关系型数据库的最大特点就是遵循范式,就想教科书里定...

从excel导入数据时显现进度条用java导入Excel数据到数据库(实时进度条)

导入数据的步骤如下:   一:先上传所导入库EXCEL    二:分析EXCEL并导入 新增时间和速度功能 由于之前的版本是通过session传递实现进度,在集群模式下就出现了问题。详见 http://www.cnblogs.com/interdrp/p/5670854.html 2016-07-14更新支持Spring 4.3.1.REL...