思享工具箱

centos7安装部署opentsdb2.4.0

摘要：
写在前面最近因为项目需要在读opentsdb的一部分源码，后面会做个小结分享出来。本人是不大喜欢写这种安装部署的文章，考虑到opentsdb安装部署对于初次接触者来说不太友好，另外对公司做测试的同事可能有些帮助作用，方便他们快速安装部署，就把OpenTSDB2.4.0安装部署文档写在这里。对于opentsdb是什么，应用领域这里就不说了，不了解的请看官网http://opentsdb.net/。这里只提一点，opentsdb的后端数据存储依赖于HBase。

写在前面

最近因为项目需要在读opentsdb的一部分源码，后面会做个小结分享出来。本人是不大喜欢写这种安装部署的文章，考虑到opentsdb安装部署对于初次接触者来说不太友好，另外对公司做测试的同事可能有些帮助作用，方便他们快速安装部署，就把OpenTSDB 2.4.0安装部署文档写在这里。

对于opentsdb是什么，应用领域这里就不说了，不了解的请看官网http://opentsdb.net/。

这里只提一点，opentsdb的后端数据存储依赖于HBase。

所以安装步骤就分为了三步 (我们也可以类比安装传统的依赖关系型数据库比如mysql作为后端数据存储的软件)

  1. 安装HBase (类比传统软件我们要安装mysql)

  2. 创建表结构 (类比我们在mysql中创建database以及table)

  3. 安装配置并启动opentsdb (类比一些springboot的应用)

安装HBase

如果已经有HBase环境了，那么请跳过这一步(大多数使用HBase集群环境应该都是用CDH管理)

官网地址： http://hbase.apache.org/

其实HBase的存储又是依赖HDFS，当然了如果只是本地测试用，可以直接用本地文件系统代替HDFS，这样就不需要部署一套HDFS集群了

搭建Standalone HBase，官方文档http://hbase.apache.org/book.html#quickstart，一步一步都有，请仔细读

这里简单梳理一下关键的地方：

  • conf/hbase-env.sh文件
# The java implementation to use.
export JAVA_HOME=/usr/jdk64/jdk1.8.0_112
  • conf/hbase-site.xml文件
<configuration>
  <property>
    <!-- hbase实际存放数据地方，这里是本地文件系统，生产环境一般HDFS地址，例如hdfs://namenode.example.org:8020/hbase -->
    <name>hbase.rootdir</name>
    <value>file:///home/itwild/hbase</value>
  </property>
  <property>
    <!--
指定zookeeper的data目录
目前hbase需要依赖zookeeper，HBase通过Zookeeper来做Master的高可用、RegionServer的监控、元数据的入口以及
集群配置的维护等工作
因为是Standalone，为了降低部署复杂度，启动的时候也会启zookeeper，指定zk data存储目录，实际使用大多用单独的zk集群，一般不使用内置的zk
    -->
    <name>hbase.zookeeper.property.dataDir</name>
    <value>/home/itwild/zookeeper</value>
  </property>
</configuration>

然后执行bin/start-hbase.sh, 启动成功了jps命令可以看到HMaster进程。

在standalone模式下，虽然看到的是一个JVM实例，实际上启了HMaster、HRegionServer、ZooKeeper

启动成功，可打开HBase Web UI, http://localhost:16010

在HBase中创建表结构

  1. 执行bin/hbase shell进入一个交互的界面 (这里我们也可以类比执行mysql -uXXX -pXXX后进入)

  2. 在交互界面里我们依次执行下面4条建表(table)语句

# opentsdb中那些metric数据就存在这张表中
# 这张表数据会很大，考虑到读写效率，我们注意到这张表就一个列族
create 'tsdb',{NAME => 't', VERSIONS => 1, BLOOMFILTER => 'ROW'}

# opentsdb中建立metric name、tagK、tagV字面量与uid一一对应的表
# opentsdb不会存储实际的字符串字面值
# 比如system.cpu.util的metric，会将system.cpu.util转化为id(默认自增，后面介绍部分源码的时候会有讲到)后，存入HBase
# 这张表有id、name两个列族，可通过id找到name，也可以通过name找到id
create 'tsdb-uid',{NAME => 'id', BLOOMFILTER => 'ROW'},{NAME => 'name', BLOOMFILTER => 'ROW'}

# 下面两张表暂时可不必太关心，先创建出来就好
create 'tsdb-tree',{NAME => 't', VERSIONS => 1, BLOOMFILTER => 'ROW'}
create 'tsdb-meta',{NAME => 'name', BLOOMFILTER => 'ROW'}

注意一下，这里的建表语句我有意把压缩(COMPRESSION)选项去掉了，因为存储用的是本地文件系统，有些压缩可能是不支持的，生产环境使用HDFS的建表语句可能是这样的

create 'tsdb',{NAME => 't', VERSIONS => 1, BLOOMFILTER => 'ROW', COMPRESSION => 'SNAPPY'}

create 'tsdb-uid',{NAME => 'id', BLOOMFILTER => 'ROW', COMPRESSION => 'SNAPPY'},{NAME => 'name', BLOOMFILTER => 'ROW', COMPRESSION => 'SNAPPY'}

create 'tsdb-tree',{NAME => 't', VERSIONS => 1, BLOOMFILTER => 'ROW', COMPRESSION => 'SNAPPY'}

create 'tsdb-meta',{NAME => 'name', BLOOMFILTER => 'ROW', COMPRESSION => 'SNAPPY'}
  • 在hbase shell的交互界面中执行list，即可看到上面创建的4张表
hbase(main):004:0> list
TABLE
tsdb
tsdb-meta
tsdb-tree
tsdb-uid

安装配置并启动opentsdb

下载地址：https://github.com/OpenTSDB/opentsdb/releases

这里centos7系统，选择下载opentsdb-2.4.0.noarch.rpm包

  • 执行yum -y localinstall opentsdb-2.4.0.noarch.rpm

如果这里安装报错，可能需要vi /usr/bin/yum临时改一下python解析器的版本#!/usr/bin/python2.7，
改过之后安装过程中又有报错，可能需要vi /usr/libexec/urlgrabber-ext-down同样临时改一下python解析器的版本#!/usr/bin/python2.7

  • 把opentsdb的服务注册为系统服务，即可以用systemctl status/start/stop/restart opentsdb来查看控制

vi /usr/lib/systemd/system/opentsdb.service添加以下内容

[Unit]

Description=OpenTSDB Service

[Service]

Type=forking

PrivateTmp=yes

ExecStart=/usr/share/opentsdb/etc/init.d/opentsdb start

ExecStop=/usr/share/opentsdb/etc/init.d/opentsdb stop

Restart=on-abort

然后你就发现可以用systemctl status opentsdb了，不过现在服务还是dead状态

注意一下，默认opentsdb配置文件目录：/etc/opentsdb/opentsdb.conf，默认opentsdb日志目录：/var/log/opentsdb

  • 修改/etc/opentsdb/opentsdb.conf配置文件
tsd.network.port = 4242
tsd.http.staticroot = /usr/share/opentsdb/static/
tsd.http.cachedir = /tmp/opentsdb
tsd.core.auto_create_metrics = true
tsd.core.plugin_path = /usr/share/opentsdb/plugins
# zookeeper的地址，即hbase依赖的zookeeper的地址，localhost:2181,localhost:2182,localhost:2183
tsd.storage.hbase.zk_quorum = localhost:2181
tsd.storage.fix_duplicates = true
tsd.http.request.enable_chunked = true
tsd.http.request.max_chunk = 4096000
tsd.storage.max_tags = 16
# 这里看到了我们上面在hbase中创建的4张表
tsd.storage.hbase.data_table = tsdb
tsd.storage.hbase.uid_table = tsdb-uid
tsd.storage.hbase.tree_table = tsdb-tree
tsd.storage.hbase.meta_table = tsdb-meta
# 下面几个配置项到部分源码解析的时候会有介绍，暂时可以先忽略
# tsd.query.skip_unresolved_tagvs = true
# hbase.rpc.timeout = 120000
  • 启动opentsdb，systemctl start opentsdb，成功的话，就可以打开opentsdb的界面了http://localhost:4242/

至此，有关opentsdb的安装部署就完成了。后面我会结合opentsdb部分源码分享一些探究性问题。祝君好运！

标签：#opentsdb#hbase#localhost#hdfs | 浏览：232 | 发布日期：

免责声明：文章转载自《centos7安装部署opentsdb2.4.0》仅用于学习参考。如对内容有疑问，请及时联系本站处理。

上篇解决git 出现 Your account has been blocked问题linux系统中如何删除第一行、前两行，最后一行、最后两行下篇

宿迁高防，2C2G15M，22元/月；香港BGP，2C5G5M，25元/月 雨云优惠码：MjYwNzM=

相关文章

umi 部分使用介绍

1. 创建页面及路由 umi g page index // 创建index首页，会创建一个pages文件夹，里面有index.js 和index.css umi dev // 启动项目到8000端口，localhost:8000会显示刚刚创建的index umi g page about // 创建about页面， pages文件夹里面增加abo...

Spring Boot 学习心得

Spring Boot 开发项目基本步骤，提醒大家，一定要有耐心去看Spring 官网的技术文档，每次阅读技术文档都会有不同的感受和收获。 Spring Boot 学习地址：https://spring.io/projects/spring-boot 在Spring 官网上可以下载一些小的Demo,在开发工具中做简单的配置就可以跑起来了，但是到底是如何实现...

scala之 spark连接SQL和HIVE/IDEA操作HDFS

一、连接SQL 方法一、 package com.njbdqn.linkSql import java.util.Properties import org.apache.spark.sql.SparkSession import org.apache.spark.sql._ object LinkSql { def main(args: Arr...

IDEA连接SQL Server

package ServletDemo; import java.sql.*; public class Datebase { public static void main(String[] args) throws ClassNotFoundException, SQLException { //加载驱动 C...

【原创】HBase中查询优化小点

HBase过滤器（fliter）提供了非常强大的特性来帮助用户提高其处理表中数据的效率。用户不仅可以使用HBase中预定义好的过滤器，而且可以实现自定义的过滤器。 在对于HBase集群数据库的查询中即用到了以下几种过滤器：（行键：时间、监测点、车牌号） （1）根据where中的时间条件限制，使用scan.setStartRow();scan.setStop...

HDFS缓存机制

前言 缓存,英文单词译为Cache,缓存可以帮助我们干很多事,当然最直接的体会就是可以减少不必要的数据请求和操作.同样在HDFS中,也存在着一套完整的缓存机制,但可能使用了解此机制的人并不多,因为这个配置项平时大家比较少用而且HDFS中默认是关闭此功能的.至于是哪个配置项呢,在后面的描述中将会给出详细的分析. HDFS缓存疑问点 为什么在这里会抛出这样...

最新文章

随机推荐

思享工具箱导航