思享工具箱

Kudu1.1.0 、 Kudu1.2.0 Kudu1.3.0的版本信息异同比较

摘要：
优化和改进kudu发布了Spark2.0的JAR。kudu testloaden兼容性1.1客户端可以连接到1.0 kudu服务。参考资源https://github.com/cloudera/kudu/blob/master/docs/prior_release_notes.adoc个人githubhttps://github.com/qiulp/doc/edit/master/kudu/kudu1.1.0.mdKudu1.2.0新特性kuduc客户端和服务器可以编辑用户数据，如日志信息、java异常信息和状态信息。kudumaster表的元数据信息的锁竞争得到了极大缓解。默认情况下，kudu将使用ulimit的一半。省略兼容性1.2.0和历史版本兼容性1.2客户端可以理解1.0服务器，但某些不可用的功能不可用。可以从1.0滚动升级到1.1，但没有完整的测试。引用https://github.com/cloudera/kudu/blob/master/docs/release_notes.adoc我的githubhttps://github.com/qiulp/doc/blob/master/kudu/kudu1.2.0.mdKudu1.3.0新功能增加了kerberos安全认证，可以通过kerberostickets或keytab文件进行认证。

　　不多说，直接上干货！

 Kudu1.1.0

新特性

  1. python API升级，具备JAVA C++client一样的功能（从0.3版本直接升级到1.1），主要的点如下： 
    1.1. 改进了Parial Row的语义 
    1.2. 增加了range partition支持 
    1.3. 提供了 scan api 
    1.4. 增强predicate支持 
    1.5. 支持所有kudu的类型，包括datetime.datetime转化成UNIXTIME_MICROS 
    1.6. 支持修改表（alter） 
    1.7. scanner可以读取快照数据 
    1.8. 支持scanner副本选择 
    1.9. python 
    1.10. 一些bug的修复
  2. 为了优化过滤，增加了IN LIST predicate pushdown的支持（即匹配一列中一个集合的数据，predicate push down类似于hbase的协处理器coprocessors），有些过滤在后台执行。spark、mr和impala query的此项功能还没有完成。 
    为了便于查错，Java client增加了client-side请求追踪。原先只有最终的错误日志，没有导致最终错误其他日志信息。

优化和改进

  1. kudu发布了spark2.0（编译于scala2.11）的JAR。
  2. 通过配置java client可以从最近的副本读取数据，而不是原先的从leader副本读取数据。不过默认还是后者，可以通过设置scanner builder replicaSelection参数来调整。
  3. Tablet server采用一种新策略来维护write-ahead log（WAL）。原先使用log_min_segments_to_retain=2的策略，这种策略会过于频繁flush内存数据，限制了写入的性能。新策略引入了一个新的参数log_target_replay_size_mb，它决定了flush内存数据的阀值，而且这个参数值已经经过实验验证，用户不需要去修改它。这个新策略在某些写入用例下，提升了相对2x倍的写入性能。
  4. kudu Raft consensus algorithm 算法加入了一个新的阶段pre-election，它可以在高负荷的情况下，更稳定的进行leader选举，特别在一个tabletserver含有大量的tablet的情况下。
  5. 提升了在tabletserver含有大量的tombstoned tablet时，tabletserver的启动的速度。

工具

  1. kudu tablet leader_step_down，step down一个leader tablet。
  2. kudu remote_replica copy拷贝tablet从一个running tabletserver。
  3. kudu local_replica delet删除tablet。
  4. kudu test loadgen

兼容性

  1. 1.1的client可以连接到1.0的kudu服务。
  2. 1.0的client可以无限制的连接到1.1kudu服务。
  3. 滚动升级从1.0到1.1是可能的，但是没有完整的测试。建议安装关闭所有节点，更新版本，启动更新的节点的步骤来升级。

参考

https://github.com/cloudera/kudu/blob/master/docs/prior_release_notes.adoc 
个人github https://github.com/qiulp/doc/edit/master/kudu/kudu1.1.0.md

Kudu1.2.0

新特性

  1. kudu clients和servers可以编辑用户的数据，例如log信息，java的异常信息和状态信息。但用户的元数据是不可编辑的，例如表名，字段名，分区边界。默认是可编辑的，但可以通过设置log_redact_user_data=false关闭。

  2. kudu一致性保证的能力大幅度提升了： 
    每个副本都会track它们的 safe timestamp，这个时间戳是最大时间戳，在这个时间戳上读是可重复的。

    SCAN_AT_SNAPSHOT模式的scan，要不等待本副本的snapshot safe后再查，要不路由到一个safe的副本查。如此保证数据scan是可重复的。

    Kudu会保留以往所有历史数据，无论是插入，还是删除，还是相同key插入一条新的数据。以往版本的kudu不会保留历史数据在这种情况下。如此tablet server可以得到历史某一时间段点的准确的快照，即便是重新插入的情形。

    kudu client会自动记住它们最近成功读取或者写入操作的时间戳。在使用READ_AT_SNAPSHOT模式，且没有指定时间戳的情况下，scan会自动指定一个比最近写入时间戳大的时间戳。写入同样会传播timestamp，确认一系列的有因果关系的操作，能被指定有序的时间戳。总的来说，这个改变，可以保证数据的读写一致性，同样保证了在其他clients上的快照查询能等到一致的结果。

  3. kuduserver自动限制了log文件数量，默认是10个，通过参数max_log_files设置。

优化和改进

  1. java和c++client的日志将会变得更平和，不在记录正常操作的日志，而记录error日志。
  2. c++client提供一个KuduSession::SetErrorBufferSpace API，通过它可以限制同步操作异常的buffer大小。
  3. java client可以获取tablet地址信息1000个一个批次（原先是10）。如此可以提升spark或者impala查询具有大量tablets的表性能。
  4. kudu master表元数据信息的锁竞争大幅度缓解。如此提升了在大集群环境下寻址（tablet）的高并发度。
  5. tablet server端的高并发写的锁竞争同样被缓解了。
  6. 写日志的锁竞争也被缓解。

修复的bug

  1. KUDU-1508，ext4file的文件系统损坏。
  2. KUDU-1399，实现LRU cache解决长时间运行的kudu机器openfiles不够的问题。默认kudu会使用ulimit的一半的量。 
    省略

兼容性

  1. 1.2.0与历史版本兼容
  2. 1.2client可以了解1.0server，只是有些没有的功能不可用。
  3. 1.0cleint可以连接1.2，没有任何限制。
  4. 滚动升级从1.0到1.1是可能的，但是没有完整的测试。建议安装关闭所有节点，更新版本，启动更新的节点的步骤来升级。

不可兼容变化

  1. 副本因子最大值改成7，并且副本不能是偶数。
  2. 不提供GROUP_VARINT无损压缩算法。

约束性

  1. 列数，建议不超过300列，建议列数越少越好。
  2. cell大小，不能大于64KB，不然写入时client有error信息。
  3. 有效标识符，表名列名严格要求是UTF-8，且不能超过256个字符。

引用

https://github.com/cloudera/kudu/blob/master/docs/release_notes.adoc 
我的github https://github.com/qiulp/doc/blob/master/kudu/kudu1.2.0.md

Kudu1.3.0

新特性

  1. 增加了kerberos安全认证，可以通过kerberos tickets或者keytabs文件认证。此新特性是个可选项，推荐在部署环境中增加安全机制。

  2. 增加了Transport Layer Security（TLS）网络安全传输协议，kudu将会对任意client和server间的信息通信进行加密。默认加密是开启的，无论client或者server端都可以决定是否启用加密。

  3. 增加了粗粒度服务级别的授权。细粒度的授权，例如表级别、字段级别，暂不支持。

  4. 增加了清理过期历史版本数据（超过保留时间）的后台任务。减少磁盘空间的使用，特别是有频繁更新的数据。

  5. 便于诊断错误，集成了Google Breakpad，它产生的reports可以在配置的日志文件夹中看到。

优化

  1. 修改了数据目录和数据文件的权限，可以通过–umask配置。升级之后文件权限会更加严格。

  2. Web UI 去除了一些用户的敏感信息，例如查询时的predicate values。

  3. 默认kudu对配置的磁盘预留1%空间，当磁盘空闲空间不足1%时，为避免完全写满磁盘，会停止写入数据。

  4. 数字列（int float double）默认编码BIT_SHUFFLE，binary string类型的变成DICT_ENCODING。此类编码存储机制类似于parquet。

  5. WAL使用LZ4压缩，提升写入性能和稳定性。

  6. Delta file使用LZ4压缩，可以提高读和写，特别是频繁更新的可压缩数据。

  7. Kudu API在查询时支持IS NULL 和 IS NOT NULL（KuduPredicate.newIsNotNullPredicate）的pridicate，spark datasource集成可以利用这些新的predicate。

  8. C++ 和 Java client “in partitions”的查询有优化。

  9. Java client的异常信息被截断成最大的32KB。

兼容性

  1. Kudu 1.3 可连接kudu1.0 server，调用新特性时会报错。

  2. kudu 1.1 可连接kudu1.3 server，但当集群配置了安全认证，将会报错。

  3. 从1.2滚动升级到1.3没有被充分验证。建议使用者关闭整个集群，升级版本，然后重启新版本，通过这种方式来升级。

  4. 升级后，如果1.3版本设置了安全认证（authentication or encryption set to “required”），老版本的client将不能连接服务。

  5. 升级后，如果1.3版本没有设置安全认证（set to “optional” or “disabled”），老版本的client还能继续连接server。

不可兼容变化

  1. 因为存储格式变化，1.3版本将不能降级到老版本。

  2. 为了在配置了安全的集群上跑mr或者spark任务，需要提供认证凭证。

引用

https://github.com/cloudera/kudu/blob/master/docs/release_notes.adoc 
个人github https://github.com/qiulp/doc/edit/master/kudu/kudu1.3.0.md

标签：#kudu#时间戳 | 浏览：149 | 发布日期：

免责声明：文章转载自《Kudu1.1.0 、 Kudu1.2.0 Kudu1.3.0的版本信息异同比较》仅用于学习参考。如对内容有疑问，请及时联系本站处理。

上篇Nginx 完全配置nonebot 源码阅读笔记下篇

宿迁高防，2C2G15M，22元/月；香港BGP，2C5G5M，25元/月 雨云优惠码：MjYwNzM=

相关文章

使用VS2008开发OPC客户端程序

使用Rockwell的 RsiOPCAuto.dll 或者Siemens的 Interop.OPCSiemensDAAutomation.dll时， 若直接拷贝的Dll使用，需要注册后才可添加引用到VS2008.注册：D:\>regsvr32 rsiopcauto.dll 已下为OPC读取标签的核心内容： 使用了Hash表存储标签位置对应标签多代表...

shell 通过 data命令实现 时间戳 和 时间 相互转换

#!/bin/bash starttime=$(date "+%Y-%m-%d 00:00:00" -d "-1 day") endtime=$(date "+%Y-%m-%d 23:59:59" -d "-1 day") echo ${time1} starttime1=`date -d "$starttime" +%s` endtime1=`da...

PHP开发api接口安全验证（转）

php的api接口 在实际工作中，使用PHP写api接口是经常做的，PHP写好接口后，前台就可以通过链接获取接口提供的数据，而返回的数据一般分为两种情况，xml和json,在这个过程中，服务器并不知道，请求的来源是什么，有可能是别人非法调用我们的接口，获取数据，因此就要使用安全验证。 验证原理 示意图 原理 从图中可以看得很清楚，前台想要调用接口，需要使用...

python基础学习4-函数、内置函数、os模块、time模块

  1       函数 1.1     字符串格式化方法 Python中字符串格式化输出的几种方法： https://www.cnblogs.com/hongzejun/p/7670923.html 字符串格式化另外一种方式format方式 #字符串format()方法 #第一种import datetime msg = '欢迎光临{name}，今天的日...

RN 时间戳

let curTime = Date.now(); //获取到当前时间 curTime: 1555120690696 //是指从1970.1.1到现在的毫秒(ms)数 时间与时间戳之间的转换 // 获取当前时间戳 var timestamp = Date.parse(newDate()); console.log(timestamp); // 获取某个时...

ORTP库API使用入门

一、简介 ORTP是一个支持RTP以及RFC3550协议的库，有如下的特性： （1）使用C语言编写，可以工作于windows, Linux, 以及 Unix平台 （2）实现了RFC3550协议，提供简单易用的API。支持多种配置，RFC3551为默认的配置。 （3）支持单线程下的多个RTP会话，支持自适应抖动处理。 （4）基于GPL版权声明。 ORTP可以...

最新文章

随机推荐

思享工具箱导航