impala presto SparkSql性能测试对比

摘要:
目前,与impala1和hive相比,presto实时共享元数据。Impala需要另一个计划任务来广播元数据。无法立即使用impala查询新生成的数据。
 

目标是为测试impala presto SparkSql谁的性能更佳,以下结果底层查询的都是普通textfile snappy压缩后数据,规模为15台机器,若以orcfile、parquet速度能快数倍

impala与presto性能相当,SparkSql逊色不少。
目前看presto相比impala
1、与hive实时共享元数据,impala需要用另外定时任务广播元数据,新生成的数据,用impala不能立即查询。
2、没有出现操作大数据集有时挂掉的情况
3、presto与hive都由fackbook开源,兼容性应该会更好点
测试过程比较简单,分为四个场景sql查询:
 
查询id查询语句数据量(压缩前)
query1select sum(pv) from d_op_behavior_host_text_snappy35G
query2select siteid,sum(pv) as pv1 from d_op_behavior_host_text_snappy 
where pv>0  group by siteid order by pv1 desc limit 11;
35G
query3select count(*) from dwd.d_ad_3rd_party_fancy_all_data where 
thisdate='2015-11-10' and hour='17';
200G
query4select count(*) from dwd.d_ad_impression where thisdate>='2015-09-01' and thisdate<='2015-10-31'

 测试结果对比如下:

查询工具第一次执行时间第二次执行时间
query1impala4.82s5.56s
presto6s5s
sparkSql13s9s
query2impala12.79s12s
presto15s13s
sparkSql20s23s
query3impala挂掉挂掉
presto63s58s
sparkSql88s77s
query4impala131s148s
presto136s128s
sparkSql187s188s

免责声明:文章转载自《impala presto SparkSql性能测试对比》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇Android Studio添加aar依赖的两种方式MongoDB自动删除过期数据--TTL索引下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

相关文章

Mysql日期转换函数、时间转换函数

Mysql日期转换函数、时间转换函数 一、MySQL 获得当前日期时间 函数 1,获得当前日期+时间(date + time)函数:now(): select now(); 结果:2008-08-08 22:20:46 2,获得当前日期+时间(date + time)函数:sysdate()sysdate() 日期时间函数跟 now() 类似,不同...

MySQL 通配符学习小结

MySQL 通配符 SQL的模式匹配同意你使用“_”匹配不论什么单个字符,而“%”匹配随意数目字符(包含零个字符)。在 MySQL中,SQL的模式缺省是忽略大写和小写的。以下显示一些样例。 注意在你使用SQL模式时,你不能使用=或!=;而使用LIKE或NOT LIKE比較操作符。 为了找出以“b”开头的名字: mysql>...

jquery 多级联动下拉列表含(数据模型)

方法 /** * 级联 * 联动 * @param url:访问json数据的地址 * @param param:参数 * @param levelIds:页面下拉标签数组,为联动级数 * @private */ function _yh_linkage(url,params, levelIds){ _yh_post...

HiveSQL——row_number() over() 使用

语法格式:row_number() over(partition by 分组列 order by排序列 desc) row_number() over()分组排序功能: 在使用 row_number() over()函数时候,over()里头的分组以及排序的执行晚于 where 、group by、 order by 的执行。 例一: 表数据: creat...

Mysql数据优化--DBA梳理珍藏篇

1. 优化SQL1)     通过show status了解各种sql的执行频率         show status like 'Com_%'        了解 Com_select,Com_insert 的执行次数 2)    通过Explain分析低效的sql语句 3)    建立合适的索引 4)    通过show status like '...

ORACLE对象大小写问题

在数据库新建一个测试表(数据库版本为ORACLE 10.2.0.1.0),表名为小写的test。 脚本如下所示: CREATE TABLE test(     id      NUMBER(10),     Name    VARCHAR2(20),     Sex     VARCHAR(2))--查找不到对应数据SELECT * FROM USE...