性能提升40%!阿里云神龙大数据加速引擎获TPCxBB世界排名第一

摘要:
近日,BenchmarkExpress BigBench发布最新世界排名,阿里云自主研发的标致雪铁龙大数据加速器胜出TPCx-BB@3000世界第一。TPCx BB测试分为两个维度:性能和性价比。其中,在性能方面,阿里云排名第二,高达41.6%,达到2187.42BBQpm,性价比为40%,降至346.53USD/BBQpm。TPCx BB的测试结果能够全面准确地反映端到端大数据系统的整体运行性能。由阿里云自己开发的龙的大数据加速引擎MRACC是此次获得世界第一的杀手锏。

简介:神龙大数据加速引擎,针对大数据常用组件,如Spark、Hadoop、Alluxio等,结合阿里云神龙架构的特性,进行软硬一体化优化,形成独一无二的性能优势,最终,使复杂SQL查询场景性能相比社区版spark提升2-3倍,使用eRDMA加速Spark性能提升30%。

近日,Benchmark Express-BigBench(简称TPCx-BB)公布了最新的世界排名,阿里云自主研发的神龙大数据加速器荣获TPCx-BB@3000世界排名第一

TPCx-BB测试分为性能与性价比两个维度。其中,在性能维度,在本次排名中,阿里云领先第二名高达41.6%,达到了2187.42 BBQpm,性价比领先第二名40%,降低到346.53 USD/BBQpm。

性能维度排行.png

(TPCx-BB@3000性能维度排行)

性价比维度排行.png

(TPCx-BB@3000性价比维度排行)

TPCx-BB是由国际标准化测试权威组织(TPC)发布的基于零售业场景构建的端到端大数据测试基准,支持主流分布式大数据处理引擎,模拟了整个线上与线下业务流程,有30个查询语句,涉及到描述性过程型查询、数据挖掘以及机器学习的算法。TPCx-BB的测试具有数据量大、特征复杂、来源复杂等特点,与真实业务场景较为接近,对各行业的基础设施选型有着重要参考意义

TPCx-BB的测试结果,可以全面准确的反映端到端的大数据系统的整体运行性能。测试涵盖了结构化、半结构化和非结构化数据,能够从客户实际场景角度更全面的评估大数据系统软硬件性能、性价比、服务和功耗等各个方面。

阿里云自研的神龙大数据加速引擎MRACC(ApasaraCompute MapReduce Accelerator),是这次荣登世界第一的杀手锏。神龙大数据加速引擎,针对大数据常用组件,如Spark、Hadoop、Alluxio等,结合阿里云神龙架构的特性,进行软硬一体化优化,形成独一无二的性能优势,最终,使复杂SQL查询场景性能相比社区版spark提升2-3倍,使用eRDMA加速Spark性能提升30%

具体来说,针对大数据任务重IO特性,MRACC在网络和存储方面结合云上的架构优势进行软硬件加速,包括软件的SQL引擎优化,使用缓存、文件裁剪、索引等优化手段,并尝试将压缩等运算卸载到异构器件;还使用eRDMA进行网络加速,将shuffle阶段的数据交换运行在eRDMA网络,使得延时降低、CPU利用率大幅提升。

MRACC与神龙云服务器的结合,给云上大数据带来了新的想象空间,给用户带来了更高的性能和性价比。

原文链接

本文为阿里云原创内容,未经允许不得转载。 

免责声明:文章转载自《性能提升40%!阿里云神龙大数据加速引擎获TPCxBB世界排名第一》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇[实战]记一次PUT方法拿下网站shellCentOS出错You don't have permission to access on this server下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

相关文章

Kafka 简介梳理

个人在学习Kafka , 这两天在看官方文档。 看完了简介部分,看完做个小总结。看看官方是怎么夸Kafka的。 三大特性 发布-订阅 持久化存储 低延迟的实时处理 特性梳理 Topic : 逻辑概念,承载数据的实体 数据的保存期限可以设置 磁盘是顺序读写,IO不是瓶颈 可以处理大数据量数据,且不损失性能 数据存储, 数据不丢失 可以重复消费 各消费...

[IOS微信] 查看微信原始数据(含沙盒中的数据)

1、下载PP助手,将苹果手机连接到电脑上, 2、备份数据   备份还原——备份数据——全新备份 3、导出数据   备份还原——还原数据,在右边的列表中找到备份记录,点击“查看”,   在弹出窗口的右侧,找到“AppDomain-com.tencent.xin”,选中,点击“导出”。 导出的数据中,包含有微信缓存的所有数据。如下图,在“Documents”文...

oracle 11g在安装过程中出现监听程序未启动或数据库服务未注册到该监听程序

15511477451 原文 oracle 11g在安装过程中出现监听程序未启动或数据库服务未注册到该监听程序? 环境:win7 64位系统、oracle11g数据库 问题描述:在win7 64位系统下安装oracle11g,在使用Database configuration Assistant创建数据库时,在创建到85%的时候报错。错误提示内容如下。...

springboot多数据源时取不同库中相同表结构的数据并分页显示

配置好多数据源后,之前取数是调用多个mapper,每个mapper中配置注解切换数据源。发现这样能够查询出来,但是表格分页展示时由于每次翻页重新请求数据库,导致翻页数据错误。 最后发现可以在主库中利用视图获取多个库的数据,之后调用主库中的mapper取得主库中视图数据,分页也正确。 数据库语句: create view view_data_all as s...

sqlserver 获取实例上用户数据库的数据字典

原理很简单:将获取数据字典信息(通过动态视图获取)存入到目标表(数据字典表)中即可。 本人自用实例 1)创建相关的字典表 useYWMonitor GO SET ANSI_NULLS ON GO SET QUOTED_IDENTIFIER ON GO SET ANSI_PADDING ON GO if not exists (select * fro...

WPF MVVM实现数据增删改查逻辑全流程详细解析demo

界面总览 gitee 地址:WPFMVVM: 使用mvvm模拟实现数据增删改查 (gitee.com) 本例中包含两个View 界面:MainWindow.xaml 数据列表界面,StudentView.xaml数据新增编辑界面 本例使用了命令绑定MvvmLight RelayCommand模拟数据增删改查操作,适用于WPF入门阅读 效果如下:   程序代...