初识大数据(三. Hadoop与MPP数据仓库)

摘要:
MPP代表大规模并行处理,这是网格计算中所有单个节点参与协调计算的方法。MPPDBMS是基于该方法的数据库管理系统。MPP与SQL和一些事务处理功能完全兼容。如果数据扩展需求不太大,并且数据是结构化数据,如果您习惯于使用传统的RDBMS,则可以选择MPP数据仓库。目前,hadoop技术栈和MPP数据仓库之间有很多讨论和比较。许多人认为hadoop可以取代MPP,但下表中的比较显示了两者之间的差异。对于不同的场景和MPP技术的发展,它们仍然应该共存。

  MPP代表大规模并行处理,这是网格计算中所有单独节点参与协调计算的方法。 是将任务并行的分散到多个服务器和节点上,在每个节点上计算完成后,将各自部分的结果汇总在一起得到最终的结果。 MPP DBMS是建立在这种方法之上的数据库管理系统。在这些系统中的每个查询都会被分解为由MPP网格的节点并行执行的一组协调进程,它们的运行时间比传统的SMP RDBMS系统快得多。该架构的另一个优点是可扩展性,因为可以通过添加新节点扩展网格。为了能够处理大量的数据,这些解决方案中的数据通常在每个节点只处理其本地数据的方式在节点(分片)之间分割。这是一种完全无共享(Share Nothing)结构,因而扩展能力最好,理论上其扩展无限制,目前技术上可实现512个节点互联,数千个CPU。MPP有对SQL的完整兼容和一些事务处理功能,如果数据扩展需求不是特别大,数据都是结构化数据,习惯使用传统RDBMS,可以选择MPP数据仓库。

目前有很多关于hadoop技术栈与MPP数据仓库的讨论与对比,很多观点认为hadoop可以替代MPP,但是从下表的比对可以看出两者的差异,对于不同的场景以及MPP技术的发展,应该还是处于并存的状态。另外,基于复杂的数据场景下,混合框架的使用,也还是会存的。我们团队就使用混合框架构建了数据中心,从而完善OLTP能力。

以下是两者的比较:

特性

Hadoop

MPP数据仓库

计算节点数

可到数千个

一般1000个以内

数据量

支持大于10P

一般不大于10P

数据类型

关系型,半关系型,无结构化,语音,图像,视频

关系型

时延

中/高

低(但还是要看数据量和维度的数量)

应用生态

创新型/人工智能

传统数据库型/BI类

应用开发接口

SQL,MR,丰富的编程语言接口

标准数据库SQL

可扩展性

无穷的可能,完整的编程接口

有限扩展能力,主要通过UDF支持

事务支持

有限

完整

价格

免责声明:文章转载自《初识大数据(三. Hadoop与MPP数据仓库)》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇OA日志模块对 JavaScript 中的5种主要的数据类型进行值复制下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

相关文章

h5页面下拉到底部加载下一页数据

//页面滚到底部异步加载下一页数据 $(window).scroll(function () { //已经滚动到上面的页面高度 var scrollTop = parseFloat($(this).scrollTop()), //页面高度 scrollHeight =$(documen...

前端与后端的数据交互(jquery ajax+python flask)

前端与后端的数据交互,最常用的就是GET、POST,比较常用的用法是:提交表单数据到后端,后端返回json 前端的数据发送与接收1)提交表单数据2)提交JSON数据 后端的数据接收与响应1)接收GET请求数据2)接收POST请求数据3)响应请求 前端的数据发送与接收 1. 提交表单数据 # GET请求 var data = { "name":...

jmeter 读取excel数据

jmeter 读取excel数据使用的方法是使用Jmeter CSV Data Set Config参数化 但是将excel文件保存成csv格式后,jmeter读取后返回的数据总是出现乱码问题, 以下就是解决的办法: 先做一个Excel表,如下 再将excel表格保存为csv格式: 下面是使用CSV Data Set Config参数化将csv里面的数...

纯C++ 连接SQL Server2005 数据库读写操作的小例子

一个测试c++链接 sql server 数据库的例子// 数据库说明// 数据库用户为 sa , 密码为 空// 数据库为 MyDB// 表为 UserInfo// 表字段为 Name 、 PassWd 、ID // TestSQL.cpp : Defines the entry point for the console application.//...

(转)HBase 常用Shell命令

转自:http://my.oschina.net/u/189445/blog/595232 hbase shell命令 描述 alter 修改列族(column family)模式 count 统计表中行的数量 create 创建表 describe 显示表相关的详细信息 delete 删除指定对象的值(可以为表,行,列对应的值,...

使用 elementUI 树形控件Tree 编辑数据

操作新增/编辑功能时初始化数据: 应用属性 default-checked-keys 给Tree节点赋默认值(赋值数据为节点数组Arr)前,应先清空数组Arr,并且配合使用this.$refs.tree.setCheckedKeys([])。...