(转载)数据库表分割技术浅析(水平分割/垂直分割/库表散列)

摘要:
水平拆分根据特定条件将数据放置在两个或多个单独的表中。有必要将历史数据与当前数据分开。水平分割的缺点:1.水平分割会增加应用程序的复杂性。查询时通常需要多个表名,查询所有数据需要联合操作。2: 垂直表拆分可以最大化缓存的使用。

一、数据库表分割技术

  数据库表分割技术包含以下内容:

  • 水平分割
  • 垂直分割
  • 库表散列

1.1、水平分割

  什么是水平分割?打个比较形象的比喻,在食堂吃饭的时候,只有一个窗口,排队打饭的队伍太长了,都排成S型了,这时容易让排队的人产生焦虑情绪,容易产生混 乱,这时一个管理者站出来,增加多个打饭窗口,把那条长长的队伍拦腰截断成几队。更形象一点的理解,你拿一把“手术刀”,把一个大表猛的切了几刀,结果这个大表,变成了几个小表。

  水平分割根据某些条件将数据放到两个或多个独立的表中。即按记录进分分割,不同的记录可以分开保存,每个子表的列数相同。水平切割将表分为多个表。每个表包含的列数相同,但是数据行更少。例如,可以将一个包含十亿行的表水平分区成 12 个表,每个小表表示特定年份内一个月的数据。任何需要特定月份数据的查询只需引用相应月份的表。

  通常用来水平分割表的条件有:日期时间维度、地区维度等,当然还有更多的业务维度。

  下面我举几个例子来解说一下 

  • 案例1:某个公司销售记录数据量太大了,我们可以对它按月进行水平分割,每个月的销售记录单独成一张表。 
  • 案例2:某个集团在各个地区都有分公司,该集团的订单数据表太大了,我们可以按分公司所在的地区进行水平切割。 
  • 案例3:某电信公司的话单按日期、地市水平切割后,发现数据量太大,然后他们又按品牌、号码段进行水平切割 

  水平分割通常在下面的情况下使用:
  (1)表数据量很大,分割后可以降低在查询时需要读的数据和索引的页数,同时也降低了索引的层数,加快了查询速度。 
  (2)表中的数据本来就有独立性,例如表中分别记录各个地区的数据或不同时期的数据,特别是有些数据常用,而另外一些数据不常用。 
  (3)需要把数据存放到多个介质上。 
  (4)需要把历史数据和当前的数据拆分开。

  水平分割优点: 
    1:降低在查询时需要读的数据和索引的页数,同时也降低了索引的层数,加快了查询速度。

  水平分割缺点: 
    1:水平分割会给应用增加复杂度,它通常在查询时需要多个表名,查询所有数据需要union操作。在许多数据库应用中,这种复杂性会超过它带来的优点,因为只要索引关键字不大,则在索引用于查询时,表中增加两到三倍数据量,查询时也就增加读一个索引层的磁盘次数。

1.2、垂直分割

  什么是垂直分割呢?打个形象的比喻,一个小公司通过短短几年发展变成了一个跨国大企业,以前的部门架构明显不能满足现在的业务发展,CEO噼里啪啦的把公司分成了财务部、人事部、生产部、销售部门.....,一下子成立了多个部门,各司其职。这个还算比较形象吧,有木有?呵呵
  垂直分割表(不破坏第三范式),把主键列和一些列放到一个表,然后把主键列和另外的一些列放到另一个表中。将原始表分成多个只包含较少列的表。如果一个表中某些列常用,而另外一些列不常用,则可以采用垂直分割

  垂直分割优点:
  1:垂直分割可以使得行数据变小,一个数据块(Block)就能存放更多的数据,在查询时就会减少I/O次数(每次查询时读取的Block 就少)。
  2:垂直分割表可以达到最大化利用Cache的目的。
  垂直分割缺点:
  1:表垂直分割后,主码(主键)出现冗余,需要管理冗余列
  2:会引起表连接JOIN操作(增加CPU开销)需要从业务上规避

1.3、库表散列

  表散列与水平分割相似,但没有水平分割那样的明显分割界限,采用Hash算法把数据分散到各个分表中, 这样IO更加均衡。一般来说,我们会按照业务或者功能模块将数据库进行分离,不同的模块对应不同的数据库或者表,再按照一定的策略对某个页面或者功能进行更小的数据库散列,比如用户表,按照用户ID进行表散列,散列128张表,则应就能够低成本的提升系统的性能并且有很好的扩展性

免责声明:文章转载自《(转载)数据库表分割技术浅析(水平分割/垂直分割/库表散列)》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇使用C#创建webservice及三种调用方式openresty+pdf.js 实现一个通用的pdf预览服务下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

相关文章

mongo部署(linux)

Linux版本:CentOS release 6.9 Mongodb版本:mongodb-linux-x86_64-3.6.1.tgz 1、解压文件 执行解压命令:tar -zxvf mongodb-linux-x86_64-3.6.1.tgz   2、创建数据,日志目录 命令:mkdir /my/mydata/mongodb       mkdir /m...

MongoDB连接

MongoDB - 连接 启动 MongoDB 服务 在 MongoDB 安装目录的 bin 目录下执行 mongodb 启动 MongoDB 服务。 执行启动操作后,mongodb 在输出一些必要信息后不会输出任何信息,之后就等待连接的建立,当连接被建立后,就会开始打印日志信息。 你可以使用 MongoDB shell 来连接 MongoDB 服务器。你...

开源BI分析工具Metabase配置与完全使用手册

文章目录 简介 安装 初始配置 数据分析 简单查询 创建场景 创建集合和仪表盘 自定义查询 原生查询 sql变量 动态sql片段 管理员操作 添加数据库连接oracle 成员管理邀请新成员 权限配置 数据权限 文件夹权限 邮箱配置 定时任务 简介 Metabase是一个免费的BI分析工具,可以帮助你把数据库...

linux下mysql的安装与使用

一、mysql的安装 之前搭建linux下项目的发布,最后遗留的问题时数据库的迁移,如何从windows上迁移到linux上?这里首先进行mysql数据库的安装 1、下载mysql安装包 在这里下载的是如下版本的mysql https://cdn.mysql.com//Downloads/MySQL-5.7/mysql-5.7.26-linux-glibc...

python ORM框架:SqlAlchemy

  ORM,对象关系映射,即Object Relational Mapping的简称,通过ORM框架将编程语言中的对象模型与数据库的关系模型建立映射关系,这样做的目的:简化sql语言操作数据库的繁琐过程(原生sql的编写及拼接等),转而直接使用对象模型来操作数据库做替代 第一部分       SqlAlchemy本身无法直接操作数据库,它是建立在第三...

mongodb分片认证

启动configsvr 1. 确保mongdb的configsvr是采用service模式启动的,即从/etc/init.d下的脚本启动的,其用户是mongod。 2. 确保mongod的配置文件完全相同。 3. 确保整个集群的所有keyFile文件内容相同。 启动mongos 1. 使用以下命令启动,以确保用户切换为mongod: runuser -s...