MySQL crc32 & crc64函数 提高字符串查询效率

摘要:
MySQL CRC32使用bigint来存储整数结果,并使用integer来加快查询速度,以避免对字符串url进行全表扫描。从varchar到bigint的url场景的优化不是特别有效,通常需要安装Schema数据库函数库。在数据库上安装公共_架构库要求:
一、CRC32概念

CRC全称为Cyclic Redundancy Check,又叫循环冗余校验。CRC32是CRC算法的一种,常用于校验网络上传输的文件。

二:MySQL里如何利用CRC32来加快查询???

CRC32的基本特征

#1.CRC32函数返回值的范围是0-4294967296(2的32次方减1)

#2.相比MD5,CRC32函数很容易碰撞

CRC32的使用场景

由上述两个基本特性可知,MySQL CRC32 生成整型结果使用用bigint存储,而MD5需要varchar来存储。但是CRC32很容易碰撞,这适合做索引么?

场景:我们在做一个爬虫,对于一个URL,先去数据库里查询是否存在,如果不存在,插入到数据库中。大家都知道这种类型应用表会增长非常迅速,如果简单的

SELECT * FROM urls WHERE url = 'http://wwww.shopperplus.com';

会每次全表扫描,效率非常低。如果在url列上面加索引会快一些,但由于url是varchar类型,字段本身的存储空间和索引占用的存储空间都比较大。

如果加一个crc32_url列,并且只在这个列上加索引,索引空间就会小很多,并使用整型加速查询速度避免字符串url全表扫描。

SELECT * FROM urls WHERE crc_url = 907060870;

上面这种做法一定不可以,因为前面已经提到crc32函数会产生碰撞,也就是说值为907060870的不止有hello。一个小技巧是只使用crc32列来过滤:

SELECT * FROM urls WHERE crc_url = 907060870 AND url = 'hello';

这样一来,大部分查询还是只需要扫描一行就获得结果。对于少部分碰撞的记录,只需要多扫描几行也可以正确获得结果。 url的场景从varchar到bigint的优化其实效果不是特别明显。另一个例子是文本,假如我们有一个text类型的字段(文章内容、评论、微博之类),每次插入之前要判断一下这个内容是否在数据库里存在了。如果使用crc32的技巧,改善的空间还是蛮大的。

三、crc32 缺点容易发生碰撞,有没有更好的方案?

答案是肯定的 -> crc64

crc64() 这个函数补充了MySQL的crc32()函数,其结果是在大量值上分布不均匀。crc64()算法依赖于MD5作为底层机制。

crc64()安装: 需要安装 common_schema database函数库,安装 common_schema库对db要求: MySQL 5.1, 5.5 and 5.6, Oracle distribution, Percona Server and MariaDB.

common_schema 下载: common_schema-2.2.sql

https://code.google.com/archive/p/common-schema/downloads

支持2种安装方式:

# mysql安装

SOURCE /home/ssd/software/common_schema-2.2.sql

#shell 安装

mysql < /home/ssd/software/common_schema-2.2.sql

common_schema-2.2安装成功效果

common_schema-2.2安装成功效果

# 验证安装成功: 多了一个common_schema 证明安装成功

show databases;

多了一个common_schema 证明安装成功

多了一个common_schema 证明安装成功

# crc64()使用:

mysql> SELECT common_schema.crc64('mysql') AS crc64;

+---------------------+

| crc64 |

+---------------------+

| 9350511318824990686 |

+---------------------+

参考:

https://blog.tanteng.me/2016/02/crc32-mysql-index/

http://shopperplus.github.io/blog/2015/01/10/crc32-hash-usage-in-mysql.html

crc64()文档:

https://shlomi-noach.github.io/common_schema/crc64.html

https://shlomi-noach.github.io/common_schema/documentation.html

common_schema2.2 安装:

https://shlomi-noach.github.io/common_schema/install.html

common_schema2.2 下载:

https://shlomi-noach.github.io/common_schema/download.html

https://code.google.com/archive/p/common-schema/

https://code.google.com/archive/p/common-schema/downloads

免责声明:文章转载自《MySQL crc32 &amp;amp; crc64函数 提高字符串查询效率》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇干货 | 把Flutter扩展到微信小程序端的探索ubuntu终端颜色配置下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

相关文章

java web开发入门四(spring)基于intellig idea

spring  1.spring简介 Spring框架,可以解决对象创建以及对象之间依赖关系的一种框架。                           且可以和其他框架一起使用;Spring与Struts,  Spring与hibernate                           (起到整合(粘合)作用的一个框架) Spring提供了一...

VC中Spin控件的使用

微调按钮设置成set buddy inter选上 然后可以(1)通过 setbuddy+setrange函数    或(2)auto buddy自动选上,只要编辑框的tab order 比微调按钮小1就可以自动了 (另转)VC中Spin控件的使用 http://leichaofu.blog.163.com/blog/static/459481820098...

ThinkPHP第二十五天(自动完成、用户名密码PHP正则、移位或加密函数)

1、ThinkPHP自动完成功能   跟昨天的自动验证功能类似,也是需要在自定义的UserModel类,进行使用。   使用方法:定义$_auto属性   $_auto = array(     array(完成字段,完成规则,完成时间,附加条件),     ......   );   完成字段:需要自动完成的字段,   完成规则:对字段进行自动完成的规则...

js 和后台交互

.asp.net呼叫js                        Response.Write("<script language=javascript>");                     Response.Write("alert('登峰欢迎您 ');" );                     Response.Wri...

Vue页面加载时,触发某个函数的方法

需要在加载页面的时候调用生成验证码的click事件函数 解决方法如下,利用Vue中的mounted 1 mounted:function(){ 2 this.createcode();//需要触发的函数 3 } 4 //下面是createcode函数 5 createcode(){ 6 var self...

Idea 添加注释:类注释、方法注释(可获取参数)

Idea 添加注释:类注释、方法注释类注释方法注释类注释File–Setting–Editor–File and Code Templates–Class:注释模板: /** * *@description: *@author: Andy *@time: ${DATE} ${TIME} * */ 操作截图:  效果:  方法注释 为了获取参...