PCIe固态存储和HDD常见的硬盘性能对比测试

摘要:
测试两周后,获得了以下结果:MySQL OLTP测试结果:(50个表。每个表有1000个WAN数据和1000个线程)TPS:MySQL在PCIe固态存储上的执行量是在HDD上执行量的5.63倍写入:MySQL在SSD上执行量是HDD上的5.58倍读取:MySQL在固态存储上执行量比HDD上执行的5.55倍响应时间:MySQL在PCIe固态存储比HDD

2周测试后,导致以下结果

MySQL-OLTP测试结果:(50表。每个表1000广域网数据,1000个线程)

TPS:MySQL在PCIe固态存储上执行是在HDD上执行的5.63倍

writes:MySQL在PCIe固态存储上执行是在HDD上执行的5.58倍

reads:MySQL在PCIe固态存储上执行是在HDD上执行的5.55倍

Response_time:MySQL在PCIe固态存储上执行比在HDD上执行响应时间快44.45倍

Errors:MySQL在PCIe固态存储上执行是在HDD上执行错误率低83.5倍 

随机IO測试结论:

PCIe固态存储随机读写IO处理能力是HDD随机读写IO处理能力的20倍 

下面是具体測试过程

准备工作

操作系统:CentOS6.4 64位

D          B:MySQL5.6.22 64位

硬        盘:PCIe(Shannon Direct-IO 1.6TB)、HDD

測试工具:sysbench0.5

监控工具:zabix

一、安装sysbench 0.5

        sysbench 0.5相比0.4版本号的主要变化是,oltp測试结合了lua脚本。不须要改动源代码,通过自己定义lua脚本就能够实现不同业务类型的測试。

同一时候0.5相比0.4须要消耗很多其它的cpu资源。


下载sysbench源代码包
原来官网  http://sysbench.sourceforge.net 已停用。眼下sysbench代码托管在launchpad上https://launchpad.net/sysbench

更新和安装依赖包

yum -y install gcc
yum -y install libtool

安装bzrclient

yum -y install bzr

在线获取0.5的版本号,#下载到当前文件夹,文件名称为: sysbench_0.5

bzr branch lp:sysbench
cd sysbench_0.5/

执行命令:./autogen.sh,对环境进行清理
./autogen.sh

./configure  --with-mysql-includes=/usr/local/mysqla/include/ --with-mysql-libs=/usr/local/mysqla/lib/
# with-mysql-includes 指定MySQL安装文件夹
# with-mysql-libs  指定MySQL lib所在文件夹

make && make install


假设遇到下面错误

../libtool: line 841: X--tag=CC: command not found
../libtool: line 874: libtool: ignoring unknown tag : command not found
../libtool: line 841: X--mode=link: command not found
../libtool: line 1007: *** Warning: inferring the mode of operation is deprecated.: command not found
../libtool: line 1008: *** Future versions of Libtool will require --mode=MODE be specified.: command not found
../libtool: line 2234: X-g: command not found
../libtool: line 2234: X-O2: command not found
../libtool: line 1954: X-L/usr/local/mysqla/lib/: No such file or directory
../libtool: line 2403: Xsysbench: command not found
../libtool: line 2408: X: command not found
../libtool: line 2415: Xsysbench: command not found
../libtool: line 2550: X-lmysqlclient_r: command not found
../libtool: line 2550: X-lrt: command not found
../libtool: line 2550: X-lm: command not found
../libtool: line 2632: X-L/home/sysopt/src/sysbench-0.4.12/sysbench: No such file or directory
../libtool: line 2550: X-lmysqlclient_r: command not found
../libtool: line 2550: X-lrt: command not found
../libtool: line 2550: X-lm: command not found
../libtool: line 2632: X-L/home/sysopt/src/sysbench-0.4.12/sysbench: No such file or directory
../libtool: line 2550: X-lmysqlclient_r: command not found
../libtool: line 2550: X-lrt: command not found
../libtool: line 2550: X-lm: command not found

可能原因:

1、没装依赖包libtool

2、安装的版本号不正确(libtool版本号过旧)

3、其他原因

解决方法:

1、安装依赖包libtool

2、libtoo更新到新版本号

3、用autoreconf取代autogen.sh,方法例如以下:

autoreconf -i
configure
make
make install

成功安装后可通过help命令查看sysbench帮助

[root@localhost src]# sysbench --help
Missing required command argument.
Usage:
  sysbench [general-options]... --test=<test-name> [test-options]... command

General options:
  --num-threads=N             number of threads to use [1]#使用线程数量
  --max-requests=N            limit for total number of requests [10000]#请求数,默觉得10000
  --max-time=N                limit for total execution time in seconds [0]#执行时间。默觉得0表示表示不限制
  --forced-shutdown=STRING    amount of time to wait after --max-time before forcing shutdown [off]
  --thread-stack-size=SIZE    size of stack per thread [64K]
  --tx-rate=N                 target transaction rate (tps) [0]
  --report-interval=N         periodically report intermediate statistics with a specified interval in seconds. 0 disables intermediate reports [0]#0.5的新增參数(默认值0,表示禁用该功能)在指定的时间间隔报告測试信息,<span style="font-size:12px;">不用等到执行结束时再得到反馈</span>
  --report-checkpoints=[LIST,...]dump full statistics and reset all counters at specified points in time. The argument is a list of comma-separated values representing the amount of time in seconds elapsed from start of test when report checkpoint(s) must be performed. Report checkpoints are off by default. []
  --test=STRING               test to run
  --debug=[on|off]            print more debugging info [off]
  --validate=[on|off]         perform validation checks where possible [off]
  --help=[on|off]             print help and exit
  --version=[on|off]          print version and exit [off]
  --rand-init=[on|off]        initialize random number generator [off]#初始化时生成随机的数据。默认关闭
  --rand-type=STRING          random numbers distribution {uniform,gaussian,special,pareto} [special]
  --rand-spec-iter=N          number of iterations used for numbers generation [12]
  --rand-spec-pct=N           percentage of values to be treated as 'special' (for special distribution) [1]
  --rand-spec-res=N           percentage of 'special' values to use (for special distribution) [75]
  --rand-seed=N               seed for random number generator, ignored when 0 [0]
  --rand-pareto-h=N           parameter h for pareto distibution [0.2]

Log options:
  --verbosity=N      verbosity level {5 - debug, 0 - only critical messages} [3]

  --percentile=N      percentile rank of query response times to count [95]

Compiled-in tests:測试项目
  fileio - File I/O test   #磁盘IO測试
  cpu - CPU performance test  #CPU运算性能
  memory - Memory functions speed test #内存分配及传输速度
  threads - Threads subsystem performance test #POSIX线程性能
  mutex - Mutex performance test #相互排斥性能測试

Commands: prepare run cleanup help version

See 'sysbench --test=<name> help' for a list of options for each test.

二、測试

1.MySQL-OLTP測试

数据准备

[root@localhost sysbench_0.5]# sysbench --mysql-db=sbtest --num-threads=24 --mysql-engine-trx=yes --mysql-table-engine=innodb --rand-type=special --mysql-host=localhost --mysql-port=3307 --mysql-user=root --mysql-password= --mysql-socket=/data1/lib/mysql/mysql.sock --test=sysbench/tests/db/oltp.lua --oltp_tables_count=50 --oltp-table-size=10000000 --rand-init=on prepare

參数说明:
--mysql-db:指定在哪个数据库创建測试表。默觉得sbtest库,须要提前创建好
--num-threads:使用多线程创建多表,节省准备时间
--mysql-engine-trx=yes 支持事务
--mysql-table-engine:指定存储引擎,如myisam。innodb,heap,ndbcluster,bdb,maria,falcon,pbxt 默认InnoDB
--test=tests/db/oltp.lua 表示调用 tests/db/oltp.lua 脚本进行 oltp 模式測试
--oltp_tables_count=10 表示会生成 10 个測试表
--oltp-table-size=1000000 表示每一个測试表填充数据量为 1000000

--db-driver:指定驱动,默觉得Mysql
--rand-init=on 表示每一个測试表都是用随机数据来填充的

#使用1000个线程開始測试,读写模式。
模拟 对50个表并发OLTP測试,每一个表1000万行记录,持续压測时间为 1小时
[root@localhost sysbench_0.5]# sysbench --mysql-engine-trx=yes --mysql-table-engine=innodb --mysql-host=localhost --mysql-port=3307 --mysql-user=root --mysql-password= --mysql-socket=/data1/lib/mysql/mysql.sock --test=sysbench/tests/db/oltp.lua --oltp_tables_count=50 --oltp-table-size=100000000 --num-threads=1000 --oltp-read-only=off --report-interval=10 --rand-type=uniform --max-time=3600 --max-requests=0 --percentile=95 run >>/data1/sysbench-rw.txt

參数说明
--oltp-read-only=off 表示不要进行仅仅读測试,也就是会採用读写混合模式測试
--report-interval=10 表示每10秒输出一次測试进度报告
--rand-type=uniform:数据分布模式,special表示存在热点数据,uniform表示非热点数据模式: uniform(固定),gaussian(高斯),special(特定的),pareto(帕累托)
--max-time=3600 表示最大运行时长为 3600秒
--max-requests=0 表示总请求数为 0,由于上面已经定义了总运行时长,所以总请求数能够设定为 0;也能够仅仅设定总请求数,不设定最大运行时长
--percentile=95 表示设定採样比例。默认是 95%,即丢弃5%的长请求。在剩余的95%里取最大值

可选參数:
--oltp-point-selects:在一个事务里面Point select的数量,默觉得10
--oltp-range-size:range查询的范围大小。默认100。应该小于oltp-table-size
--oltp-simple-ranges:在一个事务里面简单range查询的数量,默认1
--oltp-sum-ranges:在一个事务里面SUM range查询的数量,默认1
--oltp-order-ranges:在一个事务里面ORDER range查询的数量。默认1
--oltp-distinct-ranges:在一个事务里面DISTINCT range查询的数量,默认1

注意:我这里将測试中输出信息存放到一个文本文件中。便于用监控展示成图表形式,这样更直观

监控结果:

PCIe固态存储-IO

 PCIe固态存储和HDD常见的硬盘性能对比测试第1张PCIe固态存储和HDD常见的硬盘性能对比测试第2张

HDD-IO

PCIe固态存储和HDD常见的硬盘性能对比测试第2张PCIe固态存储和HDD常见的硬盘性能对比测试第4张

PCIe固态存储-TPS

PCIe固态存储和HDD常见的硬盘性能对比测试第2张PCIe固态存储和HDD常见的硬盘性能对比测试第6张

HDD-TPS

PCIe固态存储和HDD常见的硬盘性能对比测试第2张PCIe固态存储和HDD常见的硬盘性能对比测试第8张

PCIe固态存储-writes

PCIe固态存储和HDD常见的硬盘性能对比测试第2张PCIe固态存储和HDD常见的硬盘性能对比测试第10张

HDD-Writes

PCIe固态存储和HDD常见的硬盘性能对比测试第2张PCIe固态存储和HDD常见的硬盘性能对比测试第12张

PCIe固态存储-reads

PCIe固态存储和HDD常见的硬盘性能对比测试第2张PCIe固态存储和HDD常见的硬盘性能对比测试第14张

HDD-Reads

PCIe固态存储和HDD常见的硬盘性能对比测试第2张PCIe固态存储和HDD常见的硬盘性能对比测试第16张

PCIe固态存储-Response-time

PCIe固态存储和HDD常见的硬盘性能对比测试第2张PCIe固态存储和HDD常见的硬盘性能对比测试第18张

HDD-Response_time

PCIe固态存储和HDD常见的硬盘性能对比测试第2张PCIe固态存储和HDD常见的硬盘性能对比测试第20张

PCIe固态存储-errors

PCIe固态存储和HDD常见的硬盘性能对比测试第2张PCIe固态存储和HDD常见的硬盘性能对比测试第22张

HDD-Errors

 PCIe固态存储和HDD常见的硬盘性能对比测试第23张PCIe固态存储和HDD常见的硬盘性能对比测试第2张

 结论:(监控參数同样的情况下--oltp_tables_count=50 --oltp-table-size=100000000 --num-threads=1000 --oltp-read-only=off --rand-type=uniform )

TPS:MySQL在PCIe固态存储上执行是在HDD上执行的5.63倍

writes:MySQL在PCIe固态存储上执行是在HDD上执行的5.58倍

reads:MySQL在PCIe固态存储上执行是在HDD上执行的5.55倍

Response_time:MySQL在PCIe固态存储上执行比在HDD上执行响应时间快44.45倍

Errors:MySQL在PCIe固态存储上执行是在HDD上执行错误率低83.5倍


2、随机IO測试(这里就不再上图了)

数据准备(创建70G文件)注意:文件大小须要大于内存大小

sysbench --test=fileio --file-total-size=70G --file-test-mode=rndrw --init-rng=on --max-time=300 --max-requests=0 prepare

測试阶段

sysbench --test=fileio --file-total-size=70G --file-test-mode=rndrw --init-rng=on --max-time=300 --max-requests=0 run

清楚測试数据

sysbench --test=fileio --file-total-size=70G --file-test-mode=rndrw --init-rng=on --max-time=300 --max-requests=0 clean

随机读写混合

PCIe固态存储

Operations performed:  1789098 reads, 1192732 writes, 3816704 Other= 6798534 Total

Read 27.299Gb  Written 18.2Gb  Total transferred 45.499Gb  (155.3Mb/sec)

 9939.43 Requests/sec executed

General statistics:

   total time:                         300.0001s

   total number of events:             2981830

   total time taken by event execution: 214.9376s

   response time:

        min:                                 0.00ms

        avg:                                 0.07ms

        max:                                 7.26ms

        approx.  95 percentile:               0.23ms

Threads fairness:

   events (avg/stddev):          2981830.0000/0.00

   execution time (avg/stddev):  214.9376/0.00

HDD

Operations performed:  85851 reads, 57234 writes, 183040 Other =326125 Total

Read 1.31Gb Written 894.28Mb  Totaltransferred 2.1833Gb  (7.4523Mb/sec)

 476.95 Requests/sec executed

General statistics:

   total time:                          300.0024s

   total number of events:             143085

   total time taken by event execution: 291.8164s

   response time:

        min:                                 0.01ms

        avg:                                 2.04ms

        max:                               170.33ms

        approx.  95 percentile:               5.22ms

Threads fairness:

   events (avg/stddev):          143085.0000/0.00

   execution time (avg/stddev):  291.8164/0.00

随机写

PCIe固态存储

Operations performed:  0 reads, 10441500 writes, 13365074 Other =23806574 Total

Read 0b Written 159.32Gb  Totaltransferred 159.32Gb  (271.91Mb/sec)

17402.24 Requests/sec executed

General statistics:

   total time:                         600.0090s

   total number of events:             10441500

   total time taken by event execution: 168.8168s

   response time:

        min:                                 0.00ms

        avg:                                 0.02ms

        max:                                  0.71ms

        approx.  95 percentile:               0.02ms

Threads fairness:

   events (avg/stddev):          10441500.0000/0.00

execution time(avg/stddev):   168.8168/0.00

HDD

Operationsperformed:  0 reads, 427200 writes,546689 Other = 973889 Total

Read 0b  Written 6.5186Gb  Total transferred 6.5186Gb  (11.125Mb/sec)

  712.00 Requests/sec executed

Generalstatistics:

    total time:                          600.0002s

    total number of events:              427200

    total time taken by event execution:10.5053s

    response time:

         min:                                  0.01ms

         avg:                                  0.02ms

         max:                                 29.30ms

         approx.  95 percentile:               0.03ms

Threadsfairness:

    events (avg/stddev):           427200.0000/0.00

    execution time (avg/stddev):   10.5053/0.00

随机读

PCIe固态存储

Operationsperformed:  3898994 reads, 0 writes, 0Other = 3898994 Total

Read59.494Gb  Written 0b  Total transferred 59.494Gb  (203.07Mb/sec)

12996.64Requests/sec executed

Generalstatistics:

    total time:                          300.0001s

    total number of events:              3898994

    total time taken by event execution:294.7603s

    response time:

         min:                                  0.00ms

         avg:                                  0.08ms

         max:                                 30.09ms

         approx.  95 percentile:               0.24ms

Threadsfairness:

    events (avg/stddev):           3898994.0000/0.00

    execution time (avg/stddev):   294.7603/0.00

HDD

Operationsperformed:  131643 reads, 0 writes, 0Other = 131643 Total

Read2.0087Gb  Written 0b  Total transferred 2.0087Gb  (6.8564Mb/sec)

  438.81 Requests/sec executed

Generalstatistics:

    total time:                          300.0014s

    total number of events:              131643

    total time taken by event execution:299.7703s

    response time:

         min:                                  0.00ms

         avg:                                  2.28ms

         max:                                121.94ms

         approx.  95 percentile:               5.34ms

Threadsfairness:

    events (avg/stddev):           131643.0000/0.00

    execution time (avg/stddev):   299.7703/0.00

结论:

PCIe固态存储随机读写IO处理能力是HDD随机读写IO处理能力的20倍


 

版权声明:本文博客原创文章,博客,未经同意,不得转载。

免责声明:文章转载自《PCIe固态存储和HDD常见的硬盘性能对比测试》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇SharePoint 2010 UI 定制化系列之定制Ribbon UI操作: 如何使用SharePoint Designer 2010定制Ribbon UI操作htaccess详解及.htaccess参数说明下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

相关文章

安装mysql

MySQL是一个关系型数据库管理系统,由瑞典MySQL AB 公司开发,目前属于 Oracle 旗下公司。MySQL 最流行的关系型数据库管理系统,在 WEB 应用方面MySQL是最好的 RDBMS (Relational Database Management System,关系数据库管理系统) 应用软件之一。 一、Window版本 1、下载 1 MyS...

debian内核代码执行流程(一)

 本文根据debian开机信息来查看内核源代码。 系统使用《debian下配置dynamic printk以及重新编译内核》中内核源码来查看执行流程。 使用dmesg命令,得到下面的开机信息: [ 0.000000] Initializing cgroup subsys cpuset [ 0.000000] Initializing cgrou...

jenkins二

破解管理员密码 1.假如我们忘记了Jenkins管理员密码了该怎么办呢?Jenkins没有用到数据库,所有的文件都是保存到xml文件里的 2.第一步找到admin所在的目录 [root@centos-03 ~]# cd /var/lib/jenkins/users/admin888/ [root@centos-03 admin888]# ll 总用量 4...

MySQL配置文件改变了datadir值

从Noinstall Zip Archive中安装MySQL正在从Noinstall软件包安装MySQL的用户可以使用这个说明来手动安装MySQL。从Zip archive 中安装MySQL的 步骤如下: 1 在指定的安装目录下解压软件包。 2 制造选择文件。 3 选择MySQL服务类型。 4 开始MySQL服务。 5 保护默认...

MySQL的安装、配置文件和初始化

MySQL基于源代码的安装 本文以MySQL5.1.73+Centos6.5作为安装演示,其他版本安装方法大同小异。首先下载MySQL5.1.73的源代码包。STEP01 创建MySQL运行期用户和用户组,当前步骤也可以在安装成功之后做: [root@localhost objs]# groupadd mysql [root@localhost objs...

MySQL 5.7贴心参数之binlog_row_image

相信大家都了解mysql binlog的格式,那就是有三种,分别是STATEMENT,MiXED,ROW。各有优劣,具体的请大家自行查阅资料。在MySQL 5.7版本以前,虽然ROW格式有各种各样的好处。 1. 比如加快从库重放日志;ROW直接调用mysql的存储引擎接口(handler API) 来执行行的插入、删除和更新,完全跳过了mysql的优化器的...