flashcache 介绍

摘要:
rpm:flashcache-utils-0.0-4.1.el6.x86 _64 kmod-flashcache-0.0-3.el6.x86_64基本介绍:flashcache是由Facebook技术团队开发的内核模块。通过在文件系统和设备驱动程序之间添加缓存层,SSD可以用作媒体缓存,通过将传统硬盘上的热数据缓存到SSD,可以加快服务器磁盘的读写性能。Flashcache最初设计用于加速MySQL,基于dm框架实现。将SSD磁盘和机械硬盘聚合到虚拟设备中供用户使用是很自然的。

rpm:

  flashcache-utils-0.0-4.1.el6.x86_64

  kmod-flashcache-0.0-3.el6.x86_64

基本介绍:

  Flashcache是Facebook技术团队开发的一个内核模块,通过在文件系统(VFS)和设备驱动之间新增一次缓存层,可以用SSD作为介质的缓存,通过将传统硬盘上的热门数据缓存到SSD上,加速服务器磁盘读写性能。最初是为加速MySQL设计

   Flashcache是基于dm框架实现的,很自然的,是把一个SSD盘和一个机械硬盘聚合成一个虚拟设备供用户使用。

  基本原理图:

  flashcache 介绍第1张

  Flashcache在内核的层次:

    flashcache 介绍第2张

  

基本命令行:

  /sbin/flashcache_create
  /sbin/flashcache_destroy
  /sbin/flashcache_load
  /sbin/flashcache_scan
  /sbin/flashcache_setioctl
  /sbin/flashstat
  /sbin/get_agsize
  /usr/lib/ocf/resource.d/flashcache
  /usr/share/doc/flashcache-utils-0.0/GPL-v2.0.txt

root@vClass-tekKw queue]# rpm -ql kmod-flashcache-0.0-3.el6.x86_64
/etc/depmod.d/kmod-flashcache.conf
/lib/modules/2.6.32-220.17.6.el6.x86_64
/lib/modules/2.6.32-220.17.6.el6.x86_64/extra
/lib/modules/2.6.32-220.17.6.el6.x86_64/extra/flashcache
/lib/modules/2.6.32-220.17.6.el6.x86_64/extra/flashcache/flashcache.ko
/usr/share/doc/kmod-flashcache-0.0
/usr/share/doc/kmod-flashcache-0.0/GPL-v2.0.txt
/usr/share/doc/kmod-flashcache-0.0/README
/usr/share/doc/kmod-flashcache-0.0/flashcache-doc.txt
/usr/share/doc/kmod-flashcache-0.0/flashcache-sa-guide.txt

flashcache_create 命令

[root@vClass-tekKw rc.d]# flashcache_create
Usage: flashcache_create [-v] [-p back|thru|around] [-b block size] [-m md block size] [-s cache size] [-a associativity] cachedev ssd_devname disk_devname
Usage : flashcache_create Cache Mode back|thru|around is required argument
Usage : flashcache_create Default units for -b, -m, -s are sectors, or specify in k/M/G. Default associativity is 512.
git commit: 

flashcache_create相关参数说明:

-p:缓存模式     writeback(数据先写到SSD,随后写到普通硬盘),
                    writethrough(数据同时写到SSD和普通硬盘),
                    writearound(数据绕过SSD,直接写到普通硬盘)三种,三种模式的所有读都会被缓存到flashcache可以通过dev.flashcache.<cachedev>.cache_all参数调整
-s:缓存大小,可选项,如果未指定则整个SSD设备被用于缓存,默认的计数单位是扇区(sectors),但是可以接受k/m/g单位。
-b:指定块大小,可选项,默认为4KB,必须为2的指数。默认单位为扇区。也可以用K作为单位,一般选4KB。
-f:强制创建,不进行检查
-m:设备元数据块大小,只有writeback需要存储metadata块,默认4K

创建Flashcache

SSD:/dev/sdc
SAS:/dev/sdb2
创建设备名为cachedev的flashcache
flashcache_create -p back -b 4k cachedev /dev/sdc /dev/sdb2

生成/dev/mapper/cachedev设备
指定flashcache的block大小与Percona的page大小相同,一般默认 

加载缓存设备

flashcache_load /dev/sdc  cachedev (系统重启时使用来加载已经创建过的缓存设备cachedev)

加载已存在的flashcache操作仅用于writeback模式,writethrough和writearound模式重启机器后需要重新使用flashcache_create创建

使用Flashcache

创建好的flashcache设备是块设备,可格式文件系统后挂在使用,也可以继续对其分区等

mount /dev/mapper/cachedev /data

销毁Flashcache

flashcache_destroy /dev/sdc  

这种方式删除writeback模式的flashcache时会将SSD上的所有数据删除包括脏数据

建议使用dmsetup命令(device-mapper软件包)删除,会自动将脏数据写入磁盘

dmsetup remove cachedev

Flashcache参数优化

 1 [root@localhost ]#sysctl dev.flashcache
 2 dev.flashcache.sdc+sdb2.io_latency_hist = 0
 3 dev.flashcache.sdc+sdb2.do_sync = 0
 4 dev.flashcache.sdc+sdb2.stop_sync = 0
 5 dev.flashcache.sdc+sdb2.dirty_thresh_pct = 20
 6 dev.flashcache.sdc+sdb2.max_clean_ios_total = 4
 7 dev.flashcache.sdc+sdb2.max_clean_ios_set = 2
 8 dev.flashcache.sdc+sdb2.do_pid_expiry = 0
 9 dev.flashcache.sdc+sdb2.max_pids = 100
10 dev.flashcache.sdc+sdb2.pid_expiry_secs = 60
11 dev.flashcache.sdc+sdb2.reclaim_policy = 0
12 dev.flashcache.sdc+sdb2.zero_stats = 0
13 dev.flashcache.sdc+sdb2.fast_remove = 0
14 dev.flashcache.sdc+sdb2.cache_all = 1
15 dev.flashcache.sdc+sdb2.fallow_clean_speed = 2
16 dev.flashcache.sdc+sdb2.fallow_delay = 900
17 dev.flashcache.sdc+sdb2.skip_seq_thresh_kb = 0
18 dev.flashcache.sdc+sdb2.clean_on_read_miss = 0
19 dev.flashcache.sdc+sdb2.clean_on_write_miss = 0
20 dev.flashcache.sdc+sdb2.lru_promote_thresh = 2
21 dev.flashcache.sdc+sdb2.lru_hot_pct = 75
22 dev.flashcache.sdc+sdb2.new_style_write_merge = 0
 1 dev.flashcache.fast_remove:      删除flashcache卷时不同步脏缓存块。这个选项用来快速删除。
 2 dev.flashcache.zero_stats:       统计信息归零。
 3 dev.flashcache.reclaim_policy:    缓存回收规则。有两种算法:先进先出FIFO(0),最近最少用LRU(1).默认是FIFO。
 4 dev.flashcache.write_merge:      启用写入合并,默认是开启的。
 5 dev.flashcache.dirty_thresh_pct:flachcache    尝试保持每个单元的脏块在这个n%以下。设置低增加磁盘写入和降低块重写,但是增加了块读取缓存的可用性。
 6 dev.flashcache.do_sync:               调度清除缓存中的所有脏块。
 7 dev.flashcache.stop_sync:              停止同步操作。
 8 dev.flashcache.cache_all:              全局缓存模式:缓存所有和全部不缓存。默认是缓存所有。
 9 dev.flashcache.fallow_delay:            清除脏块的间隔。默认60s。设置为0禁止空闲,彻底清除。
10 dev.flashcache.io_latency_hist:          计算IO等待时间,并绘制直方图。
11 dev.flashcache.max_clean_ios_set:          在清除块时,每单元最大写入出错。
12 dev.flashcache.max_clean_ios_total:        在同步所有块时,最大写入问题。
13 dev.flashcache.debug:                开启debug。
14 dev.flashcache.do_pid_expiry:            在白/黑名单上启用逾期的pid列表。
15 dev.flashcache.pid_expiry_secs:          设置pid白/黑名单的逾期。
16 dev.flashcache.max_pids:              最大数量的pid白/黑名单。

  参数介绍参考:https://github.com/facebook/flashcache/blob/master/doc/flashcache-sa-guide.txt

针对MySQL作此优化:

1 dev.flashcache.sdc+sdb2.cache_all = 1         默认值1表示缓存所有,0都不缓存,另外通过进程黑白名单控制
2 dev.flashcache.sdc+sdb2.reclaim_policy = 1       缓存回收策略,0:FIFO,1:LRU,可动态调整
3 dev.flashcache.sdbc+sdb2.fast_remove = 1       0  表示不同步脏块到磁盘,1表示同步脏块到磁盘
4 dev.flashcache.sdc+sdb2.dirty_thresh_pct = 90     每组脏块占有的百分比,过低会减少块覆盖,增加磁盘写操作和读缓存
5 dev.flashcache.sdc+sdb2.new_style_write_merge = 1  打开写入合并,提升写磁盘的性能(旧版本dev.flashcache.sdc+sdb2.write_merge)
6 dev.flashcache.sdb1+sda6.skip_seq_thresh_kb = 256  表示不缓存超过256kb的顺序IO(由于SSD的随机读写比SAS好,但顺序读写相差不大,故作此优化)

Flashcache开机启动

flashcache模块自动加载–flashcache设备自动加载flashcache_load /dev/sdc  cachedev

A.模块自动加载请参考安装部分

B.开机自动加载已创建的缓存设备及挂载

 1 cd /usr/src/flashcache-3.1.2/utils
 2 cp flashcache /etc/init.d/
 3 chmod +x /etc/init.d/flashcache 
 4 修改/etc/init.d/flashcache
 5 SSD_DISK= /dev/sdc
 6 BACKEND_DISK= /dev/sdb2
 7 CACHEDEV_NAME= cachedev
 8 MOUNTPOINT= /data
 9 FLASHCACHE_NAME=sdc+sdb2
10 chkconfig flashcache on

Flashcache状态监控

 1 dmsetup status cachedev
 2 dmsetup table  cachedev
 3  
 4 错误日志报告 
 5 /proc/flashcache/sdc+sdb2/flashcache_errors
 6  
 7 状态报告
 8 /proc/flashcache/sdc+sdb2/flashcache_stats
 9  
10 亦可使用flashstat命令实时查看

注意事项:

1.100G SSD + 2T SATA是一个具有现实参考意义的案例。

2.把Mysql的随机读写与顺序读写分离(即把log直接放在后端的磁盘上,而不能放在mapper盘上),这样性能会提高很多。

3.用来跳过顺序IO的一个参数。

 dev.flashcache..skip_seq_thresh_kb 

4.带有flashcache的机器,在关机时需要耗费大量时间整理脏块。

5.服务器掉电有导致分区损坏的可能,且通过fsck无法修复。

6.flashcache_create创建了缓存设备之后挂载即可使用,如创建之后使用flashcache_load /dev/sdc  cachedev会提示Invalid Flashcache superblock的错误

参考:

  SSD+Flashcache 的理解 RAID了解          http://blog.csdn.net/caoshuming_500/article/details/7495323
  Flashcache基本使用及注意事项             http://blog.csdn.net/werm520/article/details/42638897
  命中率80%,磁盘I/O减半,Flashcache的发展史     http://www.csdn.net/article/2013-10-31/2817357-facebook-flashcache-2010-2013
  flashcache的实现与分析                http://blog.csdn.net/kidd_3/article/details/6984822
  flashcache原理                    http://www.udpwork.com/item/8437.html 
  Flashcache基本使用及注意事项             http://www.simlinux.com/archives/398.html
  Flashcache初探                    http://blog.chinaunix.net/uid-26950862-id-3948198.html
  如何使用FlashCache技术加速                 https://zhidao.baidu.com/question/1768060642827049340.html
  FlashCache初探(二)                  http://www.cnblogs.com/remimin/archive/2012/04/16/2451002.html
  Centos安装Flashcache使用SSD缓存                         http://www.haiyun.me/archives/centos-flashcache.html
  linux内核源码阅读之facebook硬盘加速利器flashcache之初                      http://blog.csdn.net/liumangxiong/article/details/11643473

免责声明:文章转载自《flashcache 介绍》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇SAP内存、ABAP内存7.23翻倍奖励——滴滴快车单(成交率≥60%,≥5指派单)下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

相关文章

21-CPU案例:如何提高LLC(最后一级缓存)的命中率

面两讲中,我介绍了性能优化的六大原则和十大策略。从今天开始,我们来通过具体案例的解决方案讲解,了解这些原则和策略是如何应用的。 首先,我们要来探讨的是一个CPU相关的性能优化案例。 这个性能案例,是关于CPU的最后一级缓存的。你应该知道,最后一级缓存(一般也就是L3),如果命中率不高的话,对系统性能会有极坏的影响(相关基础知识建议回顾第15讲)。所以对这一...

引用静态资源时加上时间戳,处理浏览器缓存问题

项目问题 更新上传CSS文件或JS文件后,安卓手机浏览器刷新,页面样式没有改变 问题解决 利用PHP语言,在引用静态资源时加上时间戳 1 <link rel="stylesheet" type="text/css" href="http://t.zoukankan.com/css/style.css?time=<?php echo date("...

【微信小游戏】文件系统,远程加载资源打破4M限制

一、前提 微信小游戏,对游戏包体的大小有严格是限制,上传文件大小<4M,但是本地缓存文件有50M空间,也就是说我们可以将一些资源放到网上,然后缓存到本地。 二、官方概念 文件系统 文件系统是小程序提供的一套以小程序和用户维度隔离的存储以及一套相应的管理接口。通过wx.getFileSystemManager()可以获取到全局唯一的文件系统管理器,所有...

CentOS 6.3下配置LVM(逻辑卷管理)

CentOS 6.3下配置LVM(逻辑卷管理) 一、简介 LVM是逻辑盘卷管理(Logical Volume Manager)的简称,它是Linux环境下对磁盘分区进行管理的一种机制,LVM是建立在硬盘和分区之上的一个逻辑层,来提高磁盘分区管理的灵活性。 LVM的工作原理其实很简单,它就是通过将底层的物理硬盘抽象的封装起来,然后以逻辑卷的方式呈现给上层应用...

初识shell编程

一、shell编程基础 什么是shell 命令解释器:你输入的命令,谁来给你运行、解释 Centos默认的Shell是bash [root@luffy-001 log]# echo $SHELL SHELL变量 /bin/bash [root@luffy-001 log]# cat /etc/shells 所有的命令解释器 /bin/sh /bi...

VirtualBox中安装Gentoo

按照《Gentoo Linux x86快速安装指南》的步骤进行的操作,上面比较好的排版,在此我就不叙述了。谈谈不一样的。 参考文章《 gentoo安装 virtualbox上可用》,该文章基本上安装官方的文档进行操作,不过我在usr/src下编译内核成功了。 详细步骤如下 1.下载install-x86-minimal-20110208 镜像,用DT...