摘要：
一、Ceph介绍 Ceph可以提供三个功能：对象存储RODOSGW、块存储RBD和文件系统存储CefFS。RBDRBD的全名是RADOSblockdevice。这是Ceph外部提供的块设备服务。ImageRBDimage是一个简单的块设备，可以作为设备直接安装到主机上。用户可以直接写入二进制数据。图像数据作为对象保存在多个RADOS对象存储中；图像的数据空间是thinprovision，这意味着Ceph不预先分配空间，而是在实际写入数据时根据对象分配空间；每个数据对象保存为多个副本。
Ceph是一个Linux PB级分布式文件系统，能够在维护POSIX兼容性的同时加入了复制和容错功能。Ceph号称高可用的分布式存储系统，通过多个MON节点（通常为3个）维护集群的状态及元数据信息，而真正存储数据的OSD节点通过向MON节点汇报状态，并通过CRUSH算法将数据副本布局到相应OSD的所在磁盘上，完成数据的持久化存储。为了保证每个数据副本的高可用，通常采用三副本或EC方式。而提供文件服务的mds组件和提供对象存储的rgw组件都不存储实际数据，只是作为服务态进程存在。Ceph可以提供对象存储RODOSGW、块存储RBD、文件系统存储Ceph FS 三种功能。
二、Ceph特点可轻松扩展到PB容量，对多种工作负载的高性能(每秒输入/输出操作[IOPS]和带宽),高可靠性。Ceph开发了一些非常有趣的概念(例如，动态元数据分区，数据分布和复制)。ceph的设计还保护单一点的故障容错功能，它假设大规模(PB级别存储)存储故障是常见现象而不是例外情况。它的设计并没有假设某种特殊工作负载，但是包括适应变化的工作负载，提供最佳性能的能力。
三、Ceph组件介绍| 组件 | 概念 |
|---|---|
| Monitor | 一个Ceph集群需要多个Monitor组成的小集群，它们通过Paxos同步数据，用来保存OSD的元数据 |
| OSD | OSD负责相应客户端请求返回具体数据的进程，一个Ceph集群一般都有很多个OSD |
| MSD | MSD 全称Cepg Metadata Service，是CephFs服务依赖的元数据服务 |
| Object | Ceph最底层的存储单位是Object对象，每个Object包含元数据和原始数据 |
| PG | PG全称Placement Groups，是一个逻辑的概念，一个PG包含多个OSD。引入PG这一层其实是为了更好的分配数据和定位数据 |
| RADOS | 是Ceph集群的精华,为用户实现数据分配，Failover等集群操作 |
| Libradio | Libradio是Rados提供库，因为RADOS是协议很难直接访问，因此上层的RBD、RGW和CephFs都是通过librados访问的目前提供PHP、Ruby、Java、Python等支持 |
| CRUSH | CRUSH是Ceph使用的数据分布算法，类似一致性哈希，让数据分配到预期的地方。 |
| RBD | RBD全称RADOS block device，是Ceph对外提供的块设备服务 |
| Image | RBD image是简单的块设备，可以直接被mount到主机，成为一个device，用户可以直接写入二进制数据。image的数据被保存为若干个RADOS对象存储中的对象；image的数据空间是thin provision的，意味着Ceph不预分配空间，而是等到实际写入数据时按照object分配空间；每个data object被保存为多份。pool将RBD镜像的ID和name等基本信息保存在rbd_directory中，这样rbd ls命令就可以快速返回一个pool中所有的RBD镜像了 |
| RGW | RGW全称RADOS gateway，是Ceph对外提供的对象存储服务，接口与S3和Swift兼容 |
| CephFs | CephFs全称Ceph File System，是Ceph对外提供的文件系统服务 |
| Pool | pool是Ceph存储时的逻辑分区，它起到namespace的作用 |
1、服务器规划
系统 | IP地址 | 主机名 | 部署服务 | 配置 |
CentOS 7.5 | 192.168.56.10 | Ceph-deploy | Ceph、Ceph-deploy、Mon | 2C/2G |
CentOS 7.5 | 192.168.56.11 | ceph01 | Ceph | 2C/2G |
CentOS 7.5 | 192.168.56.12 | ceph02 | Ceph | 2C/2G |
2、环境初始化
- Ceph-deploy版本： 1.5.39
- Ceph版本： 10.2.11
- 系统版本：7.5.1804 (Core)
- 内核版本：3.10.0-862.el7.x86_64
①关闭selinux、iptables
systemctl stop firewalld systemctl disable firewalld setenforce 0 sed -i '/SELINUX/s/enforcing/disabled/' /etc/selinux/config setenforce 0
②设置时间同步
yum -y install ntp systemctl enable ntpd systemctl start ntpd ntpdate -u cn.pool.ntp.org hwclock --systohc timedatectl set-timezone Asia/Shanghai
③修改主机名、host
hostnamectl set-hostname Ceph-deploy && bash hostnamectl set-hostname ceph01 && bash hostnamectl set-hostname ceph02 && bash cat >> /etc/hosts <<EOF 192.168.56.10 Ceph-deploy 192.168.56.11 ceph01 192.168.56.12 ceph02 EOF
④设置yum源
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo yum clean all && yum makecache
⑤设置