ceph分布式存储

一、Ceph存储基础

1、单机存储设备

DAS

（直接附加存储，是直接接到计算机的主板总线上去的存储）

IDE、SATA、SCSI、SAS、USB 接口的磁盘

所谓接口就是一种存储设备驱动下的磁盘设备，提供块级别的存储

NAS

（网络附加存储，是通过网络附加到当前主机文件系统之上的存储）

NFS、CIFS、FTP

文件系统级别的存储，本身就是一个做好的文件系统，通过nfs接口在用户空间输出后，客户端基于内核模块与远程主机进行网络通信，把它转为好像本地文件系统一样来使用，这种存储服务是没办法对它再一次格式化创建文件系统块的

SAN

（存储区域网络）

SCSI协议（只是用来传输数据的存取操作，物理层使用SCSI线缆来传输）FCSAN（物理层使用光纤来传输）、iSCSI（物理层使用以太网来传输）

也是一种网络存储，但不同之处在于SAN提供给客户端主机使用的接口是块级别的存储

2、单机存储的问题

存储、处理能力不足

传统的IDE的IO值是100次/秒，SATA固态磁盘500次/秒，固态硬盘达到2000-4000次/秒。

即使磁盘的IO能力再大数十倍，也不够抗住网站访问高峰期数十万、数百万甚至上亿用户的同时访问，这同时还要受到主机网络IO能力的限制。

存储空间能力不足

单块磁盘的容量再大，也无法满足用户的正常访问所需的数据容量限制。

单点故障问题

单机存储数据存在单点故障问题

3、商业存储解决方案

EMC、NetAPP、IBM、DELL、华为、浪潮

4、分布式存储（软件定义的存储 SDS）

Ceph、TFS、FastDFS、MooseFS（MFS）、HDFS、GlusterFS（GFS）

存储机制会把数据分散存储到多个节点上，具有高扩展性、高性能、高可用性等优点。

数据存储的三大类型：

块存储：存储设备和客户端主机是一对一的关系，块存储设备只能宝贝一个主机挂载使用，数据以块为单位进行存储的。

            典型代表：硬盘

文件存储：一对多的关系，能被多个主机同时挂载使用，数据以文件的形式存储的，其中文件的元数据和实际数据是分开存储的，并且有目录的层级关系。

           典型代表：NFS、CIFS

对象存储：一对多的关系，能被多个主机或应用服务同时通过API接口访问使用，数据以文件的形式存储，一个文件即是一个对象(object)，文件的元数据和实际数据是存在一起的。文件是扁平化方式存储的，且没有目录的层级关系。

            典型代表：MinIO、OSS（阿里云）、S3（AWS亚马逊云）、OBS（华为云）

 

Ceph 简介

Ceph使用C++语言开发，是一个开放、自我修复和自我管理的开源分布式存储系统。具有高扩展性、高性能、高可靠性的优点。

Ceph 优势

●高扩展性：去中心化，支持使用普通X86服务器，支持上千个存储节点的规模，支持TB到EB级的扩展。

●高可靠性：没有单点故障，多数据副本，自动管理，自动修复。

●高性能：摒弃了传统的集中式存储元数据寻址的方案，采用 CRUSH 算法，数据分布均衡，并行度高。

●功能强大：Ceph是个大一统的存储系统，集块存储接口（RBD）、文件存储接口（CephFS）、对象存储接口（RadosGW）于一身，因而适用于不同的应用场景。

Ceph架构（从下往上）

RADOS对象存储系统（统一存储池）：提供存储能力的。Ceph中的一切都是以对象形式存储的，RADOS就是负责存储这些对象的，并保证数据的一致性和可靠性。

LibRADOS对象访问接口：提供访问存储接口给客户端使用。支持用户使用C、C++、java、python等编程语言二次开发自定义的访问接口。

Ceph默认提供三个接口：RBD块存储接口、RGW对象存储接口、CephFS文件存储接口。

客户端（物理机/虚拟机/容器/应用APP）：通过接口在Ceph进行数据读写的终端。

 

Ceph的存储过程

1.文件会默认以4M大小进行分片成一个或多个数据对象(object)

2.每个数据对象都有一个oid（由文件ID(ino)和分片编号(non)组成），通过对oid使用hash算法得到一个16进制的数值，再除以Pool里的PG总数取余，获取到数据对象的pgid

3.通过对pgid使用crush算法获取到PG所映射的OSD的ID，如果是多副本，则会有多个OSD的ID（PG和OSD的映射关系是在创建Pool的时候就确定好了的）

4.将数据对象存储到PG所映射的OSD里

 

                                         基于 ceph-deploy 部署 Ceph 集群

//Ceph 环境规划
主机名				Public网络				Cluster网络				角色
admin				192.168.73.80									admin（管理节点负责集群整体部署）、client
node01				192.168.73.100			192.168.100.100			mon、mgr、osd（/dev/sdb、/dev/sdc、/dev/sdd）
node02				192.168.73.140			192.168.100.40			mon、mgr、osd（/dev/sdb、/dev/sdc、/dev/sdd）
node03				192.168.73.40			192.168.100.40			mon、osd（/dev/sdb、/dev/sdc、/dev/sdd）
client				192.168.73.30									client

1、关闭 selinux 与防火墙

systemctl disable --now firewalld
setenforce 0
sed -i 's/enforcing/disabled/' /etc/selinux/config

2、根据规划设置主机名

hostnamectl set-hostname admin
hostnamectl set-hostname node01
hostnamectl set-hostname node02
hostnamectl set-hostname node03
hostnamectl set-hostname client

3、配置 hosts 解析

cat >> /etc/hosts  dashboard_passwd.txt
ceph dashboard set-login-credentials admin -i dashboard_passwd.txt
  或
ceph dashboard ac-user-create admin administrator -i dashboard_passwd.txt

浏览器访问：http://192.168.73.100:8000 ，账号密码为 admin/12345678