分布式存储ceph之RGW接口

07-12 1197阅读

目录

1.对象存储概念

2.创建 RGW 接口

2.1 管理节点创建一个 RGW 守护进程

2.2 开启 http+https ,更改监听端口

2.3 创建 RadosGW 账户

2.4 客户端测试

3.OSD 故障模拟与恢复

3.1 模拟 OSD 故障

3.2 将坏掉的 osd 踢出集群

3.3 把原来坏掉的 osd 修复后重新加入集群


1.对象存储概念

对象存储(object storage)是非结构数据的存储方法,对象存储中每一条数据都作为单独的对象存储,拥有唯一的地址来识别数据对象,通常用于云计算环境中。不同于其他数据存储方法,基于对象的存储不使用目录树。

虽然在设计与实现上有所区别,但大多数对象存储系统对外呈现的核心资源类型大同小异。从客户端的角度来看,分为以下几个逻辑单位:

●Amazon S3:

提供了

1、用户(User)

2、存储桶(Bucket)

3、对象(Object)

三者的关系是:

1、User将Object存储到系统上的Bucket

2、存储桶属于某个用户并可以容纳对象,一个存储桶用于存储多个对象

3、同一个用户可以拥有多个存储桶,不同用户允许使用相同名称的Bucket,因此User名称即可做为Bucket的名称空间

●OpenStack Swift: 

提供了user、container和object分别对应于用户、存储桶和对象,不过它还额外为user提供了父级组件account,用于表示一个项目或用户组,因此一个account中可以包含一到多个user,它们可共享使用同一组container,并为container提供名称空间

●RadosGW:

提供了user、subuser、bucket和object,其中的user对应于S3的user,而subuser则对应于Swift的user,不过user和subuser都不支持为bucket提供名称空间,因此不同用户的存储桶不允许同名;不过,自jewel版本起,RadosGW引入了tenant(租户)用于为user和bucket提供名称空间,但他是个可选组件

从上可以看出大多数对象存储的核心资源类型大同小异,如 Amazon S3、OpenStack Swift 与 RadosGw。其中 S3 与 Swift 互不兼容,RadosGw 为了兼容 S3 与 Swift, Ceph 在 RadosGW 集群的基础上提供了 RGW(RadosGateway)数据抽象层和管理层,它可以原生兼容 S3 和 Swift 的 API。

S3和Swift它们可基于http或https完成数据交换,由RadosGW内建的Civetweb提供服务,它还可以支持代理服务器包括nginx、haproxy等以代理的形式接收用户请求,再转发至RadosGW进程。

RGW 的功能依赖于对象网关守护进程实现,负责向客户端提供 REST API 接口。出于冗余负载均衡的需求,一个 Ceph 集群上通常不止一个 RadosGW 守护进程。(##可以在多个节点去开启RGW守护进程)

2.创建 RGW 接口

如果需要使用到类似 S3 或者 Swift 接口时候才需要部署/创建 RadosGW 接口,RadosGW 通常作为对象存储(Object Storage)使用,类于阿里云OSS。

2.1 管理节点创建一个 RGW 守护进程

cd /etc/ceph
ceph-deploy rgw create node01

分布式存储ceph之RGW接口

创建成功后默认情况下会自动创建一系列用于 RGW 的存储池

ceph osd pool ls
rgw.root 
default.rgw.control			#控制器信息
default.rgw.meta			#记录元数据
default.rgw.log				#日志信息
default.rgw.buckets.index	#为 rgw 的 bucket 信息,写入数据后生成
default.rgw.buckets.data	#是实际存储的数据信息,写入数据后生成

分布式存储ceph之RGW接口

默认情况下 RGW 监听 7480 号端口

node01节点
netstat -lntp | grep 7480

分布式存储ceph之RGW接口

admin节点
curl node01:7480

分布式存储ceph之RGW接口

2.2 开启 http+https ,更改监听端口

RadosGW 守护进程内部由 Civetweb 实现,通过对 Civetweb 的配置可以完成对 RadosGW 的基本管理。

admin节点
#要在 Civetweb 上启用SSL,首先需要一个证书,在 rgw 节点生成证书
1)生成CA证书私钥:
openssl genrsa -out civetweb.key 2048
 
2)生成CA证书公钥:
openssl req -new -x509 -key civetweb.key -out civetweb.crt -days 3650 -subj "/CN=192.168.9.111"
 
#3、将生成的证书合并为pem
cat civetweb.key civetweb.crt > /etc/ceph/civetweb.pem

分布式存储ceph之RGW接口

更改监听端口

Civetweb 默认监听在 7480 端口并提供 http 协议,如果需要修改配置需要在管理节点编辑 ceph.conf 配置文件

vim ceph.conf
添加以下配置
[client.rgw.node01]
rgw_host = node01
rgw_frontends = "civetweb port=80+443s ssl_certificate=/etc/ceph/civetweb.pem num_threads=500 request_timeout_ms=60000"
 
------------------------------------------------------------
●rgw_host:对应的RadosGW名称或者IP地址
●rgw_frontends:这里配置监听的端口,是否使用https,以及一些常用配置:
•port:如果是https端口,需要在端口后面加一个s。
•ssl_certificate:指定证书的路径。
•num_threads:最大并发连接数,默认为50,根据需求调整,通常在生产集群环境中此值应该更大
•request_timeout_ms:发送与接收超时时长,以ms为单位,默认为30000
•access_log_file:访问日志路径,默认为空
•error_log_file:错误日志路径,默认为空
------------------------------------------------------------
 
#修改完 ceph.conf 配置文件后需要重启对应的 RadosGW 服务,再推送配置文件
ceph-deploy --overwrite-conf config push node0{1..3}
scp civetweb.pem node01:/etc/ceph     #推送证书文件给node节点
scp civetweb.pem node02:/etc/ceph
scp civetweb.pem node03:/etc/ceph

分布式存储ceph之RGW接口
分布式存储ceph之RGW接口

node01节点
systemctl restart ceph-radosgw.target
netstat -lntp | grep :80
netstat -lntp | grep radosgw
 
#在客户端访问验证
curl node01:80
curl -k https://node01:443

分布式存储ceph之RGW接口
分布式存储ceph之RGW接口

2.3 创建 RadosGW 账户

在管理节点使用 radosgw-admin 命令创建 RadosGW 账户

radosgw-admin user create --uid="scj" --display-name="rgw test user"

分布式存储ceph之RGW接口

#创建成功后将输出用户的基本信息,其中最重要的两项信息为 access_key 和 secret_key 。用户创建成后功,如果忘记用户信息可以使用下面的命令查看
radosgw-admin user info --uid="scj"

2.4 客户端测试

分布式存储ceph之RGW接口

1)在客户端安装 python3、python3-pip
yum install -y python3 python3-pip
 
python3 -V         #查看
Python 3.6.8
pip3 -V
 
2)安装 boto 模块,用于测试连接 S3
pip3 install boto
 

分布式存储ceph之RGW接口
分布式存储ceph之RGW接口

3)测试访问 S3 接口
#coding:utf-8
#boto s3手册:http://boto.readthedocs.org/en/latest/ref/s3.html
#boto s3快速入门:http://boto.readthedocs.org/en/latest/s3_tut.html
#如果脚本长时间阻塞,请检查集群状态,开启的端口等
import ssl
import boto.s3.connection
from boto.s3.key import Key
#异常抛出
try:
    _create_unverified_https_context = ssl._create_unverified_context
except AttributeError:
    pass
else:
    ssl._create_default_https_context = _create_unverified_https_context
#test用户的keys信息
access_key = "A1HILZD6RHGGC4JV0U9Q"
secret_key = "v0i9JnYIlVFAqfT7uAPVLIshxKuHdKKLwsTJppYy"
#rgw的ip与端口
host = "192.168.9.111"
#如果使用443端口,下述链接应设置is_secure=True
port = 443
#如果使用80端口,下述链接应设置is_secure=False
#port = 80
conn = boto.connect_s3(
    aws_access_key_id=access_key,
    aws_secret_access_key=secret_key,
    host=host,
    port=port,
    is_secure=True,
    validate_certs=False,
    calling_format=boto.s3.connection.OrdinaryCallingFormat()
)
##一:创建存储桶
conn.create_bucket(bucket_name='bucket01')
#conn.create_bucket(bucket_name='bucket02')
#
##二:判断是否存在,不存在返回None
#exists = conn.lookup('bucket01')
#print(exists)
#exists = conn.lookup('bucket02')
#print(exists)
#
##三:获得一个存储桶
#bucket1 = conn.get_bucket('bucket01')
#bucket2 = conn.get_bucket('bucket02')
#
##四:查看一个bucket下的内容
#print(list(bucket1.list()))
#print(list(bucket2.list()))
#
##五:向s3上存储数据,数据来源可以是file、stream、or string
##5.1、上传文件
#bucket1 = conn.get_bucket('bucket01')
## name的值是数据的key
#key = Key(bucket=bucket1, name='myfile')
#key.set_contents_from_filename(r'D:\PycharmProjects\ceph\123.txt')
## 读取 s3 中文件的内容,返回 string 即文件 123.txt 的内容
#print(key.get_contents_as_string())
#
##5.2、上传字符串
##如果之前已经获取过对象,此处不需要重复获取
#bucket2 = conn.get_bucket('bucket02')
#key = Key(bucket=bucket2, name='mystr')
#key.set_contents_from_string('hello world')
#print(key.get_contents_as_string())
#
##六:删除一个存储桶,在删除存储桶本身时必须删除该存储桶内的所有key
#bucket1 = conn.get_bucket('bucket01')
#for key in bucket1:
#    key.delete()
#bucket1.delete()
##bucket1.get_all_keys()[0].delete() #删除某一个 key
#
##迭代遍历删除 buckets and keys
#for bucket in conn:
#    for key in bucket:
#        print(key.name,key.get_contents_as_string())
##—个判断文件夹中是否有文件的方法
#bucket1 = conn.get_bucket('bucket01')
#res = bucket1.get_all_keys()
#if len(res) > 0:
#    print('有文件')
#else:
#    print('为空')

#注释34-85行

分布式存储ceph之RGW接口

1.测试创建存储桶bucket01

vim test.py
取消35行注释
python3 test.py  #执行


分布式存储ceph之RGW接口

分布式存储ceph之RGW接口

 

vim test.py
35行添加注释
取消39-42注释
python3 test.py

分布式存储ceph之RGW接口
分布式存储ceph之RGW接口

2.获取存储桶中的内容

vim test.py
39-42添加注释
删除45、49注释
python3 test.py

分布式存储ceph之RGW接口
分布式存储ceph之RGW接口

传入存储桶内容

cd /opt
echo 'zhangsan lisi' > scj.txt
vim test.py
添加45、49注释
54、56、57删除注释
key.set_contents_from_filename(r'/opt/scj.txt')   #57行修改
python3 test.py  #执行

分布式存储ceph之RGW接口
分布式存储ceph之RGW接口

vim test.py
删除45、49注释
54、56、57添加注释
python3 test.py

分布式存储ceph之RGW接口
分布式存储ceph之RGW接口

vim test.py
打开56、59行
python3 test.py

分布式存储ceph之RGW接口
分布式存储ceph之RGW接口

3.通过字符串方式上传内容

vim test.py
注释45、49、56、59
打开36行注释
python3 test.py

分布式存储ceph之RGW接口

vim test.py
注释36行注释
打开39-42注释
python3 test.py   

分布式存储ceph之RGW接口

vim test.py
注释39-42
63-65 打开注释
修改64、65配置
key = Key(bucket=bucket2, name='tangjun')
key.set_contents_from_string('tangjun like scj')
python3 test.py   

分布式存储ceph之RGW接口

vim test.py
注释63-65
打开45、46、49、50
python3 test.py   

分布式存储ceph之RGW接口
分布式存储ceph之RGW接口

vim test.py
打开56、59、64、66
python3 test.py   

分布式存储ceph之RGW接口
分布式存储ceph之RGW接口

4.删除指定存储桶

vim test.py
34-85都注释
打开69、73
修改
bucket2 = conn.get_bucket('bucket02')
bucket2.get_all_keys()[0].delete() #删除某一个 key
python3 test.py   

分布式存储ceph之RGW接口

vim test.py
注释69、73
打开46、50行
python3 test.py   

分布式存储ceph之RGW接口

删除整个存储桶

vim test.py
注释46、50
打开69-72行并修改
 69 bucket2 = conn.get_bucket('bucket02')
 70 for key in bucket2:
 71     key.delete()
 72 bucket2.delete()
python3 test.py   

分布式存储ceph之RGW接口
分布式存储ceph之RGW接口

vim test.py
打开39-42
注释69-72行并修改
python3 test.py   

分布式存储ceph之RGW接口
分布式存储ceph之RGW接口

3.OSD 故障模拟与恢复

3.1 模拟 OSD 故障

管理节点

ceph osd tree
模拟8号故障

分布式存储ceph之RGW接口

node3节点

systemctl stop ceph-osd@8.service
systemctl status ceph-osd@8.service

分布式存储ceph之RGW接口

分布式存储ceph之RGW接口

3.2 将坏掉的 osd 踢出集群

用综合步骤,删除配置文件中针对坏掉的 osd 的配置
ceph osd purge osd.8 --yes-i-really-mean-it

分布式存储ceph之RGW接口

3.3 把原来坏掉的 osd 修复后重新加入集群

#在 osd 节点创建 osd,无需指定名,会按序号自动生成
cd /etc/ceph
ceph osd create
#创建账户
ceph-authtool --create-keyring /etc/ceph/ceph.osd.8.keyring --gen-key -n osd.8 --cap mon 'allow profile osd' --cap mgr 'allow profile osd' --cap osd 'allow *'
#导入新的账户秘钥
ceph auth import -i /etc/ceph/ceph.osd.8.keyring
ceph auth list

分布式存储ceph之RGW接口
分布式存储ceph之RGW接口

node3节点
更新对应的 osd 文件夹中的密钥环文件
ceph auth get-or-create osd.8 -o /var/lib/ceph/osd/ceph-8/keyring
admin节点
加入 crushmap
ceph osd crush add osd.8 1.000 host=node03
#加入集群
ceph osd in osd.8
ceph osd tree

分布式存储ceph之RGW接口

node3节点重启
重启 osd 守护进程
systemctl restart ceph-osd@8

分布式存储ceph之RGW接口

admin服务器查看
ceph osd tree		#稍等片刻后 osd 状态为 up	

分布式存储ceph之RGW接口

VPS购买请点击我

文章版权声明:除非注明,否则均为主机测评原创文章,转载或复制请以超链接形式并注明出处。

目录[+]