ceph文件系统使用
服务端
1.安装
mds
(ceph节点安装,建议3个mds
)
ceph-deploy mds create ceph01 ceph02 ceph03
2.创建
cephfs
存储池与元数据池
ceph osd pool create cephfs_data 64
ceph osd pool create cephfs_metadata 64
3.创建文件系统
ceph fs new cephfs cephfs_metadata cephfs_data
4.关联应用
[root@ceph01 ~]# ceph osd pool application enable cephfs_data cephfs
enabled application 'cephfs' on pool 'cephfs_data'
5.设置配额
ceph osd pool set-quota cephfs_data max_bytes 100G
6.创建用户
[root@ceph01 ~]# ceph auth get-or-create client.cephfs mon 'allow r' mds 'allow r, allow rw path=/' osd 'allow rw pool=cephfs_data'
[client.cephfs]
key = AQCHWlRg46I6EBAAg+xBZnFsqOYIGluPd5h1QA==
客户端
内核需4.x
1.删除原有
yum
源repo
文件
rm -f /etc/yum.repos.d/*.repo
2.创建
yum
源文件(客户端)
online
curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
curl -o /etc/yum.repos.d/epel-7.repo http://mirrors.aliyun.com/repo/epel-7.repo
offline
下载以下文件上传至/etc/yum.repos.d/
3.配置
ceph
镜像源仓库
cat > /etc/yum.repos.d/ceph.repo <<EOF
[Ceph]
name=Ceph \$basearch
baseurl=https://mirrors.aliyun.com/ceph/rpm-nautilus/el7/\$basearch
enabled=1
gpgcheck=1
gpgkey=https://mirrors.aliyun.com/ceph/keys/release.asc
[Ceph-noarch]
name=Ceph noarch
baseurl=https://mirrors.aliyun.com/ceph/rpm-nautilus/el7/noarch
enabled=1
gpgcheck=1
gpgkey=https://mirrors.aliyun.com/ceph/keys/release.asc
[Ceph-source]
name=Ceph SRPMS
baseurl=https://mirrors.aliyun.com/ceph/rpm-nautilus/el7/SRPMS
enabled=1
gpgcheck=1
gpgkey=https://mirrors.aliyun.com/ceph/keys/release.asc
EOF
4.配置
yum
代理
适用于主机通过代理访问互联网场景
以下变量注意替换
username
: 代理用户名password
: 代理用户密码proxy_host
: 代理IP
地址proxy_port
: 代理端口
echo "proxy=http://username:password@proxy_host:proxy_port" >> /etc/yum.conf
5.安装
ceph-common
yum install -y ceph-common
6.创建目录
配置目录
mkdir -p /etc/ceph
挂载cephfs
目录
mkdir -p /cephfs
7.服务端创建认证文件
服务端执行以下命令获取cephfs用户认证信息
[root@ceph01 ~]# ceph auth get client.cephfs
exported keyring for client.cephfs
[client.cephfs]
key = AQCHWlRg46I6EBAAg+xBZnFsqOYIGluPd5h1QA==
caps mds = "allow r, allow rw path=/"
caps mon = "allow r"
caps osd = "allow rw pool=cephfs_data"
8.客户端创建认证文件
cat <<EOF > /etc/ceph/cephfs.key
AQCHWlRg46I6EBAAg+xBZnFsqOYIGluPd5h1QA==
EOF
9.客户端挂载文件系统
mount -t ceph 192.168.1.69:6789,192.168.1.70:6789,192.168.1.71:6789:/ /cephfs -o name=cephfs,secretfile=/etc/ceph/cephfs.key
10.创建测试文件
touch /cephfs/123
11.配置开机挂载
cat <<EOF >> /etc/fstab
192.168.1.69:6789,192.168.1.70:6789,192.168.1.71:6789:/ /cephfs ceph name=cephfs,secretfile=/etc/ceph/cephfs.key,noatime,_netdev 0 2
EOF
12.重启主机验证
reboot
适用场景
- 文件共享
- 网站文件、代码存储
- 数据备份
- 日志存储
- 数据分析