ceph文件系统使用

服务端

1.安装mds（ceph节点安装，建议3个mds）

ceph-deploy mds create ceph01 ceph02 ceph03

2.创建cephfs存储池与元数据池

ceph osd pool create cephfs_data 64
ceph osd pool create cephfs_metadata 64

3.创建文件系统

ceph fs new cephfs cephfs_metadata cephfs_data

4.关联应用

[root@ceph01 ~]# ceph osd pool application enable cephfs_data cephfs
enabled application 'cephfs' on pool 'cephfs_data'

5.设置配额

ceph osd pool set-quota cephfs_data max_bytes 100G

6.创建用户

[root@ceph01 ~]#  ceph auth get-or-create client.cephfs mon 'allow r' mds 'allow r, allow rw path=/' osd 'allow rw pool=cephfs_data'
[client.cephfs]
        key = AQCHWlRg46I6EBAAg+xBZnFsqOYIGluPd5h1QA==

客户端

内核需4.x

1.删除原有yum源repo文件

rm -f /etc/yum.repos.d/*.repo

2.创建yum源文件（客户端）

online

curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
curl -o /etc/yum.repos.d/epel-7.repo http://mirrors.aliyun.com/repo/epel-7.repo

offline

下载以下文件上传至/etc/yum.repos.d/

• Centos-7.repo
• epel-7.repo

3.配置ceph镜像源仓库

cat > /etc/yum.repos.d/ceph.repo <<EOF
[Ceph]
name=Ceph \$basearch
baseurl=https://mirrors.aliyun.com/ceph/rpm-nautilus/el7/\$basearch
enabled=1
gpgcheck=1
gpgkey=https://mirrors.aliyun.com/ceph/keys/release.asc

[Ceph-noarch]
name=Ceph noarch
baseurl=https://mirrors.aliyun.com/ceph/rpm-nautilus/el7/noarch
enabled=1
gpgcheck=1
gpgkey=https://mirrors.aliyun.com/ceph/keys/release.asc

[Ceph-source]
name=Ceph SRPMS
baseurl=https://mirrors.aliyun.com/ceph/rpm-nautilus/el7/SRPMS
enabled=1
gpgcheck=1
gpgkey=https://mirrors.aliyun.com/ceph/keys/release.asc
EOF

4.配置yum代理

适用于主机通过代理访问互联网场景

以下变量注意替换

• username: 代理用户名
• password: 代理用户密码
• proxy_host: 代理IP地址
• proxy_port: 代理端口

echo "proxy=http://username:password@proxy_host:proxy_port" >> /etc/yum.conf

5.安装ceph-common

yum install -y ceph-common

6.创建目录

配置目录

mkdir -p /etc/ceph

挂载cephfs目录

mkdir -p /cephfs

7.服务端创建认证文件

服务端执行以下命令获取cephfs用户认证信息

[root@ceph01 ~]# ceph auth get client.cephfs
    exported keyring for client.cephfs
    [client.cephfs]
            key = AQCHWlRg46I6EBAAg+xBZnFsqOYIGluPd5h1QA==
            caps mds = "allow r, allow rw path=/"
            caps mon = "allow r"
            caps osd = "allow rw pool=cephfs_data"

8.客户端创建认证文件

cat <<EOF > /etc/ceph/cephfs.key
AQCHWlRg46I6EBAAg+xBZnFsqOYIGluPd5h1QA==
EOF

9.客户端挂载文件系统

mount -t ceph 192.168.1.69:6789,192.168.1.70:6789,192.168.1.71:6789:/ /cephfs -o name=cephfs,secretfile=/etc/ceph/cephfs.key

10.创建测试文件

touch /cephfs/123

11.配置开机挂载

cat <<EOF >> /etc/fstab
192.168.1.69:6789,192.168.1.70:6789,192.168.1.71:6789:/     /cephfs    ceph    name=cephfs,secretfile=/etc/ceph/cephfs.key,noatime,_netdev    0       2
EOF

12.重启主机验证

reboot

适用场景

• 文件共享
• 网站文件、代码存储
• 数据备份
• 日志存储
• 数据分析