参考来源与致谢
- 引用来源:Ceph实战教程(一)让Ceph集群运行起来_51CTO博客_ceph集群
- 原作者:原页面署名作者或发布机构(剪藏记录未保存可核验的个人署名)
- 感谢词:感谢原作者及发布机构对技术知识的公开分享。本文已结合企业运维场景完成脱敏、核验与原创重写,并非原文转载;如权利人需要更正署名或来源信息,请联系本站。
适用场景 #
需要在内部环境快速搭建一套可用的 Ceph 分布式存储集群,用于块存储、对象存储或文件存储的验证与测试。ceph-deploy 是社区较早提供的自动化部署工具,成熟稳定,适合希望以较少人工步骤完成初始集群搭建的运维人员。若追求更新的部署方式,可评估 cephadm 或手动部署,具体支持范围请查阅对应版本的官方文档。
准备与风险 #
部署前需明确节点角色:管理节点负责集中下发部署命令,Monitor 节点承担集群状态管理,OSD 节点负责实际数据存储。生产环境通常建议 Monitor 使用 3 或 5 个节点以避免单点。
- 硬件与系统:各节点需满足所选 Ceph 版本的最低要求,OSD 节点需预留独立数据盘。
- 网络:集群内部通信与外部访问建议分离,提前规划网段。
- 时间同步:Ceph 对时间敏感,所有节点必须配置可靠的时间同步源,时间偏差过大可能导致集群异常。
- 主机名与解析:统一设置主机名,并在所有节点的 hosts 文件中写入各节点解析记录。
- 免密登录:管理节点需能免密登录其余节点,便于批量下发命令。
- 安全组件:按需调整 SELinux 与防火墙策略,若保留防火墙需放行 Monitor 与 OSD 相关端口。
- 软件源:配置与目标版本匹配的软件源,避免安装到过旧版本导致依赖问题。
风险提示:部署过程会生成集群配置与密钥文件,务必在管理节点单独目录中保存并做好备份。任何清理磁盘、重建集群的操作都可能造成数据不可恢复,请先在测试环境验证,并确认已有可用备份。
处理步骤 #
- 在所有节点设置主机名,并写入统一的 hosts 解析记录。
- 在管理节点生成密钥对,将公钥分发到所有节点,验证免密登录可用。
- 按需调整 SELinux 与防火墙,或放行所需端口。
- 配置时间同步,确认各节点时间一致。
- 配置与目标版本匹配的软件源,安装部署工具并确认版本。
- 在管理节点创建独立工作目录,进入该目录执行集群初始化,可指定集群内部网络与外部访问网络。
- 安装 Monitor 组件,确认 Monitor 服务正常。
- 准备 OSD 数据盘,安装 OSD 组件并激活磁盘。
- 确认集群健康状态后,创建存储池与块设备供客户端使用。
# 示例:初始化集群(参数以占位符表示)
ceph-deploy new --cluster-network [集群网段] --public-network [外部访问网段] [Monitor节点名]
# 安装 Monitor
ceph-deploy mon create-initial
# 准备并激活 OSD 数据盘
ceph-deploy osd create --data [数据盘设备] [OSD节点名]
# 分发配置与密钥到各节点
ceph-deploy admin [节点名...]
# 查看集群状态
ceph -s
验证方法 #
- 执行集群状态查询命令,确认整体健康状态正常、各组件在线。
- 查看 Monitor 与 OSD 服务运行状态,确认无异常退出。
- 创建测试用存储池与块设备,在客户端映射并完成一次读写验证。
- 检查时间同步状态,确认各节点时间偏差在可接受范围内。
回退建议 #
若部署失败或需重新搭建,建议按以下顺序处理:先停止相关服务,再清理本次生成的配置与密钥文件,最后按需清理已用于 OSD 的磁盘。清理磁盘属于破坏性操作,执行前必须确认数据已备份或该盘无业务数据。若仅个别组件异常,可优先排查网络、时间同步与软件源,避免直接重建整个集群。
常见问题 #
- 免密登录失败:检查密钥分发与目标节点权限配置。
- 软件源版本不匹配:确认源地址与目标版本一致,避免安装到过旧版本。
- 集群状态异常:优先检查时间同步、网络连通性与 Monitor 数量。
- OSD 无法激活:确认数据盘未被占用、分区表状态正常。
- 客户端无法访问:检查外部访问网段配置与防火墙放行情况。
不同 Ceph 版本在组件命名、命令参数与默认行为上可能存在差异,实际部署前请查阅对应版本的官方文档。
