参考来源与致谢
- 引用来源:slurm任务调度系统部署和测试(一)
- 原作者:原页面署名作者或发布机构(剪藏记录未保存可核验的个人署名)
- 感谢词:感谢原作者及发布机构对技术知识的公开分享。本文已结合企业运维场景完成脱敏、核验与原创重写,并非原文转载;如权利人需要更正署名或来源信息,请联系本站。
适用场景 #
需要在企业内部搭建小规模 HPC 或批处理计算集群,统一调度 CPU 作业时,可采用 Slurm 作为任务调度系统。本文聚焦部署前的环境准备与基础组件安装,适用于在虚拟化平台上先行验证的运维团队。生产环境部署前,建议在隔离测试环境完整演练。
准备与风险 #
- 集群节点需具备一致的操作系统版本与时间基准,否则认证与调度易失败。
- Munge 认证密钥必须在所有节点保持一致,且权限严格受限。
- Slurm 控制器与数据库守护进程依赖共享存储或本地状态目录,需提前规划。
- 涉及格式化磁盘、覆盖配置文件等操作前,务必完成数据备份并确认可回退。
- 不同 Slurm 版本配置项存在差异,具体参数请查阅对应版本官方文档。
处理步骤 #
1. 时间同步 #
将管理节点配置为内网时间源,各计算节点定时同步,避免认证票据因时间偏差失效。
pdsh -w node[11-18] ntpdate [时间服务器地址]
写入定时任务,周期执行并同步硬件时钟:
*/5 * * * * pdsh -w node[11-18] "ntpdate [时间服务器地址]; hwclock --systohc"
2. 安装 Munge 认证组件 #
Munge 为 Slurm 提供节点间认证。编译前需确认加密库开发包已安装,否则 configure 阶段会报找不到加密库。
./configure --prefix=[Munge安装目录] --sysconfdir=[Munge配置目录] --localstatedir=/var
make && make install
生成认证密钥文件,内容长度需满足组件要求,权限设为 600:
echo "[自定义密钥内容,长度需满足要求]" > [Munge配置目录]/munge.key
chmod 600 [Munge配置目录]/munge.key
在所有计算节点创建运行所需目录,并统一分发密钥与环境变量脚本:
pdsh -w node[11-18] mkdir -p /var/{log,run,lib}/munge
启动服务并确认进程存在:
pdsh -w node[11-18] munged
pdsh -w node[11-18] ps -ef | grep munge | grep -v grep
3. 编译安装 Slurm #
./configure --prefix=[Slurm安装目录] --sysconfdir=[Slurm配置目录] --with-munge=[Munge安装目录]
make && make install
创建配置、日志与状态目录,并设置专用运行账号与权限:
mkdir -p [Slurm安装目录]/{etc,log,state}
chown -R [运行账号]:[运行账号] [Slurm安装目录]/state
chmod 777 [Slurm安装目录]/log
4. 核心配置要点 #
在 slurm.conf 中至少明确以下内容:集群名称、主备控制器主机名、运行账号、认证方式、状态保存目录、日志路径、节点与分区定义。节点资源参数需与实际硬件一致,否则调度结果可能异常。
若启用计费与作业记录,需配置 slurmdbd 及后端数据库连接信息,并确保数据库账号与认证套接字路径正确。
验证方法 #
- 各节点执行时间查询,确认偏差在可接受范围内。
- 检查 munged 进程状态,确认密钥一致且服务正常。
- 使用 Slurm 自带状态命令查看节点与分区是否注册成功。
- 提交一个短时测试作业,观察调度、执行与日志输出是否正常。
回退建议 #
- 保留原配置文件副本,异常时直接还原。
- 停止新增服务进程,恢复原有认证与时间同步方式。
- 状态目录与数据库如已写入数据,回退前先导出备份。
- 无法定位问题时,优先在测试环境复现,避免影响生产作业。
常见问题 #
- 认证失败:多为密钥不一致或权限过宽,检查各节点密钥与属主。
- 节点状态异常:检查时间同步、主机名解析与守护进程日志。
- 编译报错:确认依赖开发包是否齐全,参考对应版本官方文档。
- 配置不生效:确认配置文件路径与进程读取路径一致,重启相关服务。
提示:本文所述版本与参数仅为通用示例,实际部署请以所用版本的官方文档为准,并在变更前完成备份与测试。
