参考来源与致谢
- 引用来源:Slurm安装与使用 – HPC知识库-HPC、Slurm、PBS
- 原作者:原页面署名作者或发布机构(剪藏记录未保存可核验的个人署名)
- 感谢词:感谢原作者及发布机构对技术知识的公开分享。本文已结合企业运维场景完成脱敏、核验与原创重写,并非原文转载;如权利人需要更正署名或来源信息,请联系本站。
适用场景 #
Slurm 是面向 HPC 与批量计算的作业调度系统,适合需要统一排队、分配 CPU/GPU/内存等资源的企业集群。本文面向企业 IT 运维人员,覆盖管理节点与计算节点的安装配置、基础使用、验证与回退。文中命令为通用形式,实际路径、版本与参数需按环境调整。
准备与风险 #
- 集群所有节点需时间同步(如 NTP),否则认证与调度可能异常。
- Slurm 常用 MUNGE 做认证,集群内所有节点必须使用同一份
munge.key,权限需严格限制。 - 管理节点通常还运行数据库,用于记账等可选功能;数据库安装方法请参考对应产品官方手册。
- 安装前确认操作系统、CPU、内存、磁盘与加速卡资源满足规划,并预留日志与状态目录空间。
- 破坏性操作(覆盖配置、重建密钥、清空状态目录)前必须备份,并在测试环境验证。
提醒:任何删除或覆盖操作前,先备份
slurm.conf、munge.key与状态目录;确认可在测试环境复现后再上生产。
处理步骤 #
1. 环境准备 #
- 确认各节点主机名、
[服务器地址]、时钟同步与防火墙端口规划。 - 确认已安装加密依赖库;若系统已自带,可跳过源码安装。
2. 安装 MUNGE #
rpm -qa | grep libgpg-error
rpm -qa | grep libgcrypt
如缺失,按官方源码包编译安装。MUNGE 要求使用 Libgcrypt 或 OpenSSL 加密库,可在 configure 时用 --with-crypto-lib 指定。随后创建专用用户与组,编译安装到统一前缀目录。
groupadd -g 1100 munge
useradd -g munge -u 1100 munge
./configure --prefix=/opt/munge --with-crypto-lib=libgcrypt
make && make install
生成密钥并限制权限,集群内所有节点分发同一份密钥:
echo -n "[随机种子]" | sha1sum | cut -d ' ' -f1 > /opt/munge/etc/munge/munge.key
chmod 0400 /opt/munge/etc/munge/munge.key
按需调整服务启动用户,注册 systemd 单元后启动并检查状态:
systemctl daemon-reload
systemctl start munge.service
systemctl status munge
3. 安装 Slurm #
./configure --prefix=/opt/slurm --with-munge=/opt/munge --with-mysql_config=[数据库配置路径]
make && make install
创建配置、状态与日志目录,路径需与 slurm.conf 中一致:
mkdir -p /opt/slurm/etc /opt/slurm/spool /opt/slurm/log
4. 配置 slurm.conf #
在管理节点与计算节点放置一致的 slurm.conf。关键项包括控制节点、认证类型、进程跟踪、状态保存路径、端口与调度参数。示例片段:
ControlMachine=[管理节点主机名]
ControlAddr=[服务器地址]
AuthType=auth/munge
CryptoType=crypto/munge
SlurmctldPort=6817
SlurmdPort=6818
StateSaveLocation=/opt/slurm/spool
SlurmdSpoolDir=/opt/slurm/spool/slurmd
SlurmUser=root
ProctrackType=proctrack/linuxproc
TaskPlugin=task/affinity
ReturnToService=2
计算节点需在配置中登记节点名、CPU、内存与加速卡资源等。具体参数含义与版本差异请查阅对应版本官方文档。
5. 启动服务 #
systemctl daemon-reload
systemctl start slurmctld.service
systemctl start slurmd.service
验证方法 #
- 查看服务状态:
systemctl status slurmctld、systemctl status slurmd。 - 检查节点注册:
sinfo应列出队列与节点状态。 - 提交简单作业:
sbatch [脚本],再用squeue观察排队与运行。 - 查看作业输出与退出码,确认资源分配符合预期。
回退建议 #
- 停止
slurmctld与slurmd,恢复备份的slurm.conf与状态目录。 - 如认证异常,回退到上一份可用的
munge.key并重启 MUNGE。 - 保留变更前配置副本,记录变更时间与影响范围,便于快速定位。
常见问题 #
- 节点显示不可用:检查时间同步、MUNGE 状态与密钥一致性。
- 作业一直排队:检查队列、QoS 与资源限制配置。
- 服务启动失败:核对配置路径、权限与端口占用。
- 版本差异导致参数不生效:以对应版本官方文档为准,勿直接套用其他版本配置。
