参考来源与致谢
- 引用来源:用 SLURM 优化超级计算机内的资源管理
- 原作者:原页面署名作者或发布机构(剪藏记录未保存可核验的个人署名)
- 感谢词:感谢原作者及发布机构对技术知识的公开分享。本文已结合企业运维场景完成脱敏、核验与原创重写,并非原文转载;如权利人需要更正署名或来源信息,请联系本站。
适用场景 #
Slurm 是面向大型计算节点集群的开源资源管理器与作业调度系统,适用于需要统一排队、分配和监控计算资源的高性能计算环境。典型场景包括:批量科学计算、并行作业调度、多用户共享集群、按分区隔离资源等。当集群节点数量增长、人工分配效率下降时,引入 Slurm 可提升资源利用率与作业可管理性。
准备与风险 #
部署前需确认:集群各节点时间同步、主机名解析正常、管理节点与计算节点网络互通、共享存储可用。Slurm 依赖 slurmctld(控制守护进程)与 slurmd(节点守护进程),控制节点建议配置冗余以避免单点故障。
风险提醒:修改
slurm.conf或重启守护进程可能中断正在运行的作业。生产环境操作前必须备份配置文件与状态目录,并先在测试集群验证。
需要准备的参数占位符示例:[控制节点主机名]、[计算节点列表]、[集群名称]、[管理员账号]、[状态保存目录]。具体配置项含义请查阅对应版本的官方文档。
处理步骤 #
- 安装 Slurm 软件包。不同发行版命令不同,例如 Debian/Ubuntu 系可使用
apt-get install slurm-llnl,其他发行版请参考官方安装说明。 - 生成配置文件
slurm.conf,放置于所有节点的统一路径。关键项包括ControlMachine、SlurmUser、StateSaveLocation、SlurmdSpoolDir、NodeName、PartitionName。节点较多时可用类似snode[0-8191]的批量写法。 - 配置认证与凭证。按所选认证方式生成密钥或证书,路径与
slurm.conf中JobCredential*项保持一致。私钥文件权限应严格限制。 - 启动服务。使用系统服务管理脚本或
systemctl启动slurmctld与slurmd。首次启动可使用清理状态的启动方式,但会丢弃历史状态,需谨慎。 - 按需划分分区,将节点按用途、时限、用户权限分组,便于隔离与调度。
验证方法 #
- 使用
sinfo查看节点与分区状态,确认节点处于可用状态。 - 使用
scontrol show node检查单节点详情。 - 提交一个简单测试作业,例如
sbatch脚本,观察其排队、运行、完成过程。 - 使用
squeue查看作业队列,使用sacct查看历史记账信息(需启用记账存储)。
回退建议 #
若配置变更导致异常,可停止 Slurm 服务,恢复备份的 slurm.conf 与状态目录,再重新启动。若需彻底回退,可卸载软件包并清理相关目录。回退前应确认没有关键作业正在运行,必要时先排空节点。
常见问题 #
- 节点显示为不可用:检查
slurmd是否运行、主机名解析与端口连通性。 - 作业长期排队:检查分区资源、时限设置与调度策略。
- 认证失败:核对凭证路径、权限与认证类型配置。
- 状态不一致:确认
StateSaveLocation可写且各节点一致。
Slurm 版本间配置项存在差异,部署前请查阅对应版本官方文档,避免使用已废弃选项。
