参考来源与致谢
- 引用来源:用 SLURM 优化超级计算机内的资源管理
- 原作者:原页面署名作者或发布机构(剪藏记录未保存可核验的个人署名)
- 感谢词:感谢原作者及发布机构对技术知识的公开分享。本文已结合企业运维场景完成脱敏、核验与原创重写,并非原文转载;如权利人需要更正署名或来源信息,请联系本站。
适用场景 #
SLURM(Simple Linux Utility for Resource Management)是面向大规模计算节点集群的开源集群管理器与作业调度系统。适合以下场景:
- 需要统一排队与分配计算节点资源的高性能计算集群。
- 多用户共享节点,需按分区、时限、作业大小做约束。
- 需要将并行作业分发到一组已分配节点并跟踪至完成。
- 对可伸缩性与容错有要求,且希望采用开源方案。
SLURM 不绑定特定硬件架构,核心目标是让计算资源在有任务时尽量保持忙碌。是否支持某功能、某版本行为,请查阅对应版本官方文档。
准备与风险 #
部署前先明确集群拓扑、节点命名、分区划分与认证方式。建议先在测试环境验证,再上生产。
- 备份现有调度系统配置、作业脚本与关键数据。
- 确认控制节点与计算节点时间同步、主机名解析一致。
- 确认管理守护程序运行账号与目录权限。
- 认证与凭证涉及密钥文件,须限制文件权限,禁止明文存放口令。
- 破坏性操作(如清理状态、强制停止作业)前必须备份并确认可回退。
提醒:任何涉及删除状态、重建集群或强制终止作业的操作,先在测试环境演练,并保留可恢复的备份。
处理步骤 #
1. 安装 #
按发行版使用包管理器安装。以 Debian/Ubuntu 系为例,通用形式如下:
sudo apt-get install slurm-llnl
其他发行版请使用对应包管理器,并核对官方文档中的包名与依赖。
2. 配置 #
主配置文件通常为 /etc/slurm-llnl/slurm.conf,需分发到所有节点。关键项包括控制节点、认证类型、端口、状态保存路径、调度器类型、节点与分区定义。
节点可用范围写法表示,例如:
NodeName=snode[0-8191] State=UNKNOWN
PartitionName=debug Nodes=snode[0-8191] default=YES MaxTime=INFINITE State=UP
环境相关参数请用占位符替换,例如 [服务器地址]、[管理员账号]、[控制节点主机名]。不要照搬示例值。
3. 生成凭证 #
若启用凭证校验,需生成密钥对并限制权限。通用形式:
sudo openssl genrsa -out [私钥路径] 2048
sudo openssl rsa -in [私钥路径] -out [公钥路径]
私钥仅管理员可读,禁止写入版本库或共享目录。
4. 启动服务 #
使用系统服务管理脚本启动:
sudo /etc/init.d/slurm-llnl start
或使用发行版对应的 systemd 单元。启动后控制守护程序 slurmctld 与节点守护程序 slurmd 应正常运行。
验证方法 #
- 查看节点与分区状态:
sinfo。 - 查看队列与作业:
squeue。 - 提交测试作业:
sbatch [作业脚本],确认被调度并完成。 - 检查守护程序日志与状态文件,确认无异常退出。
验证结果以实际环境输出为准,不要预设性能或规模结论。
回退建议 #
- 停止服务:
sudo /etc/init.d/slurm-llnl stop。 - 恢复备份的配置文件与状态目录。
- 如需忽略已保存状态重新启动,使用
startclean,但必须先确认无正在运行的重要作业。 - 回退后重新执行验证步骤,确认节点与分区状态正常。
常见问题 #
- 节点显示异常:检查主机名解析、守护程序状态与防火墙端口。
- 作业长期排队:检查分区约束、时限与资源请求是否匹配。
- 认证失败:核对认证类型与凭证路径、权限。
- 配置不生效:确认配置文件已分发到所有节点并重启相关守护程序。
不同版本配置项与默认值可能不同,遇到不确定项请查阅对应版本官方文档。
