参考来源与致谢
- 引用来源:相对全面的SLURM集群的配置、安装及一些小问题的解决 – 程序园
- 原作者:原页面署名作者或发布机构(剪藏记录未保存可核验的个人署名)
- 感谢词:感谢原作者及发布机构对技术知识的公开分享。本文已结合企业运维场景完成脱敏、核验与原创重写,并非原文转载;如权利人需要更正署名或来源信息,请联系本站。
适用场景 #
需要在企业内部自建 HPC 或批量计算调度平台时,Slurm 是常见选择。本文适用于多节点 Linux 集群的初次部署与日常维护,覆盖主控节点与计算节点分离或合一的场景。文中命令为通用形式,实际路径、包名、版本行为请以所用发行版与 Slurm 版本的官方文档为准。
准备与风险 #
- 规划节点角色:主控节点(运行 slurmctld)、计算节点(运行 slurmd),可合一部署。
- 确认主机名解析:各节点需能通过主机名或
[服务器地址]互相访问,建议统一 hosts 或内部 DNS。 - 时间同步:节点间时间偏差过大会影响认证与状态判断,建议启用 NTP 或 chrony。
- 专用管理账户:Slurm 与 Munge 通常使用独立系统账户运行,避免直接以 root 长期承载服务。各节点需保持一致的用户名与 UID。
- 认证密钥:Munge 密钥需在所有节点一致,属于敏感文件,权限应仅限服务账户读取,禁止明文外传。
风险提示:修改配置文件、重装认证组件或清理状态目录前,请先备份
slurm.conf、Munge 密钥与状态目录,并在测试环境验证。生产集群操作前确认可回退。
处理步骤 #
1. 账户与依赖准备 #
- 在所有节点创建统一的服务账户,例如
[服务账户],并保证 UID/GID 一致。 - 安装 Munge 及其开发包,用于节点间认证通信。所有节点都必须安装并启动。
- 手动创建 Munge 运行所需目录,如
/etc/munge、/var/run/munge、/var/lib/munge、/var/log/munge,并将属主改为服务账户。 - 在其中一个节点生成 Munge 密钥,权限设为仅服务账户可读,再安全分发到其余节点同一路径。
- 各节点以服务账户启动 munged,并用进程查看命令确认已运行。
2. 安装 Slurm #
常见方式有源码编译、包管理器安装与 RPM 安装。源码编译可控性较高,但需自行处理依赖与目录。编译前确认已安装编译工具链与 Munge 开发包。
./configure --prefix=[安装目录] --sysconfdir=[配置目录]
make
make install
若不指定目录,将使用默认路径。安装后确认可执行文件、库文件与配置文件位置,避免后续服务读取到错误配置。
3. 配置文件关键项 #
核心文件为 slurm.conf,所有节点应保持一致。常见需确认的项包括:
ClusterName:集群名称。ControlMachine/ControlAddr:主控节点主机名与地址,使用[服务器地址]占位。SlurmUser:服务运行账户。SlurmctldPort/SlurmdPort:主控与计算节点服务端口。AuthType:认证方式,通常为auth/munge。StateSaveLocation/SlurmdSpoolDir:状态与暂存目录。SchedulerType、SelectType:调度与资源选择插件。NodeName:节点名、CPU 数、每插槽核心数、每核心线程数、可用内存、初始状态。CPU 与内存信息可用lscpu、/proc/cpuinfo核对。PartitionName:分区划分,可设默认分区与最长运行时间。
日志相关项建议开启并指向可写目录,便于排查。
4. 启动集群 #
- 主控节点启动 slurmctld。
- 所有计算节点启动 slurmd。
- 首次启动节点状态可能为 unknown,随后转为 idle。
验证方法 #
- 执行
sinfo查看分区与节点状态,正常应显示 idle、alloc 等状态。 - 执行
scontrol show node查看单节点详情,出现 not responding 表示通信异常。 - 提交一个简单测试作业,确认调度、执行与结果回收正常。
- 查看
/var/log/slurmctld.log与各节点/var/log/slurmd.log定位异常。
回退建议 #
- 修改配置前备份
slurm.conf与状态目录。 - 配置变更后可用
scontrol reconfig重载;若异常,恢复备份并重启服务。 - 认证异常时,核对各节点 Munge 密钥一致性与权限,必要时在测试环境重建密钥再分发。
- 节点长时间 down 且已修复后,可执行
scontrol update相关操作恢复节点状态,具体参数以官方文档为准。
常见问题 #
- 修改
slurm.conf后未生效:需在主控节点重载配置,且所有节点配置应同步。 - 节点显示 not responding:多为网络、主机名解析、Munge 认证或服务未启动,逐项排查并查看对应日志。
- 节点长期 down:修复原因后需更新节点状态,避免调度器继续排除该节点。
- 状态目录被清理导致状态丢失:避免将状态目录放在临时清理策略覆盖的路径。
不同 Slurm 版本在配置项、插件与命令参数上存在差异,部署前请查阅对应版本的官方文档与手册页。
