参考来源与致谢
- 引用来源:slurm入门 – byplane的博客 – CSDN博客
- 原作者:原页面署名作者或发布机构(剪藏记录未保存可核验的个人署名)
- 感谢词:感谢原作者及发布机构对技术知识的公开分享。本文已结合企业运维场景完成脱敏、核验与原创重写,并非原文转载;如权利人需要更正署名或来源信息,请联系本站。
适用场景 #
SLURM 是面向大型计算节点集群的资源管理器与作业调度系统。它维护待处理作业队列,按需以独占或共享方式分配计算节点,并把作业分发到已分配节点执行,同时跟踪作业直至完成。适合以下场景:
- 多用户共享一批计算节点,需要排队与公平分配。
- 作业需要指定节点数、核心数、内存或时限。
- 需要按分区(Partition)划分资源,例如调试队列与生产队列分离。
- 需要统一查看节点状态、作业队列与作业历史。
SLURM 采用经典集群管理架构:控制端运行 slurmctld 守护进程,负责监控资源并把进入的作业映射到计算资源;每个计算节点运行 slurmd 守护进程,负责接收控制器下发的工作、在本节点上启动任务并上报状态。控制端可配置冗余,但冗余为可选项。节点可组成逻辑分组即分区,分区通常对应一个作业队列,并可设置用户访问、作业时限、节点数量等约束。
准备与风险 #
部署前先确认环境与需求,避免直接在生产集群上试错。
- 确认各节点主机名解析一致,控制端与计算节点时间同步。
- 确认节点间可互通,所需端口在防火墙放行;具体端口以对应版本官方文档为准。
- 规划分区划分、节点命名规则、用户与账号体系。
- 准备配置文件与凭证文件,并确保权限仅对服务账号可读。
- 先在测试环境验证,再推广到生产集群。
涉及停止服务、清理状态、覆盖配置文件等操作前,必须先备份现有配置与状态目录,并确认可在测试环境复现。回退方案未就绪前不要在生产环境执行。
安装方式取决于具体 Linux 发行版,通常通过系统包管理器完成。包名与可用版本随发行版和仓库不同,请查阅对应版本官方文档确认。
处理步骤 #
- 安装 SLURM 软件包及其依赖。命令形式依发行版而定,例如使用系统包管理器安装对应软件包。
- 编写主配置文件,通常位于
/etc/slurm/slurm.conf或发行版约定的路径。文件中需定义控制端主机、认证方式、调度器类型、日志与记账选项、节点与分区等。可参考官方配置工具生成初稿,再按实际环境修改,并删除当前版本已不支持的选项。 - 节点定义可使用主机名列表或范围写法,例如
NodeName=[节点名前缀][起始编号-结束编号],分区通过PartitionName指定包含的节点与默认属性。 - 如启用凭证校验,按官方文档生成密钥与证书文件,路径与文件名与配置中的
JobCredential*项保持一致。私钥权限应限制为服务账号可读。 - 将配置文件分发到所有节点,确保内容一致。
- 使用系统服务管理脚本或服务管理器启动 SLURM。启动会拉起控制端守护进程,并在本机拉起计算节点守护进程。
# 启动示例(路径以发行版实际为准)
sudo systemctl start slurmctld
sudo systemctl start slurmd
验证方法 #
- 用
sinfo查看分区与节点状态,确认节点处于空闲或预期状态。 - 用
scontrol show partition与scontrol show node [节点名]查看分区与节点的详细属性。 - 用
srun提交简单命令验证资源分配与任务启动,例如srun -l hostname。 - 用
squeue查看队列中的作业状态。 - 提交一个短时任务并观察其从排队到完成的过程,确认调度与记账行为符合预期。
若节点状态异常,先检查守护进程是否运行、配置文件是否一致、主机名解析与网络是否正常。
回退建议 #
- 保留修改前的配置文件副本与状态目录备份,记录变更内容与时间。
- 出现异常时先停止新启动的服务,恢复原配置文件,再按原方式启动。
- 如需忽略已保存状态重新开始,使用服务脚本提供的清理启动方式,但该操作会丢弃历史状态,仅在确认无影响时使用。
- 回退后重新执行验证步骤,确认集群恢复到变更前状态。
常见问题 #
- 节点显示异常或不可用:检查
slurmd是否运行、控制端与节点间通信是否正常、配置是否一致。 - 作业长期排队:检查分区约束、节点资源是否被占满、时限与用户权限设置。
- 配置文件不生效:确认所有节点使用同一份配置,并已重启相关服务。
- 凭证相关报错:核对密钥与证书路径、权限及配置项名称是否匹配。
- 版本差异导致选项失效:不同版本支持的配置项与命令参数可能不同,请查阅对应版本官方文档,不要直接套用其他版本的示例。
