参考来源与致谢
- 引用来源:Slurm_accounting – Niflheim Linux supercomputer cluster
- 原作者:原页面署名作者或发布机构(剪藏记录未保存可核验的个人署名)
- 感谢词:感谢原作者及发布机构对技术知识的公开分享。本文已结合企业运维场景完成脱敏、核验与原创重写,并非原文转载;如权利人需要更正署名或来源信息,请联系本站。
适用场景 #
当集群需要按账户、用户、分区统计作业资源消耗,或需要实施公平共享、资源限制与服务质量策略时,应启用 Slurm 会计功能。该功能依赖数据库守护进程保存作业记录,通常仅在头节点或管理节点进行配置。若仅需临时查看作业状态,可不启用会计;但需要长期审计、计费或配额管理时,必须部署。
准备与风险 #
- 确认已部署并可用 Slurm 数据库,数据库连接参数、凭据应通过受控配置文件管理,禁止明文写入脚本或提交到版本库。
- 备份现有
slurm.conf、数据库及会计配置。任何修改前先在测试环境验证。 - 会计关联关系有严格顺序:先定义集群,再创建账户,最后添加用户。顺序错误会导致关联失败。
- 修改用户 UID 或组 GID 可能影响已有作业记录归属,操作前应评估并保留回退方案。
- 破坏性命令(如删除账户、用户、集群)执行前必须确认无运行中作业依赖,并完成数据库备份。
处理步骤 #
1. 启用会计存储 #
在头节点的 slurm.conf 中设置会计存储类型与集群名称,例如:
AccountingStorageType=accounting_storage/slurmdbd
AccountingStoreJobComment=YES
ClusterName=[集群名称]
修改后需重启相关服务使配置生效。具体参数含义与支持范围请查阅对应版本官方文档。
2. 创建集群记录 #
使用 sacctmgr 添加集群:
sacctmgr add cluster [集群名称]
add 与 create 在此命令中等价。可通过 sacctmgr show configuration 查看当前会计配置。
3. 创建账户层级 #
账户类似 UNIX 组,可组织为树状结构。示例:
sacctmgr add account [顶级账户] Description="[描述]" Organization=[组织]
sacctmgr add account [子账户] Description="[描述]" Organization=[组织] parent=[顶级账户]
可用 Cluster= 限定账户所属集群,Parent= 指定父账户,Name= 必须唯一。查看账户:
sacctmgr show account
sacctmgr show account -s
4. 创建用户并设置默认账户 #
每个用户必须指定默认账户:
sacctmgr create user name=[用户名] DefaultAccount=[默认账户]
可将用户加入其他账户并调整公平共享值:
sacctmgr add user [用户名] Account=[其他账户]
sacctmgr modify user where name=[用户名] account=[其他账户] set fairshare=[数值]
提交作业时可用 sbatch -A [账户] 或 --account=[账户] 指定非默认账户。查看用户:
sacctmgr show user
sacctmgr show user -s
5. 资源限制与服务质量 #
可通过 TRES、QOS、WCKey 等机制实施资源限制与工作负载标记。具体字段与可用值随版本变化,配置前请查阅对应版本文档,避免使用未经验证的参数。
验证方法 #
- 运行
sacctmgr show associations确认集群、账户、用户关联已建立。 - 提交测试作业后,用
sacct查询作业记录是否入库。 - 使用
seff [作业ID]查看作业效率报告。 - 生成会计报告,核对账户与用户维度统计是否符合预期。
回退建议 #
- 保留修改前的
slurm.conf与数据库备份,出现异常时恢复配置并重启服务。 - 删除错误关联前先导出当前会计配置,便于重建。
- 若会计功能导致调度异常,可临时关闭会计存储并回退到无会计模式,再排查数据库连接与关联记录。
常见问题 #
- 关联创建失败:检查是否按集群、账户、用户顺序操作。
- 用户无法提交作业:确认已设置 DefaultAccount 且账户存在。
- 记录缺失:检查数据库守护进程状态与会计存储配置。
- UID/GID 变更后记录归属异常:需评估并同步更新会计关联。
提示:不同 Slurm 版本对会计参数、TRES 与 QOS 的支持存在差异,生产环境变更前请查阅对应版本官方文档并在测试环境验证。
