参考来源与致谢
- 引用来源:快速入门 | 武汉大学超算中心
- 原作者:原页面署名作者或发布机构(剪藏记录未保存可核验的个人署名)
- 感谢词:感谢原作者及发布机构对技术知识的公开分享。本文已结合企业运维场景完成脱敏、核验与原创重写,并非原文转载;如权利人需要更正署名或来源信息,请联系本站。
适用场景 #
团队首次接入高性能计算集群,需要在登录节点上完成代码编译,并把计算任务投递到计算节点运行。本文覆盖连接、文件传输、编译、作业提交与结果查看的通用流程,适用于以SLURM为调度系统的集群环境。具体分区名称、节点配置、软件版本以所在集群的官方文档为准。
准备与风险 #
- 已获得集群账号,并确认登录节点地址、SSH端口与认证方式。
- 本地准备SSH客户端与SFTP客户端。常见开源方案包括PuTTY、FileZilla;商业方案通常集成图形转发与文件传输功能。选择依据团队合规要求与运维习惯。
- 登录节点通常仅用于编辑、编译和提交作业,禁止长时间、高负载占用CPU。重负载程序必须通过调度系统投递到计算节点。
- 首次连接会提示确认服务器公钥指纹,应通过官方渠道核对后再接受,避免中间人风险。
- 破坏性操作(删除数据、覆盖文件、批量清理)前,先在测试目录验证,并确认已有备份或快照。
处理步骤 #
1. 连接登录节点 #
在SSH客户端中填入[服务器地址]与端口,建立会话。首次连接接受主机公钥后,依次输入[管理员账号]与口令。口令输入时不回显字符,属正常现象。
2. 熟悉目录结构 #
登录后确认家目录与数据目录位置。常见做法是家目录存放配置与脚本,数据目录通过软链接指向独立存储卷。
pwd
ls -l
cd [数据目录]
ls -l
cd ..
若家目录下存在指向数据目录的软链接,进入该链接即等同于进入实际数据路径。
3. 传输文件 #
使用SFTP客户端连接同一地址与账号,通过拖拽或右键菜单上传、下载文件与目录。大批量数据传输建议先打包压缩,传输完成后校验文件大小或校验和。
4. 编译程序 #
使用集群提供的编译器编译源码。以下以C程序为例,编译器名称与可用版本以集群文档为准。
vim HelloWorld.c
gcc HelloWorld.c
ls -l
./a.out
若集群提供厂商优化编译器,可在确认其已加载后替换gcc。编译前建议通过模块系统加载所需工具链。
5. 交互式提交 #
需要人工观察输出或临时调试时,可用交互方式把程序投递到计算节点。
srun -p [分区名] ./a.out
交互模式下,终端关闭或登录节点异常会导致任务中断,仅适合短时调试。
6. 批处理提交 #
无需人工干预的任务应写成脚本,用批处理方式提交,避免终端断开影响运行。
vim job.sbatch
chmod +x job.sbatch
sbatch -p [分区名] job.sbatch
脚本内容示例:
#!/bin/bash
./a.out
提交成功会返回作业ID。可用squeue查看排队与运行状态,用sacct查询历史作业。默认输出文件通常位于提交目录,命名与作业ID相关。
验证方法 #
- 连接验证:登录后执行
hostname确认当前节点,执行pwd确认所在路径。 - 编译验证:确认可执行文件已生成,直接运行输出符合预期。
- 调度验证:在程序中打印主机名,对比直接运行与
srun运行时的节点名差异,确认任务确实落在计算节点。 - 作业验证:用
squeue确认状态由排队转为运行,结束后检查输出文件内容与退出状态。
回退建议 #
- 作业提交错误时,可用
scancel [作业ID]取消尚未完成的任务。 - 编译产物异常时,删除可执行文件后重新编译,避免使用旧产物。
- 文件误覆盖前应保留副本;若集群提供快照或备份,按官方流程申请恢复。
- 配置类改动建议先在测试目录验证,再应用到正式路径。
常见问题 #
- 口令输入无回显:正常安全设计,直接输入后回车即可。
- 首次连接提示公钥确认:核对指纹来源后再接受。
- 登录节点卡顿:检查是否在登录节点直接运行重负载程序,改用调度系统提交。
- 作业长期排队:确认分区名与资源请求是否合理,必要时查阅集群文档调整参数。
- 输出文件找不到:确认提交目录与作业ID,检查脚本中是否重定向了标准输出与错误。
分区命名、编译器版本、模块加载方式、存储配额等均随集群而异,请以对应版本的官方文档为准。
