一、CUDA 驱动异常快速诊断
- 报 Driver/library version mismatch：驱动与内核模块版本不一致，重启实例通常可恢复；反复出现请收集系统日志提交工单
- nvidia-smi 出现 ECC / Xid 错误：记录 Xid 编号、发生时间与 nvidia-smi 截景，一并提交
- 报 CUDA driver version is insufficient：驱动低于 CUDA 运行时要求——更换低版本 CUDA 镜像，或由平台侧处理驱动
二、容器环境的驱动匹配
- 容器内无需安装宿主驱动：宿主驱动满足下限即可，GPU 设备由容器运行时挂载
- 优先选用与宿主驱动兼容的 PyTorch / TensorFlow 官方镜像 tag
- 自定义镜像建议基于平台预置镜像构建，避免重复踩版本坑
三、NVLink 与多机通信延迟
- 单机多卡：用 nvidia-smi 检查 NVLink 状态；训练侧可开 NCCL_DEBUG=INFO 观察通信建链
- 多机场景：先做节点间连通与带宽实测（平台计算网为 RoCE-IB），再检查安全组是否放行通信端口
- AllReduce 长时间无进展：多为节点间网络问题而非 GPU 故障，先排查网络再怀疑硬件
- 自查收集：报错全文、nvidia-smi 输出、驱动与 CUDA 版本、可复现步骤——按 P0–P3 优先级提交工单，紧急故障走值班热线
需要进一步帮助？
把节点标识、报错截图与复现步骤发给我们，技术团队会更快定位。