...
【注意2】：mps用完之后需要手动关闭，不然其他用户提交不上。因为mps服务是用户独显的(如果是多显卡主机，mps开启后多个显卡都被单用户独占cuda)，也就是说一个显卡上运行了某用户的nvidia-cuda-mps-server进程，那么该显卡上只能运行该用户的cuda程序，而其他的用户的进程则被阻塞不能执行，只有等待上个用户的所有cuda任务结束并且该用户的nvidia-cuda-mps-server进程退出才可以启动下个用户的nvidia-cuda-mps-server进程然后运行下个用户的cuda进程。
关闭命令如下：
nvidia-smi -i 0,1,2,3 -c DEFAULT # 首先让GPU恢复为默认模式。sudo echo quit | nvidia-cuda-mps-control # 然后关闭MPS服务
sudo kill xxxx # 这里需要手动kill掉mps进程，xxxx就是nvidia-smi里显示的nvidia cuda mps server前面的pid号。
...