一,nvidia K80驱动安装
1, 查看服务器上的Nvidia(英伟达)显卡信息,命令lspci |grep NVIDIA
2, 按下来,进行显卡驱动程序的安装,驱动程序可到nvidia的官网进行下载,网址为https://www.nvidia.com/Download/index.aspx?lang=en-us,安装完成之后,查看版本:NVIDIA-SMI 410.48,运行nvidia-smi可获得此信息。
***如果nvidia-smi很慢,可先执行一次nvidia-persistenced --persistence-mode。
二,NVIDIA CUDA Toolkit 安装
1,根据前一节的驱动,先把合适的CUDA Toolkit版本进行下载安装。
下载网址:https://developer.nvidia.com/cuda-toolkit-archive
驱动程序和CUDA的对应关系如下图:
2,安装时,按如下图选择即可:
3,使用cuda中的deviceQuery可以获得其安装信息
三,安装cuDNN
1, cuDNN是GPU加速计算深层神经网络的库,网址:
https://developer.nvidia.com/rdp/cudnn-archive
2, 选择与cuda对应的版本,下载解压到cuda对应目录即可。
sudo cp cuda/include/cudnn.h /usr/local/cuda/include/ sudo cp cuda/lib64/libcudnn* /usr/local/cuda/lib64/ sudo chmod a+r /usr/local/cuda/include/cudnn.h /usr/local/cuda/lib64/libcudnn* |
***如果只是在宿主机上使用NVIDIA的GPU,那么,经过上面的步骤之后,就可以安装一些学习框架进行操作了。但如果想更灵活干净的让应用在容器内运行,则还需要进行接下来的操作准备。***
四,nvidia-docker2安装
1,Nvidia关于docker项目的支持,github网址:https://github.com/NVIDIA/nvidia-docker。它使用一个nvidia-docker2应用来延伸docker的内置功能。架构如下:
2,nvidia-docker2要求的docker安装版本比较新,安装的版本为ce-18.09.6-3。Nvidia-docker2安装的版本为2.0.3-3。(这几个rpm包我都收下载好,可随时共享)
安装命令(需要解决rpm包依赖,未列明):
Sudo yum install docker-ce-18.09.6-3.el7.x86_64.rpm Sudo yum install nvidia-docker2-2.0.3-3.docker18.09.6.ce.noarch.rpm |
3,在安装完成之后,有两个配置文件需要更改或新建:
a,/etc/systemd/system/docker.service.d/docker.conf
[Service] ExecStart= ExecStart=/usr/bin/dockerd –graph=/xxx –storage-driver=overlay –insecure-registry harbor.xxx.com.cn |
这个文件,公司所有的docker都有这个设置更改,graph参数指定docker镜像的存放目录,需要一个较大的硬盘空间。
b,/etc/docker/daemon.json
{ “default-runtime”: “nvidia”, “runtimes”: { “nvidia”: { “path”: “nvidia-container-runtime”, “runtimeArgs”: [] } } } |
4,此文件为nvidia-docker2应用所需,用于替换docker的默认runc。
当这些更改应用之后,再启动docker服务,会看到相应的更改已生效。
五,Docker镜像测试:
1,此次测试的镜像如下:
l —anibali/pytorch: cuda-10.0
l —tensorflow/tensorflow: 1.14.0-gpu-py3-jupyter
2,在服务器新装之后,如果有特别个性化的需求,可以考虑以anaconda镜像为基础进行自定义制作。
3,在以上两个镜像中,GPU加速的效果,都可以达到CPU的10倍左右。
六,使用K8S管理docker容器的部署
1, 将此节点加入集群。
sudo kubeadm join master –token xx–discovery-token-unsafe-skip-ca-verification
2, 安装Nvidia Device Plugin。
Nvidia-device-plugin.yaml
apiVersion: extensions/v1beta1 kind: DaemonSet metadata: name: nvidia-device-plugin-daemonset-1.12 namespace: kube-system spec: updateStrategy: type: RollingUpdate template: metadata: annotations: scheduler.alpha.kubernetes.io/critical-pod: “” labels: name: nvidia-device-plugin-ds spec: tolerations: – key: CriticalAddonsOnly operator: Exists – key: nvidia.com/gpu operator: Exists effect: NoSchedule containers: – image: harbor.xxx.com.cn/3rd_part/nvidia/k8s-device-plugin:1.11 name: nvidia-device-plugin-ctr securityContext: allowPrivilegeEscalation: false capabilities: drop: [“ALL”] volumeMounts: – name: device-plugin mountPath: /var/lib/kubelet/device-plugins volumes: – name: device-plugin hostPath: path: /var/lib/kubelet/device-plugins |
然后,在集群里运行如下命令,将yaml文件应用到集群里。
Kubectl apply –f Nvidia-device-plugin.yaml
1, 检查GPU资源已正常被集群识别。
Kubectl get nodes \
“-o=custom-columns=NAME:.metadata.name,\
GPU:.status.allocatable.nvidia\.com/gpu”
输出如下则说明一切正常。
2, Jupyter环境部署
Jupyter.yaml内容
apiVersion: apps/v1 kind: Deployment metadata: name: sss-ai-jupyter spec: replicas: 1 selector: matchLabels: name: sss-ai-jupyter template: metadata: labels: name: sss-ai-jupyter spec: nodeSelector: accelerator: nvidia-tesla-k80 containers: – name: sss-ai-jupyter image: harbor.xxx.com.cn/3rd_part/tensorflow:1.14.0-gpu-py3-jupyter imagePullPolicy: IfNotPresent resources: limits: nvidia.com/gpu: 1 — apiVersion: v1 kind: Service metadata: name: sss-ai-jupyter spec: type: NodePort ports: – port: 8888 targetPort: 8888 nodePort: 30302 selector: name: sss-ai-jupyter |
然后,在集群里运行如下命令,将yaml文件应用到集群里。
Kubectl apply –f Nvidia-device-plugin.yaml
3, 测试
进入POD,手工测试结果如下:
在容器外部,通过curl命令,返回如下:
***通过浏览器测试()
七,KubeFlow部署
Kubeflow 是目前基于 Kubernetes 的主流机器学习解决方案,它抽象了和机器学习相关的 PS-Worker 模型,实现了一套 pipeline 的工作流,支持超参数训练和 Jupyter notebooks 集成等能力。
由于kubeflow的安装,涉及众多组件依赖,较为复杂。所以官方提供的都是一站式安装方案。而这安装的前提条件,必须又能连外网(包括上网),又同时保持k8s master的连接。
目前,公司的网络条件暂不具体,故暂未进行安装部署。稍后,会以microk8s的方式来测试单机部署。