服务器创建虚拟环境跑代码

一、前言

最近忙着在服务器上跑代码

学习积累了一些经验技巧

这里用来记录分享给大家

二、创建虚拟环境用来跑代码

下面我会以一个实例为模板，学习完之后，再删掉

不会占用大家的服务器

1、连接上服务器

比如我的连接方式为：ssh -p 你的编号 username-host

2、创建虚拟环境

这里我以一篇 代码为例

创建虚拟环境

conda create -n KDDocRE python==3.7.4

3、进入虚拟环境

conda activate KDDocRE

插句题外话

如果你的想跑的代码中有requirements.txt文件

可以进入放在代码的文件目录下

直接执行下行代码自动安装

pip install -r requirements.txt

如果有超时报错重新执行一下上行命令就行

4、安装cuda

conda install cudatoolkit=10.2

如果速度有些慢的话可以考虑更换清华源

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge 
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/    
conda config --set show_channel_urls yes

5、安装PyTorch

这里给大家提供两种方式安装

pip3 install torch torchvision torchaudio 

或者

conda install pytorch torchvision torchaudio cudatoolkit=10.2 -c pytorch

两者都可以，但是一定要确认好你的版本号

官网在这里

6、安装Transformer

pip install transformers==4.8.2

这里读者注意一下，如果三方库后面没有加上版本号

会默认为安装最新版本

如果已经安装过了其他版本

可以考虑再次安装指定版本

之前的版本会自动卸载（下图二）

7、安装numpy

pip install numpy==1.19.4

8、安装apex

这个三方库比较难安装

git clone https://github.com/NVIDIA/apex
cd apex
pip install -v --disable-pip-version-check --no-cache-dir --global-option="--cpp_ext" --global-option="--cuda_ext" ./

如有报错请参考这篇 文章

9、安装opt-einusm

pip install opt_einsum==3.3.0

10、安装axial-attention

pip install axial_attention==0.6.1

11、安装ujson

pip install ujson

12、安装tqdm

pip install tqdm

13、跑代码

以上环境都配置完成

接下来可以用pycharm打开整个文件

我依然以上面那个项目为例

打开以后是这个样子

然后使用pycharm远程连接服务器开始愉快的跑代码了

远程连接服务器的文章 在这

具体如何把代码跑起来

一般项目中的READ.md都会有介绍

13、退出环境

conda deactivate

14、查看当前虚拟环境列表

conda env list

15、删除环境

conda remove -n KDDocRE --all

如此以来，我们就完成了环境创建，跑代码，删除环境等操作

可以拿自己的项目练练手啦