python安装及虚拟环境配置

参考：如何在ubuntu 20.04安装python 3.9

python多环境管理（venv与virtualenv）

警告：装了新的python后系统里的python不要动。（卸载会导致系统损坏）

AI导读：本文提供了在Ubuntu 20.04上安装Python 3.9及相关工具的详细步骤。首先，用户需下载Python源码并进行配置和编译。接着，介绍了如何安装virtualenvwrapper以管理多个Python环境，并通过修改.bashrc文件来设置环境变量。随后，指导用户安装NVIDIA显卡驱动和CUDA Toolkit，强调两种安装方式的不同以及环境变量的配置。最后，介绍了cuDNN的下载安装过程，并提供了监控GPU状态的方法。此外，还涉及到PyTorch和Keras的安装，以及Conda的参考文献。整体上，文章旨在帮助用户顺利搭建Python及其深度学习环境。

安装python

下载 Python源码

sudo apt update
sudo apt install build-essential zlib1g-dev libncurses5-dev \
libgdbm-dev libnss3-dev libssl-dev libsqlite3-dev \
libreadline-dev libffi-dev curl libbz2-dev curl -y

curl -O https://www.python.org/ftp/python/3.9.15/Python-3.9.15.tar.xz

附加：pytorch会出现缺少lzma的错误，deb安装会下载改包。从source编译安装python需要在编译前安装

sudo apt install liblzma-dev
sudo apt install lzma

配置 Python构建

tar -xf Python-3.9.15.tar.xz
cd Python-3.9.15/
./configure --enable-optimizations

编译 Python

make -j 6 # 6是cpu核数，用nproc命令查看
sudo make altinstall
python3.9 --version

安装virtualenvwrapper

通过pip安装virtualenvwrapper。virtualenvwrapper是virtualenv的扩展版本，支持在不同的Python环境之间快速的切换；

sudo pip3.9 install virtualenv virtualenvwrapper

定位virtualenvwrapper.sh脚本的安装位置

/home/jankiny/.local/bin/virtualenvwrapper.sh

然后，将virtualenvwrapper脚本的位置写入到.bashrc文件中。直接用vim编辑器打开.bashrc文件，然后定位到文件的最后，添加一行source命令，将脚本位置写入。在.bashrc文件中，创建变量WORKON_HOME，指定Python环境的存储位置，如下所示。

vim ~/.bashrc

写入

export VIRTUALENVWRAPPER_PYTHON=/usr/local/bin/python3.9
export WORKON_HOME=$HOME/Development/.virtualenvs
source $HOME/.local/bin/virtualenvwrapper.sh

使用source命令更新bash的执行环境。

source .bashrc

安装N卡驱动

确认Python和pip是64bit，并且处理器架构是x86_64（或称作x64、Intel 64、AMD64）架构

python3.9 -c "import platform;print(platform.architecture()[0]);print(platform.machine())"

检测NVIDIA图形卡和推荐的驱动程序的模型，在终端输入：

ubuntu-drivers devices   #可以看到对应的推荐的驱动包

使用自动安装方法来安装驱动，会安装最新的驱动

sudo ubuntu-drivers autoinstall

然后重启系统，打开终端查看安装情况：

nvidia-smi

安装cuda

CUDA Toolkit 11.6 Update 2 Downloads

unfile和deb两种安装方式的区别：

​ runfile：下载并运行.run文件，可以选择是否安装N卡驱动

​ deb：下载.deb包，利用apt-get install方式安装，会自动安装.deb包名中写的N卡驱动

wget https://developer.download.nvidia.com/compute/cuda/11.6.2/local_installers/cuda_11.6.2_510.47.03_linux.runsudo # sh cuda_11.6.2_510.47.03_linux.run

官网给的第二句sh cuda_11.6.2_510.47.03_linux.run不能运行，修改权限在执行

chmod +x cuda_11.6.2_510.47.03_linux.run
sudo ./cuda_11.6.2_510.47.03_linux.run

安装时已经安装了更高版本的n卡驱动了，因此不用管提示，在安装是选择不安装cuda推荐的n卡驱动

配置环境变量

vi ~/.bashrc

在结尾加入以下内容然后保存退出

export PATH=/usr/local/cuda-11.6/bin${PATH:+:${PATH}}
export LD_LIBRARY_PATH=/usr/local/cuda-11.6/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}

最后，更新环境变量配置

source ~/.bashrc

nvcc -V命令查看cuda信息

安装CUDnn

这里选择适配的进行[下载安装](cuDNN Archive | NVIDIA Developer)（需要注册登录）

可以在Windows下载，会快一点

tar -xvf cudnn-linux-x86_64-8.6.0.163_cuda11-archive.tar.xz
cd cudnn-linux-x86_64-8.6.0.163_cuda11-archive/
sudo cp lib/* /usr/local/cuda-11.6/lib64/
sudo cp include/* /usr/local/cuda-11.6/include/

查看cuDNN的信息

cat /usr/local/cuda-11.6/include/cudnn_version.h | grep CUDNN_MAJOR -A 2

监控一下gpu状态

CUDN + cuDNN安装完成，我们可以监控一下gpu状态：

watch -n 1 nvidia-smi

安装pytorch

进入pytorch虚拟环境

使用官网脚本

pip3 install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu116

安装keras

github issue

pip install tensorflow-gpu
pip install pandas numpy numba sklearn

安装conda

c.ServerApp.ip='*'  # 表示所有ip皆可访问
c.ServerApp.password = 'argon2:$argon2id$v=19$m=10240,t=10,p=8$g9ftSCMRJ4uKI1j5yeLvzg$kH/AcatwI++7c8+bbAig23MUD4OJvSPbBCk9nSn3jys'  # 前面生成的密码哈希值
c.LabServerApp.open_browser = False  #  禁止打开浏览器
c.ServerApp.port =8888  # 随便指定一个端口，默认为8888
c.ServerApp.allow_remote_access = True
c.ServerApp.root_dir = '/home/jankiny/Documents/WorkSpace/PythonPorjects'

参考文章：
参考链接