Skip to content

Conda 环境管理

Conda 用于创建独立的 Python 虚拟环境,智川云镜像已预装。

初始化配置

首次使用

如果 conda 命令无法使用,请先执行初始化:

bash
conda init bash && source ~/.bashrc

环境管理

查看环境

bash
# 查看所有环境
conda env list

# 查看当前环境信息
conda info

创建环境

Conda 不仅可以管理 Python 包,还可以创建不同 Python 版本的独立环境。

bash
# 创建指定 Python 版本的环境
conda create -n <环境> python=<> -y
# 示例:conda create -n py38 python=3.8 -y
# 示例:conda create -n py310 python=3.10 -y
# 示例:conda create -n py311 python=3.11 -y

# 克隆已有环境
conda create -n <新环境> --clone <已有环境>
# 示例:conda create -n myenv_backup --clone myenv

Python 版本切换

通过创建不同 Python 版本的环境,可以轻松切换 Python 版本:

bash
# 切换到 Python 3.8 环境
conda activate py38

# 切换到 Python 3.10 环境
conda activate py310

切换环境

bash
# 激活环境
conda activate <环境>
# 示例:conda activate myenv

# 退出当前环境(返回 base)
conda deactivate

# 切换到其他环境(无需先 deactivate)
conda activate <另一个环境>

注意

每次打开新终端默认进入 base 环境,需手动激活目标环境。

删除环境

bash
# 删除指定环境
conda remove -n <环境> --all -y
# 示例:conda remove -n myenv --all -y

包管理

安装包

bash
# 在当前环境安装
conda install <> -y
# 示例:conda install numpy pandas -y

# 安装指定版本
conda install <>=<> -y
# 示例:conda install pytorch=2.0 -y

# 从指定频道安装
conda install -c <> <> -y
# 示例:conda install -c conda-forge transformers -y

查看已安装包

bash
conda list

卸载包

bash
conda remove <> -y

深度学习框架版本管理

安装 PyTorch

PyTorch 官方推荐使用 Conda 安装,可以自动处理 CUDA 依赖:

bash
# 安装最新版 PyTorch(CUDA 12.1)
conda install pytorch torchvision torchaudio pytorch-cuda=12.1 -c pytorch -c nvidia -y

# 安装指定版本 PyTorch
conda install pytorch=2.0 torchvision torchaudio pytorch-cuda=11.8 -c pytorch -c nvidia -y

# 安装 CPU 版本
conda install pytorch torchvision torchaudio cpuonly -c pytorch -y

切换 PyTorch 版本

建议为不同版本的 PyTorch 创建独立环境:

bash
# 创建 PyTorch 2.0 环境
conda create -n torch20 python=3.10 -y
conda activate torch20
conda install pytorch=2.0 torchvision torchaudio pytorch-cuda=11.8 -c pytorch -c nvidia -y

# 创建 PyTorch 2.1 环境
conda create -n torch21 python=3.10 -y
conda activate torch21
conda install pytorch=2.1 torchvision torchaudio pytorch-cuda=12.1 -c pytorch -c nvidia -y

验证安装

bash
python -c "import torch; print(f'PyTorch: {torch.__version__}, CUDA: {torch.cuda.is_available()}')"

其他深度学习框架

bash
# TensorFlow
conda install tensorflow-gpu -y
# 或使用 pip
pip install tensorflow

# JAX
pip install jax jaxlib

# PaddlePaddle
pip install paddlepaddle-gpu

版本兼容性

不同版本的深度学习框架可能需要特定的 CUDA 版本。建议为每个项目创建独立环境,避免版本冲突。

在 JupyterLab 中使用

创建环境后,需注册为 Jupyter Kernel 才能在 JupyterLab 中使用:

bash
# 激活目标环境
conda activate myenv

# 安装 ipykernel
conda install ipykernel -y

# 注册为 Jupyter Kernel
python -m ipykernel install --user --name=myenv --display-name="Python (myenv)"

刷新 JupyterLab 页面,在 Kernel 列表中选择新环境。

移除 Kernel:

bash
jupyter kernelspec uninstall myenv

安装到数据盘

系统盘空间有限,建议将环境安装到数据盘:

bash
# 创建目录
mkdir -p /root/rivermind-data/conda/{pkgs,envs}

# 配置 Conda 路径
conda config --add pkgs_dirs /root/rivermind-data/conda/pkgs
conda config --add envs_dirs /root/rivermind-data/conda/envs

配置后新创建的环境将自动安装到数据盘。

环境导出与还原

导出环境

bash
# 导出为 YAML 文件
conda env export > environment.yml

# 仅导出手动安装的包(更简洁)
conda env export --from-history > environment.yml

还原环境

bash
conda env create -f environment.yml

清理缓存

bash
# 清理所有缓存(包、索引、临时文件)
conda clean -a -y

使用 Mamba 加速

Mamba 是 Conda 的高性能替代品,解析依赖更快:

bash
# 安装 Mamba
conda install mamba -n base -c conda-forge -y

# 使用 Mamba 创建环境(用法与 conda 相同)
mamba create -n fastenv python=3.10 -y

# 使用 Mamba 安装包
mamba install pytorch -y

常用命令速查

操作命令
查看所有环境conda env list
创建环境conda create -n <名称> python=<版本> -y
激活环境conda activate <名称>
退出环境conda deactivate
删除环境conda remove -n <名称> --all -y
安装包conda install <包名> -y
查看已安装包conda list
导出环境conda env export > environment.yml
清理缓存conda clean -a -y

常见问题

激活失败

执行初始化命令:

bash
conda init bash && source ~/.bashrc

版本冲突

创建新的独立环境,或使用 Mamba 解析依赖。

找不到环境

检查 envs_dirs 配置:

bash
conda config --show envs_dirs

磁盘空间不足

  1. 清理缓存:conda clean -a -y
  2. 将环境安装到数据盘(见上文)

相关文档

智算无疆 川流不息