玩转AI开源项目经验收集

conda使用

AI人工智能应用编程

AI环境一键初始化

整合包？你也能做,打包AI项目,打包CUDA,打包CUDNN,打包TensorRT,打包FFMPEG,AI项目整合包制作

conda虚拟环境安装CUDA和CUDNN

深度学习环境配置——Windows安装CUDA与CUDNN

深度学习环境配置——ubuntu安装CUDA与CUDNN

不限量 无门槛 | 免费获取ChatGPT API | gpt-4o-mini API免费用

conda使用

Anaconda 和 Miniconda 在命令行方面的使用几乎没有区别，因为它们都基于同一个核心工具——Conda。Conda 是一个强大的包管理和环境管理工具，无论是 Anaconda 还是 Miniconda，都使用相同的 Conda 命令来管理包和环境。以下是一些常用的 Conda 命令及其用途：

常用 Conda 命令

1. 创建环境

命令：conda create --name <env_name> [package1] [package2] ...

用途：创建一个新的环境，并可选地安装指定的包。

示例：

conda create --name my_env numpy pandas

2. 激活环境

命令：conda activate <env_name>

用途：激活指定的环境。

示例：

conda activate my_env

3. 列出所有环境

命令：conda env list 或 conda info --envs

用途：列出所有已创建的环境。

示例：

conda env list

4. 删除环境

命令：conda remove --name <env_name> --all

用途：删除指定的环境及其所有包。

示例：

conda remove --name my_env --all

5. 安装包

命令：conda install <package_name>

用途：在当前激活的环境中安装指定的包。

示例：

conda install matplotlib

6. 更新包

命令：conda update <package_name> 或 conda update --all

用途：更新当前激活环境中的指定包，或更新所有包。

示例：

conda update matplotlib

conda update --all

7. 卸载包

命令：conda remove <package_name>

用途：从当前激活的环境中卸载指定的包。

示例：

conda remove matplotlib

8. 列出环境中的包

命令：conda list

用途：列出当前激活环境中的所有包。

示例：

conda list

9. 搜索包

命令：conda search <package_name>

用途：搜索可用的包及其版本。

示例：

conda search numpy

其他命令

10. 导出环境

命令：conda env export > environment.yml

用途：导出当前环境的配置到一个 YAML 文件。

示例：

conda env export > environment.yml

11. 从文件创建环境

命令：conda env create -f environment.yml

用途：从 YAML 文件创建一个新环境。

示例：

conda env create -f environment.yml

图形用户界面

Anaconda 提供了一个图形用户界面（Anaconda Navigator），用户可以通过该界面管理环境和启动应用程序。这使得不熟悉命令行操作的用户也能方便地管理他们的环境和包。

Miniconda 没有提供图形用户界面，所有操作都需要通过命令行完成。这使得 Miniconda 更加轻量，但也要求用户具备一定的命令行操作技能。

总结

命令行方面：无论是 Anaconda 还是 Miniconda，都使用相同的 Conda 命令来管理包和环境。用户可以在命令行中使用这些命令来创建、激活、删除环境，安装、更新、卸载包等。

图形用户界面：Anaconda 提供了 Anaconda Navigator，而 Miniconda 没有提供图形用户界面。这使得 Anaconda 更适合初学者或不熟悉命令行操作的用户，而 Miniconda 更适合需要轻量级环境的用户。

用户可以根据自己的需求选择使用 Anaconda 或 Miniconda，并利用 Conda 命令行工具来高效地管理他们的 Python 环境。

整合包？你也能做,打包AI项目,打包CUDA,打包CUDNN,打包TensorRT,打包FFMPEG,AI项目整合包制作

https://www.anaconda.com/download/success

创建虚拟环境 conda create -n python311_cuda118 python=3.11

激活虚拟环境 conda activate python311_cuda118

安装cuda https://anaconda.org/nvidia/cuda-toolkit

                 conda install nvidia/label/cuda-11.8.0::cuda-toolkit

安装cudnn  conda install cudnn

下载项目文档解压，将虚拟环境python311_cuda118目录copy到解压目录

进入项目目录

用虚拟环境安装依赖 .\python311_cuda118\python.exe -m pip install -r requirements.txt

安装三件套 .\python311_cuda118\python -m pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

安装onnxruntime-gpu   .\python311_cuda118\python.exe -m pip install onnxruntime-gpu

编写脚本检测环境

check_env.py文件内容：

import torch

print（"cudnn版本：",torch.backends.cudnn.version()）

#8200表示成功装了cudnn8.4.0

print（"torch版本：",torch.-__version__）

#输出1.11.0.，代表成功安装了pytorch 1.11.0

print("cuda版本："，torch.version.cuda)

#输出11.3.代表成功安了cuda11.3

print（gpu是否可用"，torch.cuda.is_available（)）

#True

测试：.\python311_cuda118\python.exe  check_env.py

检测onnxruntime的后端支持脚本check_back.py

import onnxruntime as ort

def gpu_diagnostics()：

       print(ort.get_available_providers())

if __name__=="__main__":

   gpu_diagnostics()

.\python311_cuda118\python.exe  check_env.py

把ffmpeg软件的目录直接copy到虚拟环境目录里

最后编写个处理文件启动项目run.bat放入项目目录

SET PYTHON_PATH=%cd%\python311_cuda118\

rem overriding default python env vars in order not to interface with any sysytem python installation

SET PYTHONHOME=

SET PYTHONPATH=

SET PYTHONEXECUTABLE=%PYTHON_PATH%\python.exe

SET PYTHONWEXECUTABLE=%PYTHON_PATH%\pythonw.exe

SET PYTHON_EXECUTABLE=%PYTHON_PATH%\python.exe

SET PYTHONW_EXECUTABLE=%PYTHON_PATH%\pythonw.exe

SET  PYTHON_BIN_PATH=%PYTHON_EXECUTABLE%

SET PYTHON_LIB_PATH=%PYTHON_PATH%\LibIsite-packages

SET FFMPEG_PATH=%cd%\python311_cuda118\ffmpeg\bin

SET PATH=%PYTHON_PATH%;%PYTHON_PATH%\Scripts;%FFMPEG_PATH%;%PATH%

rem huggingface的依赖

set  HF_ENDPOINT=https://hf-mirror.com 

set  HF_HOME=%CD%\hf_downLoad

set  TRANSFORMERS_CACHE=%CD%\tf_downLoad

@REM set CUDA_VISIBLE_DEVICES=0

@REM set PYTHONPATH=third_party/AcademiCodec;third_party/Matcha-TTS

"%PYTHON_EXECUTABLE%" facefusion.py run

pause

conda虚拟环境安装CUDA和CUDNN

点击查看原文

使用Conda安装CUDA

1. 查看显卡驱动兼容性

 GPU信息、驱动版本可以通过cmd输入nvidia-smi指令来查看。

 显卡驱动版本向下兼容，其决定了可安装的CUDA Toolkit的最高版本，高版本的驱动支持低版本的CUDA。

https://docs.nvidia.com/cuda/cuda-toolkit-release-notes/index.html

 比如我的显卡驱动版本是510.108.03，可安装的CUDA最高版本为11.6。（可能是推荐版本，我安装了11.8）

2 创建与激活虚拟环境

首先需要在conda中创建并激活虚拟环境，在特定虚拟环境下安装cuda。

# create conda env 

conda create --name vdisco python==3.10

# env activate

conda activate vdisco

3 确定要安装的CUDA版本

在虚拟环境中，先用conda search cudatoolkit --info 命令查看源内所有的cuda 版本，以及下载地址。

conda search cudatoolkit --info

执行上述命令后，会显示出源内所有的cuda版本，以及下载地址，如图所示，本文选择安装CUDA 11.3.1。

4 下载与安装CUDA

找到自己想要的cuda版本后，可以先根据url字段的下载地址将CUDA下载到本地再安装，也可以直接使用指令安装对应版本。

方法一：把cuda下载到本地

首先复制url字段里的下载链接，然后用命令cd到想要下载的目录，执行如下代码下载

wget [你刚刚复制的链接地址]

安装：执行如下命令进行安装，因为是通过本地安装的，所以需要写明本地包的路径

# 在特定虚拟环境下安装

conda install --use-local [本地cuda包所在的路径]

方法二：直接安装（源内没有的版本无法通过这种方式安装，未测试）

如果是在所有conda环境中首次安装cuda的某个版本，则会下载并完成安装，如果已有环境中已经安装过的版本，则不会再下载，直接复制。比如我在conda虚拟环境env1中安装cuda 11.3.1时，其他虚拟环境都没有安装过这个版本，则会下载安装，之后我在env2环境中再次安装cuda 11.3.1，就不需要再下载了，直接复制相关配置。

# 在特定虚拟环境下安装

conda install cuda -c nvidia/label/cuda-11.3.1

5 conda卸载cuda

conda remove cuda

使用Conda安装CUDNN

1 查看cuda对应的cudnn版本

使用如下命令查看cudnn支持的cuda版本，注意cudnn的版本一定要和刚刚下载的cuda版本对应。

# 在特定虚拟环境下

conda search cudnn --info

执行后的结果如图所示，图中标出了cuda所对应的cudnn版本号位置

2 下载安装cudnn

复制你想要版本的cudnn的下载地址，使用wget 链接地址进行下载。下载后使用如下指令安装：

# 在特定虚拟环境下安装

conda install --use-local [本地cudnn包所在的路径]

3 版本验证

在虚拟环境中安装完cuda和cudnn想要测试是否安装成功，不能使用nvcc -V命令测试，需要在虚拟环境中安装pytorch包进行测试。

# 虚拟环境中，进入python环境

import torch

# 查看pytorch版本

print(torch.__version__)

# cuda是否可用

print(torch.cuda.is_available())

# cuda版本

print(torch.version.cuda)

# cudnn版本

print(torch.backends.cudnn.version())

深度学习环境配置——Windows安装CUDA与CUDNN

点击查看原文

深度学习环境配置——ubuntu安装CUDA与CUDNN

点击查看原文

不限量 无门槛 | 免费获取ChatGPT API | gpt-4o-mini API免费用

点击进入开源地址