十年匠心定制 · 商业建站与技术教学双线并行 咨询热线:400-886-1026 service@lmnt.cn
ARTICLE DETAIL

资讯详情

深耕网站建设与运营推广的一线实战洞察。

CANN AMCT 昇腾环境部署指南:WebIDE / Docker / 手动安装三种方式详解

CANN AMCT 昇腾环境部署指南:WebIDE / Docker / 手动安装三种方式详解 CANN AMCT 昇腾环境部署指南WebIDE / Docker / 手动安装三种方式详解【免费下载链接】amctAMCT是CANN提供的昇腾AI处理器亲和的模型压缩工具仓。项目地址: https://gitcode.com/cann/amctAMCTAscend Model Compression Toolkit是 CANN 提供的昇腾 AI 处理器亲和的模型压缩工具使用前必须先完成 NPU 驱动与固件、CANN 软件Ascend-cann-toolkit 与 Ascend-cann-ops以及 PyTorch torch_npu 配套环境的基础搭建。本文以 docs/zh/quick_install.md 为主线系统讲解 WebIDE、Docker、手动安装三条环境搭建路径并结合仓库源码与配置文件给出完整的版本配套、安装命令、环境验证与环境变量配置方法。读完本文你将能够针对自己的硬件条件有无昇腾设备、是否需要最新 master 能力选择最合适的部署方案并独立完成从基础环境到 AMCT 可运行状态的全部搭建流程。环境部署前置认知编译态与运行态在开始安装之前需要先明确“编译态”和“运行态”两种场景的差异它们决定了需要安装的 CANN 包种类编译态仅编译本项目、不运行的场景只需安装 CANN Toolkit 包。运行态运行本项目的场景编译运行或纯运行需要安装驱动与固件、CANN Toolkit 包、CANN ops 包。从仓库的工程配置可以进一步印证这一点setup.py 将 AMCT 打包为amct_pytorchPython 包而 AGENTS.md 明确指出 AMCT 运行依赖 CANNToolkit Ops≥ 8.5.0 及对应的 NPU 驱动/固件。此外amct_ops 目录下还包含了hifloat4_cast、hifloat8_cast、svd_quant等量化相关的昇腾 NPU 自定义算子这些算子的编译与运行同样依赖完整的 CANN 环境。安装方式总览项目提供三种搭建昇腾环境的方式可根据是否有昇腾设备以及搭建效率需求灵活选择安装方式使用说明使用场景WebIDE一站式开发平台提供在线直接运行的昇腾环境无需手动安装。当前可提供单机算力默认安装最新商发版 CANN 包。适用于没有昇腾设备的开发者。DockerDocker 镜像高效部署已预集成 CANN 包和必备依赖。当前仅适用于 Atlas A2 系列产品OS 仅支持 Ubuntu 操作系统。默认安装最新商发版 CANN 包。适用于有昇腾设备、需要快速搭建环境的开发者。手动安装手动安装 CANN 包和基础依赖灵活性高。适用于有昇腾设备、想体验手动安装 CANN 包或体验最新 master 分支能力的开发者。方式 1WebIDE 一站式开发平台无昇腾设备首选对于没有昇腾设备的开发者WebIDE 提供了开箱即用的在线昇腾环境环境中已预装必备的驱动固件、软件包和依赖无需手动安装。说明环境默认安装最新商发版 CANN 包源码下载时需注意与软件配套。操作步骤如下进入开源项目单击“云开发”按钮使用已认证过的华为云账号登录。若未注册或认证请根据页面提示完成注册和认证。根据页面提示创建 NPU 环境并配置规格启动云开发环境后单击“连接 WebIDE”进入一站式开发平台。当前开源项目资源默认位于/mnt/workspace/gitCode/${gitCode_id}目录下${gitCode_id}表示开发者个人 gitCode 账号。进入 WebIDE 后即可直接执行pip3 install -r requirements.txt安装依赖并参考 docs/zh/build.md 进行源码构建与验证。仓库 README.md 的“一站式平台快速体验”章节还提供了 Qwen3.6-MoE、DeepSeek-V4 等模型的快速启动路径适合在 WebIDE 中直接体验端到端量化流程。方式 2Docker 部署有昇腾设备、追求快速搭建对于已有昇腾设备的开发者Docker 镜像已预集成 CANN 包与 AMCT 所需依赖是最高效的部署方式。当前仅适用于 Atlas A2 系列产品OS 仅支持 Ubuntu。说明镜像文件较大下载需要一定时间请耐心等待docker命令选项可通过docker --help查询。环境默认安装最新商发版 CANN 包源码下载时需注意与软件配套。1. 安装驱动与固件运行态依赖宿主机上昇腾驱动与固件的下载和安装请参考《CANN 软件安装指南》中“准备软件包”和“安装 NPU 驱动和固件”章节。2. 下载镜像步骤 1以 root 用户登录宿主机确保已安装 Docker 引擎版本 1.11.2 及以上。步骤 2从昇腾镜像仓库拉取已预集成 CANN 软件包及amct所需依赖的镜像根据实际 CPU 架构选择# 示例拉取 ARM 架构的 CANN 开发镜像 docker pull --platformarm64 swr.cn-south-1.myhuaweicloud.com/ascendhub/cann:8.5.0-910b-ubuntu22.04-py3.10-ops # 示例拉取 X86 架构的 CANN 开发镜像 docker pull --platformamd64 swr.cn-south-1.myhuaweicloud.com/ascendhub/cann:8.5.0-910b-ubuntu22.04-py3.10-ops3. 运行 Docker拉取镜像后需要以特定参数启动容器使容器内能够访问宿主机的昇腾设备docker run --name cann_container --device /dev/davinci0 --device /dev/davinci_manager --device /dev/devmm_svm --device /dev/hisi_hdc -v /usr/local/dcmi:/usr/local/dcmi -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi -v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ -v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info -v /etc/ascend_install.info:/etc/ascend_install.info -it swr.cn-south-1.myhuaweicloud.com/ascendhub/cann:8.5.0-910b-ubuntu22.04-py3.10-ops bash该命令中关键参数的说明如下参数说明注意事项--name cann_container为容器指定名称便于管理。可自定义。--device /dev/davinci0将宿主机的 NPU 设备卡映射到容器内可指定映射多张 NPU 卡。必须根据实际情况调整davinci0对应系统中的第 0 张 NPU 卡。请先在宿主机执行npu-smi info根据输出显示的设备号如NPU 0、NPU 1修改此编号。--device /dev/davinci_manager映射 NPU 设备管理接口。---device /dev/devmm_svm映射设备内存管理接口。---device /dev/hisi_hdc映射主机与设备间的通信接口。--v /usr/local/dcmi:/usr/local/dcmi挂载设备容器管理接口DCMI相关工具和库。--v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi挂载npu-smi工具。使容器内可以直接运行此命令查询 NPU 状态和性能信息。-v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/关键挂载将宿主机的 NPU 驱动库映射到容器内。--v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info挂载驱动版本信息文件。--v /etc/ascend_install.info:/etc/ascend_install.info挂载 CANN 软件安装信息文件。--it-i交互式与-t分配伪终端的组合参数。-swr.cn-south-1.myhuaweicloud.com/ascendhub/cann:8.5.0-910b-ubuntu22.04-py3.10-ops指定要运行的 Docker 镜像。请确保镜像名和 tag 与docker pull拉取的镜像完全一致。bash容器启动后立即执行的命令。-容器启动后即可进入容器执行源码克隆、依赖安装与编译操作。方式 3手动安装灵活可控、可体验 master 能力对于有昇腾设备且希望灵活控制安装过程或体验最新 master 分支能力的开发者推荐手动安装。前置依赖手动安装前需确保以下基础工具满足版本要求bash 5.1.16GCC 7.3.xCMake 3.16.0建议使用 3.20.0 版本patch 2.7Python 3.9.xPyTorch2.7.1、2.1.0Ascend Extension for PyTorchtorch_npu版本配套关系请查看官方 PyTorch 使用指南中“版本说明 相关产品版本配套说明”章节上述版本要求与仓库 README.md 中的“环境要求”表格完全一致其中 GCC / CMake / patch 用于 amct_ops 等 C 算子的源码编译。PyTorch torch_npu 配套安装使用 NPU 加速后端时PyTorch 必须安装CPU 版并与torch_npu版本配套。不要在同一 Python 环境中混用非 CPU 版 PyTorch 与torch_npu否则可能在运行期出现加速器冲突。推荐按以下任一路径安装路径 A参考官方《PyTorch 使用指南》中“版本说明 相关产品版本配套说明”章节下载并安装匹配的 CPU 版 PyTorch wheel 与torch_npuwheel。路径 B使用 PyTorch CPU wheel 索引安装 CPU 版 PyTorch再安装配套torch_npupip3 uninstall -y torch pip3 install torch2.7.1cpu --index-url https://download.pytorch.org/whl/cpu pip3 install torch_npu2.7.1.post4安装后可执行以下命令确认当前环境安装的是 CPU 版 PyTorchpython3 -c import torch; assert cpu in torch.__version__, must use CPU torch for NPU path安装 Python 第三方依赖以 Python 3.11、PyTorch 2.7.1 为例安装业务运行时的 Python 第三方库。仓库根目录的 requirements.txt 已通过 PyTorch CPU wheel 索引固定 CPU 版 PyTorch其中核心依赖包括torch2.7.1cpu与torch_npu2.7.1.post4NPU 加速后端配套onnx1.18.0与onnxruntime1.20.0量化模型导出与精度仿真protobuf4.25.1、numpy1.26.4,2.7、pyyaml基础计算与序列化transformers5.12.1、datasets、accelerateLLM 量化与数据集加载torchao0.12.0、compressed_tensors0.15.0.1量化算法相关依赖loguru、einops、sentencepiece、scipy等辅助库安装命令pip3 install -r requirements.txtPyTorch 2.1.0 版本对应的依赖安装命令请参见官方《AMCT 模型压缩工具》文档。安装驱动与固件执行量化校准操作时必须安装驱动和固件。下载和安装操作请参考《CANN 软件安装指南》中“准备软件包”和“安装 NPU 驱动和固件”章节。安装 CANN 包根据使用目标选择对应场景场景 1体验 master 版本能力或基于 master 版本进行开发从 CANN 官方下载链接获取最新时间版本根据产品型号和环境架构下载对应包。安装 CANN Toolkit 开发套件包# 确保安装包具有可执行权限 chmod x Ascend-cann-toolkit_${cann_version}_linux-${arch}.run # 安装命令 ./Ascend-cann-toolkit_${cann_version}_linux-${arch}.run --install --install-path${install_path}安装 CANN ops 算子包可选运行量化部署模型前必须安装 ops 算子包若仅编译 AMCT可不安装此包。# 确保安装包具有可执行权限 chmod x Ascend-cann-${soc_name}-ops_${cann_version}_linux-${arch}.run # 安装命令 ./Ascend-cann-${soc_name}-ops_${cann_version}_linux-${arch}.run --install --install-path${install_path}变量说明${cann_version}CANN 包版本号。${arch}CPU 架构如aarch64、x86_64。${soc_name}NPU 型号名称。${install_path}指定安装路径ops 需要与 Toolkit 包安装在相同路径root 用户默认安装在/usr/local/Ascend目录。场景 2体验已发布版本能力或基于已发布版本进行开发如需体验官网正式发布的 CANN 包能力请访问 CANN 官网下载中心选择对应版本 CANN 软件包仅支持 CANN 8.5.0 及后续版本进行安装。这一版本约束与 AGENTS.md 中记录的“AMCT 运行依赖 CANNToolkit Ops≥ 8.5.0”保持一致。环境验证安装完 CANN 包后需验证环境和驱动是否正常检查 NPU 设备# 运行 npu-smi若能正常显示设备信息则驱动正常 npu-smi info检查 CANN 版本# 查看 CANN Toolkit 的 version 字段提供的版本信息默认路径安装 # arch 表示 CPU 架构aarch64 或 x86_64 cat /usr/local/Ascend/cann/arch-linux/ascend_toolkit_install.info # 查看 CANN ops 的 version 字段提供的版本信息默认路径安装 # opsname 表示待查询的 ops 子包名称请根据实际安装路径替换 cat /usr/local/Ascend/cann/arch-linux/ascend_ops_install.info环境变量配置按需选择合适的命令使环境变量生效# 默认路径安装以 root 用户为例非 root 用户将 /usr/local 替换为 ${HOME} source /usr/local/Ascend/cann/set_env.sh # 指定路径安装 source ${install_path}/cann/set_env.sh源码下载、构建与安装基础环境就绪后即可拉取仓库源码并完成 AMCT 的构建安装# 下载项目源码以 master 分支为例 git clone https://gitcode.com/cann/amct.git cd amct # 安装依赖 pip3 install -r requirements.txt # 源码构建打包产物位于 build_out/ 目录 bash build.sh --torch # 安装构建产物${version} 从 build_out/ 目录中的文件名获取 # ${arch} 为 CPU 架构如 x86_64、aarch64 pip3 install build_out/amct_pytorch-${version}-py3-none-linux_${arch}.tar.gz --user注意若使用--no-build-isolation安装pip 不会自动安装构建依赖请先执行pip install wheel再追加该参数否则可能出现error: invalid command bdist_wheel。若 pip 版本高于 25.2安装时建议追加--no-build-isolation否则可能出现ModuleNotFoundError: No module named torch。构建完成后可通过以下命令验证安装python3 -c import torch; assert cpu in torch.__version__, must use CPU torch for NPU path python3 -c import amct_pytorch as amct; print(fsuccessfully installed AMCT)更多构建选项如--pkg构建完整 amct 包、-u执行单元测试、--experimental启用试验特性与本地验证方法请参考 docs/zh/build.md。环境搭建完成后可进一步阅读 docs/README.md 了解量化、剪枝等压缩特性并通过 examples 下的样例体验端到端模型压缩流程。【免费下载链接】amctAMCT是CANN提供的昇腾AI处理器亲和的模型压缩工具仓。项目地址: https://gitcode.com/cann/amct创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
返回列表