十年匠心定制 · 商业建站与技术教学双线并行 咨询热线:400-886-1026 service@lmnt.cn
ARTICLE DETAIL

资讯详情

深耕网站建设与运营推广的一线实战洞察。

CANN ops-math 算子接口指南:aclnnClampMaxTensor 与 aclnnInplaceClampMaxTensor 的使用与原理

CANN ops-math 算子接口指南:aclnnClampMaxTensor 与 aclnnInplaceClampMaxTensor 的使用与原理 CANN ops-math 算子接口指南aclnnClampMaxTensor 与 aclnnInplaceClampMaxTensor 的使用与原理【免费下载链接】ops-math本项目是CANN提供的数学类基础计算算子库实现网络在NPU上加速计算。项目地址: https://gitcode.com/cann/ops-math本指南聚焦 CANN ops-math 仓库中clip_by_value_v2算子模块提供的两个单算子 APIaclnnClampMaxTensor非原地版本与aclnnInplaceClampMaxTensor原地版本二者用于将输入张量所有元素限制在[-inf, max]范围内。文章将以接口文档为主体结合仓库内 op_api 实现 与 示例代码 展开读者可据此完成参数选型、两段式调用编码与错误排查。产品支持情况产品是否支持Atlas A2 训练系列产品 / Atlas A2 推理系列产品√此外接口文档在 Inplace 版本的约束说明中还提到了 Atlas A3 训练/推理系列产品以及 Ascend 950PR / Ascend 950DT使用时需以实际部署环境的 CANN 版本为准。功能说明接口功能将输入张量self的所有元素限制在[-inf, max]范围内即仅对每个元素施加上界限制不做下界裁剪。计算公式如下$$ {out}{i} min({{self}{i}},{max}_{i}) $$其中self是待裁剪的张量max是逐元素的上界张量输出out的每个元素取self与max对应位置的较小者。由于下界固定为-inf小于等于max的元素保持不变大于max的元素被置为max。从算子定位看该功能对应 README 中描述的ClipByValueV2算子核函数名为clip_by_value_v2在只关心上界时的特例场景属于数学类基础计算在 NPU 上的加速实现。函数原型与两段式接口aclnnClampMaxTensor与aclnnInplaceClampMaxTensor实现完全相同的数学功能二者的区别仅在于结果写回方式aclnnClampMaxTensor需要新建一个输出张量对象out来存储计算结果输入输出分离aclnnInplaceClampMaxTensor无需新建输出张量直接在输入张量selfRef的内存中写回计算结果节省一份输出内存。每个算子均为两段式接口必须先调用第一段...GetWorkspaceSize接口获取计算所需的 workspace 大小以及封装了算子计算流程的执行器aclOpExecutor再调用第二段接口执行计算。四个函数原型如下aclnnStatus aclnnClampMaxTensorGetWorkspaceSize( const aclTensor* self, const aclTensor* max, aclTensor* out, uint64_t* workspaceSize, aclOpExecutor** executor) aclnnStatus aclnnClampMaxTensor( void* workspace, uint64_t workspaceSize, aclOpExecutor* executor, aclrtStream stream)aclnnStatus aclnnInplaceClampMaxTensorGetWorkspaceSize( aclTensor* selfRef, const aclTensor* max, uint64_t* workspaceSize, aclOpExecutor** executor) aclnnStatus aclnnInplaceClampMaxTensor( void* workspace, uint64_t workspaceSize, aclOpExecutor* executor, aclrtStream stream)上述声明与仓库头文件 aclnn_clamp.h 中的ACLNN_API导出声明保持一致其中第一段接口标注了domain aclnn_math。关于 workspace 的含义与两段式调用约束第二段接口不可重复调用等可参考两段式接口说明。aclnnClampMaxTensorGetWorkspaceSize 参数说明参数表参数名输入/输出描述使用说明数据类型数据格式维度(shape)非连续TensorselfaclTensor*输入输入tensor需要进行限制的张量即公式中的 selfi。shape可以与max进行broadcast数据类型与max的数据类型需满足数据类型推导规则参见互转换关系。FLOAT16、FLOAT、DOUBLE、INT8、UINT8、INT16、INT32、INT64、BFLOAT16ND1-8√maxaclTensor*输入输入tensor对self的上界进行限制即公式中的 maxi。shape可以与self进行broadcast数据类型与self的数据类型需满足数据类型推导规则参见互转换关系。FLOAT16、FLOAT、DOUBLE、INT8、UINT8、INT16、INT32、INT64、BFLOAT16、BOOLND1-8√outaclTensor*输出输出tensor即公式中的 outi。shape需要是self与max broadcast之后的shape且数据类型需要是self与max推导之后可转换的数据类型。FLOAT16、FLOAT、DOUBLE、INT8、UINT8、INT16、INT32、INT64、BFLOAT16ND1-8√workspaceSizeuint64_t*输出返回需要在Device侧申请的workspace大小。-----aclOpExecutor**输出返回op执行器包含了算子计算流程。-----平台约束在 Atlas A2 训练系列产品 / Atlas A2 推理系列产品上self和out的数据类型不支持 BOOL。返回值第一段接口返回aclnnStatus状态码具体定义参见aclnn返回码。第一段接口完成入参校验出现以下场景时报错返回值错误码描述ACLNN_ERR_PARAM_NULLPTR161001传入的self、out其中一个为空指针max为空指针。ACLNN_ERR_PARAM_INVALID161002self、max和out的数据类型不在支持范围内。ACLNN_ERR_PARAM_INVALID161002self与max的shape不满足broadcast关系或broadcast后的shape与输出out的shape不一致。ACLNN_ERR_PARAM_INVALID161002self与max类型推导失败或推导类型无法转为out的数据类型。ACLNN_ERR_PARAM_INVALID161002self、max或out的维度超过8维。aclnnClampMaxTensor 参数说明参数名输入/输出描述workspace输入在Device侧申请的workspace内存地址。workspaceSize输入在Device侧申请的workspace大小由第一段接口aclnnClampMaxTensorGetWorkspaceSize获取。executor输入op执行器包含了算子计算流程。stream输入指定执行任务的Stream。返回值aclnnStatus具体参见aclnn返回码。aclnnInplaceClampMaxTensorGetWorkspaceSize 参数说明参数表参数名输入/输出描述使用说明数据类型数据格式维度(shape)非连续TensorselfRefaclTensor*输入/输出输入tensor需要进行限制的张量即公式中的 selfi与 outi。shape可以与max进行broadcast数据类型与max的数据类型需满足数据类型推导规则参见互转换关系。FLOAT16、FLOAT、DOUBLE、INT8、UINT8、INT16、INT32、INT64、BFLOAT16ND1-8√maxaclTensor*输入输入tensor对self的上界进行限制即公式中的 maxi。shape可以与selfRef进行broadcast数据类型与self的数据类型需满足数据类型推导规则参见互转换关系。FLOAT16、FLOAT、DOUBLE、INT8、UINT8、INT16、INT32、INT64、BFLOAT16、BOOLND1-8√workspaceSizeuint64_t*输出返回需要在Device侧申请的workspace大小。-----aclOpExecutor**输出返回op执行器包含了算子计算流程。-----平台约束差异说明Atlas 训练系列产品 / Atlas 推理系列产品selfRef的数据类型不支持 BOOL、BFLOAT16max文档中称 clipValueMax的数据类型不支持 BFLOAT16。Atlas A2 训练系列产品 / Atlas A2 推理系列产品 / Atlas A3 训练系列产品 / Atlas A3 推理系列产品 / Ascend 950PR / Ascend 950DTselfRef和max数据类型需满足数据类型推导规则参见 TensorScalar互推导关系selfRef的数据类型不支持 BOOL。返回值返回值错误码描述ACLNN_ERR_PARAM_NULLPTR161001传入的selfRef或max为空指针。ACLNN_ERR_PARAM_INVALID161002selfRef与max的数据类型不在支持范围内。ACLNN_ERR_PARAM_INVALID161002selfRef与max的shape不满足broadcast关系。ACLNN_ERR_PARAM_INVALID161002selfRef与max类型推导失败。ACLNN_ERR_PARAM_INVALID161002selfRef或max的维度超过8维。ACLNN_ERR_PARAM_INVALID161002selfRef与max类型推导失败或推导后的数据类型无法转为selfRef的数据类型。aclnnInplaceClampMaxTensor 参数说明参数名输入/输出描述workspace输入在Device侧申请的workspace内存地址。workspaceSize输入在Device侧申请的workspace大小由第一段接口aclnnInplaceClampMaxTensorGetWorkspaceSize获取。executor输入op执行器包含了算子计算流程。stream输入指定执行任务的Stream。返回值aclnnStatus具体参见aclnn返回码。约束说明确定性计算aclnnClampMaxTensor与aclnnInplaceClampMaxTensor默认为确定性实现即相同输入在多次执行下结果可复现不受并行调度影响。确定性计算的通用背景可参考确定性计算说明。源码级实现原理从源码结构看两个接口在第一段GetWorkspaceSize中均汇入公共实现aclnnClampTensorCommon见 aclnn_clamp.cpp。其中 Inplace 版本通过将selfRef同时作为输入与输出传入aclnnClampTensorCommon(selfRef, nullptr, max, selfRef, ...)见 实现处实现原地写回非 Inplace 版本则将独立分配的out作为输出见 实现处。aclnnClampTensorCommon的核心执行链路可归纳为以下几步入参校验CheckParams完成空指针检查self、max、out任一为空即返回ACLNN_ERR_PARAM_NULLPTR类型推导ClampTensorPromoteType源码以self为起点依次与max做PromoteType提升得到统一计算类型promoteType并要求该类型可转换到out的数据类型、且必须在GetDtypeSupportList()返回的平台支持列表内形状推导ClampTensorPromoteShape源码通过BroadcastInferShape逐级计算self与max广播后的 shape并校验其与out的 shape 完全一致前处理l0op::Contiguous将非连续 Tensor 归一为连续内存这也是参数表中非连续Tensor 支持 √的底层保障随后l0op::Cast将self、max统一转换到promoteType广播处理AddBroadcastNode源码在 shape 不一致时按需插入BroadcastTo节点若数据类型属于AICORE_DTYPE_SUPPORT_LISTFLOAT16、FLOAT、INT32、INT64、BF16则直接交由 AI Core 在clip_by_value内部完成广播避免显式展开核心计算调用l0op::ClipByValueV2完成out min(self, max)等价于上界裁剪后处理l0op::Cast将结果转回out的目标数据类型l0op::ReFormat对齐存储格式最终l0op::ViewCopy写回输出 Tensorworkspace 汇总uniqueExecutor-GetWorkspaceSize()汇总整条链路所需的临时内存大小并返回第二段接口通过CommonOpExecutorRun实际下发执行。核函数侧的实现位于 clip_by_value_v2.cpp算子类型ClipByValueV2、核函数名clip_by_value_v2支持 ND 格式输入具体算子规格可参考模块 README。调用示例下面两段示例代码分别演示非原地与原地两种调用方式完整可编译工程可参考 test_aclnn_clamp_max_tensor.cpp 与 test_aclnn_inplace_clamp_max_tensor.cpp。编译与运行的具体步骤请参考编译与运行样例。aclnnClampMaxTensor 调用示例#include iostream #include vector #include acl/acl.h #include aclnnop/aclnn_clamp.h #define CHECK_RET(cond, return_expr) \ do { \ if (!(cond)) { \ return_expr; \ } \ } while (0) #define LOG_PRINT(message, ...) \ do { \ printf(message, ##__VA_ARGS__); \ } while (0) int64_t GetShapeSize(const std::vectorint64_t shape) { int64_t shapeSize 1; for (auto i : shape) { shapeSize * i; } return shapeSize; } int Init(int32_t deviceId, aclrtStream* stream) { // 固定写法资源初始化 auto ret aclInit(nullptr); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(aclInit failed. ERROR: %d\n, ret); return ret); ret aclrtSetDevice(deviceId); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(aclrtSetDevice failed. ERROR: %d\n, ret); return ret); ret aclrtCreateStream(stream); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(aclrtCreateStream failed. ERROR: %d\n, ret); return ret); return 0; } template typename T int CreateAclTensor(const std::vectorT hostData, const std::vectorint64_t shape, void** deviceAddr, aclDataType dataType, aclTensor** tensor) { auto size GetShapeSize(shape) * sizeof(T); // 调用aclrtMalloc申请device侧内存 auto ret aclrtMalloc(deviceAddr, size, ACL_MEM_MALLOC_HUGE_FIRST); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(aclrtMalloc failed. ERROR: %d\n, ret); return ret); // 调用aclrtMemcpy将host侧数据拷贝到device侧内存上 ret aclrtMemcpy(*deviceAddr, size, hostData.data(), size, ACL_MEMCPY_HOST_TO_DEVICE); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(aclrtMemcpy failed. ERROR: %d\n, ret); return ret); // 计算连续tensor的strides std::vectorint64_t strides(shape.size(), 1); for (int64_t i shape.size() - 2; i 0; i--) { strides[i] shape[i 1] * strides[i 1]; } // 调用aclCreateTensor接口创建aclTensor *tensor aclCreateTensor(shape.data(), shape.size(), dataType, strides.data(), 0, aclFormat::ACL_FORMAT_ND, shape.data(), shape.size(), *deviceAddr); return 0; } int PrepareInputAndOutput( std::vectorint64_t selfShape, std::vectorint64_t outShape, std::vectorint64_t maxShape, void** selfDeviceAddr, aclTensor** self, void** maxDeviceAddr, aclTensor** max, void** outDeviceAddr, aclTensor** out) { std::vectordouble selfHostData {0, 1, 2, 3, 4, 5, 6, 7}; std::vectordouble maxHostData {1, 1, 1, 2, 2, 2, 3, 3}; std::vectordouble outHostData(8, 0); // 创建self aclTensor auto ret CreateAclTensor(selfHostData, selfShape, selfDeviceAddr, aclDataType::ACL_DOUBLE, self); CHECK_RET(ret ACL_SUCCESS, return ret); // 创建max aclTensor ret CreateAclTensor(maxHostData, maxShape, maxDeviceAddr, aclDataType::ACL_DOUBLE, max); CHECK_RET(ret ACL_SUCCESS, return ret); // 创建out aclTensor ret CreateAclTensor(outHostData, outShape, outDeviceAddr, aclDataType::ACL_DOUBLE, out); CHECK_RET(ret ACL_SUCCESS, return ret); return ACL_SUCCESS; } void ReleaseTensorAndScalar(aclTensor* self, aclTensor* max, aclTensor* out) { aclDestroyTensor(self); aclDestroyTensor(max); aclDestroyTensor(out); } void ReleaseDevice( void* selfDeviceAddr, void* maxDeviceAddr, void* outDeviceAddr, uint64_t workspaceSize, void* workspaceAddr, aclrtStream stream, int32_t deviceId) { aclrtFree(selfDeviceAddr); aclrtFree(maxDeviceAddr); aclrtFree(outDeviceAddr); if (workspaceSize 0) { aclrtFree(workspaceAddr); } aclrtDestroyStream(stream); aclrtResetDevice(deviceId); aclFinalize(); } int main() { // 1. 固定写法device/stream初始化参考acl API手册 // 根据自己的实际device填写deviceId int32_t deviceId 0; aclrtStream stream; auto ret Init(deviceId, stream); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(Init acl failed. ERROR: %d\n, ret); return ret); // 2. 构造输入与输出需要根据API的接口自定义构造 std::vectorint64_t selfShape {4, 2}; std::vectorint64_t maxShape {4, 2}; std::vectorint64_t outShape {4, 2}; void* selfDeviceAddr nullptr; void* maxDeviceAddr nullptr; void* outDeviceAddr nullptr; aclTensor* self nullptr; aclTensor* max nullptr; aclTensor* out nullptr; ret PrepareInputAndOutput( selfShape, maxShape, outShape, selfDeviceAddr, self, maxDeviceAddr, max, outDeviceAddr, out); CHECK_RET(ret ACL_SUCCESS, return ret); // 3. 调用CANN算子库API需要修改为具体的API名称 uint64_t workspaceSize 0; aclOpExecutor* executor; // 调用aclnnClampMaxTensor第一段接口 ret aclnnClampMaxTensorGetWorkspaceSize(self, max, out, workspaceSize, executor); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(aclnnClampMaxTensorGetWorkspaceSize failed. ERROR: %d\n, ret); return ret); // 根据第一段接口计算出的workspaceSize申请device内存 void* workspaceAddr nullptr; if (workspaceSize 0) { ret aclrtMalloc(workspaceAddr, workspaceSize, ACL_MEM_MALLOC_HUGE_FIRST); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(allocate workspace failed. ERROR: %d\n, ret); return ret); } // 调用aclnnClampMaxTensor第二段接口 ret aclnnClampMaxTensor(workspaceAddr, workspaceSize, executor, stream); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(aclnnClampMaxTensor failed. ERROR: %d\n, ret); return ret); // 4. 固定写法同步等待任务执行结束 ret aclrtSynchronizeStream(stream); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(aclrtSynchronizeStream failed. ERROR: %d\n, ret); return ret); // 5. 获取输出的值将device侧内存上的结果拷贝至host侧需要根据具体API的接口定义修改 auto size GetShapeSize(outShape); std::vectordouble resultData(size, 0); ret aclrtMemcpy(resultData.data(), resultData.size() * sizeof(resultData[0]), outDeviceAddr, size * sizeof(resultData[0]), ACL_MEMCPY_DEVICE_TO_HOST); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(copy result from device to host failed. ERROR: %d\n, ret); return ret); for (int64_t i 0; i size; i) { LOG_PRINT(result[%ld] is: %f\n, i, resultData[i]); } // 6. 释放aclTensor和aclScalar需要根据具体API的接口定义修改 ReleaseTensorAndScalar(self, max, out); // 7.释放device资源需要根据具体API的接口定义修改 ReleaseDevice(selfDeviceAddr, maxDeviceAddr, outDeviceAddr, workspaceSize, workspaceAddr, stream, deviceId); return 0; }以示例数据self {0,1,2,3,4,5,6,7}、max {1,1,1,2,2,2,3,3}shape 均为{4,2}计算逐元素取min(self, max)期望结果为{0,1,1,2,2,2,3,3}。aclnnInplaceClampMaxTensor 调用示例#include iostream #include vector #include acl/acl.h #include aclnnop/aclnn_clamp.h #define CHECK_RET(cond, return_expr) \ do { \ if (!(cond)) { \ return_expr; \ } \ } while (0) #define LOG_PRINT(message, ...) \ do { \ printf(message, ##__VA_ARGS__); \ } while (0) int64_t GetShapeSize(const std::vectorint64_t shape) { int64_t shapeSize 1; for (auto i : shape) { shapeSize * i; } return shapeSize; } int Init(int32_t deviceId, aclrtStream* stream) { // 固定写法资源初始化 auto ret aclInit(nullptr); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(aclInit failed. ERROR: %d\n, ret); return ret); ret aclrtSetDevice(deviceId); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(aclrtSetDevice failed. ERROR: %d\n, ret); return ret); ret aclrtCreateStream(stream); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(aclrtCreateStream failed. ERROR: %d\n, ret); return ret); return 0; } template typename T int CreateAclTensor(const std::vectorT hostData, const std::vectorint64_t shape, void** deviceAddr, aclDataType dataType, aclTensor** tensor) { auto size GetShapeSize(shape) * sizeof(T); // 调用aclrtMalloc申请device侧内存 auto ret aclrtMalloc(deviceAddr, size, ACL_MEM_MALLOC_HUGE_FIRST); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(aclrtMalloc failed. ERROR: %d\n, ret); return ret); // 调用aclrtMemcpy将host侧数据拷贝到device侧内存上 ret aclrtMemcpy(*deviceAddr, size, hostData.data(), size, ACL_MEMCPY_HOST_TO_DEVICE); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(aclrtMemcpy failed. ERROR: %d\n, ret); return ret); // 计算连续tensor的strides std::vectorint64_t strides(shape.size(), 1); for (int64_t i shape.size() - 2; i 0; i--) { strides[i] shape[i 1] * strides[i 1]; } // 调用aclCreateTensor接口创建aclTensor *tensor aclCreateTensor(shape.data(), shape.size(), dataType, strides.data(), 0, aclFormat::ACL_FORMAT_ND, shape.data(), shape.size(), *deviceAddr); return 0; } int PrepareInputAndOutput( std::vectorint64_t selfShape, std::vectorint64_t maxShape, void** selfDeviceAddr, aclTensor** self, void** maxDeviceAddr, aclTensor** max) { std::vectordouble selfHostData {0, 1, 2, 3, 4, 5, 6, 7}; std::vectordouble maxHostData {1, 1, 1, 2, 2, 2, 3, 3}; // 创建self aclTensor auto ret CreateAclTensor(selfHostData, selfShape, selfDeviceAddr, aclDataType::ACL_DOUBLE, self); CHECK_RET(ret ACL_SUCCESS, return ret); // 创建max aclTensor ret CreateAclTensor(maxHostData, maxShape, maxDeviceAddr, aclDataType::ACL_DOUBLE, max); CHECK_RET(ret ACL_SUCCESS, return ret); return ACL_SUCCESS; } void ReleaseTensorAndScalar(aclTensor* self, aclTensor* max) { aclDestroyTensor(self); aclDestroyTensor(max); } void ReleaseDevice( void* selfDeviceAddr, void* maxDeviceAddr, uint64_t workspaceSize, void* workspaceAddr, aclrtStream stream, int32_t deviceId) { aclrtFree(selfDeviceAddr); aclrtFree(maxDeviceAddr); if (workspaceSize 0) { aclrtFree(workspaceAddr); } aclrtDestroyStream(stream); aclrtResetDevice(deviceId); aclFinalize(); } int main() { // 1. 固定写法device/stream初始化参考acl API手册 // 根据自己的实际device填写deviceId int32_t deviceId 0; aclrtStream stream; auto ret Init(deviceId, stream); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(Init acl failed. ERROR: %d\n, ret); return ret); // 2. 构造输入与输出需要根据API的接口自定义构造 std::vectorint64_t selfShape {4, 2}; std::vectorint64_t maxShape {4, 2}; void* selfDeviceAddr nullptr; void* maxDeviceAddr nullptr; aclTensor* self nullptr; aclTensor* max nullptr; ret PrepareInputAndOutput(selfShape, maxShape, selfDeviceAddr, self, maxDeviceAddr, max); CHECK_RET(ret ACL_SUCCESS, return ret); // 3. 调用CANN算子库API需要修改为具体的API名称 uint64_t workspaceSize 0; aclOpExecutor* executor; // 调用aclnnInplaceClampMaxTensor第一段接口 ret aclnnInplaceClampMaxTensorGetWorkspaceSize(self, max, workspaceSize, executor); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(aclnnInplaceClampMaxTensorGetWorkspaceSize failed. ERROR: %d\n, ret); return ret); // 根据第一段接口计算出的workspaceSize申请device内存 void* workspaceAddr nullptr; if (workspaceSize 0) { ret aclrtMalloc(workspaceAddr, workspaceSize, ACL_MEM_MALLOC_HUGE_FIRST); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(allocate workspace failed. ERROR: %d\n, ret); return ret); } // 调用aclnnInplaceClampMaxTensor第二段接口 ret aclnnInplaceClampMaxTensor(workspaceAddr, workspaceSize, executor, stream); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(aclnnInplaceClampMaxTensor failed. ERROR: %d\n, ret); return ret); // 4. 固定写法同步等待任务执行结束 ret aclrtSynchronizeStream(stream); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(aclrtSynchronizeStream failed. ERROR: %d\n, ret); return ret); // 5. 获取输出的值将device侧内存上的结果拷贝至host侧需要根据具体API的接口定义修改 auto size GetShapeSize(selfShape); std::vectordouble resultData(size, 0); ret aclrtMemcpy(resultData.data(), resultData.size() * sizeof(resultData[0]), selfDeviceAddr, size * sizeof(resultData[0]), ACL_MEMCPY_DEVICE_TO_HOST); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(copy result from device to host failed. ERROR: %d\n, ret); return ret); for (int64_t i 0; i size; i) { LOG_PRINT(result[%ld] is: %f\n, i, resultData[i]); } // 6. 释放aclTensor和aclScalar需要根据具体API的接口定义修改 ReleaseTensorAndScalar(self, max); // 7. 释放device资源需要根据具体API的接口定义修改 ReleaseDevice(selfDeviceAddr, maxDeviceAddr, workspaceSize, workspaceAddr, stream, deviceId); return 0; }与原地方案不同Inplace 示例中不创建独立的out张量第一段接口aclnnInplaceClampMaxTensorGetWorkspaceSize的入参只有self对应原型中的selfRef与max结果直接写回self对应的 Device 内存因此第 5 步回读结果时使用的是selfDeviceAddr。使用建议与注意事项选型若后续仍需使用原始数据请选择非原地的aclnnClampMaxTensor若原始数据不再需要且希望省去输出内存申请可选aclnnInplaceClampMaxTensor。shape 约束self与max须满足 broadcast 关系且广播后的 shape 必须与out或原地场景的selfRef完全一致否则第一段接口返回ACLNN_ERR_PARAM_INVALID161002。维度限制输入/输出维度不得超过 8 维。数据类型self与max需满足互转换关系的类型推导规则注意平台差异如部分产品self不支持 BOOL、max支持 BOOL 但selfRef不支持 BOOL详见上文参数表与约束说明。workspace 管理当第一段接口返回的workspaceSize大于 0 时必须通过aclrtMalloc在 Device 侧申请对应大小的内存并在任务结束后释放示例代码中已包含该逻辑。【免费下载链接】ops-math本项目是CANN提供的数学类基础计算算子库实现网络在NPU上加速计算。项目地址: https://gitcode.com/cann/ops-math创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
返回列表