十年匠心定制 · 商业建站与技术教学双线并行 咨询热线:400-886-1026 service@lmnt.cn
ARTICLE DETAIL

资讯详情

深耕网站建设与运营推广的一线实战洞察。

CANN/GE隐藏输入创建API

CANN/GE隐藏输入创建API CreateHiddenInput【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge产品支持情况产品是否支持Atlas A3 训练系列产品 / Atlas A3 推理系列产品√Atlas A2 训练系列产品 / Atlas A2 推理系列产品√头文件#include graph/arg_desc_info.h功能说明创建一个类型为kHiddenInput在IR原型定义上不存在的输入地址的ArgDescInfo对象表示此块Args地址为HiddenInput地址。函数原型static ArgDescInfo CreateHiddenInput(HiddenInputSubType hidden_type)参数说明参数输入/输出说明hidden_type输入HiddenInput的类型。HiddenInputSubType类型。返回值说明返回一个ArgDescInfo对象此对象的type为kHiddenInput。约束说明无调用示例graphStatus Mc2GenTaskCallback(const gert::ExeResGenerationContext *context, std::vectorstd::vectoruint8_t tasks) { ... // 设置AI CPU任务 auto aicpu_task KernelLaunchInfo::CreateAicpuKfcTask(context, libccl_kernel.so, RunAicpuKfcSrvLaunch); std::vectorArgDescInfo aicpu_args_format; // 创建一个类型是Hcom的HiddenInput地址 aicpu_args_format.emplace_back(ArgDescInfo::CreateHiddenInput(HiddenInputSubType::kHcom)); ... }【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
返回列表