TensorRT是由Nvidia发布的一个机器学习框架，用于在其硬件上运行机器学习推理。它能针对Nvidia系列硬件进行优化加速，实现最大程度的利用GPU资源，提升推理性能。在训练了神经网络之后，TensorRT可以对网络进行压缩、优化以及运行时部署，支持当前多种深度学习框架（TensorFlow, Pytorch,Mxnet,Caffe2,Theano, PaddlePaddle）。以下操作在Linux系统进行（如Ubuntu）下载安装TensorRTTensorRT需要和Linux系统版本、CUDA、cuDNN的版本对应查看Ubuntu版本$ lsb_release -aNo LSB modules are available.Distributor ID: UbuntuDescription: Ubuntu 22.04.4 LTSRelease: 22.04Codename: jammy查看CUDA版本$ nvcc -Vnvcc: NVIDIA (R) Cuda compiler driverCopyright (c) 2005-2023 NVIDIA CorporationBuilt on Tue_Aug_15_22:02:13_PDT_2023Cuda compilation tools, release 12.2, V12.2.140Build cuda_12.2.r12.2/compiler.33191640_0上面cuda版本为12.2Nvidia官网地址：https://docs.nvidia.com/deeplearning/tensorrt/archives/index.html#overview在这个页面,如下图：选择一个版本点 推理引擎TensorRT安装与多线程推理（Python）
TensorRT是由Nvidia发布的一个机器学习框架，用于在其硬件上运行机器学习推理。它能针对Nvidia系列硬件进行优化加速，实现最大程度的利用GPU资源，提升推理性能。在训练了神经网络之后，TensorRT可以对网络进行压缩、优化以及运行时部署，支持当前多种深度学习框架（TensorFlow, Pytorch,Mxnet,Caffe2,Theano, PaddlePaddle）。以下操作在Linux系统进行（如Ubuntu）下载安装TensorRTTensorRT需要和Linux系统版本、CUDA、cuDNN的版本对应查看Ubuntu版本$ lsb_release -aNo LSB modules are available.Distributor ID: UbuntuDescription: Ubuntu 22.04.4 LTSRelease: 22.04Codename: jammy查看CUDA版本$ nvcc -Vnvcc: NVIDIA (R) Cuda compiler driverCopyright (c) 2005-2023 NVIDIA CorporationBuilt on Tue_Aug_15_22:02:13_PDT_2023Cuda compilation tools, release 12.2, V12.2.140Build cuda_12.2.r12.2/compiler.33191640_0上面cuda版本为12.2Nvidia官网地址：https://docs.nvidia.com/deeplearning/tensorrt/archives/index.html#overview在这个页面,如下图：选择一个版本点