这次我们来看一个面向全国大学生智能车竞赛的实战项目——基于地平线J5 SOC的智慧医疗赛题验证。如果你正在准备21届智能车竞赛特别是关注创意组、智慧医疗或地平线平台这篇文章将带你从零搭建验证环境跑通核心功能并避开那些新手最容易踩的坑。这个项目的核心不是算法理论多复杂而是如何在一个真实的嵌入式AI平台上快速部署并验证一套完整的“智慧医疗车”解决方案。它涉及从硬件启动、模型部署到实际任务执行的完整链路。对于参赛队伍而言最关心的是地平线J5开发板好不好用模型转换和部署流程是否顺畅赛题要求的医疗辅助任务能否稳定跑起来以及整个系统的资源占用和响应速度如何本文将围绕这些实际问题提供一套可落地的验证方案。1. 核心能力速览能力项说明核心平台地平线旭日®X3MJ5AIoT 应用开发板赛题关联第21届全国大学生智能车竞赛“智慧医疗”创意组赛题主要功能基于嵌入式AI的医疗辅助场景验证如药品识别、路径规划、人机交互等推荐硬件地平线J5开发套件含开发板、摄像头、屏幕等计算资源板载BPUAI处理单元无需额外GPU功耗低开发环境Ubuntu 20.04/22.04 Docker容器 地平线RDK系列开发工具部署方式模型转换PT - ONNX - .bin、应用编译、板端部署与调试适合场景智能车竞赛备赛、嵌入式AI应用原型验证、边缘计算学习2. 适用场景与使用边界这个验证方案主要面向以下几类人群参赛学生正在准备第21届全国大学生智能车竞赛“智慧医疗”创意组需要快速上手地平线J5平台完成赛题任务验证。嵌入式开发者希望学习如何将AI模型如目标检测、图像分类部署到地平线边缘计算芯片上。高校导师/实验室寻找稳定的嵌入式AI教学与科研平台用于项目开发。它能解决什么问题环境搭建困难提供清晰的从烧录系统到运行Demo的步骤。模型部署黑盒详解地平线特有的模型转换流程PyTorch - ONNX - 地平线.bin模型。赛题功能验证给出如何基于官方示例修改并验证药品识别、巡线、避障等智慧医疗相关任务。需要注意的边界硬件依赖必须拥有地平线J5开发板如旭日X3派及其配套组件。纯软件模拟无法完全替代。算法创新本文侧重于“验证”与“部署”即如何让现有算法在板上跑起来。顶层的算法创新如新的医疗影像识别网络需要团队自行研发。赛规细节具体比赛规则、评分细则请以组委会官方发布为准本文提供的技术方案是通用实现路径。3. 环境准备与前置条件在开始烧录和编码之前请确保你的软硬件环境就绪。硬件清单地平线旭日X3M开发板J5核心一套。MicroSD卡建议32GB以上 Class10或UHS-I速度。电源适配器5V/3A。USB-Type C数据线用于串口调试。USB摄像头或板载摄像头模块。显示器、HDMI线可选用于可视化调试。路由器或网络环境用于开发板联网。软件与工具清单宿主机电脑推荐使用Ubuntu 20.04/22.04的PC或虚拟机。Windows用户可通过WSL2或虚拟机操作。SD卡烧录工具如balenaEtcher或Raspberry Pi Imager。系统镜像从地平线开发者官网获取最新的RDK系统镜像如horizon-rdk-ubuntu22.04-xxxx.img.gz。串口调试工具minicom(Linux) 或MobaXterm/Putty(Windows)。Docker宿主机需安装Docker Engine用于运行地平线模型转换工具链。代码编辑器VSCode等用于编辑Python和C代码。4. 系统烧录与基础配置这是让开发板“活”起来的第一步也是最容易出错的一步。4.1 烧录系统镜像将MicroSD卡插入读卡器并连接到你的电脑。解压下载好的系统镜像文件.img.gz。打开balenaEtcher。Select image选择解压后的.img文件。Select target选择你的SD卡注意别选错硬盘。Flash!开始烧录。等待进度条完成验证成功。4.2 首次启动与网络配置将烧录好的SD卡插入开发板卡槽连接摄像头、显示器可选最后上电。系统首次启动会自动扩展文件系统并重启耗时几分钟请耐心等待。连接网络两种主要方式有线网络直接插网线系统会自动通过DHCP获取IP。无线网络通过串口或显示器登录系统后使用nmcli或编辑/etc/netplan配置文件连接Wi-Fi。查找开发板IP地址如果连接了显示器可在终端输入ip addr查看。更通用的方法是在路由器管理界面查找设备名为horizon-rdk的IP。使用串口登录查看见下节。4.3 串口登录与基础设置串口是重要的调试手段尤其在网络未配置好时。用USB-Type C线连接开发板的调试串口通常有标记和电脑。电脑上打开串口工具如minicom。端口/dev/ttyUSB0(Linux) 或对应的COM口 (Windows)。波特率921600。数据位8。停止位1。无校验。连接后按回车会出现登录提示。默认用户名和密码通常是root/root。登录后建议立即修改密码并更新软件源passwd apt update apt upgrade -y5. 模型转换从PyTorch到地平线.bin这是地平线平台开发的核心环节。你的AI模型如YOLOv5s用于药品识别需要经过转换才能在BPU上高效运行。转换流程概览PyTorch (.pt) - ONNX (.onnx) - 地平线量化校准 - 地平线编译 - .bin模型5.1 准备Docker转换环境地平线提供了包含完整工具链的Docker镜像这是最推荐的方式。在宿主机你的Ubuntu电脑上拉取转换工具镜像docker pull horizon.ai/ai-toolchain:latest启动容器并挂载你的模型和数据目录docker run -it --rm \ -v /path/to/your/model_dir:/workspace \ -v /path/to/your/calibration_dataset:/data \ horizon.ai/ai-toolchain:latest /bin/bash现在你进入了容器的命令行环境。5.2 模型转换实战以YOLOv5为例假设我们有一个训练好的yolov5s_medicine.pt模型用于识别几种常见药品。导出ONNX模型在容器内# 假设你的PyTorch模型代码在 /workspace 下 cd /workspace python export.py --weights yolov5s_medicine.pt --include onnx --img-size 640 640得到yolov5s_medicine.onnx。准备校准数据在/data目录下放置约100-200张用于量化的图片JPEG格式。这些图片应能代表实际场景。编写模型转换配置文件(config.yaml)model_parameters: onnx_model: /workspace/yolov5s_medicine.onnx output_model_file_prefix: /workspace/yolov5s_medicine march: bernoulli2 # J5芯片的架构代号 calibration_parameters: cal_data_dir: /data cal_data_type: float32 preprocess_on: False calibration_type: max compiler_parameters: compile_mode: latency optimize_level: O3执行转换# 使用地平线工具链命令进行转换 hb_mapper makertbin --config config.yaml --model-type onnx获取结果转换成功后在/workspace目录下会生成关键的yolov5s_medicine.bin文件这就是可以部署到J5板端运行的模型文件。同时会生成一个*_original_float_model.onnx用于后续验证。6. 应用部署与智慧医疗任务验证模型转换好后我们需要编写或修改一个应用程序在板子上加载.bin模型处理摄像头输入并执行赛题任务。6.1 部署基础示例目标检测地平线RDK通常提供丰富的示例程序。我们以mipi_camera_sample为例将其改造为药品检测程序。在开发板上获取示例代码git clone https://github.com/HorizonRDK/hobot_samples.git cd hobot_samples替换模型文件找到示例中模型加载的代码部分通常是LoadModel函数将模型路径指向你转换好的yolov5s_medicine.bin。修改后处理逻辑示例中的后处理PostProcess是针对COCO数据集的80类。你需要根据自己训练的药品类别如“感冒灵”、“纱布”、“体温计”修改类别名、颜色和解析逻辑。编译与运行mkdir build cd build cmake .. make -j$(nproc) # 运行程序从MIPI摄像头获取图像进行推理 ./mipi_camera_sample如果连接了显示器你应该能看到实时视频流并在识别出的药品上绘制边界框和标签。6.2 智慧医疗赛题功能集成验证单纯的药品识别只是第一步。智慧医疗赛题可能涉及多任务协同。任务一药品识别与抓取点定位验证方法在检测到目标药品后程序应能输出其中心像素坐标(cx, cy)。将此坐标通过串口或ROS Topic发送给下位机机械臂或小车云台。代码要点在检测框后处理部分增加坐标计算和通信代码。// 伪代码示例在检测到目标后 for (auto box : detected_boxes) { if (box.class_id MEDICINE_CLASS_ID) { int center_x (box.x1 box.x2) / 2; int center_y (box.y1 box.y2) / 2; // 通过UART发送坐标例如“P,123,456\n” send_to_uart(center_x, center_y); } }任务二基于视觉的路径巡线去医院科室验证方法使用另一个简单的CNN或传统图像处理算法如HSV颜色过滤滑动窗口识别地面引导线。将偏移量转换为舵机转角或电机差速。资源管理可以与前一个药品检测模型分时运行单核多任务或使用J5的双核BPU分别加载两个模型。任务三人机交互语音/屏幕提示验证方法当完成药品配送或遇到障碍时调用板载的TTS语音合成功能或通过SPI/I2C驱动屏幕显示提示信息。地平线RDK可能提供相关音频播放示例。关键验证点确保多个任务同时运行时BPU和CPU的负载在可接受范围内使用htop命令监控且帧率FPS能满足赛题实时性要求如 10 FPS。7. 资源占用与性能观察在嵌入式平台上资源就是生命线。必须学会观察和优化。CPU/内存占用# 在开发板终端运行 htop观察CPU%和MEM%。一个设计良好的应用CPU占用不应持续超过70%内存使用应平稳。BPU利用率地平线提供了hobot-profiler等性能分析工具。运行你的应用后在另一个终端查看# 查看BPU核心的使用情况 cat /sys/class/jpu/jpu0/core_usage # 或使用更详细的性能监控工具 horizon_profiler --pid $(pidof your_app)理想状态下模型推理时BPU利用率应较高表明计算负载已成功卸载到AI加速器。温度与功耗# 查看芯片温度 cat /sys/class/thermal/thermal_zone0/temp长时间满负荷运行温度应在安全范围内通常85℃。如果温度过高需要考虑增加散热或优化算法降低计算量。帧率FPS测量最简单的办法是在应用代码中打时间戳计算处理一帧的平均时间。# Python示例片段 import time fps_counter 0 start_time time.time() while True: # ... 图像采集、推理、后处理 ... fps_counter 1 if fps_counter % 30 0: elapsed time.time() - start_time print(fCurrent FPS: {fps_counter / elapsed:.2f}) fps_counter 0 start_time time.time()8. 常见问题与排查方法问题现象可能原因排查方式解决方案系统无法启动卡在LOGO1. SD卡烧录失败2. 电源功率不足3. 镜像文件损坏1. 重新烧录用balenaEtcher验证2. 更换5V/3A电源3. 重新下载镜像校验MD5确保烧录过程无报错使用可靠电源串口无任何输出1. 串口线连接错误2. 串口工具参数错误3. 板子未上电1. 确认连接的是调试串口非电源口2. 检查波特率是否为9216003. 检查电源指示灯核对硬件连接确认串口号和参数模型转换失败报错Unsupported OP1. PyTorch模型包含不支持的算子2. ONNX版本或opset不兼容1. 查看错误日志定位不支持的算子名2. 检查导出ONNX时的opset版本1. 修改网络结构替换或规避不支持的算子2. 尝试使用地平线支持的opset如11重新导出板端运行程序报错Failed to load model1..bin模型文件路径错误2. 模型与march参数不匹配非bernoulli23. 模型文件损坏1. 检查文件路径和权限2. 确认转换时march指定为bernoulli23. 重新转换并传输文件使用绝对路径确认模型是针对J5转换的摄像头无法打开显示黑屏1. 摄像头未正确连接或驱动未加载2. 应用代码中摄像头设备号错误3. 其他进程占用了摄像头1. 运行ls /dev/video*查看视频设备2. 检查代码中的video_index3. 重启板子或杀死占用进程确认摄像头被系统识别并赋予正确的设备索引推理结果完全错误框乱飞1. 模型转换时的预处理归一化、BGR/RGB与推理代码不一致2. 后处理解析逻辑错误3. 校准数据不具有代表性1. 对比转换配置和推理代码中的图像预处理流程2. 用_original_float_model.onnx在PC上推理同一张图对比结果3. 检查类别ID映射确保模型转换和部署环节的输入数据格式、归一化参数完全对齐程序运行一段时间后卡死或重启1. 内存泄漏2. 芯片过热保护3. 多线程同步问题1. 监控内存使用是否持续增长2. 监控芯片温度3. 检查线程间资源竞争1. 检查代码中new/malloc是否有对应的delete/free2. 加强散热优化算法降低负载3. 使用锁或原子操作保护共享数据9. 最佳实践与备赛建议从官方Demo开始小步修改不要一开始就试图重写整个应用。先跑通地平线提供的标准示例如人脸检测然后逐步替换模型、修改后处理、增加业务逻辑。这能帮你快速建立信心并理解框架。建立稳定的开发调试流程版本控制使用Git管理你的应用代码和模型转换配置文件。交叉编译在性能强大的宿主机上使用交叉编译工具链编译程序然后通过scp传到板子测试提高效率。日志系统在代码中关键位置添加日志输出记录帧率、检测结果、错误信息等方便远程排查。模型优化是重中之重轻量化为边缘设备设计的模型如MobileNet, ShuffleNet, YOLOv5s/v5n是首选。在精度可接受的前提下模型越小、算子越简单转换成功率和运行效率越高。量化校准校准数据集的质量直接影响量化后模型的精度。务必使用贴近真实比赛场景的图片进行校准。多模型调度如果赛题需要多个AI任务规划好模型是分时运行、流水线运行还是分别部署到两个BPU核上。系统集成与稳定性测试将AI视觉模块与小车底盘控制、机械臂驱动、传感器数据读取等模块进行联调。进行长时间如30分钟的压力测试观察是否有内存泄漏、性能下降或异常重启。模拟比赛环境如不同光照、遮挡进行鲁棒性测试。文档与代码注释清晰记录每一步操作、每一个参数的含义、每一个踩过的坑。这在团队协作和后期调试中价值连城。通过以上步骤你应该能够在地平线J5平台上搭建起一个可运行、可调试的智慧医疗赛题验证环境。这套流程的核心思想是“分解-验证-集成”将复杂的赛题任务分解为独立的AI功能点如识别、巡线逐一在地平线平台上验证通过最后将它们集成到一个完整的应用程序中。记住在嵌入式AI开发中成功部署并稳定运行一个中等精度的模型远比在PC上训练一个高精度但无法部署的模型更有价值。 地平线J5平台嵌入式AI部署实战：从模型转换到智慧医疗应用验证
这次我们来看一个面向全国大学生智能车竞赛的实战项目——基于地平线J5 SOC的智慧医疗赛题验证。如果你正在准备21届智能车竞赛特别是关注创意组、智慧医疗或地平线平台这篇文章将带你从零搭建验证环境跑通核心功能并避开那些新手最容易踩的坑。这个项目的核心不是算法理论多复杂而是如何在一个真实的嵌入式AI平台上快速部署并验证一套完整的“智慧医疗车”解决方案。它涉及从硬件启动、模型部署到实际任务执行的完整链路。对于参赛队伍而言最关心的是地平线J5开发板好不好用模型转换和部署流程是否顺畅赛题要求的医疗辅助任务能否稳定跑起来以及整个系统的资源占用和响应速度如何本文将围绕这些实际问题提供一套可落地的验证方案。1. 核心能力速览能力项说明核心平台地平线旭日®X3MJ5AIoT 应用开发板赛题关联第21届全国大学生智能车竞赛“智慧医疗”创意组赛题主要功能基于嵌入式AI的医疗辅助场景验证如药品识别、路径规划、人机交互等推荐硬件地平线J5开发套件含开发板、摄像头、屏幕等计算资源板载BPUAI处理单元无需额外GPU功耗低开发环境Ubuntu 20.04/22.04 Docker容器 地平线RDK系列开发工具部署方式模型转换PT - ONNX - .bin、应用编译、板端部署与调试适合场景智能车竞赛备赛、嵌入式AI应用原型验证、边缘计算学习2. 适用场景与使用边界这个验证方案主要面向以下几类人群参赛学生正在准备第21届全国大学生智能车竞赛“智慧医疗”创意组需要快速上手地平线J5平台完成赛题任务验证。嵌入式开发者希望学习如何将AI模型如目标检测、图像分类部署到地平线边缘计算芯片上。高校导师/实验室寻找稳定的嵌入式AI教学与科研平台用于项目开发。它能解决什么问题环境搭建困难提供清晰的从烧录系统到运行Demo的步骤。模型部署黑盒详解地平线特有的模型转换流程PyTorch - ONNX - 地平线.bin模型。赛题功能验证给出如何基于官方示例修改并验证药品识别、巡线、避障等智慧医疗相关任务。需要注意的边界硬件依赖必须拥有地平线J5开发板如旭日X3派及其配套组件。纯软件模拟无法完全替代。算法创新本文侧重于“验证”与“部署”即如何让现有算法在板上跑起来。顶层的算法创新如新的医疗影像识别网络需要团队自行研发。赛规细节具体比赛规则、评分细则请以组委会官方发布为准本文提供的技术方案是通用实现路径。3. 环境准备与前置条件在开始烧录和编码之前请确保你的软硬件环境就绪。硬件清单地平线旭日X3M开发板J5核心一套。MicroSD卡建议32GB以上 Class10或UHS-I速度。电源适配器5V/3A。USB-Type C数据线用于串口调试。USB摄像头或板载摄像头模块。显示器、HDMI线可选用于可视化调试。路由器或网络环境用于开发板联网。软件与工具清单宿主机电脑推荐使用Ubuntu 20.04/22.04的PC或虚拟机。Windows用户可通过WSL2或虚拟机操作。SD卡烧录工具如balenaEtcher或Raspberry Pi Imager。系统镜像从地平线开发者官网获取最新的RDK系统镜像如horizon-rdk-ubuntu22.04-xxxx.img.gz。串口调试工具minicom(Linux) 或MobaXterm/Putty(Windows)。Docker宿主机需安装Docker Engine用于运行地平线模型转换工具链。代码编辑器VSCode等用于编辑Python和C代码。4. 系统烧录与基础配置这是让开发板“活”起来的第一步也是最容易出错的一步。4.1 烧录系统镜像将MicroSD卡插入读卡器并连接到你的电脑。解压下载好的系统镜像文件.img.gz。打开balenaEtcher。Select image选择解压后的.img文件。Select target选择你的SD卡注意别选错硬盘。Flash!开始烧录。等待进度条完成验证成功。4.2 首次启动与网络配置将烧录好的SD卡插入开发板卡槽连接摄像头、显示器可选最后上电。系统首次启动会自动扩展文件系统并重启耗时几分钟请耐心等待。连接网络两种主要方式有线网络直接插网线系统会自动通过DHCP获取IP。无线网络通过串口或显示器登录系统后使用nmcli或编辑/etc/netplan配置文件连接Wi-Fi。查找开发板IP地址如果连接了显示器可在终端输入ip addr查看。更通用的方法是在路由器管理界面查找设备名为horizon-rdk的IP。使用串口登录查看见下节。4.3 串口登录与基础设置串口是重要的调试手段尤其在网络未配置好时。用USB-Type C线连接开发板的调试串口通常有标记和电脑。电脑上打开串口工具如minicom。端口/dev/ttyUSB0(Linux) 或对应的COM口 (Windows)。波特率921600。数据位8。停止位1。无校验。连接后按回车会出现登录提示。默认用户名和密码通常是root/root。登录后建议立即修改密码并更新软件源passwd apt update apt upgrade -y5. 模型转换从PyTorch到地平线.bin这是地平线平台开发的核心环节。你的AI模型如YOLOv5s用于药品识别需要经过转换才能在BPU上高效运行。转换流程概览PyTorch (.pt) - ONNX (.onnx) - 地平线量化校准 - 地平线编译 - .bin模型5.1 准备Docker转换环境地平线提供了包含完整工具链的Docker镜像这是最推荐的方式。在宿主机你的Ubuntu电脑上拉取转换工具镜像docker pull horizon.ai/ai-toolchain:latest启动容器并挂载你的模型和数据目录docker run -it --rm \ -v /path/to/your/model_dir:/workspace \ -v /path/to/your/calibration_dataset:/data \ horizon.ai/ai-toolchain:latest /bin/bash现在你进入了容器的命令行环境。5.2 模型转换实战以YOLOv5为例假设我们有一个训练好的yolov5s_medicine.pt模型用于识别几种常见药品。导出ONNX模型在容器内# 假设你的PyTorch模型代码在 /workspace 下 cd /workspace python export.py --weights yolov5s_medicine.pt --include onnx --img-size 640 640得到yolov5s_medicine.onnx。准备校准数据在/data目录下放置约100-200张用于量化的图片JPEG格式。这些图片应能代表实际场景。编写模型转换配置文件(config.yaml)model_parameters: onnx_model: /workspace/yolov5s_medicine.onnx output_model_file_prefix: /workspace/yolov5s_medicine march: bernoulli2 # J5芯片的架构代号 calibration_parameters: cal_data_dir: /data cal_data_type: float32 preprocess_on: False calibration_type: max compiler_parameters: compile_mode: latency optimize_level: O3执行转换# 使用地平线工具链命令进行转换 hb_mapper makertbin --config config.yaml --model-type onnx获取结果转换成功后在/workspace目录下会生成关键的yolov5s_medicine.bin文件这就是可以部署到J5板端运行的模型文件。同时会生成一个*_original_float_model.onnx用于后续验证。6. 应用部署与智慧医疗任务验证模型转换好后我们需要编写或修改一个应用程序在板子上加载.bin模型处理摄像头输入并执行赛题任务。6.1 部署基础示例目标检测地平线RDK通常提供丰富的示例程序。我们以mipi_camera_sample为例将其改造为药品检测程序。在开发板上获取示例代码git clone https://github.com/HorizonRDK/hobot_samples.git cd hobot_samples替换模型文件找到示例中模型加载的代码部分通常是LoadModel函数将模型路径指向你转换好的yolov5s_medicine.bin。修改后处理逻辑示例中的后处理PostProcess是针对COCO数据集的80类。你需要根据自己训练的药品类别如“感冒灵”、“纱布”、“体温计”修改类别名、颜色和解析逻辑。编译与运行mkdir build cd build cmake .. make -j$(nproc) # 运行程序从MIPI摄像头获取图像进行推理 ./mipi_camera_sample如果连接了显示器你应该能看到实时视频流并在识别出的药品上绘制边界框和标签。6.2 智慧医疗赛题功能集成验证单纯的药品识别只是第一步。智慧医疗赛题可能涉及多任务协同。任务一药品识别与抓取点定位验证方法在检测到目标药品后程序应能输出其中心像素坐标(cx, cy)。将此坐标通过串口或ROS Topic发送给下位机机械臂或小车云台。代码要点在检测框后处理部分增加坐标计算和通信代码。// 伪代码示例在检测到目标后 for (auto box : detected_boxes) { if (box.class_id MEDICINE_CLASS_ID) { int center_x (box.x1 box.x2) / 2; int center_y (box.y1 box.y2) / 2; // 通过UART发送坐标例如“P,123,456\n” send_to_uart(center_x, center_y); } }任务二基于视觉的路径巡线去医院科室验证方法使用另一个简单的CNN或传统图像处理算法如HSV颜色过滤滑动窗口识别地面引导线。将偏移量转换为舵机转角或电机差速。资源管理可以与前一个药品检测模型分时运行单核多任务或使用J5的双核BPU分别加载两个模型。任务三人机交互语音/屏幕提示验证方法当完成药品配送或遇到障碍时调用板载的TTS语音合成功能或通过SPI/I2C驱动屏幕显示提示信息。地平线RDK可能提供相关音频播放示例。关键验证点确保多个任务同时运行时BPU和CPU的负载在可接受范围内使用htop命令监控且帧率FPS能满足赛题实时性要求如 10 FPS。7. 资源占用与性能观察在嵌入式平台上资源就是生命线。必须学会观察和优化。CPU/内存占用# 在开发板终端运行 htop观察CPU%和MEM%。一个设计良好的应用CPU占用不应持续超过70%内存使用应平稳。BPU利用率地平线提供了hobot-profiler等性能分析工具。运行你的应用后在另一个终端查看# 查看BPU核心的使用情况 cat /sys/class/jpu/jpu0/core_usage # 或使用更详细的性能监控工具 horizon_profiler --pid $(pidof your_app)理想状态下模型推理时BPU利用率应较高表明计算负载已成功卸载到AI加速器。温度与功耗# 查看芯片温度 cat /sys/class/thermal/thermal_zone0/temp长时间满负荷运行温度应在安全范围内通常85℃。如果温度过高需要考虑增加散热或优化算法降低计算量。帧率FPS测量最简单的办法是在应用代码中打时间戳计算处理一帧的平均时间。# Python示例片段 import time fps_counter 0 start_time time.time() while True: # ... 图像采集、推理、后处理 ... fps_counter 1 if fps_counter % 30 0: elapsed time.time() - start_time print(fCurrent FPS: {fps_counter / elapsed:.2f}) fps_counter 0 start_time time.time()8. 常见问题与排查方法问题现象可能原因排查方式解决方案系统无法启动卡在LOGO1. SD卡烧录失败2. 电源功率不足3. 镜像文件损坏1. 重新烧录用balenaEtcher验证2. 更换5V/3A电源3. 重新下载镜像校验MD5确保烧录过程无报错使用可靠电源串口无任何输出1. 串口线连接错误2. 串口工具参数错误3. 板子未上电1. 确认连接的是调试串口非电源口2. 检查波特率是否为9216003. 检查电源指示灯核对硬件连接确认串口号和参数模型转换失败报错Unsupported OP1. PyTorch模型包含不支持的算子2. ONNX版本或opset不兼容1. 查看错误日志定位不支持的算子名2. 检查导出ONNX时的opset版本1. 修改网络结构替换或规避不支持的算子2. 尝试使用地平线支持的opset如11重新导出板端运行程序报错Failed to load model1..bin模型文件路径错误2. 模型与march参数不匹配非bernoulli23. 模型文件损坏1. 检查文件路径和权限2. 确认转换时march指定为bernoulli23. 重新转换并传输文件使用绝对路径确认模型是针对J5转换的摄像头无法打开显示黑屏1. 摄像头未正确连接或驱动未加载2. 应用代码中摄像头设备号错误3. 其他进程占用了摄像头1. 运行ls /dev/video*查看视频设备2. 检查代码中的video_index3. 重启板子或杀死占用进程确认摄像头被系统识别并赋予正确的设备索引推理结果完全错误框乱飞1. 模型转换时的预处理归一化、BGR/RGB与推理代码不一致2. 后处理解析逻辑错误3. 校准数据不具有代表性1. 对比转换配置和推理代码中的图像预处理流程2. 用_original_float_model.onnx在PC上推理同一张图对比结果3. 检查类别ID映射确保模型转换和部署环节的输入数据格式、归一化参数完全对齐程序运行一段时间后卡死或重启1. 内存泄漏2. 芯片过热保护3. 多线程同步问题1. 监控内存使用是否持续增长2. 监控芯片温度3. 检查线程间资源竞争1. 检查代码中new/malloc是否有对应的delete/free2. 加强散热优化算法降低负载3. 使用锁或原子操作保护共享数据9. 最佳实践与备赛建议从官方Demo开始小步修改不要一开始就试图重写整个应用。先跑通地平线提供的标准示例如人脸检测然后逐步替换模型、修改后处理、增加业务逻辑。这能帮你快速建立信心并理解框架。建立稳定的开发调试流程版本控制使用Git管理你的应用代码和模型转换配置文件。交叉编译在性能强大的宿主机上使用交叉编译工具链编译程序然后通过scp传到板子测试提高效率。日志系统在代码中关键位置添加日志输出记录帧率、检测结果、错误信息等方便远程排查。模型优化是重中之重轻量化为边缘设备设计的模型如MobileNet, ShuffleNet, YOLOv5s/v5n是首选。在精度可接受的前提下模型越小、算子越简单转换成功率和运行效率越高。量化校准校准数据集的质量直接影响量化后模型的精度。务必使用贴近真实比赛场景的图片进行校准。多模型调度如果赛题需要多个AI任务规划好模型是分时运行、流水线运行还是分别部署到两个BPU核上。系统集成与稳定性测试将AI视觉模块与小车底盘控制、机械臂驱动、传感器数据读取等模块进行联调。进行长时间如30分钟的压力测试观察是否有内存泄漏、性能下降或异常重启。模拟比赛环境如不同光照、遮挡进行鲁棒性测试。文档与代码注释清晰记录每一步操作、每一个参数的含义、每一个踩过的坑。这在团队协作和后期调试中价值连城。通过以上步骤你应该能够在地平线J5平台上搭建起一个可运行、可调试的智慧医疗赛题验证环境。这套流程的核心思想是“分解-验证-集成”将复杂的赛题任务分解为独立的AI功能点如识别、巡线逐一在地平线平台上验证通过最后将它们集成到一个完整的应用程序中。记住在嵌入式AI开发中成功部署并稳定运行一个中等精度的模型远比在PC上训练一个高精度但无法部署的模型更有价值。