简介这是一份基于AI智能的智慧展览馆解决方案PPT文档面向展览馆、博物馆等文化场馆的管理者与信息化建设人员。方案聚焦行业现状与痛点——讲解员缺口大、服务标准化难、观众个性化需求提升并以AI机器人应用为主线提出从迎宾导览、展区讲解到数据采集的完整升级路径。资源共1个文件为pptx演示文稿压缩包大小42.65MB内容包含行业现状、解决方案、核心功能与案例展示四大模块。正文详细介绍了前厅迎宾导览、展区特色讲解与互动问答、VIP游客人脸识别、观展数据采集以及多台机器人分布式服务等落地场景并附有多页案例数据方便评估实际效果。目前已有168人学习下载适合用于智慧展馆项目汇报、方案预研或行业趋势分析。1. AI智慧展览馆先解决数据闭环再谈大屏炫技很多人一提智慧展览馆第一反应是做一块漂亮的大屏把客流、环境、展品状态堆上去。但这类项目往往在验收后就进入吃灰状态因为数据只进了屏幕没有回到业务里。真正的AI智慧展览馆核心是让场馆自己会看、会听、会推荐摄像头不只是为了安防而是用来感知观众行为展品不只是放在玻璃柜里而是能根据观众停留时间调整讲解策略。这篇文章面向系统集成商、场馆信息化负责人以及做AI落地的算法工程师。我按自己参与智能场馆项目的习惯把从总体架构、模型训练、大模型问答到边缘部署的完整路径拆开每一步都给出能直接抄的参数或命令确保你拿到的方案不只是一份.pptx而是能跑起来的系统。2. 智慧展览馆的总体架构从设备层到AI层怎么分层我习惯先把架构拆开再谈技术选型否则很容易被厂商带偏。智慧展览馆的总体架构可以按五层来切每一层只解决一件事层与层之间通过标准接口交互。这样做的好处是后续换摄像头、换算法、换大模型都不需要把整个系统推翻。2.1 五层架构与各层职责下面是我在展馆项目里常用的一张职责表。注意我没有列单独的“展示层”因为大屏只是应用层的一个子模块把展示单独分层会导致项目变成做界面。层级核心职责典型组件选型要点设备层采集视频、IoT、票务与互动数据摄像头、传感器、闸机、导览终端优先选SDK开放的设备避免私有协议接入层协议转换、边缘抽帧、统一接入流媒体网关、边缘盒子、MQTT Broker边缘完成抽帧只保留关键事件压低带宽数据层存储事件、轨迹、展品知识PostgreSQL、时序库、向量库事件表按时间分区展品知识单独建索引AI层目标识别、多模态检索、智能体决策YOLO、CLIP、RAG引擎、Agent框架每个模型封装成独立服务不暴露底层实现应用层导览、调度、可视化、运营评价小程序、管理后台、数字看板只通过API调用AI服务不直连数据层这五层里AI层是区别于传统安防展览馆的核心。我一般要求应用层只能访问AI层的API不能自己去读数据库里的原始视频帧或传感器日志否则现场的临时需求会把接口搞得非常乱。2.2 数据入湖把视频、IoT和票务统一成事件流许多展馆的第一道坎是数据格式不一致摄像头输出RTSP温湿度传感器走Modbus票务系统导出CSV。常见做法是先把它们变成一条条带时间戳的事件落到统一的事件表里。我在项目中会专门建一张叫visitor_event的表所有系统只往里写不直接互相调用。CREATE TABLE visitor_event ( event_id VARCHAR(64) PRIMARY KEY, zone_id VARCHAR(32) NOT NULL, -- 展区/通道编号 exhibit_id VARCHAR(32), -- 关联展品可为空 visitor_id VARCHAR(64), -- 脱敏后的轨迹ID event_type VARCHAR(16) NOT NULL, -- enter/exit/dwell/question/scan ts TIMESTAMP NOT NULL, meta JSON ) PARTITION BY RANGE (ts);这段SQL的含义我解释一下zone_id是展区或通道编号exhibit_id关联展品刚入场时为空visitor_id是脱敏后的轨迹ID不能关联真实身份event_type只允许enter/exit/dwell/question/scan这五类方便后面做参观漏斗分析meta用JSON保存模型输出的置信度、遮挡比例等扩展字段不用因为算法升级就频繁改表结构。按ts分区是因为展馆查询几乎都是按小时或天来做跨分区扫描会拖垮看板。如果你在现场已经接了消息中间件可以用Flink或Spark Streaming直接写这张表但展馆项目的第一优先级不是实时性而是先保证数据不丢。我会先把消费进程做成批量落库确认可靠后再切成流式避免一上来就同时背两个系统。2.3 AI层要保留的接口边界AI层不能向业务层暴露模型细节。我一般会在AI层和上层之间定义五个固定接口检测、识别、问答、推荐、告警。这五个接口只接收业务参数不关心上游是网页、小程序还是语音屏。这样做最大的收益是把YOLOv5换到YOLOv8或者把部署从GPU切到边缘NPU业务系统完全无感。接口的返回结构也要提前约定。比如检测接口统一返回type、bbox、confidence和一个meta字段。以后就算新增了“展品玻璃反光”检测前端只需要按type渲染不用发新版本。这个边界就是PPT里“生态开放”的实际含义。3. 展馆AI能力落地客流统计、展品识别与安全检测展馆里的AI场景比园区安防复杂得多灯光会变、展品会被观众包围、玻璃柜反光严重。这一章按落地的先后顺序讲三个最常用的能力。先把模型选型定下来再给一组可以直接跑的训练参数最后把模型包成服务给业务调用。3.1 场景拆分与模型选型下表是三个高频场景的选型对照目标是让效果和现场算力之间取得平衡。场景输入推荐模型关键输出算力要求客流统计通道视频YOLOv8 ByteTrack进出人数、停留时长边缘小盒子展品识别观众拍照CLIP / ResNet50展品ID、相似度单卡推理遮挡/损坏检测定点摄像头YOLOv8 分类头遮挡比例、告警边缘中档客流统计优先做检测加跟踪不要用ReID。展馆观众穿着相似、光线变化大ReID很容易串号。展品识别如果数据量少用CLIP做零样本识别比从零训练见效更快。安全行为检测属于低频高代价场景建议先做抽帧粗检再对高置信区段做二次确认不要所有画面都跑全分辨率。3.2 用YOLOv8训练展品遮挡检测的完整参数清单展品遮挡检测的难点是小目标和遮挡。我会在布展后连续采集一周不同时段画面再统一标注。训练命令如下# 训练展品遮挡检测模型使用yolov8n做轻量级底座 yolo detect train \ modelyolov8n.pt \ dataexhibit.yaml \ epochs120 \ imgsz1280 \ batch16 \ device0 \ patience20 \ cos_lrTrue \ scale0.4 \ translate0.1 \ flipud0.0 \ mosaic0.8这段命令里几个参数要重点说imgsz设1280是因为展品在画面里占比通常很小640输入会直接丢掉小目标scale和translate做轻微增强模拟观众从不同距离和角度拍摄flipud必须设为0因为展品不会倒置强行做上下翻转只会让模型学到错误特征mosaic保留0.8既能混合背景又不会把展品切得过于零碎。参数选择还可以参照这张表参数建议值原因imgsz1280小目标召回率提升明显patience20防止后期过拟合cos_lrTrue降低训练后期loss震荡batch16每张卡显存约12GB时合适3.3 数据标注与评估不要只盯mAP标注时除了框位置还要给每个目标打上遮挡比例标签我习惯分三档无遮挡、50%遮挡、80%以上遮挡。因为产品里要根据遮挡比例决定是否触发告警如果只框位置告警逻辑只能猜。还需要主动加入“人体倒影”这个负类展馆玻璃柜的反光会把观众倒影送进检测器没有这个负类上线第一周就会被淹没在误报里。评估指标我建议把mAP50和mAP50-95分开看。mAP50用于确定线上报警阈值mAP50-95用来对比模型版本是否真实提升。只报一个高mAP50的数字没有意义。3.4 用FastAPI把模型封装成服务训练出的best.pt要给别人调用不必把ultralytics内部逻辑暴露出去。我一般用FastAPI包一层HTTP接口内部加载YOLO外部只接收图片和两个阈值参数。from fastapi import FastAPI, UploadFile from ultralytics import YOLO app FastAPI() model YOLO(best.pt) # 加载训练好的权重 app.post(/detect) async def detect(file: UploadFile, conf: float 0.35, iou: float 0.5): img read_image(await file.read()) results model.predict(img, confconf, iouiou, max_det50, imgsz1280) return [ { class: str(r.boxes.cls.int().item()), bbox: r.boxes.xyxy.tolist(), confidence: round(r.boxes.conf.float().item(), 3), } for r in results ]这段代码把conf和iou暴露给调用方大屏端可以根据不同展区的光线条件调整灵敏度。iou设0.5多人重叠时不至于把同一个人重复计数。max_det限制到50防止临展表演时一次性检测几百个目标导致下游服务卡顿。read_image函数需要自己实现建议用cv2.imdecode少一次编码开销。4. 用AI大模型与智能体做展馆导览问答固定语音导览无法回答“哪件展品最值得看”“上午十点哪个展厅不挤”这类开放问题。展馆里的做法是RAG加智能体先建一个受控的知识库再让智能体按需调用实时数据。这一章讲怎么把知识库快速搭起来并让大模型能调用现场工具。4.1 为什么展馆问答不能靠关键词检索RAG的必要性展品知识分散在解说词、清册、平面图和历史故事里。如果只用Elasticsearch做关键词检索“镇馆之宝”这种说法匹配不到具体展品ID因为语义和实体是两回事。RAG的思路是先把文本切成片段并向量化再根据用户问题召回相关片段最后让大模型基于片段生成回答。展馆场景里必须约束生成范围。我会把知识库严格限制为四类展品基本信息、历史故事、参观路线、实时人流量。前两类进向量库后两类通过工具调用获取不放进向量库。这样大模型不会拿几年前的客流数据当现在的情况回答。4.2 用LlamaIndex构建展品知识库我用LlamaIndex比较多因为它对中文切分和多种embedding模型支持都比较友好。构建索引的代码很短关键在切分参数from llama_index.core import VectorStoreIndex, SimpleDirectoryReader from llama_index.core.node_parser import SentenceSplitter documents SimpleDirectoryReader(./exhibit_docs/).load_data() # 256字的chunk适合中文展品解说词 splitter SentenceSplitter(chunk_size256, chunk_overlap32) index VectorStoreIndex.from_documents( documents, transformations[splitter], embed_modelBAAI/bge-large-zh-v1.5, # 中文检索效果更好 ) index.storage_context.persist(persist_dir./exhibit_index)chunk_size设256针对中文解说词大约两到三个自然段能覆盖一件展品的完整描述又不至于把两件展品混进一个片段。chunk_overlap设32避免跨段落的人名和展品名被截断。embed模型用bge-large-zh在中文检索上比通用模型更可靠而且可以私有化部署。构建完索引后直接用persist目录存盘服务启动时load不用每次重新embedding。如果要把展品图片也纳入检索可以用多模态索引把语音讲解转成的文字和展品照片一起投进去这就是“智能看图”的落地方式。4.3 让智能体会调用工具查询实时数据与推荐路线知识库解决的是静态问题观众问“清代展区怎么走”就需要智能体去调路线服务。我习惯用LangChain的Agent把实时接口封装成工具再给工具写清楚触发条件from langchain.agents import Tool, create_react_agent from langchain_openai import ChatOpenAI tools [ # 查询某个展区的实时饱和度避免返回原始人数 Tool(namequery_crowd, funcquery_zone_crowd, description查询指定展区当前饱和度输入展区编号返回percent), Tool(namerecommend_route, funcrecommend_route, description根据起点和终点展区计算绕行路线输入两个展区编号), ] llm ChatOpenAI(modelqwen-plus, temperature0.1) agent create_react_agent(llm, tools, promptbuild_agent_prompt())这里有两个关键点一是query_crowd返回的是饱和度百分比而不是具体人数避免隐私争议二是temperature必须压到0.1以下导览答案不是创作同一问题两次回答不能差太多。create_react_agent需要显式传prompt模板里要写清楚“只能基于工具返回结果和知识库内容回答不能猜测”这一条否则模型会在路线数据缺失时编一个出口方向。这套Agent接口也可以接到导览机器人底盘上具身智能本质上只多了一个动作执行器。4.4 生成参数在展馆场景的推荐值大模型接入展馆渠道后参数不能全用默认值。下面是我在不同项目里调整后的参考值参数推荐值场景说明temperature0.0 - 0.2讲解内容要可预期top_p0.7配合temperature控制采样分布max_tokens200一句话给结论避免超长streamTrue对话屏上优先响应首字如果展馆有儿童模式可以把temperature提到0.4让语气更活泼但要额外叠加内容安全过滤。max_tokens设200足够回答“哪件值得看”超过就要检查是不是系统提示词把任务变成了长文写作。流式输出建议只给前端不要把流式片段写进日志否则同一用户问题会被重复记账。5. 边缘部署与系统集成把算法装进展馆现场模型在服务器上跑demo没问题进现场就会出现断电、断网、摄像头分辨率不统一。智慧展览馆的部署围绕边缘和可用性展开尽量在靠近摄像头的地方处理视频中心只做跨系统调度。这一章讲我常用的设备选型、容器编排和数据回流方式。5.1 算力估算与设备选型算力估算不能只看模型FLOPs要看画面分辨率和并发路数。展馆通道摄像头通常200万像素按10路计算用Jetson Orin Nano能跑轻量检测如果是大型特展临时加的移动机位直接上一张中端GPU比分布式调度省事。部署位置典型场景推荐设备备注入口通道客流统计 2-4路Jetson Orin Nano功耗低支持壁挂展厅内部展品遮挡检测 8路Jetson Orin NX需主动散热中心机房行为识别与大模型RTX 4070 Ti Super 64GB内存大模型用INT8量化版选择Jetson系列的原因是它带独立的视频编解码单元可以从多路RTSP中直接抽帧不需要额外买采集卡。如果换用普通工控机CPU软解码会让检测延迟从几十毫秒变成一秒以上。5.2 用Docker Compose编排模型服务与业务API现场最怕手动ssh上去一个个启动进程。我一般把所有算法服务打成镜像用docker compose统一管理version: 3.8 services: detector: build: ./services/detector runtime: nvidia # 使用宿主机GPU environment: - MODEL_PATH/models/exhibit_best.pt - CONF_THRESHOLD0.35 ports: - 8001:8001 restart: unless-stopped rag: build: ./services/rag environment: - EMBED_MODEL_PATH/models/bge-large-zh depends_on: - detector ports: - 8002:8002 agent: build: ./services/agent environment: - DETECTOR_URLhttp://detector:8001 # compose服务名即主机名 - RAG_URLhttp://rag:8002 depends_on: - rag ports: - 8003:8003这里要说明三点第一detector使用runtime: nvidia前提是宿主机装好了NVIDIA Container Toolkit第二compose里的服务名就是容器网络中的主机名agent里不需要写容器IP直接写http://detector:8001第三restart: unless-stopped保证断电复电后自动拉起。depends_on只决定启动顺序不保证服务就绪所以agent里需要做健康检查重试否则启动时请求detector会连接失败。5.3 数据回流与模型持续迭代部署完成只是开始。检测器会把大量低置信度结果丢在夜间我一般要求detector在返回结果时多带一个sample_id当confidence落在0.25到0.5之间就把原图存到指定目录。每周人工看一遍把错误检测挑出来回标形成数据飞轮。重新训练时不要直接在旧模型上resume容易把类别偏移问题带进去。新建一个exhibit_v2目录把新标注样本合并用训练脚本重新跑和旧模型做A/B评估后再切换。这个过程不需要很重的平台但必须有人盯着否则飞轮会变成垃圾堆。5.4 日志与告警给无人值守兜底展馆夜间无人值守服务挂了没人知道。我习惯在日志采集之外加一条简单规则连续30分钟没有任何检测结果不是场馆没人而是服务挂了。把这个条件设为告警阈值比看CPU占用率直观得多。告警通道直接用企微或钉钉机器人配置一段curl命令发到消息群不需要搭一整套监控平台。6. 从PPT到POC验证AI智慧展览馆方案的有效性方案最终要拿给客户看效果。这一章不谈新功能只讲怎么在有限时间内证明AI智慧展览馆真的有用。6.1 用“一次参观动线完整率”做北极星指标在有限POC时间内我建议不测所有指标只盯一个一次参观动线完整率。定义是从入口进入后在AI导览协助下成功经过三个目标展区的观众占比。这个指标同时验证了识别、推荐、导览和问答四条链路任何一环断了数字都会掉下去。测量方法很简单给每个观众分配一个脱敏的visit_id在入口、三个展区出口分别记录事件做一次按visit_id的连接查询。6.2 三个现场演示技巧第一个技巧准备离线知识库快照。演示场地Wi-Fi通常很拥堵智能体一直转圈会让客户失去耐心所以embedding索引和量化模型必须全部部署在本地。第二个技巧用录像流代替真实摄像头。布展期间没有观众可以把提前录制的十分钟环馆素材循环成RTSP流让大屏看起来是实时检测同时还能反复切角度展示效果。第三个技巧预设三个固定问答。把“镇馆之宝是什么”“从门口到青铜馆怎么走”“下午哪条路线人少”这三个问题提前写进提示词示例现场演示时回答一致大模型抽风的概率会大幅下降。这三个技巧都要求底层是真实可用的系统否则客户现场一追问就会穿帮。本文还有配套的精品资源点击获取 AI智慧展览馆落地：从数据闭环到边缘部署的完整指南
简介这是一份基于AI智能的智慧展览馆解决方案PPT文档面向展览馆、博物馆等文化场馆的管理者与信息化建设人员。方案聚焦行业现状与痛点——讲解员缺口大、服务标准化难、观众个性化需求提升并以AI机器人应用为主线提出从迎宾导览、展区讲解到数据采集的完整升级路径。资源共1个文件为pptx演示文稿压缩包大小42.65MB内容包含行业现状、解决方案、核心功能与案例展示四大模块。正文详细介绍了前厅迎宾导览、展区特色讲解与互动问答、VIP游客人脸识别、观展数据采集以及多台机器人分布式服务等落地场景并附有多页案例数据方便评估实际效果。目前已有168人学习下载适合用于智慧展馆项目汇报、方案预研或行业趋势分析。1. AI智慧展览馆先解决数据闭环再谈大屏炫技很多人一提智慧展览馆第一反应是做一块漂亮的大屏把客流、环境、展品状态堆上去。但这类项目往往在验收后就进入吃灰状态因为数据只进了屏幕没有回到业务里。真正的AI智慧展览馆核心是让场馆自己会看、会听、会推荐摄像头不只是为了安防而是用来感知观众行为展品不只是放在玻璃柜里而是能根据观众停留时间调整讲解策略。这篇文章面向系统集成商、场馆信息化负责人以及做AI落地的算法工程师。我按自己参与智能场馆项目的习惯把从总体架构、模型训练、大模型问答到边缘部署的完整路径拆开每一步都给出能直接抄的参数或命令确保你拿到的方案不只是一份.pptx而是能跑起来的系统。2. 智慧展览馆的总体架构从设备层到AI层怎么分层我习惯先把架构拆开再谈技术选型否则很容易被厂商带偏。智慧展览馆的总体架构可以按五层来切每一层只解决一件事层与层之间通过标准接口交互。这样做的好处是后续换摄像头、换算法、换大模型都不需要把整个系统推翻。2.1 五层架构与各层职责下面是我在展馆项目里常用的一张职责表。注意我没有列单独的“展示层”因为大屏只是应用层的一个子模块把展示单独分层会导致项目变成做界面。层级核心职责典型组件选型要点设备层采集视频、IoT、票务与互动数据摄像头、传感器、闸机、导览终端优先选SDK开放的设备避免私有协议接入层协议转换、边缘抽帧、统一接入流媒体网关、边缘盒子、MQTT Broker边缘完成抽帧只保留关键事件压低带宽数据层存储事件、轨迹、展品知识PostgreSQL、时序库、向量库事件表按时间分区展品知识单独建索引AI层目标识别、多模态检索、智能体决策YOLO、CLIP、RAG引擎、Agent框架每个模型封装成独立服务不暴露底层实现应用层导览、调度、可视化、运营评价小程序、管理后台、数字看板只通过API调用AI服务不直连数据层这五层里AI层是区别于传统安防展览馆的核心。我一般要求应用层只能访问AI层的API不能自己去读数据库里的原始视频帧或传感器日志否则现场的临时需求会把接口搞得非常乱。2.2 数据入湖把视频、IoT和票务统一成事件流许多展馆的第一道坎是数据格式不一致摄像头输出RTSP温湿度传感器走Modbus票务系统导出CSV。常见做法是先把它们变成一条条带时间戳的事件落到统一的事件表里。我在项目中会专门建一张叫visitor_event的表所有系统只往里写不直接互相调用。CREATE TABLE visitor_event ( event_id VARCHAR(64) PRIMARY KEY, zone_id VARCHAR(32) NOT NULL, -- 展区/通道编号 exhibit_id VARCHAR(32), -- 关联展品可为空 visitor_id VARCHAR(64), -- 脱敏后的轨迹ID event_type VARCHAR(16) NOT NULL, -- enter/exit/dwell/question/scan ts TIMESTAMP NOT NULL, meta JSON ) PARTITION BY RANGE (ts);这段SQL的含义我解释一下zone_id是展区或通道编号exhibit_id关联展品刚入场时为空visitor_id是脱敏后的轨迹ID不能关联真实身份event_type只允许enter/exit/dwell/question/scan这五类方便后面做参观漏斗分析meta用JSON保存模型输出的置信度、遮挡比例等扩展字段不用因为算法升级就频繁改表结构。按ts分区是因为展馆查询几乎都是按小时或天来做跨分区扫描会拖垮看板。如果你在现场已经接了消息中间件可以用Flink或Spark Streaming直接写这张表但展馆项目的第一优先级不是实时性而是先保证数据不丢。我会先把消费进程做成批量落库确认可靠后再切成流式避免一上来就同时背两个系统。2.3 AI层要保留的接口边界AI层不能向业务层暴露模型细节。我一般会在AI层和上层之间定义五个固定接口检测、识别、问答、推荐、告警。这五个接口只接收业务参数不关心上游是网页、小程序还是语音屏。这样做最大的收益是把YOLOv5换到YOLOv8或者把部署从GPU切到边缘NPU业务系统完全无感。接口的返回结构也要提前约定。比如检测接口统一返回type、bbox、confidence和一个meta字段。以后就算新增了“展品玻璃反光”检测前端只需要按type渲染不用发新版本。这个边界就是PPT里“生态开放”的实际含义。3. 展馆AI能力落地客流统计、展品识别与安全检测展馆里的AI场景比园区安防复杂得多灯光会变、展品会被观众包围、玻璃柜反光严重。这一章按落地的先后顺序讲三个最常用的能力。先把模型选型定下来再给一组可以直接跑的训练参数最后把模型包成服务给业务调用。3.1 场景拆分与模型选型下表是三个高频场景的选型对照目标是让效果和现场算力之间取得平衡。场景输入推荐模型关键输出算力要求客流统计通道视频YOLOv8 ByteTrack进出人数、停留时长边缘小盒子展品识别观众拍照CLIP / ResNet50展品ID、相似度单卡推理遮挡/损坏检测定点摄像头YOLOv8 分类头遮挡比例、告警边缘中档客流统计优先做检测加跟踪不要用ReID。展馆观众穿着相似、光线变化大ReID很容易串号。展品识别如果数据量少用CLIP做零样本识别比从零训练见效更快。安全行为检测属于低频高代价场景建议先做抽帧粗检再对高置信区段做二次确认不要所有画面都跑全分辨率。3.2 用YOLOv8训练展品遮挡检测的完整参数清单展品遮挡检测的难点是小目标和遮挡。我会在布展后连续采集一周不同时段画面再统一标注。训练命令如下# 训练展品遮挡检测模型使用yolov8n做轻量级底座 yolo detect train \ modelyolov8n.pt \ dataexhibit.yaml \ epochs120 \ imgsz1280 \ batch16 \ device0 \ patience20 \ cos_lrTrue \ scale0.4 \ translate0.1 \ flipud0.0 \ mosaic0.8这段命令里几个参数要重点说imgsz设1280是因为展品在画面里占比通常很小640输入会直接丢掉小目标scale和translate做轻微增强模拟观众从不同距离和角度拍摄flipud必须设为0因为展品不会倒置强行做上下翻转只会让模型学到错误特征mosaic保留0.8既能混合背景又不会把展品切得过于零碎。参数选择还可以参照这张表参数建议值原因imgsz1280小目标召回率提升明显patience20防止后期过拟合cos_lrTrue降低训练后期loss震荡batch16每张卡显存约12GB时合适3.3 数据标注与评估不要只盯mAP标注时除了框位置还要给每个目标打上遮挡比例标签我习惯分三档无遮挡、50%遮挡、80%以上遮挡。因为产品里要根据遮挡比例决定是否触发告警如果只框位置告警逻辑只能猜。还需要主动加入“人体倒影”这个负类展馆玻璃柜的反光会把观众倒影送进检测器没有这个负类上线第一周就会被淹没在误报里。评估指标我建议把mAP50和mAP50-95分开看。mAP50用于确定线上报警阈值mAP50-95用来对比模型版本是否真实提升。只报一个高mAP50的数字没有意义。3.4 用FastAPI把模型封装成服务训练出的best.pt要给别人调用不必把ultralytics内部逻辑暴露出去。我一般用FastAPI包一层HTTP接口内部加载YOLO外部只接收图片和两个阈值参数。from fastapi import FastAPI, UploadFile from ultralytics import YOLO app FastAPI() model YOLO(best.pt) # 加载训练好的权重 app.post(/detect) async def detect(file: UploadFile, conf: float 0.35, iou: float 0.5): img read_image(await file.read()) results model.predict(img, confconf, iouiou, max_det50, imgsz1280) return [ { class: str(r.boxes.cls.int().item()), bbox: r.boxes.xyxy.tolist(), confidence: round(r.boxes.conf.float().item(), 3), } for r in results ]这段代码把conf和iou暴露给调用方大屏端可以根据不同展区的光线条件调整灵敏度。iou设0.5多人重叠时不至于把同一个人重复计数。max_det限制到50防止临展表演时一次性检测几百个目标导致下游服务卡顿。read_image函数需要自己实现建议用cv2.imdecode少一次编码开销。4. 用AI大模型与智能体做展馆导览问答固定语音导览无法回答“哪件展品最值得看”“上午十点哪个展厅不挤”这类开放问题。展馆里的做法是RAG加智能体先建一个受控的知识库再让智能体按需调用实时数据。这一章讲怎么把知识库快速搭起来并让大模型能调用现场工具。4.1 为什么展馆问答不能靠关键词检索RAG的必要性展品知识分散在解说词、清册、平面图和历史故事里。如果只用Elasticsearch做关键词检索“镇馆之宝”这种说法匹配不到具体展品ID因为语义和实体是两回事。RAG的思路是先把文本切成片段并向量化再根据用户问题召回相关片段最后让大模型基于片段生成回答。展馆场景里必须约束生成范围。我会把知识库严格限制为四类展品基本信息、历史故事、参观路线、实时人流量。前两类进向量库后两类通过工具调用获取不放进向量库。这样大模型不会拿几年前的客流数据当现在的情况回答。4.2 用LlamaIndex构建展品知识库我用LlamaIndex比较多因为它对中文切分和多种embedding模型支持都比较友好。构建索引的代码很短关键在切分参数from llama_index.core import VectorStoreIndex, SimpleDirectoryReader from llama_index.core.node_parser import SentenceSplitter documents SimpleDirectoryReader(./exhibit_docs/).load_data() # 256字的chunk适合中文展品解说词 splitter SentenceSplitter(chunk_size256, chunk_overlap32) index VectorStoreIndex.from_documents( documents, transformations[splitter], embed_modelBAAI/bge-large-zh-v1.5, # 中文检索效果更好 ) index.storage_context.persist(persist_dir./exhibit_index)chunk_size设256针对中文解说词大约两到三个自然段能覆盖一件展品的完整描述又不至于把两件展品混进一个片段。chunk_overlap设32避免跨段落的人名和展品名被截断。embed模型用bge-large-zh在中文检索上比通用模型更可靠而且可以私有化部署。构建完索引后直接用persist目录存盘服务启动时load不用每次重新embedding。如果要把展品图片也纳入检索可以用多模态索引把语音讲解转成的文字和展品照片一起投进去这就是“智能看图”的落地方式。4.3 让智能体会调用工具查询实时数据与推荐路线知识库解决的是静态问题观众问“清代展区怎么走”就需要智能体去调路线服务。我习惯用LangChain的Agent把实时接口封装成工具再给工具写清楚触发条件from langchain.agents import Tool, create_react_agent from langchain_openai import ChatOpenAI tools [ # 查询某个展区的实时饱和度避免返回原始人数 Tool(namequery_crowd, funcquery_zone_crowd, description查询指定展区当前饱和度输入展区编号返回percent), Tool(namerecommend_route, funcrecommend_route, description根据起点和终点展区计算绕行路线输入两个展区编号), ] llm ChatOpenAI(modelqwen-plus, temperature0.1) agent create_react_agent(llm, tools, promptbuild_agent_prompt())这里有两个关键点一是query_crowd返回的是饱和度百分比而不是具体人数避免隐私争议二是temperature必须压到0.1以下导览答案不是创作同一问题两次回答不能差太多。create_react_agent需要显式传prompt模板里要写清楚“只能基于工具返回结果和知识库内容回答不能猜测”这一条否则模型会在路线数据缺失时编一个出口方向。这套Agent接口也可以接到导览机器人底盘上具身智能本质上只多了一个动作执行器。4.4 生成参数在展馆场景的推荐值大模型接入展馆渠道后参数不能全用默认值。下面是我在不同项目里调整后的参考值参数推荐值场景说明temperature0.0 - 0.2讲解内容要可预期top_p0.7配合temperature控制采样分布max_tokens200一句话给结论避免超长streamTrue对话屏上优先响应首字如果展馆有儿童模式可以把temperature提到0.4让语气更活泼但要额外叠加内容安全过滤。max_tokens设200足够回答“哪件值得看”超过就要检查是不是系统提示词把任务变成了长文写作。流式输出建议只给前端不要把流式片段写进日志否则同一用户问题会被重复记账。5. 边缘部署与系统集成把算法装进展馆现场模型在服务器上跑demo没问题进现场就会出现断电、断网、摄像头分辨率不统一。智慧展览馆的部署围绕边缘和可用性展开尽量在靠近摄像头的地方处理视频中心只做跨系统调度。这一章讲我常用的设备选型、容器编排和数据回流方式。5.1 算力估算与设备选型算力估算不能只看模型FLOPs要看画面分辨率和并发路数。展馆通道摄像头通常200万像素按10路计算用Jetson Orin Nano能跑轻量检测如果是大型特展临时加的移动机位直接上一张中端GPU比分布式调度省事。部署位置典型场景推荐设备备注入口通道客流统计 2-4路Jetson Orin Nano功耗低支持壁挂展厅内部展品遮挡检测 8路Jetson Orin NX需主动散热中心机房行为识别与大模型RTX 4070 Ti Super 64GB内存大模型用INT8量化版选择Jetson系列的原因是它带独立的视频编解码单元可以从多路RTSP中直接抽帧不需要额外买采集卡。如果换用普通工控机CPU软解码会让检测延迟从几十毫秒变成一秒以上。5.2 用Docker Compose编排模型服务与业务API现场最怕手动ssh上去一个个启动进程。我一般把所有算法服务打成镜像用docker compose统一管理version: 3.8 services: detector: build: ./services/detector runtime: nvidia # 使用宿主机GPU environment: - MODEL_PATH/models/exhibit_best.pt - CONF_THRESHOLD0.35 ports: - 8001:8001 restart: unless-stopped rag: build: ./services/rag environment: - EMBED_MODEL_PATH/models/bge-large-zh depends_on: - detector ports: - 8002:8002 agent: build: ./services/agent environment: - DETECTOR_URLhttp://detector:8001 # compose服务名即主机名 - RAG_URLhttp://rag:8002 depends_on: - rag ports: - 8003:8003这里要说明三点第一detector使用runtime: nvidia前提是宿主机装好了NVIDIA Container Toolkit第二compose里的服务名就是容器网络中的主机名agent里不需要写容器IP直接写http://detector:8001第三restart: unless-stopped保证断电复电后自动拉起。depends_on只决定启动顺序不保证服务就绪所以agent里需要做健康检查重试否则启动时请求detector会连接失败。5.3 数据回流与模型持续迭代部署完成只是开始。检测器会把大量低置信度结果丢在夜间我一般要求detector在返回结果时多带一个sample_id当confidence落在0.25到0.5之间就把原图存到指定目录。每周人工看一遍把错误检测挑出来回标形成数据飞轮。重新训练时不要直接在旧模型上resume容易把类别偏移问题带进去。新建一个exhibit_v2目录把新标注样本合并用训练脚本重新跑和旧模型做A/B评估后再切换。这个过程不需要很重的平台但必须有人盯着否则飞轮会变成垃圾堆。5.4 日志与告警给无人值守兜底展馆夜间无人值守服务挂了没人知道。我习惯在日志采集之外加一条简单规则连续30分钟没有任何检测结果不是场馆没人而是服务挂了。把这个条件设为告警阈值比看CPU占用率直观得多。告警通道直接用企微或钉钉机器人配置一段curl命令发到消息群不需要搭一整套监控平台。6. 从PPT到POC验证AI智慧展览馆方案的有效性方案最终要拿给客户看效果。这一章不谈新功能只讲怎么在有限时间内证明AI智慧展览馆真的有用。6.1 用“一次参观动线完整率”做北极星指标在有限POC时间内我建议不测所有指标只盯一个一次参观动线完整率。定义是从入口进入后在AI导览协助下成功经过三个目标展区的观众占比。这个指标同时验证了识别、推荐、导览和问答四条链路任何一环断了数字都会掉下去。测量方法很简单给每个观众分配一个脱敏的visit_id在入口、三个展区出口分别记录事件做一次按visit_id的连接查询。6.2 三个现场演示技巧第一个技巧准备离线知识库快照。演示场地Wi-Fi通常很拥堵智能体一直转圈会让客户失去耐心所以embedding索引和量化模型必须全部部署在本地。第二个技巧用录像流代替真实摄像头。布展期间没有观众可以把提前录制的十分钟环馆素材循环成RTSP流让大屏看起来是实时检测同时还能反复切角度展示效果。第三个技巧预设三个固定问答。把“镇馆之宝是什么”“从门口到青铜馆怎么走”“下午哪条路线人少”这三个问题提前写进提示词示例现场演示时回答一致大模型抽风的概率会大幅下降。这三个技巧都要求底层是真实可用的系统否则客户现场一追问就会穿帮。本文还有配套的精品资源点击获取