聊一个容易被忽略的方向。过去两年所有人都在聊大模型、算力、参数规模、刷榜成绩资本和人才一窝蜂涌向模型层和应用层。但真正在一线做过物联网项目、搞过设备接入、边缘计算、私有化部署的人心里都清楚大模型再聪明也得有手有脚去碰物理世界。这个“手”和“脚”就是AIoT基础设施。大模型解决的是“理解”和“生成”AIoT解决的是“感知”和“执行”。模型能力要真正变成生产力必须落到传感器、摄像头、控制器、网关、边缘服务器这些物理实体上。这里面的连接、协议、数据管道、推理部署、安全边界构成了一个比模型本身更庞大、更琐碎、也更值钱的工程体系。很多人把这个当成“传统物联网的延续”低估了它但它恰恰是大模型之后最值得深耕的万亿级空白。这篇文章我从三个层面展开为什么这个空白被低估、AIoT基础设施到底要建什么、以及真正下场落地时绕不开的几道硬坎。不画饼只讲实际工程里的判断和取舍。1. 大模型之后真正的“万亿级空白”在哪1.1 算力与模型之外被忽略的中间层大模型行业过去几年走的是一条非常标准的“堆料路线”堆数据、堆参数、堆算力。这条路当然有价值它把模型的智能上限推到了前所未有的高度。但问题是模型的能力不等于产品的价值。一个能写诗、能写代码、能推理的模型如果不接入业务系统、不处理实时数据、不控制设备它的价值就只停留在“聊天框”里。真正让大模型产生商业价值的是下面那层基础设施数据采集、设备连接、边缘推理、模型服务化、安全管控。这一层既不性感也不容易讲出高估值故事但它决定了模型能不能在工厂车间、智慧园区、全屋智能、车联网这些场景里稳定运转。我做智能硬件项目时有个很深的感受客户并不会因为你用了多大的模型而买单他们只关心两件事——场景是否跑通以及长期维护成本是否可控。而这两件事恰恰都属于基础设施的范畴。大模型是引擎AIoT基础设施是车身、底盘和道路没有后者引擎再强也跑不起来。1.2 为什么这个空白长期被低估被低估的原因其实很直接第一模型层的叙事更性感动辄“通用人工智能”“智能涌现”媒体和资本天然喜欢这类故事第二基础设施层的活儿太“脏”要处理协议兼容、网络抖动、设备离线、数据质量参差不齐这些琐碎问题很难包装成激动人心的产品发布会第三也是最重要的一点AIoT的价值必须等到规模化之后才会显现而早期每个项目都是定制化、非标准化的赚钱慢看起来像一个“苦生意”。但恰恰是这种“苦”和“慢”构成了极高的进入壁垒。做模型的团队可以靠开源模型快速启动但做AIoT基础设施的团队必须一点点啃下硬件兼容、边缘部署、数据治理的硬骨头。等大模型进入落地深水区所有应用型公司都会发现自己被迫补课而这个补课环节正是被低估的空白。2. AIoT基础设施的三层架构端、边、云不是选择题2.1 端侧离数据最近的推理单元端侧是整个AIoT基础设施里最容易被低估的一层。很多人觉得端侧设备算力弱、内存小跑不动大模型所以重点放在云端。但真实场景里端侧的价值在于低延迟、高隐私和离线可用。比如一台智能工业相机如果不能在现场毫秒级判断产品缺陷而是要把图像传到云端再等结果产线根本没法接受。端侧部署的核心思路不是“把70B模型塞进去”而是“用合适的模型解决合适的问题”。实践中常搭配这么几种手段用轻量化模型比如1.5B到7B的开源模型做基础推理用量化把参数精度从FP16压到INT8甚至INT4再用知识蒸馏把大模型的能力浓缩到小模型里。像Ollama、llama.cpp这类工具已经能在边缘设备上跑起不错的模型配合NPU加速可以做到几百毫秒级别的响应。端侧真正的难点不是跑模型而是数据接入。传感器类型五花八门采集频率、数据格式、供电方式都不一样你需要设计一套高度灵活的边缘采集方案让设备既能本地推理也能按需上传数据。这一步做不好后面的云边协同全是空中楼阁。2.2 边缘连接端与云的“枢纽层”边缘层是AIoT基础设施里最“承上启下”的位置。向上它要和云端模型服务通信获取最新的模型更新和业务策略向下它要管理海量终端设备处理协议转换、数据汇聚和实时控制。本质上边缘节点就是大模型的“神经末梢放大器”。实际部署中边缘层通常是一台工控机、一个边缘网关或者一组带有GPU/NPU的服务器。它的常见职责包括第一运行被裁剪和量化过的推理模型处理实时性要求高的任务第二做数据的预处理和过滤只把有价值的数据上传云端节省带宽和存储成本第三承担本地控制闭环比如设备联动、异常报警、策略下发这些逻辑不能全部依赖云端否则一旦网络波动整个系统就瘫了。我接触到不少项目一开始想省成本把所有计算都放云端结果带宽费用爆炸响应延迟也压不下来。后来把一部分推理移到边缘不仅成本降了稳定性还大幅提升。边缘层不是可选项而是AIoT规模化后的必需品。2.3 云边端协同从数据管道到Agent编排等端侧和边缘都跑起来之后真正的技术含量在于云边端协同。单看任何一层都只是传统物联网的老话题但把大模型放进来协同逻辑就完全变了。云端不再只是存储和展示数据的平台而是变成了“大脑中枢”负责全局调度、模型更新、规则编排和跨场景联动。举一个最简单的例子智能家居里边端的摄像头识别到有人摔倒边缘节点立刻做本地告警同时把关键片段上传云端云端的多模态大模型进一步分析现场情况并生成一段自然语言指令下发给另一个边缘节点去控制灯光、门锁和医疗呼叫设备。整个链路里每个环节的延迟、带宽、模型能力都被精确分配到合适的层级。这种云边端协同的架构本质上就是一套面向物理世界的Agent编排系统。目前这个领域的工具链还很早期。你可以用开源模型配合RAG做知识检索与规则管理也可以用LangChain之类的框架做Agent流程编排但真正把物联网设备API和模型Agent稳定地捏合在一起业界还没有统一标准。这也意味着谁先把这套工程能力打磨成熟谁就掌握了下一轮物联网平台的制高点。3. LLM Agent正在改写物联网的交互与决策规则3.1 一个智能家居场景背后的完整链路网上有个热搜词叫“AIoT Smart Home via Autonomous LLM Agents”翻译过来就是“通过自主大模型智能体实现智能家居”。这个概念听起来很前沿但落地的本质是一套“意图理解—任务拆解—设备调用—状态反馈”的闭环。用户说一句“我回家了帮我调整舒适模式”这句话进入边缘网关上的意图理解模型后会被拆解成一系列子任务开灯、调空调温度、拉开窗帘、播放音乐。这些子任务再映射到不同品牌、不同协议比如MQTT、Zigbee、蓝牙Mesh的设备指令上。模型要根据当前环境数据温度、光线、时间动态调整参数执行完后再生成一句自然语言反馈给用户。实际操作中最麻烦的不是模型理解意图而是设备生态的碎片化。每个品牌都有自己的App和云平台接口风格千奇百怪。所以做这类项目团队必须有很强的硬件接入能力用网关统一纳管设备再向上层Agent暴露标准化的控制API。这也是为什么我始终强调没有扎实的AIoT基础设施再聪明的Agent也指挥不动真实世界。3.2 工业场景从“显示数据”到“理解数据”工业物联网过去解决的核心问题是“数据可视化”把设备状态、产线数据、能耗指标搬到监控大屏上。但大模型介入后整个逻辑变成了“理解数据”。比如一条生产线上的传感器数据流以前需要工程师盯着阈值报警现在可以让本地大模型持续分析历史数据和实时数据输出类似“3号设备的振动特征正在接近异常区间建议在48小时内安排维护”的判断。这类场景的技术落地有几个关键点历史数据要沉淀成知识库用BGE-M3这类向量模型做嵌入再通过RAG检索机制让模型“带着上下文回答”同时要在边缘端做实时数据管道保证模型输入的数据新鲜、干净。数据干净程度直接决定模型输出的可信度这是很多项目翻车的根源。3.3 多模态与RAG让物联网沉淀的数据真正被用起来物联网运行几年之后企业手里通常积累了海量数据传感器时序数据、设备日志、监控视频、维修工单。这些数据过去大多躺在数据平台里吃灰但多模态大模型和RAG给了它们二次生命。用多模态大模型可以统一处理文本、图像、音频和结构化数据。比如一个智慧园区项目摄像头拍到垃圾桶满了声学传感器检测到水泵异响能耗表发现某栋楼用电异常这些原本是不同系统里孤立的数据现在可以被同一个多模态模型统一理解并生成一件事关全局的运维建议。再配合RAG技术让模型可以查询企业的历史运维工单和维修手册回答就不再是“听起来合理”的通用建议而是结合了该企业具体设备的可执行方案。这套能力听起来很酷但落地时要先解决一个前置问题数据有没有被清洗、标注、统一格式如果底层数据管道没建好模型接进去只会把垃圾数据加工成漂亮的垃圾结论。所以多模态大模型在AIoT里的价值与其说是算法问题不如说是数据工程问题。4. 落地AIoT基础设施要过的四道硬坎4.1 网络与连接不是所有场景都适合实时上云很多人设计AIoT方案时默认所有设备都应该连上云平台。实际项目里这个假设往往很快就会被打脸。工厂车间里网络可能不稳定户外设备可能处于弱网环境有些场景出于数据隐私考虑根本不允许出网。即便是智能家庭用户也可能在某个角落关掉Wi-Fi路由器。所以网络方案必须按场景分层设计能上云的设备走云不能上云的边缘自治关键的本地逻辑要能在断网时继续跑。常见的做法是采用“本地闭环为主、云端增强为辅”的混合架构。边缘节点保存一份最小的控制规则集断网时自动切换成降级模式网络恢复后再把离线期间的关键数据和事件同步给云端。建立这套机制很考验架构设计能力却恰恰是AIoT基础设施最重要的基本功。4.2 协议碎片化网关与标准化是绕不开的活物联网行业最让人头疼的问题之一就是协议碎片化。MQTT、HTTP、CoAP、Modbus、Zigbee、Z-Wave、蓝牙Mesh、LoRaWAN……每个领域都有自己的“方言”不同品牌的设备之间甚至互不兼容。大模型Agent如果直接去对接这些协议会疯掉。正确的做法是让边缘网关做“协议翻译官”。网关向上暴露统一的北向接口通常是MQTT或gRPC向下适配各种南向协议。这样上层Agent只面对一套标准接口不需要关心设备究竟是走Zigbee还是蓝牙。网关内部还可以做本地规则引擎把简单联动下沉到离线执行。协议适配这件事没有捷径就是一个个“驱动”去写、去调试但它是AIoT基础设施里最坚固的护城河。4.3 模型裁剪与量化把大模型塞进小设备的实操思路把大模型部署到端侧和边缘是整个AIoT落地中最“硬核”的环节。先明确一个前提不是所有设备都要跑大模型很多任务用一个几十MB的小模型就够了。真正的核心逻辑是“分级部署”云端跑最新最强的模型边缘跑量化裁剪后的轻量模型端侧跑极小模型或规则逻辑。具体实操中我建议按这个顺序来处理先用Ollama或vLLM在服务器上验证模型效果再根据实际任务量选择模型规模然后通过LLaMA-Factory对开源模型做领域微调提升特定场景的准确率接着用GPTQ或AWQ做4bit量化把显存占用压到四分之一左右最后用llama.cpp或AirLLM等工具部署到目标设备实测推理速度和内存占用达不到指标就换更小的模型或调整量化粒度。整个过程需要反复迭代没有一劳永逸的公式。一个常见误区是追求在端侧跑更大的模型。实测下来很多场景里1.5B到3B的模型配合良好的数据处理效果已经够用还能保证200毫秒内的响应。盲目上大模型只会把功耗和成本拉爆得不偿失。4.4 安全与隐私私有化部署不只是合规问题AIoT和纯软件系统的最大区别在于它会直接影响物理世界。如果一个模型判断失误轻则设备误动作重则引发安全事故。因此在AIoT基础设施里安全不是后期补丁而必须是架构时就要考虑的内建属性。数据安全上很多企业选择私有化部署模型的真正原因不只是为了满足合规要求而是因为设备数据本身就是核心资产。把视频流、工艺参数、能耗数据传到公共云服务上既不经济也不安心。更务实的方案是用开源模型Qwen系列、Llama系列等在企业内部服务器或边缘节点上搭建私有大模型服务再通过Higress这类网关组件做统一代理对外暴露标准OpenAI兼容接口既方便内部系统调用也能精确控制访问权限和审计日志。模型安全同样不能忽视尤其是大模型投毒和数据污染问题。从公开渠道下载的模型权重最好先做一轮安全评估和基础测试确认行为符合预期后再接入生产环境。同时训练数据和检索知识库要建立内容过滤机制防止不可信来源污染模型输出。5. 常见误区、踩坑记录与入局方式5.1 三个容易被忽视的工程陷阱第一个陷阱是“先连网再想AI”。很多物联网项目先花大价钱把设备全部接入平台数据堆了一堆才发现模型要什么数据、数据质量是否达标、计算放哪里全都没想清楚。正确的方式是“以终为始”先明确要用模型解决什么决策问题反推需要哪些感知数据再决定采集方案和网络架构。第二个陷阱是“把边缘节点当成迷你云”。边缘设备的环境恶劣散热差、供电不稳、网络波动你不能按云端服务器的标准去运维它。我见过太多项目把完整模型和全部业务逻辑都塞到边缘结果设备三天两头宕机。边缘侧应该保持精简只跑最小必要逻辑把复杂任务交给云端。第三个陷阱是“忽视模型更新机制”。AIoT设备分布广、数量多如果模型更新要靠人工一台台操作运维成本会失控。一定要在设计初期就规划好模型热更新通道比如边缘节点定时向云端拉取新版本校验通过后在业务低峰期切换。5.2 模型选型与部署方式的速查对照场景特点推荐部署层级常用模型/工具关键指标实时控制、毫秒级响应端侧量化后1B-3B模型llama.cpp推理延迟、内存占用中等规模环境、需本地闭环边缘7B-14B量化模型Ollama/vLLM吞吐量、断网自治能力复杂推理、跨场景全局调度云端私有化部署Qwen/Llama全尺寸模型API稳定性、知识库质量企业内部知识问答、运维助手云端私有化RAG BGE-M3向量模型检索命中率、回答准确率快速原型验证、临时Demo任选免费开源平台Ollama一键启动模型下载/部署便捷度这个表不是绝对的但可以作为团队选型时的起点。重点是先想清楚延迟、隐私、成本三者的优先级再决定模型放哪里、用什么工具链。5.3 个人与团队怎么切入这个赛道如果你是一名开发者想进入这个赛道我建议从“本地部署大模型控制一个小设备”开始。买一块开发板接一个温湿度传感器让本地模型读取数据并生成控制指令再通过继电器控制一个小风扇或灯。这个闭环会让你快速理解云边端协同的每个环节。之后可以逐步加难度接入摄像头做多模态识别加入语音模块做对话交互或者把多个设备组网成一个小型Agent系统。大模型学习你不能只停留在“调API”的层面。动手训练一个大模型哪怕是微调一个小模型能帮助你理解token、上下文窗口、微调、量化、蒸馏这些核心概念。上海交大的“动手学大模型”系列课程我看过一部分思路就是从实践切入不堆理论很适合入门。等你把“本地部署—微调—量化—部署到边缘”整个流程走一遍再回头看AIoT基础设施的每个环节会有完全不同的理解。对企业团队而言切入路径通常有两种一种是从现有物联网业务向上延伸把设备接入的底层能力沉淀成平台再对接大模型另一种是从AI能力向下延展先用私有化模型解决客户的高价值问题再逐步补齐设备接入的短板。两条路都可行关键在于认清自己的护城河在哪。基础设施的生意很难一夜爆发但一旦形成规模替换成本极高这才是它最“值钱”的地方。这个领域目前最缺的其实是那种既懂模型训练、又懂设备协议、还清楚网络架构的复合型工程师。如果你正在选择技术方向把大模型和AIoT的交叉地带作为主攻目标未来十年的职业空间会非常宽。我个人这些年最大的体会是模型会不断迭代架构会持续演进但“连接物理世界”这件事永远是刚需。