1. 从“黑话”到“地图”为什么你需要一张AI术语图谱最近和几个刚入行的朋友聊天发现一个挺有意思的现象大家聊起AI项目满嘴都是“大模型”、“Agent”、“RAG”、“向量数据库”听起来热火朝天。但当我追问一句“你觉得Agent和RAG在解决什么问题上有本质区别”或者“为什么这个场景用微调那个场景用提示工程”得到的回答往往开始变得模糊或者干脆就是“看别人都这么用”。这让我想起自己刚接触这个领域的时候面对层出不穷的新概念、新缩写那种“每个词都认识连起来就不知道在说什么”的无力感。今天说“涌现”明天谈“对齐”后天又来个“思维链”。信息是爆炸了但脑子里却像一团乱麻知识点之间是孤立的岛屿没有桥梁。这就是我决定整理这份“40 AI核心术语图谱”的初衷。它不是一个简单的词汇表而是一张帮你建立认知框架的“地图”。有了这张地图你就能理解这些术语不是孤立存在的流行语而是构成现代AI技术栈的相互关联的组件。你会明白当别人谈论“用LangChain搭建一个基于私有知识的问答Agent”时他实际上是在组合“框架工具”、“Agent范式”、“RAG技术”、“向量检索”和“提示工程”等多个模块来解决一个具体问题。这份图谱的目的就是帮你从“记忆名词”升级到“理解系统”让你能看清技术全貌在纷繁的信息中抓住主线做出更明智的技术选型和架构设计。2. 基石与燃料模型、数据与算力的三角关系任何AI系统的构建都离不开三个最基础的要素模型、数据和算力。理解它们之间的关系是读懂后续所有高级概念的前提。2.1 模型从“预制菜”到“私房菜”的进化路径模型是AI的核心“大脑”它通过学习数据中的模式来获得完成任务的能力。当前我们主要在与大语言模型打交道。大语言模型就像一个阅读了互联网上海量文本的“超级语言学家”它掌握了语言的语法、语义和世界知识能够进行对话、创作、推理等。但直接使用这个“通才”来解决特定问题比如分析你公司的技术文档往往效果不佳因为它缺乏“领域知识”。这就引出了模型应用的几个关键范式提示工程这是最轻量级的“使用”方式。你不改变模型本身而是通过精心设计输入提示词来引导模型输出你想要的结果。好比向那位“超级语言学家”提问问题问得越精准、背景信息给得越充分得到的答案就越靠谱。这是利用现有模型能力的首选方法。检索增强生成当模型的知识不够新、不够专时RAG登场了。它的核心思想是“不知道就去查”。系统会先从你的私有知识库比如公司文档、产品手册中检索出与问题相关的信息然后把这些信息作为“参考资料”连同问题一起交给大模型让它基于这些可靠资料生成答案。这相当于给“通才”模型配了一个专业的“图书管理员”极大地提升了回答的准确性和可控性。微调如果说提示工程是“引导”RAG是“配资料”那么微调就是“再教育”。你使用一批高质量的领域数据对预训练好的大模型进行额外的训练让它调整内部的参数从而更擅长处理特定领域的任务。这就像让那位“语言学家”去你的公司实习了几个月它说话办事会更贴合你的业务习惯。微调效果通常比提示工程更好但成本也高得多。AgentAgent不是一个具体的模型而是一种范式或架构。你可以把它理解为一个“虚拟员工”。这个员工的核心能力是一个大语言模型负责思考和规划但它还被赋予了使用工具如搜索API、计算器、执行代码、记忆对话历史、甚至调用其他专业模型的能力。Agent的核心在于自主感知-规划-行动-反思的循环目标是完成一个复杂的多步骤任务。比如你让一个Agent“帮我分析一下上周的销售数据并写一份报告”它可能会自己决定先去数据库取数然后做可视化分析最后调用文本生成模型撰写报告。2.2 数据知识的结构化与向量化模型需要“吃”数据才能工作但怎么“喂”很有讲究。直接扔一堆PDF文档给模型效率极低。这就涉及到数据的预处理。知识图谱这是一种用图结构来组织和表示知识的方法。图中的节点代表实体如“苹果公司”、“iPhone”边代表实体间的关系如“生产”、“发布”。知识图谱让知识变得机器可读、可推理。例如它可以推理出“苹果公司生产iPhoneiPhone运行iOS系统所以苹果公司与iOS系统有关联”。在AI应用中知识图谱常作为精准、结构化的知识源与RAG结合使用。向量化与向量数据库这是处理非结构化文本如段落、文档的核心技术。通过嵌入模型将一段文本转换成一个高维度的数值向量一长串数字。这个向量的神奇之处在于语义相似的文本其向量在空间中的距离也更近。向量数据库就是专门用来高效存储和检索这些向量的数据库。当用户提问时系统将问题也向量化然后去向量数据库中快速找出最相似的文本片段即上文RAG中的“检索”步骤。Chroma、Pinecone、Weaviate等都是流行的向量数据库选择。2.3 算力训练与推理的引擎算力是驱动一切的基础设施。训练特别是大模型的预训练和微调需要海量的GPU集群耗时耗资巨大通常是巨头公司或研究机构的行为。而推理则是我们使用模型时的计算过程比如你向ChatGPT提问它生成回答的过程就是一次推理。推理可以在云端进行也可以尝试在边缘设备Edge AI上进行后者对模型的轻量化、部署优化提出了更高要求。模型部署就是指将训练好的模型打包成服务以便应用程序能够调用其进行推理涉及性能优化、资源管理等工程问题。3. 应用层拼图框架、工具与产品形态当基础要素准备好后我们需要一些“粘合剂”和“工具箱”来把它们组装成可用的应用。3.1 开发框架与库这些工具旨在降低AI应用开发的门槛。LangChain / LlamaIndex当前最热门的AI应用开发框架。它们不是模型而是帮你编排模型、工具、数据源的“脚手架”。LangChain提供了Chain、Agent、Memory等高级抽象让你能像搭积木一样构建复杂的AI工作流。LlamaIndex则更专注于数据索引和RAG场景提供了强大的数据连接器和检索接口。简单理解如果你想快速构建一个包含复杂逻辑的AI AgentLangChain更合适如果你的核心需求是针对私有数据构建高质量的问答系统LlamaIndex可能更直接。Spring AI如果你是Java/Spring生态的开发者那么Spring AI项目值得关注。它旨在将AI能力如聊天、文生图、嵌入生成无缝集成到Spring应用中提供了一套熟悉的、声明式的编程模型。AI编程工具如GitHub Copilot、Cursor等它们本身是基于大模型的Agent能够辅助开发者完成代码补全、解释、重构甚至生成整个函数深刻改变着软件开发流程。3.2 产品与内容生成AI的能力正迅速转化为具体的产品形态和内容创作工具。AI绘画/图像生成如Midjourney、Stable Diffusion、DALL-E。通过文本提示词生成图像核心挑战在于如何撰写有效的提示词。AI视频/短剧/漫剧制作这是当前的前沿热点。利用AI生成脚本、角色、分镜、动画甚至配音快速生产视频内容。这涉及到多模态模型的综合运用。AI聊天机器人构建无违禁词、定制化的对话体验是很多产品的需求这背后需要综合运用大模型、提示工程、内容过滤和长期记忆管理。4. 核心概念深潜读懂AI的“思维方式”除了具体的技术栈还有一些抽象但至关重要的概念它们决定了AI系统的行为和潜力。4.1 涌现能力与思维链涌现能力是指当模型规模参数、数据量超过某个临界点时突然表现出在较小模型上未曾观察到的新能力比如复杂的推理、代码生成等。这不是被明确编程的而是“涌现”出来的。这解释了我们为何追求“大”模型。思维链是激发大模型推理能力的关键技巧。在提示中要求模型“一步一步地思考”或者给出分步推理的示例能显著提升其在数学、逻辑问题上的表现。这相当于引导模型把内部的思考过程“外化”模仿人类的推理路径。4.2 对齐与智能体架构对齐是一个宏大的研究领域目标是让AI系统的目标与人类的价值观、意图保持一致。我们既不希望一个翻译模型胡乱编造内容也不希望一个助理模型拒绝执行合理指令。当前主要通过基于人类反馈的强化学习等技术来微调模型行为。AI Agent的架构值得单独探讨。一个功能完善的Agent通常包含以下模块规划模块将大目标分解为可执行的子任务序列。记忆模块分为短期记忆当前会话的上下文和长期记忆通过向量数据库等存储和回忆的历史信息。这就是所谓的“记忆图谱”可视化想要管理的内容。工具使用模块调用外部API、数据库、函数等扩展能力边界。反思模块对执行结果进行评估必要时调整计划。4.3 评估与测试如何知道一个AI应用好不好AI测试与传统软件测试不同因为输出具有不确定性和创造性。评估维度包括事实准确性对于RAG系统尤其重要答案是否基于提供的上下文有无幻觉。相关性回答是否切题。安全性/无害性输出是否包含偏见、有害内容。流畅性与有用性从用户体验角度评价。 建立自动化和人工结合的评估体系是AI产品迭代的关键。5. 构建你的认知与实践框架了解了这些分散的术语后如何将它们串联起来指导你的学习和实践我建议采用一个分层、关联的视角。5.1 分层视角从基础设施到用户体验你可以将AI技术栈想象成一个金字塔底层基础设施算力、硬件、云平台。这是支撑一切的基础。中间层模型与数据大模型API、开源模型、向量数据库、知识图谱、Embedding模型。这是能力的核心供给。框架层编排与集成LangChain、LlamaIndex、Spring AI等。这是提高开发效率的关键。应用层产品与解决方案AI聊天机器人、智能客服、内容生成工具、AI辅助编程等。这是价值最终呈现的地方。交叉考量层提示工程、评估测试、安全对齐。这些贯穿所有层级。你的角色决定了你关注的重点。AI产品经理需要通览全栈聚焦应用层和价值定义AI应用开发者需要精通框架层和中间层熟练拼接模块算法工程师/研究者则更深入中间层和底层。5.2 关联视角以解决问题为线索不要孤立地学习术语而是以“解决一个实际问题”为线索将它们串联起来。例如要构建一个“基于公司技术文档的智能问答助手”问题定义这是产品经理的起点明确要解决什么用户痛点。技术选型考虑到是私有知识问答核心模式确定为RAG。数据处理文档需要经过清洗、分割然后通过Embedding模型向量化存入向量数据库。如果文档中实体和关系明确可以考虑同时构建知识图谱辅助精准推理。开发实现使用LangChain或LlamaIndex框架快速搭建流水线用户问题 - 向量检索 - 组合提示词 - 调用大模型如GPT-4生成答案。进阶优化如果基础RAG效果不理想可以考虑对模型进行微调或者引入Agent范式让系统能自动判断何时检索、何时进行多步推理。评估与部署设计测试用例进行AI测试评估准确率、相关性。最后进行模型部署提供API服务。5.3 学习路线建议面对如此庞杂的领域新手容易迷失。我的建议是“由表及里由用到造”第一阶段用户与观察者。先去深度使用ChatGPT、Copilot、Midjourney等成熟产品感受AI的能力边界。尝试不同的提示工程技巧这是零成本的理解方式。第二阶段组装者。学习使用LangChain这类框架尝试将一个开源模型如Llama 3、一个向量数据库和你的本地文档连接起来亲手搭建一个最简单的RAG问答应用。这个过程中你会自然理解Embedding、向量检索、大模型API调用等概念。第三阶段定制者与思考者。当简单组装无法满足需求时深入探索微调、Agent的复杂设计、知识图谱的构建。同时开始关注对齐、评估、涌现等更深层的问题。持续关注AI领域日新月异。保持对AI工程实践如模型压缩、高效推理和前沿产品形态如AI视频生成的关注。最后我想分享一点个人体会在这个快速变化的领域比记住所有术语更重要的是建立起一种系统性的思维框架。每当听到一个新概念不要把它当作一个孤立的点而是立刻问自己三个问题它属于技术栈的哪一层它和已知的哪些概念相关联它主要是用来解决什么问题的通过这份图谱我希望提供给你的不是终点而是一张可以随时更新、不断扩展的“认知地图”的起点。真正的理解始于你将图中的点连接成线并用于解决你实际遇到的问题的那一刻。 AI技术栈全景解析：从大模型到Agent的认知地图
1. 从“黑话”到“地图”为什么你需要一张AI术语图谱最近和几个刚入行的朋友聊天发现一个挺有意思的现象大家聊起AI项目满嘴都是“大模型”、“Agent”、“RAG”、“向量数据库”听起来热火朝天。但当我追问一句“你觉得Agent和RAG在解决什么问题上有本质区别”或者“为什么这个场景用微调那个场景用提示工程”得到的回答往往开始变得模糊或者干脆就是“看别人都这么用”。这让我想起自己刚接触这个领域的时候面对层出不穷的新概念、新缩写那种“每个词都认识连起来就不知道在说什么”的无力感。今天说“涌现”明天谈“对齐”后天又来个“思维链”。信息是爆炸了但脑子里却像一团乱麻知识点之间是孤立的岛屿没有桥梁。这就是我决定整理这份“40 AI核心术语图谱”的初衷。它不是一个简单的词汇表而是一张帮你建立认知框架的“地图”。有了这张地图你就能理解这些术语不是孤立存在的流行语而是构成现代AI技术栈的相互关联的组件。你会明白当别人谈论“用LangChain搭建一个基于私有知识的问答Agent”时他实际上是在组合“框架工具”、“Agent范式”、“RAG技术”、“向量检索”和“提示工程”等多个模块来解决一个具体问题。这份图谱的目的就是帮你从“记忆名词”升级到“理解系统”让你能看清技术全貌在纷繁的信息中抓住主线做出更明智的技术选型和架构设计。2. 基石与燃料模型、数据与算力的三角关系任何AI系统的构建都离不开三个最基础的要素模型、数据和算力。理解它们之间的关系是读懂后续所有高级概念的前提。2.1 模型从“预制菜”到“私房菜”的进化路径模型是AI的核心“大脑”它通过学习数据中的模式来获得完成任务的能力。当前我们主要在与大语言模型打交道。大语言模型就像一个阅读了互联网上海量文本的“超级语言学家”它掌握了语言的语法、语义和世界知识能够进行对话、创作、推理等。但直接使用这个“通才”来解决特定问题比如分析你公司的技术文档往往效果不佳因为它缺乏“领域知识”。这就引出了模型应用的几个关键范式提示工程这是最轻量级的“使用”方式。你不改变模型本身而是通过精心设计输入提示词来引导模型输出你想要的结果。好比向那位“超级语言学家”提问问题问得越精准、背景信息给得越充分得到的答案就越靠谱。这是利用现有模型能力的首选方法。检索增强生成当模型的知识不够新、不够专时RAG登场了。它的核心思想是“不知道就去查”。系统会先从你的私有知识库比如公司文档、产品手册中检索出与问题相关的信息然后把这些信息作为“参考资料”连同问题一起交给大模型让它基于这些可靠资料生成答案。这相当于给“通才”模型配了一个专业的“图书管理员”极大地提升了回答的准确性和可控性。微调如果说提示工程是“引导”RAG是“配资料”那么微调就是“再教育”。你使用一批高质量的领域数据对预训练好的大模型进行额外的训练让它调整内部的参数从而更擅长处理特定领域的任务。这就像让那位“语言学家”去你的公司实习了几个月它说话办事会更贴合你的业务习惯。微调效果通常比提示工程更好但成本也高得多。AgentAgent不是一个具体的模型而是一种范式或架构。你可以把它理解为一个“虚拟员工”。这个员工的核心能力是一个大语言模型负责思考和规划但它还被赋予了使用工具如搜索API、计算器、执行代码、记忆对话历史、甚至调用其他专业模型的能力。Agent的核心在于自主感知-规划-行动-反思的循环目标是完成一个复杂的多步骤任务。比如你让一个Agent“帮我分析一下上周的销售数据并写一份报告”它可能会自己决定先去数据库取数然后做可视化分析最后调用文本生成模型撰写报告。2.2 数据知识的结构化与向量化模型需要“吃”数据才能工作但怎么“喂”很有讲究。直接扔一堆PDF文档给模型效率极低。这就涉及到数据的预处理。知识图谱这是一种用图结构来组织和表示知识的方法。图中的节点代表实体如“苹果公司”、“iPhone”边代表实体间的关系如“生产”、“发布”。知识图谱让知识变得机器可读、可推理。例如它可以推理出“苹果公司生产iPhoneiPhone运行iOS系统所以苹果公司与iOS系统有关联”。在AI应用中知识图谱常作为精准、结构化的知识源与RAG结合使用。向量化与向量数据库这是处理非结构化文本如段落、文档的核心技术。通过嵌入模型将一段文本转换成一个高维度的数值向量一长串数字。这个向量的神奇之处在于语义相似的文本其向量在空间中的距离也更近。向量数据库就是专门用来高效存储和检索这些向量的数据库。当用户提问时系统将问题也向量化然后去向量数据库中快速找出最相似的文本片段即上文RAG中的“检索”步骤。Chroma、Pinecone、Weaviate等都是流行的向量数据库选择。2.3 算力训练与推理的引擎算力是驱动一切的基础设施。训练特别是大模型的预训练和微调需要海量的GPU集群耗时耗资巨大通常是巨头公司或研究机构的行为。而推理则是我们使用模型时的计算过程比如你向ChatGPT提问它生成回答的过程就是一次推理。推理可以在云端进行也可以尝试在边缘设备Edge AI上进行后者对模型的轻量化、部署优化提出了更高要求。模型部署就是指将训练好的模型打包成服务以便应用程序能够调用其进行推理涉及性能优化、资源管理等工程问题。3. 应用层拼图框架、工具与产品形态当基础要素准备好后我们需要一些“粘合剂”和“工具箱”来把它们组装成可用的应用。3.1 开发框架与库这些工具旨在降低AI应用开发的门槛。LangChain / LlamaIndex当前最热门的AI应用开发框架。它们不是模型而是帮你编排模型、工具、数据源的“脚手架”。LangChain提供了Chain、Agent、Memory等高级抽象让你能像搭积木一样构建复杂的AI工作流。LlamaIndex则更专注于数据索引和RAG场景提供了强大的数据连接器和检索接口。简单理解如果你想快速构建一个包含复杂逻辑的AI AgentLangChain更合适如果你的核心需求是针对私有数据构建高质量的问答系统LlamaIndex可能更直接。Spring AI如果你是Java/Spring生态的开发者那么Spring AI项目值得关注。它旨在将AI能力如聊天、文生图、嵌入生成无缝集成到Spring应用中提供了一套熟悉的、声明式的编程模型。AI编程工具如GitHub Copilot、Cursor等它们本身是基于大模型的Agent能够辅助开发者完成代码补全、解释、重构甚至生成整个函数深刻改变着软件开发流程。3.2 产品与内容生成AI的能力正迅速转化为具体的产品形态和内容创作工具。AI绘画/图像生成如Midjourney、Stable Diffusion、DALL-E。通过文本提示词生成图像核心挑战在于如何撰写有效的提示词。AI视频/短剧/漫剧制作这是当前的前沿热点。利用AI生成脚本、角色、分镜、动画甚至配音快速生产视频内容。这涉及到多模态模型的综合运用。AI聊天机器人构建无违禁词、定制化的对话体验是很多产品的需求这背后需要综合运用大模型、提示工程、内容过滤和长期记忆管理。4. 核心概念深潜读懂AI的“思维方式”除了具体的技术栈还有一些抽象但至关重要的概念它们决定了AI系统的行为和潜力。4.1 涌现能力与思维链涌现能力是指当模型规模参数、数据量超过某个临界点时突然表现出在较小模型上未曾观察到的新能力比如复杂的推理、代码生成等。这不是被明确编程的而是“涌现”出来的。这解释了我们为何追求“大”模型。思维链是激发大模型推理能力的关键技巧。在提示中要求模型“一步一步地思考”或者给出分步推理的示例能显著提升其在数学、逻辑问题上的表现。这相当于引导模型把内部的思考过程“外化”模仿人类的推理路径。4.2 对齐与智能体架构对齐是一个宏大的研究领域目标是让AI系统的目标与人类的价值观、意图保持一致。我们既不希望一个翻译模型胡乱编造内容也不希望一个助理模型拒绝执行合理指令。当前主要通过基于人类反馈的强化学习等技术来微调模型行为。AI Agent的架构值得单独探讨。一个功能完善的Agent通常包含以下模块规划模块将大目标分解为可执行的子任务序列。记忆模块分为短期记忆当前会话的上下文和长期记忆通过向量数据库等存储和回忆的历史信息。这就是所谓的“记忆图谱”可视化想要管理的内容。工具使用模块调用外部API、数据库、函数等扩展能力边界。反思模块对执行结果进行评估必要时调整计划。4.3 评估与测试如何知道一个AI应用好不好AI测试与传统软件测试不同因为输出具有不确定性和创造性。评估维度包括事实准确性对于RAG系统尤其重要答案是否基于提供的上下文有无幻觉。相关性回答是否切题。安全性/无害性输出是否包含偏见、有害内容。流畅性与有用性从用户体验角度评价。 建立自动化和人工结合的评估体系是AI产品迭代的关键。5. 构建你的认知与实践框架了解了这些分散的术语后如何将它们串联起来指导你的学习和实践我建议采用一个分层、关联的视角。5.1 分层视角从基础设施到用户体验你可以将AI技术栈想象成一个金字塔底层基础设施算力、硬件、云平台。这是支撑一切的基础。中间层模型与数据大模型API、开源模型、向量数据库、知识图谱、Embedding模型。这是能力的核心供给。框架层编排与集成LangChain、LlamaIndex、Spring AI等。这是提高开发效率的关键。应用层产品与解决方案AI聊天机器人、智能客服、内容生成工具、AI辅助编程等。这是价值最终呈现的地方。交叉考量层提示工程、评估测试、安全对齐。这些贯穿所有层级。你的角色决定了你关注的重点。AI产品经理需要通览全栈聚焦应用层和价值定义AI应用开发者需要精通框架层和中间层熟练拼接模块算法工程师/研究者则更深入中间层和底层。5.2 关联视角以解决问题为线索不要孤立地学习术语而是以“解决一个实际问题”为线索将它们串联起来。例如要构建一个“基于公司技术文档的智能问答助手”问题定义这是产品经理的起点明确要解决什么用户痛点。技术选型考虑到是私有知识问答核心模式确定为RAG。数据处理文档需要经过清洗、分割然后通过Embedding模型向量化存入向量数据库。如果文档中实体和关系明确可以考虑同时构建知识图谱辅助精准推理。开发实现使用LangChain或LlamaIndex框架快速搭建流水线用户问题 - 向量检索 - 组合提示词 - 调用大模型如GPT-4生成答案。进阶优化如果基础RAG效果不理想可以考虑对模型进行微调或者引入Agent范式让系统能自动判断何时检索、何时进行多步推理。评估与部署设计测试用例进行AI测试评估准确率、相关性。最后进行模型部署提供API服务。5.3 学习路线建议面对如此庞杂的领域新手容易迷失。我的建议是“由表及里由用到造”第一阶段用户与观察者。先去深度使用ChatGPT、Copilot、Midjourney等成熟产品感受AI的能力边界。尝试不同的提示工程技巧这是零成本的理解方式。第二阶段组装者。学习使用LangChain这类框架尝试将一个开源模型如Llama 3、一个向量数据库和你的本地文档连接起来亲手搭建一个最简单的RAG问答应用。这个过程中你会自然理解Embedding、向量检索、大模型API调用等概念。第三阶段定制者与思考者。当简单组装无法满足需求时深入探索微调、Agent的复杂设计、知识图谱的构建。同时开始关注对齐、评估、涌现等更深层的问题。持续关注AI领域日新月异。保持对AI工程实践如模型压缩、高效推理和前沿产品形态如AI视频生成的关注。最后我想分享一点个人体会在这个快速变化的领域比记住所有术语更重要的是建立起一种系统性的思维框架。每当听到一个新概念不要把它当作一个孤立的点而是立刻问自己三个问题它属于技术栈的哪一层它和已知的哪些概念相关联它主要是用来解决什么问题的通过这份图谱我希望提供给你的不是终点而是一张可以随时更新、不断扩展的“认知地图”的起点。真正的理解始于你将图中的点连接成线并用于解决你实际遇到的问题的那一刻。