第一卷大模型 基础篇第2章 大模型基础原理第8节大模型为什么会涌现能力——AI如何突然学会推理、编程与规划《Agent开发工程师成长指南》系列教程引言在上一节我们学习了Scaling Law为什么重要我们知道更多参数 更多数据 更多算力 ↓ Scaling Law ↓ Loss持续下降 ↓ 模型能力不断提升但这里又出现了一个非常奇怪的问题。如果模型能力只是随着规模不断提升为什么很多能力看起来像是突然出现的例如一个小模型可能不会写复杂代码模型规模扩大以后突然能够完成代码生成继续扩大开始理解数学问题再扩大开始进行多步骤推理甚至能够制定计划 调用工具 分析结果 修改方案这类现象通常被称为Emergent Ability涌现能力也就是当模型规模、训练数据和训练能力达到一定程度后模型表现出训练阶段没有被直接赋予的复杂能力。这也是理解现代大模型为什么越来越像“智能系统”的关键。一、什么是涌现能力先看一个最简单的例子。假设我们训练三个模型1B7B70B测试一个复杂任务请分析 如果A比B多20% B比C少10% 那么A与C是什么关系小模型可能无法正确计算7B模型偶尔答对70B模型大多数情况下能够正确完成于是我们会发现模型规模 ↓ 1B ──────→ 7B ──────→ 70B ↓ 能力明显增强这种从几乎不会到能够完成的变化。就被称为涌现。二、涌现并不是“凭空产生”这里需要特别注意。很多文章会把涌现描述成70B模型突然产生了智能这其实容易产生误解。模型并不是69B ↓ 突然增加1B ↓ 产生意识真正发生的是大量参数经过训练以后参数之间形成更加复杂的关联 ↓ 模型能够表示更加复杂的模式 ↓ 原本分散的能力开始组合 ↓ 复杂任务成功率快速提升所以涌现更像是复杂能力达到临界条件后的“可观察跃迁”而不是凭空创造了一种能力。三、为什么大模型会产生涌现能力可以从三个角度理解。① 参数规模足够大小模型容量有限能够学习的模式有限。大模型参数更多可以建立更加复杂的语言关系 知识关系 逻辑关系 代码结构 任务模式例如小模型 “苹果” → 水果大模型可能进一步建立苹果 ↓ 水果 ↓ 植物 ↓ 农业 ↓ 供应链 ↓ 价格 ↓ 商业分析模型内部能够表示的关系越来越复杂。四、数据规模同样重要只有参数没有数据模型也不会变聪明。例如一个70B模型训练数据很少可能仍然无法完成复杂任务。因此Model Size Dataset Compute共同决定模型能力。这正好对应上一节的Scaling Law五、为什么“规模”会产生新的能力这是一个非常重要的问题。可以把模型想象成一个巨大的函数系统小模型只能学习简单关系例如A → B稍大的模型可以学习A → B → C更大的模型能够学习A ↘ B → C ↘ ↓ D → E最终知识 语言 逻辑 代码 数学开始互相组合。于是单独看每一个能力都不神奇但是当大量能力组合起来就可能形成新的复杂能力。六、最典型的涌现能力之一In-Context Learning这是现代大模型最重要的能力之一。传统机器学习训练 ↓ 模型 ↓ 预测如果需要完成新任务。通常需要重新训练但是大模型出现以后你可以直接告诉它例子1 苹果 → Apple 香蕉 → Banana 橘子 → ?模型Orange我们甚至没有修改模型参数。只是改变Context模型就能够理解任务这种能力叫In-Context Learning上下文学习它是Prompt Engineering能够成立的重要基础。七、Few-Shot为什么有效例如例子 输入 北京是中国的城市 输出 正确 输入 东京是中国的城市 输出 错误 输入 上海是中国的城市 输出 模型能够推断任务规则然后回答正确注意我们没有重新训练模型只是提供几个例子这说明大模型能够从Context中识别模式然后执行模式这就是In-Context Learning。后面学习Prompt Engineering时会大量使用这一能力。八、第二种重要涌现代码能力大模型早期只能生成简单代码随着模型规模和代码训练数据不断增加模型开始能够理解函数↓生成代码↓分析Bug↓修改代码↓理解项目结构↓完成复杂开发任务于是语言模型逐渐变成Code Assistant甚至进一步Coding Agent九、为什么大模型能够学会编程因为代码本身就是一种高度结构化的语言。例如def login(username, password): ...模型不仅需要知道login是什么意思还需要理解函数结构参数关系控制流程数据结构调用关系当模型规模足够大以后这些结构能够被统一表示。于是自然语言 代码 逻辑可以在同一个模型中建立关联。这也是大模型成为AI编程助手的重要原因。十、第三种重要能力数学推理数学是观察模型能力变化的另一个重要领域。例如2 3 ?非常简单。但小明有5个苹果。 第一天吃掉2个。 第二天又买了原来的两倍。 现在有多少个就需要理解问题 提取信息 建立关系 计算复杂数学问题进一步需要分步骤推导于是模型开始出现Reasoning能力。十一、为什么推理能力会随着模型规模提升可以简单理解为小模型 ↓ 模式匹配而更强模型模式匹配 关系理解 步骤分解 中间结果组合例如问题 ↓ 步骤1 ↓ 步骤2 ↓ 步骤3 ↓ 答案模型越强能够处理的推理深度通常越高。这也为后面的Reasoning Model奠定了基础。十二、第四种能力Planning规划这是Agent开发工程师最需要关注的一种涌现能力。传统聊天模型用户 帮我订一个旅行计划可能只会给出一段文字建议更强模型开始能够分析需求 ↓ 拆解任务 ↓ 制定计划 ↓ 调用工具 ↓ 检查结果 ↓ 调整计划这已经非常接近Agent。十三、从模型能力到Agent能力我们可以把整个过程串起来模型规模提升 ↓ 语言理解增强 ↓ 知识关联增强 ↓ 代码能力增强 ↓ 推理能力增强 ↓ 规划能力增强 ↓ Tool Calling ↓ Workflow ↓ Agent所以Agent并不是突然出现的一种独立技术。它实际上建立在大模型能力不断增强的基础之上。十四、涌现能力与Tool Calling再看一个Agent非常典型的场景。用户帮我查询北京明天的天气 如果下雨提醒我带伞。模型需要理解需求然后调用天气Tool得到降雨概率80%然后分析结果最后提醒用户带伞这里实际上需要理解 规划 工具调用 结果分析这些能力组合起来以后才形成真正的Agent行为。十五、涌现能力是否真的“突然出现”这里需要进行一个非常重要的科学解释。早期论文和很多媒体经常描述模型规模 ↓ 突然 ↓ 新能力出现但是后来的研究发现有些所谓的“涌现能力”可能与评价指标有关。例如一个模型准确率 40%另一个60%如果评价指标要求准确率 50%那么第一个模型不会第二个模型会看起来像突然涌现实际上能力可能一直在连续提升只是当模型跨过某个任务阈值以后我们才开始明显观察到它。因此现代研究对“涌现”的理解越来越谨慎。十六、涌现能力可以分成两种可以简单理解为第一类连续增强例如语言理解 代码生成 知识问答通常表现为能力逐步提升第二类阈值型表现例如复杂推理 规划 多步骤任务可能在某个规模之后成功率快速提升于是用户会产生“它突然学会了。”这种现象就是我们通常所说的Emergent Ability。十七、为什么这对Agent开发工程师非常重要因为不是所有Agent问题都应该靠Prompt解决。例如Agent无法完成复杂数学推理你可能不断修改Prompt但效果仍然不好。原因可能是模型能力不足而不是Prompt不好因此Agent开发工程师需要判断这是Prompt问题还是模型能力问题还是RAG问题还是Tool问题还是Workflow问题这是非常重要的工程能力。十八、模型越大是不是一定越好当然不是。例如一个企业客服Agent简单FAQ可能7B RAG就已经足够。没有必要70B甚至Reasoning Model因为成本↑ 延迟↑ 资源↑但能力提升可能非常有限。因此真正的工程原则应该是选择能够满足业务目标的最小模型。而不是永远选择最大的模型。十九、Scaling Law → Emergence → Agent到这里。我们可以把第2章的知识串起来。第一阶段模型规模更多参数 更多数据 更多算力↓Scaling Law第二阶段基础能力提升语言理解 知识表示 代码能力 数学能力↓能力增强第三阶段复杂能力出现推理 规划 任务分解 工具使用↓Emergent Ability第四阶段AgentLLM Memory RAG Tools Workflow ↓ Agent这就是现代AI应用的发展路径。二十、为什么大模型最终会走向Agent如果模型只会回答问题它只是Chat Model如果模型能够理解任务↓制定计划↓调用工具↓观察结果↓调整策略↓完成任务它就开始具备Agent的核心特征。所以Agent并不是简单给大模型加几个Tool。真正的Agent建立在模型已经具备理解 推理 规划 决策等能力的基础之上。二十一、从GPT到Agent的完整技术演进我们现在可以把第2章全部串起来GPT ↓ Transformer ↓ Attention ↓ Token ↓ Embedding ↓ Position Encoding ↓ Scaling Law ↓ Emergent Ability ↓ Reasoning ↓ Agent这条路线非常重要。因为Agent不是凭空出现的。它是过去十多年大模型技术不断积累的结果。二十二、给Agent开发工程师的一个重要启示当你开发Agent时。遇到问题不要第一时间修改Prompt应该先定位模型能力 ↓ Prompt ↓ Context ↓ RAG ↓ Tool ↓ Workflow ↓ Memory例如模型无法理解复杂任务优先考虑模型能力模型理解了但知识错误检查RAG模型知道答案但不会执行检查Tool Calling模型每一步都正确但整体流程混乱检查Workflow模型前几轮正确后面开始忘记检查Context / Memory这就是从“调Prompt”升级到“系统诊断”。面试题问题1什么是大模型的涌现能力参考答案涌现能力是指随着模型规模、训练数据和计算量提升一些复杂能力的任务成功率出现明显跃迁例如复杂推理、代码生成、规划和工具使用等。需要注意所谓“突然出现”有时也与评价指标和任务阈值有关并不一定意味着能力在模型内部凭空产生。问题2为什么大模型会产生涌现能力参考答案随着参数规模和训练数据增加模型能够学习更加复杂的语言、知识、逻辑和任务模式。当这些能力达到一定程度并能够组合起来时就可能表现出复杂的新能力。问题3什么是 In-Context Learning参考答案In-Context Learning 是模型通过当前输入中的上下文、任务描述和示例来理解任务并完成任务而不需要重新训练或修改模型参数。问题4Few-Shot为什么有效参考答案因为大模型具有较强的In-Context Learning能力。通过提供少量输入输出示例可以帮助模型识别任务模式、输出格式和解决方法从而提升任务完成效果。问题5涌现能力与Agent有什么关系参考答案Agent需要模型具备较强的任务理解、推理、规划、决策和工具调用能力。随着大模型能力增强这些复杂能力逐渐具备使LLM能够从单纯聊天进一步发展为能够执行任务的Agent。问题6为什么Agent出现问题不能只修改Prompt参考答案因为Agent是一个完整系统。问题可能来自模型能力、Prompt、Context、RAG、Tool Calling、Workflow或者Memory。工程师需要定位问题所在的层而不是把所有问题都归结为Prompt问题。问题7模型越大是不是一定越适合企业Agent参考答案不是。企业应该根据业务复杂度、准确率要求、延迟、成本、部署资源等因素选择模型。简单客服可能使用小模型加RAG即可而复杂规划和推理任务可能需要更强的大模型或Reasoning Model。本章小结本节我们学习了✅ 什么是Emergent Ability涌现能力✅ 为什么模型规模提升会带来复杂能力✅ In-Context Learning是什么✅ Few-Shot为什么能够有效✅ 大模型为什么能够学会编程✅ 大模型为什么会出现推理和规划能力✅ 涌现能力与Agent之间的关系✅ 为什么“涌现”并不一定意味着能力凭空出现✅ 为什么Agent问题不能全部归结为Prompt问题最终我们可以把整个第2章浓缩成一条技术路线Transformer ↓ Attention ↓ Token ↓ Embedding ↓ Position Encoding ↓ Scaling Law ↓ Emergent Ability ↓ Reasoning ↓ Agent而这一条路线背后真正发生的事情是模型规模扩大 ↓ 学习能力增强 ↓ 复杂模式开始形成 ↓ 能力出现跃迁 ↓ 推理与规划能力增强 ↓ 从“生成文本” 走向 “完成任务”所以大模型真正革命性的地方并不是它能够生成更多文字而是当模型能力达到一定规模以后它开始能够理解任务、组合知识、进行推理、制定计划并最终成为Agent的“大脑”。至此第2章《大模型基础原理》全部核心知识学习完毕。下一章将正式从模型原理进入模型能力认知我们将开始回答Agent开发工程师最实际的几个问题Context到底是什么 为什么GPT会遗忘 为什么大模型会产生幻觉 普通Chat Model和Reasoning Model有什么区别 多模态模型到底是怎么理解图片、声音和视频的下一篇《第3章 第1节什么是Context Window——为什么AI能记住这么多内容》