决定要不要买一台 Mac 跑本地 AI 时最常听到的选型建议都围绕 CPU 展开这颗芯片几核、单核多少分、多核跑分排第几。但在本地大模型推理这个场景里CPU 跑分并不是决定体验的核心指标。真正卡住体验上限的是统一内存。同一个 7B 模型在 8GB 内存的入门 Mac 上可能生成几句话就开始换页、速度断崖式下跌在 16GB 统一内存的 M 系列 Mac 上却能稳定地以每秒十几到几十个 token 的速度输出。这篇文章要解决的是选型问题为什么统一内存是本地 AI 的第一指标、四档配置口诀怎么用、每个档位能跑哪些模型、内存该按什么公式估算以及买回来之后怎样搭建环境、验证速度和排查常见问题。1. 为什么本地 AI 选型要先看统一内存而不是 CPU 跑分1.1 本地大模型推理的瓶颈显存变内存带宽变速度大语言模型的生成是自回归过程。假设一个 7B 参数、Q4 量化后约 4.7GB 的模型每生成一个 token硬件都需要把这份权重重新读取一遍再参与计算。换句话说本地推理的速度不是由 CPU 单核能算多快决定的而是由“每秒能从内存里搬出多少数据”决定的这个指标就是内存带宽。可以做一个粗略估算理论最高速度token/s ≈ 内存带宽GB/s/ 模型权重体积GB例如带宽为 200GB/s 的芯片跑 4.7GB 的模型理论极限大约是200 / 4.7 ≈ 42 token/s而如果带宽只有 68GB/s同样模型的理论极限就降到68 / 4.7 ≈ 14 token/s实际推理还要扣除计算开销、KV Cache 读写、采样等成本通常只能达到理论值的 50% 到 70%。因此同一模型在 Mac 上的速度差异主要来自芯片的内存带宽档位而不是 CPU 核心数或 Geekbench 跑分。这也是为什么“CPU 跑分很高、模型却跑不快”的现象在 Mac 上非常常见。1.2 统一内存和独立显存的本质区别传统 Windows 台式机或者游戏本上CPU 使用系统内存GPU 使用独立显存二者通过 PCIe 总线通信。模型要放到 GPU 里跑就得先从系统内存复制到显存。如果显存容量不够模型根本放不进去退回到 CPU 推理时速度往往非常慢。Apple Silicon 采用了统一内存架构Unified Memory ArchitectureUMA。CPU、GPU 和神经引擎共享同一块物理内存模型权重加载一次CPU 和 GPU 都能直接访问不需要跨总线复制。对用户来说统一内存既是系统内存也是 GPU 可用的“显存”。购买时选择的内存容量直接决定你能装下多大的模型。这里要特别提醒Mac 的内存是出厂焊死的没有后续升级选项。选 8GB 就是一辈子 8GB选 16GB 就是一辈子 16GB。所以买之前要把未来两三年可能跑的模型一起算进去不能只看眼下够不够。1.3 CPU 跑分在本地 AI 场景里为什么失真CPU 跑分测的是单核和多核计算能力评测的负载包括整数运算、浮点运算、压缩解压、视频编解码等。而本地大模型推理主要由 GPUMetal和神经引擎承担CPU 只参与预处理、采样、上下文管理等周边环节。对一个内存带宽受限的任务来说核心再多、频率再高也弥补不了带宽不足。选 Mac 跑本地 AI 时正确的判断顺序应该是先确定内存容量保证模型能放进去。再比较内存带宽决定生成速度。最后看 CPU/GPU 核心数这只对编译、视频导出等任务有主要影响。预算有限时宁可少几个 CPU 核心也要保住内存容量。这个判断顺序是全文所有配置建议的基础。2. 四档配置口诀8G 聊天、16G 助手、36G 工程、64G 大模2.1 口诀怎么理解针对 Mac 跑本地 AI 的常见需求可以按统一内存分成四档8G 聊天16G 助手36G 工程64G 大模8G 档跑 0.5B 到 3B 级别的量化模型做聊天、改写、抽取等轻任务。16G 档跑 7B 到 8B 级别的量化模型做日常助手、代码解释、文档摘要。36G 档跑 14B 到 32B 级别的量化模型做长上下文、Agent 工作流、本地代码补全。64G 档跑 70B 级别量化模型做本地大模型工作站、多模型并存和微调实验。需要注意36G 和 64G 是“容量带”不是每个机型都有精确等于这个数字的配置项。例如 M 系列 Pro 档常见 18GB、36GB、48GB 等选项Max 档有 48GB、64GB、96GB、128GB基础芯片有 8GB、16GB、24GB、32GB 等选项。口诀的价值是帮你快速锁定“该往哪个容量区间去选”而不是死记某个固定数值。2.2 第 1 档8GB 统一内存先跑通再谈生产力8GB 是目前入门级 MacBook Air、Mac mini 的起步配置。这个容量能跑什么Qwen2.5-0.5B / 1.5B / 3B 量化版Llama 3.2 1B / 3BPhi-3-mini 这类约 3.8B 参数的量化模型适合的任务是体验 Ollama 的完整流程、写一个关键词抽取小工具、做文本润色、跑通接口调用。这个档位的定位是“学习体验”不是“生产力工具”。限制也很明显上下文不能开太长因为 KV Cache 会额外占内存系统里如果开着浏览器、IDE、微信内存压力会迅速升高最终触发 swap 换页。8GB 机器不要试图稳定跑 7B 模型即使模型量化后只有 4.7GB加上 KV Cache 和系统开销后剩余空间非常紧张。如果预算只允许买 8GB建议优先考虑 3B 以下模型把推理体验保持在“能用”的范围内。2.3 第 2 档16GB 统一内存主流小模型的实用区间16GB 是本地 AI 的甜点档。一个 7B 模型的 Q4 量化版大约占 4GB 到 5GB加上 KV Cache、系统内存和几个常用应用16GB 能留出足够余量。这一档能稳定跑的模型包括Qwen2.5-7B、Qwen2.5-Coder-7BQ4 量化后约 4.7GBLlama 3.1 8BQ4 量化后约 4.9GBGLM-4-9B-chat 的量化版本约 5GB 到 6GB使用场景是日常问答、代码片段解释、中等长度文档摘要、本地 RAG 试验。上下文控制在 8K 到 16K 比较舒适32K 开始会明显吃内存。速度方面常见 M 系列基础芯片内存带宽约 100GB/s跑 7B Q4 模型大概在每秒 15 到 25 个 token如果换成带宽更高的 Pro 档芯片可以到每秒 30 个 token 上下。实际数字受系统负载和具体量化格式影响不必追求精确值关键是“连续输出不卡顿、不触发明显换页”。2.4 第 3 档24GB 到 36GB 统一内存Agent 和长上下文的起点这一档适合已经不只是“聊天”的人。24GB 到 36GB 能跑Qwen2.5-14B Q4约 9GBQwen2.5-32B Q4约 19GBQwen2.5-Coder-14B / 32B32K 到 64K 的长上下文任务AI 写小说、长文本连续创作这类依赖上下文的场景这也是“AI 代理助手加本地模型”组合的实用起点。上层 Agent 负责工具调用、流程编排本地模型负责推理模型越大工具调用的准确性和多步规划能力通常越好。32B Q4 在 150GB/s 到 200GB/s 带宽的芯片上大致能跑到每秒 15 到 30 个 token如果只跑 14B Q4速度会明显更快。这个档位还有一个隐藏收益模型体积大排队和并发能力也更强。多个进程同时调用同一个模型时显存充足的情况下可以把请求合并批量推理这在独立显存较小的机器上是做不到的。2.5 第 4 档48GB 以上本地大模型工作站48GB 以上的统一内存目标已经变成“本地大模型工作站”Llama 3.3 70B Q4约 40GBQwen 系列 72B Q4约 40GB 以上同时加载多个 7B/14B 模型做对比测试用 MLX 做 LoRA 微调实验本地 RAG 索引和模型共存不用频繁卸载需要这一档的人通常是 AI 应用开发者、对数据隐私有要求的企业内部工具维护者或者需要大量处理本地文档的团队。价格明显更高购买前要确认自己的工作量确实需要这么大的内存而不是“为了跑分而上高配”。2.6 四档配置速查表档位统一内存适用模型举例典型场景参考带宽档位第 1 档8GBQwen2.5-3B Q4、Llama 3.2 3B学习体验、轻量文本处理基础芯片即可约 68GB/s 到 100GB/s第 2 档16GBQwen2.5-7B Q4、Llama 3.1 8B日常助手、代码解释、文档摘要100GB/s 到 200GB/s第 3 档24GB 到 36GBQwen2.5-14B / 32B Q4Agent、长上下文、代码补全150GB/s 到 400GB/s第 4 档48GB 以上70B Q4、多模型并存本地模型工作站、LoRA 实验400GB/s 级别补充一个反例如果目标是跑本地 AI 视频生成工具不能直接用这套口诀硬套。视频生成模型的参数量和计算量远大于文本模型内存需求往往以几十 GB 起步而且长时间高负载对散热和功耗要求很高。选型前先查该模型在 Mac 上的实测记录再决定配置而不是只看统一内存容量。3. 内存怎么算模型权重、量化精度和 KV Cache3.1 权重占用参数大小与量化精度的关系模型在内存里的占用最粗略的估算公式是模型内存 ≈ 参数量 × 每参数位数 / 8以 7B 模型为例FP16每参数 16 位2 字节约 14GBQ8每参数约 8 位1 字节约 7GBQ4每参数约 4 位0.5 字节约 3.5GB 到 4.7GBGGUF 量化格式里有 Q2_K、Q3_K_M、Q4_K_M、Q5_K_M、Q6_K、Q8_0 等标签。其中 Q4_K_M 是体积和效果比较平衡的点多数 7B 到 32B 模型建议先跑 Q4_K_M确认效果后再按需升到 Q5 或 Q8。不要一上来就下载 FP16 版本模型体积翻几倍速度也成倍下降。3.2 KV Cache上下文长度是隐藏的内存开销自回归生成时模型需要缓存历史 token 的 Key 和 Value这个缓存叫 KV Cache。它的大小与层数、KV 头数、上下文长度成正比。现代模型很多使用 GQAGrouped Query Attention架构显著减少了 KV Cache 占用但上下文长度仍然是不可忽略的变量。以 Qwen2.5-7B 为例把上下文从 8K 拉到 32KKV Cache 会额外占用 1GB 到 2GB 量级的内存具体数值与量化精度和推理实现有关。这也是为什么“模型只有 4.7GB但 8GB 机器跑长上下文会爆”的原因。购买和选型时可以用这个经验公式做内存估算所需内存 ≈ 模型权重 KV Cache 系统/应用开销系统开销至少要留 4GB 到 6GB。跑 7B Q4 且上下文 8K 时16GB 是比较稳妥的起步跑 32B Q4 且上下文 32K 时36GB 会更从容。3.3 常见模型参考体积与推荐内存常见模型在 Q4 量化下的参考体积如下。不同量化标签和版本会有差异落地前以实际下载为准。模型参数规模Q4 量化参考体积推荐内存档位Qwen2.5-1.5B1.5B约 1GB8GBQwen2.5-3B3B约 1.9GB8GB 到 16 Mac本地AI选型：统一内存比CPU跑分更重要
决定要不要买一台 Mac 跑本地 AI 时最常听到的选型建议都围绕 CPU 展开这颗芯片几核、单核多少分、多核跑分排第几。但在本地大模型推理这个场景里CPU 跑分并不是决定体验的核心指标。真正卡住体验上限的是统一内存。同一个 7B 模型在 8GB 内存的入门 Mac 上可能生成几句话就开始换页、速度断崖式下跌在 16GB 统一内存的 M 系列 Mac 上却能稳定地以每秒十几到几十个 token 的速度输出。这篇文章要解决的是选型问题为什么统一内存是本地 AI 的第一指标、四档配置口诀怎么用、每个档位能跑哪些模型、内存该按什么公式估算以及买回来之后怎样搭建环境、验证速度和排查常见问题。1. 为什么本地 AI 选型要先看统一内存而不是 CPU 跑分1.1 本地大模型推理的瓶颈显存变内存带宽变速度大语言模型的生成是自回归过程。假设一个 7B 参数、Q4 量化后约 4.7GB 的模型每生成一个 token硬件都需要把这份权重重新读取一遍再参与计算。换句话说本地推理的速度不是由 CPU 单核能算多快决定的而是由“每秒能从内存里搬出多少数据”决定的这个指标就是内存带宽。可以做一个粗略估算理论最高速度token/s ≈ 内存带宽GB/s/ 模型权重体积GB例如带宽为 200GB/s 的芯片跑 4.7GB 的模型理论极限大约是200 / 4.7 ≈ 42 token/s而如果带宽只有 68GB/s同样模型的理论极限就降到68 / 4.7 ≈ 14 token/s实际推理还要扣除计算开销、KV Cache 读写、采样等成本通常只能达到理论值的 50% 到 70%。因此同一模型在 Mac 上的速度差异主要来自芯片的内存带宽档位而不是 CPU 核心数或 Geekbench 跑分。这也是为什么“CPU 跑分很高、模型却跑不快”的现象在 Mac 上非常常见。1.2 统一内存和独立显存的本质区别传统 Windows 台式机或者游戏本上CPU 使用系统内存GPU 使用独立显存二者通过 PCIe 总线通信。模型要放到 GPU 里跑就得先从系统内存复制到显存。如果显存容量不够模型根本放不进去退回到 CPU 推理时速度往往非常慢。Apple Silicon 采用了统一内存架构Unified Memory ArchitectureUMA。CPU、GPU 和神经引擎共享同一块物理内存模型权重加载一次CPU 和 GPU 都能直接访问不需要跨总线复制。对用户来说统一内存既是系统内存也是 GPU 可用的“显存”。购买时选择的内存容量直接决定你能装下多大的模型。这里要特别提醒Mac 的内存是出厂焊死的没有后续升级选项。选 8GB 就是一辈子 8GB选 16GB 就是一辈子 16GB。所以买之前要把未来两三年可能跑的模型一起算进去不能只看眼下够不够。1.3 CPU 跑分在本地 AI 场景里为什么失真CPU 跑分测的是单核和多核计算能力评测的负载包括整数运算、浮点运算、压缩解压、视频编解码等。而本地大模型推理主要由 GPUMetal和神经引擎承担CPU 只参与预处理、采样、上下文管理等周边环节。对一个内存带宽受限的任务来说核心再多、频率再高也弥补不了带宽不足。选 Mac 跑本地 AI 时正确的判断顺序应该是先确定内存容量保证模型能放进去。再比较内存带宽决定生成速度。最后看 CPU/GPU 核心数这只对编译、视频导出等任务有主要影响。预算有限时宁可少几个 CPU 核心也要保住内存容量。这个判断顺序是全文所有配置建议的基础。2. 四档配置口诀8G 聊天、16G 助手、36G 工程、64G 大模2.1 口诀怎么理解针对 Mac 跑本地 AI 的常见需求可以按统一内存分成四档8G 聊天16G 助手36G 工程64G 大模8G 档跑 0.5B 到 3B 级别的量化模型做聊天、改写、抽取等轻任务。16G 档跑 7B 到 8B 级别的量化模型做日常助手、代码解释、文档摘要。36G 档跑 14B 到 32B 级别的量化模型做长上下文、Agent 工作流、本地代码补全。64G 档跑 70B 级别量化模型做本地大模型工作站、多模型并存和微调实验。需要注意36G 和 64G 是“容量带”不是每个机型都有精确等于这个数字的配置项。例如 M 系列 Pro 档常见 18GB、36GB、48GB 等选项Max 档有 48GB、64GB、96GB、128GB基础芯片有 8GB、16GB、24GB、32GB 等选项。口诀的价值是帮你快速锁定“该往哪个容量区间去选”而不是死记某个固定数值。2.2 第 1 档8GB 统一内存先跑通再谈生产力8GB 是目前入门级 MacBook Air、Mac mini 的起步配置。这个容量能跑什么Qwen2.5-0.5B / 1.5B / 3B 量化版Llama 3.2 1B / 3BPhi-3-mini 这类约 3.8B 参数的量化模型适合的任务是体验 Ollama 的完整流程、写一个关键词抽取小工具、做文本润色、跑通接口调用。这个档位的定位是“学习体验”不是“生产力工具”。限制也很明显上下文不能开太长因为 KV Cache 会额外占内存系统里如果开着浏览器、IDE、微信内存压力会迅速升高最终触发 swap 换页。8GB 机器不要试图稳定跑 7B 模型即使模型量化后只有 4.7GB加上 KV Cache 和系统开销后剩余空间非常紧张。如果预算只允许买 8GB建议优先考虑 3B 以下模型把推理体验保持在“能用”的范围内。2.3 第 2 档16GB 统一内存主流小模型的实用区间16GB 是本地 AI 的甜点档。一个 7B 模型的 Q4 量化版大约占 4GB 到 5GB加上 KV Cache、系统内存和几个常用应用16GB 能留出足够余量。这一档能稳定跑的模型包括Qwen2.5-7B、Qwen2.5-Coder-7BQ4 量化后约 4.7GBLlama 3.1 8BQ4 量化后约 4.9GBGLM-4-9B-chat 的量化版本约 5GB 到 6GB使用场景是日常问答、代码片段解释、中等长度文档摘要、本地 RAG 试验。上下文控制在 8K 到 16K 比较舒适32K 开始会明显吃内存。速度方面常见 M 系列基础芯片内存带宽约 100GB/s跑 7B Q4 模型大概在每秒 15 到 25 个 token如果换成带宽更高的 Pro 档芯片可以到每秒 30 个 token 上下。实际数字受系统负载和具体量化格式影响不必追求精确值关键是“连续输出不卡顿、不触发明显换页”。2.4 第 3 档24GB 到 36GB 统一内存Agent 和长上下文的起点这一档适合已经不只是“聊天”的人。24GB 到 36GB 能跑Qwen2.5-14B Q4约 9GBQwen2.5-32B Q4约 19GBQwen2.5-Coder-14B / 32B32K 到 64K 的长上下文任务AI 写小说、长文本连续创作这类依赖上下文的场景这也是“AI 代理助手加本地模型”组合的实用起点。上层 Agent 负责工具调用、流程编排本地模型负责推理模型越大工具调用的准确性和多步规划能力通常越好。32B Q4 在 150GB/s 到 200GB/s 带宽的芯片上大致能跑到每秒 15 到 30 个 token如果只跑 14B Q4速度会明显更快。这个档位还有一个隐藏收益模型体积大排队和并发能力也更强。多个进程同时调用同一个模型时显存充足的情况下可以把请求合并批量推理这在独立显存较小的机器上是做不到的。2.5 第 4 档48GB 以上本地大模型工作站48GB 以上的统一内存目标已经变成“本地大模型工作站”Llama 3.3 70B Q4约 40GBQwen 系列 72B Q4约 40GB 以上同时加载多个 7B/14B 模型做对比测试用 MLX 做 LoRA 微调实验本地 RAG 索引和模型共存不用频繁卸载需要这一档的人通常是 AI 应用开发者、对数据隐私有要求的企业内部工具维护者或者需要大量处理本地文档的团队。价格明显更高购买前要确认自己的工作量确实需要这么大的内存而不是“为了跑分而上高配”。2.6 四档配置速查表档位统一内存适用模型举例典型场景参考带宽档位第 1 档8GBQwen2.5-3B Q4、Llama 3.2 3B学习体验、轻量文本处理基础芯片即可约 68GB/s 到 100GB/s第 2 档16GBQwen2.5-7B Q4、Llama 3.1 8B日常助手、代码解释、文档摘要100GB/s 到 200GB/s第 3 档24GB 到 36GBQwen2.5-14B / 32B Q4Agent、长上下文、代码补全150GB/s 到 400GB/s第 4 档48GB 以上70B Q4、多模型并存本地模型工作站、LoRA 实验400GB/s 级别补充一个反例如果目标是跑本地 AI 视频生成工具不能直接用这套口诀硬套。视频生成模型的参数量和计算量远大于文本模型内存需求往往以几十 GB 起步而且长时间高负载对散热和功耗要求很高。选型前先查该模型在 Mac 上的实测记录再决定配置而不是只看统一内存容量。3. 内存怎么算模型权重、量化精度和 KV Cache3.1 权重占用参数大小与量化精度的关系模型在内存里的占用最粗略的估算公式是模型内存 ≈ 参数量 × 每参数位数 / 8以 7B 模型为例FP16每参数 16 位2 字节约 14GBQ8每参数约 8 位1 字节约 7GBQ4每参数约 4 位0.5 字节约 3.5GB 到 4.7GBGGUF 量化格式里有 Q2_K、Q3_K_M、Q4_K_M、Q5_K_M、Q6_K、Q8_0 等标签。其中 Q4_K_M 是体积和效果比较平衡的点多数 7B 到 32B 模型建议先跑 Q4_K_M确认效果后再按需升到 Q5 或 Q8。不要一上来就下载 FP16 版本模型体积翻几倍速度也成倍下降。3.2 KV Cache上下文长度是隐藏的内存开销自回归生成时模型需要缓存历史 token 的 Key 和 Value这个缓存叫 KV Cache。它的大小与层数、KV 头数、上下文长度成正比。现代模型很多使用 GQAGrouped Query Attention架构显著减少了 KV Cache 占用但上下文长度仍然是不可忽略的变量。以 Qwen2.5-7B 为例把上下文从 8K 拉到 32KKV Cache 会额外占用 1GB 到 2GB 量级的内存具体数值与量化精度和推理实现有关。这也是为什么“模型只有 4.7GB但 8GB 机器跑长上下文会爆”的原因。购买和选型时可以用这个经验公式做内存估算所需内存 ≈ 模型权重 KV Cache 系统/应用开销系统开销至少要留 4GB 到 6GB。跑 7B Q4 且上下文 8K 时16GB 是比较稳妥的起步跑 32B Q4 且上下文 32K 时36GB 会更从容。3.3 常见模型参考体积与推荐内存常见模型在 Q4 量化下的参考体积如下。不同量化标签和版本会有差异落地前以实际下载为准。模型参数规模Q4 量化参考体积推荐内存档位Qwen2.5-1.5B1.5B约 1GB8GBQwen2.5-3B3B约 1.9GB8GB 到 16