1. 为什么要在本地跑代码大模型先把结论摆在前面如果你日常写代码尤其是涉及公司内部项目、未公开的业务逻辑、或者单纯不想让每一行代码都经过别人的服务器那么把代码大模型放到本地跑是一件迟早要做的事。CodeLlama 是 Meta 开源的一系列面向代码场景的大模型覆盖 7B、13B、34B 等不同参数量级支持代码补全、代码对话、跨文件理解等能力。而 Ollama 则是一个把模型下载、量化、加载、推理服务打包成一条命令的工具它把原本需要折腾半天的环境配置压缩成了装好、拉模型、跑起来三步。这两个东西凑在一起最大的价值就是门槛低。你不需要买显卡服务器不需要懂 CUDA 编译不需要手动处理 GGUF 量化格式一台有 16GB 内存的普通笔记本就能把 7B 版本的 CodeLlama 跑起来。11 分钟落地这个说法并不夸张前提是你网络环境正常、磁盘空间够用、并且清楚每一步在干什么。这篇文章面向的是零基础但愿意动手的人。我会把整个流程拆成环境准备、模型拉取、服务验证、编辑器接入、进阶微调几个阶段每个阶段都解释清楚为什么这么做以及我实际踩过的坑。读完你至少能做到在自己电脑上跑起一个能对话、能补全代码的本地模型并且知道后面想微调该往哪个方向走。提示本文所有操作均在个人开发机上完成涉及的命令和配置均为通用实践不针对任何特定网络环境。2. Ollama 安装与国内下载提速的实操细节2.1 安装包获取与系统适配Ollama 官方提供了 macOS、Linux、Windows 三个平台的安装包。macOS 用户直接下载 dmg 拖进应用目录即可Linux 用户用一条 curl 脚本就能装好Windows 用户下载 exe 双击安装。听起来很简单但实际卡人的地方往往在下载环节——安装包本身不大几十到一百多兆但如果你直接从官方源拉速度可能只有几十 KB/s等得让人怀疑人生。我的做法是优先找国内镜像源。很多高校和企业都维护了 Ollama 的镜像搜索ollama 国内镜像源能找到一批可用的地址。以 Linux 为例把安装脚本里的下载地址替换成镜像地址速度能从几十 KB 提升到几 MB。Windows 用户如果官网下载慢也可以在一些开源镜像站找到对应的 exe 安装包。安装完成后验证是否成功ollama --version能输出版本号就说明装好了。如果提示命令找不到Linux 下检查/usr/local/bin是否在 PATH 里Windows 下检查安装时是否勾选了添加到 PATH。2.2 服务启动与端口确认Ollama 安装后默认会注册一个后台服务监听11434端口。你可以用下面的命令确认服务是否在跑curl http://localhost:11434如果返回Ollama is running说明服务正常。这一步很关键因为后面 VS Code 插件连接的就是这个端口。如果服务没起来Linux 下用systemctl status ollama查看状态Windows 下在服务管理器里找 Ollama 服务手动启动。注意有些安全软件会拦截本地端口监听如果服务明明启动了但 curl 不通先检查防火墙规则。2.3 模型存储路径的调整Ollama 默认把模型存在用户目录下比如 Linux 是/usr/share/ollama/.ollama/modelsWindows 是C:\Users\你的用户名\.ollama\models。CodeLlama 7B 的量化版本大概 4GB 左右13B 大概 8GB34B 则要 20GB 以上。如果你的系统盘空间紧张最好在拉模型之前就把存储路径改到大容量磁盘。Linux 下通过环境变量指定export OLLAMA_MODELS/data/ollama/modelsWindows 下在系统环境变量里新增OLLAMA_MODELS指向你想要的目录然后重启 Ollama 服务。这个操作要在拉模型之前做否则模型已经下到默认路径了再改路径还得手动迁移。3. CodeLlama 模型拉取选哪个版本、怎么下得快3.1 参数量与硬件匹配的取舍CodeLlama 有 7B、13B、34B 三个主要规格还有针对 Python 特化的 CodeLlama-Python 和针对指令跟随优化的 CodeLlama-Instruct。选哪个取决于你的内存和显存。模型规格量化后大小最低内存要求适用场景CodeLlama 7B约 4GB8GB日常补全、轻量对话CodeLlama 13B约 8GB16GB复杂逻辑、多文件理解CodeLlama 34B约 20GB32GB 以上接近商用体验需独显我的建议是先用 7B 跑通全流程再根据体验决定要不要升级。7B 在代码补全这种短上下文任务上表现已经够用响应速度也快。13B 在解释复杂函数、生成多步骤代码时明显更稳但内存占用翻倍。34B 除非你有 24GB 显存的显卡否则纯 CPU 推理会慢到影响使用心情。3.2 拉取命令与镜像加速确定版本后拉取命令很简单ollama pull codellama:7b或者指定 instruct 版本ollama pull codellama:7b-instruct但这里有个现实问题Ollama 默认从官方 registry 拉模型国内速度经常很慢甚至中途断连。解决办法是配置镜像源。Ollama 支持通过环境变量指定 registry 地址很多国内镜像站提供了 Ollama 模型的代理。具体做法是在启动 Ollama 服务前设置export OLLAMA_HOST0.0.0.0 export OLLAMA_REGISTRY你的镜像地址不同镜像站的配置方式略有差异有的需要改配置文件有的直接支持环境变量。搜索ollama 国内镜像源能找到当前可用的地址列表。配置好之后重新拉模型速度会有明显改善。提示如果拉取过程中断了直接重新执行 pull 命令即可Ollama 支持断点续传不会从头开始下。3.3 拉取完成后的验证模型拉完后用一条命令测试ollama run codellama:7b进入交互界面后输入一段代码让它解释比如请解释这段 Python 代码的作用 def fib(n): return n if n 2 else fib(n-1) fib(n-2)如果模型能给出合理的解释说明模型加载和推理都正常。这时候你可以按CtrlD退出交互因为后面我们要通过 API 或编辑器插件来调用不需要一直开着命令行。4. VS Code 接入本地模型的完整配置链路4.1 插件选型Continue 还是其他VS Code 本身不带 AI 对话能力需要装插件。目前主流的选择有 Continue、CodeGPT、以及一些支持自定义 API 的通用插件。我实测下来Continue 的配置最灵活对本地模型支持最好而且它同时支持对话和行内补全两种模式。在 VS Code 扩展市场搜索 Continue 安装即可。安装后左侧会出现 Continue 的图标点开是对话面板。但默认配置连的是云端服务我们要把它改成连本地 Ollama。4.2 配置文件的关键字段Continue 的配置文件在用户目录下的.continue/config.json。核心是models数组每一项定义一个模型来源。连本地 Ollama 的配置大概长这样{ models: [ { title: CodeLlama 7B Local, provider: ollama, model: codellama:7b, apiBase: http://localhost:11434 } ], tabAutocompleteModel: { title: CodeLlama Autocomplete, provider: ollama, model: codellama:7b, apiBase: http://localhost:11434 } }这里有几个容易出错的点。第一provider必须写ollama不能写openai然后改 base url虽然理论上兼容但 Continue 对 ollama 有专门适配走原生 provider 更稳。第二model字段要和ollama list里显示的模型名完全一致包括 tag比如codellama:7b不能简写成codellama。第三apiBase默认就是http://localhost:11434如果你改过 Ollama 端口这里要同步改。4.3 补全与对话的差异化配置Continue 允许把补全模型和对话模型分开配置。这是个很实用的设计因为补全要求低延迟对话可以接受稍慢但更聪明。我的配置是补全用 7B对话用 13B{ models: [ { title: CodeLlama 13B Chat, provider: ollama, model: codellama:13b-instruct, apiBase: http://localhost:11434 } ], tabAutocompleteModel: { title: CodeLlama 7B Autocomplete, provider: ollama, model: codellama:7b, apiBase: http://localhost:11434 } }这样写代码时补全响应快遇到复杂问题切到对话面板用大模型慢慢想。实测下来这个组合在 16GB 内存的机器上能稳定运行不会因为同时加载两个模型而爆内存——Ollama 会按需加载不用的模型会自动卸载。4.4 连接失败的排查顺序配置完发现连不上按这个顺序查curl http://localhost:11434确认 Ollama 服务在跑ollama list确认模型名拼写正确VS Code 里按CtrlShiftP打开命令面板运行Continue: Reload重载配置查看 Continue 面板底部的错误提示通常会写明是连接拒绝还是模型不存在我遇到最多的情况是模型名写错比如把codellama:7b-instruct写成了codellama:instruct-7b顺序一反就找不到。还有就是 Ollama 服务被系统休眠后没自动恢复手动重启一下就好。5. LoRA 微调让通用模型懂你的代码风格5.1 什么情况下需要微调CodeLlama 是通用代码模型它见过大量公开代码但没见过你们公司的内部框架、特定命名规范、或者某个小众 DSL。如果你发现模型总是生成不符合团队规范的代码或者对内部 API 一无所知那就到了微调的时候。LoRA 是一种低秩适配技术简单说就是不改动原模型参数只在旁边挂一小块可训练的参数。好处是训练成本低、显存占用小、产出的适配器文件只有几十到几百 MB可以随时加载和卸载。对于代码场景LoRA 微调通常能让模型快速学会特定框架的用法和团队的代码风格。5.2 数据准备的最小可行方案微调需要数据格式通常是指令-回答对。对于代码场景你可以从内部代码库提取函数和对应的注释、文档字符串构造成训练样本。最小可行方案是准备 500 到 1000 条高质量样本太少学不到东西太多训练时间长且容易过拟合。数据格式参考{ instruction: 用内部框架写一个用户查询接口, input: , output: def query_user(user_id):\n return UserRepo.find_by_id(user_id) }关键是output部分要严格符合你的代码规范因为模型就是照着这个学的。如果训练数据里风格不统一训出来的模型也会精神分裂。5.3 训练参数的核心配置LoRA 微调的核心参数就那么几个但每个都影响结果参数推荐值作用lora_rank8-16秩越大容量越强但容易过拟合lora_alpha16-32缩放因子通常设为 rank 的 2 倍learning_rate1e-4 到 3e-4太大不收敛太小训得慢num_epochs3-5代码任务通常 3 轮就够batch_size根据显存调整显存不够就减小配合梯度累积训练脚本的骨架大概是这样from peft import LoraConfig, get_peft_model from transformers import AutoModelForCausalLM, AutoTokenizer base_model codellama/CodeLlama-7b-hf train_data data/train.json val_data data/val.json output_dir output/lora-codellama lora_config LoraConfig( r16, lora_alpha32, target_modules[q_proj, v_proj], lora_dropout0.05, biasnone, task_typeCAUSAL_LM ) model AutoModelForCausalLM.from_pretrained(base_model, load_in_8bitTrue) model get_peft_model(model, lora_config)target_modules指定在哪些层挂 LoRA代码任务通常选注意力层的q_proj和v_proj就够了。load_in_8bitTrue能把显存占用压到原来的三分之一左右7B 模型在 8GB 显存的卡上就能训。5.4 训练完成后的加载与验证训练结束后output_dir里会有一个adapter_model.bin和配置文件。加载时先加载原模型再加载适配器from peft import PeftModel base AutoModelForCausalLM.from_pretrained(base_model, load_in_8bitTrue) model PeftModel.from_pretrained(base, output/lora-codellama)验证方式是拿几条训练时没见过的指令测试看输出是否符合预期。如果模型开始胡言乱语多半是学习率太大或者训练轮数太多导致过拟合回退到上一个 checkpoint 重新调参。注意LoRA 适配器要和原模型版本严格对应7B 的适配器不能加载到 13B 上否则会报维度不匹配。6. 实际使用中的性能调优与常见问题6.1 响应速度的优化手段本地模型最直观的体验问题就是慢。7B 模型在纯 CPU 上生成速度大概每秒 5 到 10 个 token一段 200 字的回答要等二三十秒。几个提速方向第一用量化版本。Ollama 默认拉的就是 4-bit 量化版比全精度快很多精度损失在代码任务上几乎感知不到。第二开 GPU 加速。如果你有 NVIDIA 显卡Ollama 会自动检测并调用 CUDA速度能提升 5 到 10 倍。第三控制上下文长度。上下文越长推理越慢在 Continue 配置里把contextLength设成 2048 或 4096不要无脑拉满。6.2 内存不足的典型表现内存不够时Ollama 会报out of memory或者进程直接被系统杀掉。表现是模型加载到一半卡住或者对话到一半突然断开。解决办法有两个换更小的模型或者减少并发。Ollama 默认允许同时加载多个模型如果你同时开了补全和对话两个模型内存占用是叠加的。可以在配置里设置OLLAMA_MAX_LOADED_MODELS1强制同一时间只加载一个。6.3 模型输出质量不稳定的应对有时候模型回答得很好有时候答非所问。这通常和提示词有关。代码任务建议在系统提示里明确角色和输出格式比如你是一个资深 Python 工程师回答时只给出代码和必要的注释不要解释。另外temperature参数影响随机性代码补全建议设 0.1 到 0.2对话可以设 0.7。在 Continue 配置里可以针对每个模型单独设temperature。6.4 与云端方案的取舍本地跑模型最大的优势是数据不出本机适合处理敏感代码。劣势是能力上限受硬件限制34B 本地模型在复杂推理上仍然打不过云端的大模型。我的实际做法是混合使用日常补全和简单问答走本地遇到需要深度推理的架构设计问题再切云端。Continue 支持配置多个模型在面板里一键切换这个工作流用起来很顺。7. 从跑通到用好我的几条经验跑通一个本地代码模型只要 11 分钟但用好它需要持续调优。我自己的体会是别指望它一次就完美。刚开始生成的代码可能需要你改两三处用了一两周、喂了一些项目上下文之后命中率会明显上升。另一个经验是把模型当成一个需要磨合的同事而不是一个即插即用的工具。它的能力边界在哪里、什么类型的问题它擅长、什么类型的问题它会胡编这些都需要你在实际使用中慢慢摸清楚。摸清之后你会知道什么时候该信它、什么时候该自己动手。最后说一个容易被忽略的点定期更新模型。CodeLlama 和 Ollama 都在持续迭代新版本在推理速度和代码能力上都有提升。每隔一两个月ollama pull一下最新版本成本很低收益却不小。至于 LoRA 微调建议先把通用模型用熟确实遇到瓶颈了再考虑否则容易在数据准备和调参上耗掉大量时间收益却不成正比。 本地部署CodeLlama代码大模型：Ollama安装、VS Code接入与LoRA微调实战
1. 为什么要在本地跑代码大模型先把结论摆在前面如果你日常写代码尤其是涉及公司内部项目、未公开的业务逻辑、或者单纯不想让每一行代码都经过别人的服务器那么把代码大模型放到本地跑是一件迟早要做的事。CodeLlama 是 Meta 开源的一系列面向代码场景的大模型覆盖 7B、13B、34B 等不同参数量级支持代码补全、代码对话、跨文件理解等能力。而 Ollama 则是一个把模型下载、量化、加载、推理服务打包成一条命令的工具它把原本需要折腾半天的环境配置压缩成了装好、拉模型、跑起来三步。这两个东西凑在一起最大的价值就是门槛低。你不需要买显卡服务器不需要懂 CUDA 编译不需要手动处理 GGUF 量化格式一台有 16GB 内存的普通笔记本就能把 7B 版本的 CodeLlama 跑起来。11 分钟落地这个说法并不夸张前提是你网络环境正常、磁盘空间够用、并且清楚每一步在干什么。这篇文章面向的是零基础但愿意动手的人。我会把整个流程拆成环境准备、模型拉取、服务验证、编辑器接入、进阶微调几个阶段每个阶段都解释清楚为什么这么做以及我实际踩过的坑。读完你至少能做到在自己电脑上跑起一个能对话、能补全代码的本地模型并且知道后面想微调该往哪个方向走。提示本文所有操作均在个人开发机上完成涉及的命令和配置均为通用实践不针对任何特定网络环境。2. Ollama 安装与国内下载提速的实操细节2.1 安装包获取与系统适配Ollama 官方提供了 macOS、Linux、Windows 三个平台的安装包。macOS 用户直接下载 dmg 拖进应用目录即可Linux 用户用一条 curl 脚本就能装好Windows 用户下载 exe 双击安装。听起来很简单但实际卡人的地方往往在下载环节——安装包本身不大几十到一百多兆但如果你直接从官方源拉速度可能只有几十 KB/s等得让人怀疑人生。我的做法是优先找国内镜像源。很多高校和企业都维护了 Ollama 的镜像搜索ollama 国内镜像源能找到一批可用的地址。以 Linux 为例把安装脚本里的下载地址替换成镜像地址速度能从几十 KB 提升到几 MB。Windows 用户如果官网下载慢也可以在一些开源镜像站找到对应的 exe 安装包。安装完成后验证是否成功ollama --version能输出版本号就说明装好了。如果提示命令找不到Linux 下检查/usr/local/bin是否在 PATH 里Windows 下检查安装时是否勾选了添加到 PATH。2.2 服务启动与端口确认Ollama 安装后默认会注册一个后台服务监听11434端口。你可以用下面的命令确认服务是否在跑curl http://localhost:11434如果返回Ollama is running说明服务正常。这一步很关键因为后面 VS Code 插件连接的就是这个端口。如果服务没起来Linux 下用systemctl status ollama查看状态Windows 下在服务管理器里找 Ollama 服务手动启动。注意有些安全软件会拦截本地端口监听如果服务明明启动了但 curl 不通先检查防火墙规则。2.3 模型存储路径的调整Ollama 默认把模型存在用户目录下比如 Linux 是/usr/share/ollama/.ollama/modelsWindows 是C:\Users\你的用户名\.ollama\models。CodeLlama 7B 的量化版本大概 4GB 左右13B 大概 8GB34B 则要 20GB 以上。如果你的系统盘空间紧张最好在拉模型之前就把存储路径改到大容量磁盘。Linux 下通过环境变量指定export OLLAMA_MODELS/data/ollama/modelsWindows 下在系统环境变量里新增OLLAMA_MODELS指向你想要的目录然后重启 Ollama 服务。这个操作要在拉模型之前做否则模型已经下到默认路径了再改路径还得手动迁移。3. CodeLlama 模型拉取选哪个版本、怎么下得快3.1 参数量与硬件匹配的取舍CodeLlama 有 7B、13B、34B 三个主要规格还有针对 Python 特化的 CodeLlama-Python 和针对指令跟随优化的 CodeLlama-Instruct。选哪个取决于你的内存和显存。模型规格量化后大小最低内存要求适用场景CodeLlama 7B约 4GB8GB日常补全、轻量对话CodeLlama 13B约 8GB16GB复杂逻辑、多文件理解CodeLlama 34B约 20GB32GB 以上接近商用体验需独显我的建议是先用 7B 跑通全流程再根据体验决定要不要升级。7B 在代码补全这种短上下文任务上表现已经够用响应速度也快。13B 在解释复杂函数、生成多步骤代码时明显更稳但内存占用翻倍。34B 除非你有 24GB 显存的显卡否则纯 CPU 推理会慢到影响使用心情。3.2 拉取命令与镜像加速确定版本后拉取命令很简单ollama pull codellama:7b或者指定 instruct 版本ollama pull codellama:7b-instruct但这里有个现实问题Ollama 默认从官方 registry 拉模型国内速度经常很慢甚至中途断连。解决办法是配置镜像源。Ollama 支持通过环境变量指定 registry 地址很多国内镜像站提供了 Ollama 模型的代理。具体做法是在启动 Ollama 服务前设置export OLLAMA_HOST0.0.0.0 export OLLAMA_REGISTRY你的镜像地址不同镜像站的配置方式略有差异有的需要改配置文件有的直接支持环境变量。搜索ollama 国内镜像源能找到当前可用的地址列表。配置好之后重新拉模型速度会有明显改善。提示如果拉取过程中断了直接重新执行 pull 命令即可Ollama 支持断点续传不会从头开始下。3.3 拉取完成后的验证模型拉完后用一条命令测试ollama run codellama:7b进入交互界面后输入一段代码让它解释比如请解释这段 Python 代码的作用 def fib(n): return n if n 2 else fib(n-1) fib(n-2)如果模型能给出合理的解释说明模型加载和推理都正常。这时候你可以按CtrlD退出交互因为后面我们要通过 API 或编辑器插件来调用不需要一直开着命令行。4. VS Code 接入本地模型的完整配置链路4.1 插件选型Continue 还是其他VS Code 本身不带 AI 对话能力需要装插件。目前主流的选择有 Continue、CodeGPT、以及一些支持自定义 API 的通用插件。我实测下来Continue 的配置最灵活对本地模型支持最好而且它同时支持对话和行内补全两种模式。在 VS Code 扩展市场搜索 Continue 安装即可。安装后左侧会出现 Continue 的图标点开是对话面板。但默认配置连的是云端服务我们要把它改成连本地 Ollama。4.2 配置文件的关键字段Continue 的配置文件在用户目录下的.continue/config.json。核心是models数组每一项定义一个模型来源。连本地 Ollama 的配置大概长这样{ models: [ { title: CodeLlama 7B Local, provider: ollama, model: codellama:7b, apiBase: http://localhost:11434 } ], tabAutocompleteModel: { title: CodeLlama Autocomplete, provider: ollama, model: codellama:7b, apiBase: http://localhost:11434 } }这里有几个容易出错的点。第一provider必须写ollama不能写openai然后改 base url虽然理论上兼容但 Continue 对 ollama 有专门适配走原生 provider 更稳。第二model字段要和ollama list里显示的模型名完全一致包括 tag比如codellama:7b不能简写成codellama。第三apiBase默认就是http://localhost:11434如果你改过 Ollama 端口这里要同步改。4.3 补全与对话的差异化配置Continue 允许把补全模型和对话模型分开配置。这是个很实用的设计因为补全要求低延迟对话可以接受稍慢但更聪明。我的配置是补全用 7B对话用 13B{ models: [ { title: CodeLlama 13B Chat, provider: ollama, model: codellama:13b-instruct, apiBase: http://localhost:11434 } ], tabAutocompleteModel: { title: CodeLlama 7B Autocomplete, provider: ollama, model: codellama:7b, apiBase: http://localhost:11434 } }这样写代码时补全响应快遇到复杂问题切到对话面板用大模型慢慢想。实测下来这个组合在 16GB 内存的机器上能稳定运行不会因为同时加载两个模型而爆内存——Ollama 会按需加载不用的模型会自动卸载。4.4 连接失败的排查顺序配置完发现连不上按这个顺序查curl http://localhost:11434确认 Ollama 服务在跑ollama list确认模型名拼写正确VS Code 里按CtrlShiftP打开命令面板运行Continue: Reload重载配置查看 Continue 面板底部的错误提示通常会写明是连接拒绝还是模型不存在我遇到最多的情况是模型名写错比如把codellama:7b-instruct写成了codellama:instruct-7b顺序一反就找不到。还有就是 Ollama 服务被系统休眠后没自动恢复手动重启一下就好。5. LoRA 微调让通用模型懂你的代码风格5.1 什么情况下需要微调CodeLlama 是通用代码模型它见过大量公开代码但没见过你们公司的内部框架、特定命名规范、或者某个小众 DSL。如果你发现模型总是生成不符合团队规范的代码或者对内部 API 一无所知那就到了微调的时候。LoRA 是一种低秩适配技术简单说就是不改动原模型参数只在旁边挂一小块可训练的参数。好处是训练成本低、显存占用小、产出的适配器文件只有几十到几百 MB可以随时加载和卸载。对于代码场景LoRA 微调通常能让模型快速学会特定框架的用法和团队的代码风格。5.2 数据准备的最小可行方案微调需要数据格式通常是指令-回答对。对于代码场景你可以从内部代码库提取函数和对应的注释、文档字符串构造成训练样本。最小可行方案是准备 500 到 1000 条高质量样本太少学不到东西太多训练时间长且容易过拟合。数据格式参考{ instruction: 用内部框架写一个用户查询接口, input: , output: def query_user(user_id):\n return UserRepo.find_by_id(user_id) }关键是output部分要严格符合你的代码规范因为模型就是照着这个学的。如果训练数据里风格不统一训出来的模型也会精神分裂。5.3 训练参数的核心配置LoRA 微调的核心参数就那么几个但每个都影响结果参数推荐值作用lora_rank8-16秩越大容量越强但容易过拟合lora_alpha16-32缩放因子通常设为 rank 的 2 倍learning_rate1e-4 到 3e-4太大不收敛太小训得慢num_epochs3-5代码任务通常 3 轮就够batch_size根据显存调整显存不够就减小配合梯度累积训练脚本的骨架大概是这样from peft import LoraConfig, get_peft_model from transformers import AutoModelForCausalLM, AutoTokenizer base_model codellama/CodeLlama-7b-hf train_data data/train.json val_data data/val.json output_dir output/lora-codellama lora_config LoraConfig( r16, lora_alpha32, target_modules[q_proj, v_proj], lora_dropout0.05, biasnone, task_typeCAUSAL_LM ) model AutoModelForCausalLM.from_pretrained(base_model, load_in_8bitTrue) model get_peft_model(model, lora_config)target_modules指定在哪些层挂 LoRA代码任务通常选注意力层的q_proj和v_proj就够了。load_in_8bitTrue能把显存占用压到原来的三分之一左右7B 模型在 8GB 显存的卡上就能训。5.4 训练完成后的加载与验证训练结束后output_dir里会有一个adapter_model.bin和配置文件。加载时先加载原模型再加载适配器from peft import PeftModel base AutoModelForCausalLM.from_pretrained(base_model, load_in_8bitTrue) model PeftModel.from_pretrained(base, output/lora-codellama)验证方式是拿几条训练时没见过的指令测试看输出是否符合预期。如果模型开始胡言乱语多半是学习率太大或者训练轮数太多导致过拟合回退到上一个 checkpoint 重新调参。注意LoRA 适配器要和原模型版本严格对应7B 的适配器不能加载到 13B 上否则会报维度不匹配。6. 实际使用中的性能调优与常见问题6.1 响应速度的优化手段本地模型最直观的体验问题就是慢。7B 模型在纯 CPU 上生成速度大概每秒 5 到 10 个 token一段 200 字的回答要等二三十秒。几个提速方向第一用量化版本。Ollama 默认拉的就是 4-bit 量化版比全精度快很多精度损失在代码任务上几乎感知不到。第二开 GPU 加速。如果你有 NVIDIA 显卡Ollama 会自动检测并调用 CUDA速度能提升 5 到 10 倍。第三控制上下文长度。上下文越长推理越慢在 Continue 配置里把contextLength设成 2048 或 4096不要无脑拉满。6.2 内存不足的典型表现内存不够时Ollama 会报out of memory或者进程直接被系统杀掉。表现是模型加载到一半卡住或者对话到一半突然断开。解决办法有两个换更小的模型或者减少并发。Ollama 默认允许同时加载多个模型如果你同时开了补全和对话两个模型内存占用是叠加的。可以在配置里设置OLLAMA_MAX_LOADED_MODELS1强制同一时间只加载一个。6.3 模型输出质量不稳定的应对有时候模型回答得很好有时候答非所问。这通常和提示词有关。代码任务建议在系统提示里明确角色和输出格式比如你是一个资深 Python 工程师回答时只给出代码和必要的注释不要解释。另外temperature参数影响随机性代码补全建议设 0.1 到 0.2对话可以设 0.7。在 Continue 配置里可以针对每个模型单独设temperature。6.4 与云端方案的取舍本地跑模型最大的优势是数据不出本机适合处理敏感代码。劣势是能力上限受硬件限制34B 本地模型在复杂推理上仍然打不过云端的大模型。我的实际做法是混合使用日常补全和简单问答走本地遇到需要深度推理的架构设计问题再切云端。Continue 支持配置多个模型在面板里一键切换这个工作流用起来很顺。7. 从跑通到用好我的几条经验跑通一个本地代码模型只要 11 分钟但用好它需要持续调优。我自己的体会是别指望它一次就完美。刚开始生成的代码可能需要你改两三处用了一两周、喂了一些项目上下文之后命中率会明显上升。另一个经验是把模型当成一个需要磨合的同事而不是一个即插即用的工具。它的能力边界在哪里、什么类型的问题它擅长、什么类型的问题它会胡编这些都需要你在实际使用中慢慢摸清楚。摸清之后你会知道什么时候该信它、什么时候该自己动手。最后说一个容易被忽略的点定期更新模型。CodeLlama 和 Ollama 都在持续迭代新版本在推理速度和代码能力上都有提升。每隔一两个月ollama pull一下最新版本成本很低收益却不小。至于 LoRA 微调建议先把通用模型用熟确实遇到瓶颈了再考虑否则容易在数据准备和调参上耗掉大量时间收益却不成正比。