1. 为什么要在Windows上搭一套AI编程环境先说结论在Windows上搭建一套完整的AI编程环境这件事听起来像是在跟整个开源圈的主流建议对着干——因为绝大多数AI开发工具的首选平台都是Linux。但我自己这几年一直把Windows当作主力系统白天在办公机上写业务代码晚上也用Windows跑本地大模型、做代码补全。如果你也想在同一台Windows机器上完成从环境准备到AI辅助编程的全流程这篇指南就是按我实际验证过的步骤整理出来的。这套环境装完之后你能得到什么打开VS Code写代码时按下TAB键就有本地大模型帮你补全终端里敲一段自然语言描述AI直接生成可运行的代码片段还能帮你解释报错信息Ollama里跑着7B到14B参数的开源模型即使临时断网也能继续用。适合的人群很明确不想把完整业务代码传到云端API的开发者、还在观望AI编程但被订阅费劝退的学生、以及单纯想把本地算力利用起来的折腾型选手。1.1 这篇指南能解决什么问题网上写Windows安装AI开发环境的教程不少但问题也很明显碎片化严重。有人只讲怎么装Python有人只讲怎么部署大模型很少有人把整条链路捋顺。更麻烦的是大多数AI工具文档默认你用的是Linux以致于你在Windows上照着命令敲经常会碰到路径符号不对、编译工具链缺失、权限模型不同等一堆问题。我的经验是在Windows上搭AI编程环境的核心难点不在工具本身而在“依赖关系”。你装好Python发现某个模型运行库需要Linux的glibc版本你装好Docker发现容器里跑的服务和Windows文件系统之间有性能损耗你配置好代码补全插件发现模型服务没监听对端口。所以这篇指南不打算只扔给你一串命令而是把每一层依赖为什么要装、装到哪里、和上下层怎么衔接全部交代清楚。1.2 这套环境由哪几部分构成整套环境拆开来看就是四层系统兼容层WSL2。让Linux原生的AI生态工具能直接在Windows里跑。模型运行层Ollama。负责下载、运行、管理本地大模型。编辑器接入层VS Code Continue插件。把模型能力接进最常用的代码编辑器。辅助运行环境Docker Desktop。用来跑网页聊天界面、向量数据库这类周边服务。后续所有操作都会围绕这四层展开。我建议你先扫一眼整体结构再一步一步跟着做这样即使中间出问题也容易判断是哪一层出了问题。2. 方案选型本地模型还是云端接口先说清楚一个概念AI编程环境里的“模型”不是只有一个来源。现在主流的用法分两种一种是调用云端大模型API一种是本地部署开源模型。这两种方式没有绝对的好坏只有适不适合你当前的场景。2.1 两种接入方式的对比对比维度本地部署云端API成本一次配置硬件后续免费按token计费用量大成本高数据隐私代码不出本机代码会发送到服务方网络依赖无依赖断网可用必须联网响应速度取决于本地显卡和CPU受网络延迟影响模型能力7B~14B参数量为主可用的模型规模更大配置门槛需要满足硬件要求只需注册账号和密钥从表里能看出来这两条路其实是互补的。本地部署胜在隐私、离线、可反复折腾云端API胜在模型更强、上手更快。我个人的选择是“本地为主云端兜底”——日常写业务代码用本地模型遇到复杂架构设计这类高难度任务再切到云端接口问一遍两者对比着看。2.2 我选定的技术栈与理由技术栈围绕“Windows能稳定跑起来”这个前提来选核心组合如下Windows 11 专业版版本号不必刻意追求最新但建议保持系统更新。WSL2 Ubuntu 22.04用来运行Linux原生工具链。Miniconda做Python环境隔离避免不同项目依赖打架。Ollama作为本地模型运行时一条命令就能完成模型的下载和启动。VS Code Continue编辑器AI插件支持补全和对话式编程。Docker Desktop采用WSL2后端整体更稳定。Open WebUI给本地模型加一个类网页版AI助手的界面。选这几个工具是因为它们之间衔接得足够顺滑。Ollama提供OpenAI兼容的接口Continue直接把这个接口当作模型提供商来配置Docker Desktop天然适配WSL2后端Miniconda创建的虚拟环境可以同时被VS Code和终端识别。这套组合几乎不需要写胶水代码。2.3 硬件门槛什么配置能跑如果你想流畅运行7B参数的模型我建议至少满足以下配置CPU4核以上8核体验会好不少。内存16GB起步32GB比较舒服。显卡8GB显存以上最好。没有独立显卡也能跑CPU推理只是慢一些。硬盘建议预留80GB左右空间模型文件和Docker镜像都挺占地方。另外系统盘最好选固态。以qwen2.5-coder:7b为例这个模型量化后的文件大约4.7GB加载时还需要几GB的上下文内存。如果你的电脑只有16GB内存跑7B模型会比较紧张建议选3B或4B的小尺寸模型。后面我在模型选择部分会给你一张对照表方便按硬件选。3. 基础环境准备Git、Miniconda、VS CodeAI编程环境真正动手装各种模型之前需要先把最底层的基础工具铺好。这些工具看起来不起眼但每一步都直接影响后面的使用体验。我按实际安装顺序来写你照着走就行。3.1 安装Git并配置基础信息Git是代码管理的基础工具几乎任何编程项目都离不开。在Windows上安装Git最简单的方式是用winget命令winget install --id Git.Git -e --source winget如果你不太习惯命令行也可以去Git官网下载安装包一路点下一步即可。需要注意一个关键配置安装过程中会询问默认编辑器建议选VS Code如果已经装了这样以后提交信息时可以直接用VS Code编辑。安装完成后打开新的终端窗口先确认版本再配置全局用户信息git --version git config --global user.name 你的名字 git config --global user.email 你的邮箱这两个配置必须做否则后面提交代码时会一直报错。另外建议顺手把默认分支名改成main跟当前主流习惯保持一致git config --global init.defaultBranch main3.2 用Miniconda管理Python环境AI开发需要装各种Python库而这些库对Python版本的要求往往互相冲突。Miniconda的作用就是创建彼此隔离的Python环境需要哪个版本就建哪个环境互不干扰。下载安装包时注意选Windows 64位版本安装路径建议保持默认但有一个勾选项需要特别注意是否把conda加入PATH。我的建议是首次安装时不勾选然后用“Anaconda Prompt”或终端手动初始化这样能少很多环境变量上的麻烦。安装完成后打开新的终端执行conda init重启终端你应该能看到命令行前面多了一个(base)前缀。接着创建一个专用的AI开发环境conda create -n ai python3.11 -y conda activate ai python --version我习惯一直用3.11这个版本的第三方库兼容性已经非常成熟。如果你有版本洁癖可以选3.10或3.12不过AI生态里有些库对3.11适配得最好稳妥起见还是跟着我走。3.3 安装VS Code并补齐插件VS Code可以说是当前对AI编程支持最好的编辑器之一扩展生态非常庞大。同样可以用winget安装winget install Microsoft.VisualStudioCode安装完成后在扩展商店里建议至少补上这几个Python提供语法高亮、调试、代码外观支持。PylancePython语言服务器代码提示更快更准。Remote - WSL让你可以直接把VS Code连接到WSL2环境里开发。Continue后面章节要重点讲的AI编程插件。Chinese Language Pack如果看英文界面费劲可以先装这个之后随时可以切换。装完插件后按Ctrl呼出内置终端确认终端能识别conda。如果识别不到可能是环境变量没刷新重新打开VS Code即可。4. Windows下的关键一步WSL2与Docker到了这一步你已经有了最基础的开发环境。但如果现在就急着装Ollama和大模型后面大概率会撞上一堆Linux相关的兼容问题。我建议先把WSL2和Docker准备好这一步能让整个AI编程环境稳定不少。4.1 为什么要装WSL2WSL2是Windows官方提供的Linux子系统简单理解就是Windows里跑了一个轻量级虚拟机这个虚拟机启动速度很快和Windows的文件系统也能互通。很多AI相关工具原生支持Linux比如某些模型推理库、特定的编译工具链它们依赖的C库版本在Windows原生环境里很难满足。与其强行去装各种兼容层不如直接提供一个Linux运行时环境。可能你会问我跑的是Python跨平台性很好为什么还要Linux环境问题在于AI生态里很多底层库比如某些涉及CUDA的加速组件、音频视频处理工具它们对操作系统的版本非常敏感。WSL2的出现让Windows开发者能用Linux的软件包管理器和运行时同时保留Windows的图形界面和日常办公工具。4.2 快速启用WSL2启用WSL2本身并不难麻烦的是很多人第一步就卡住。我的操作建议如下在“管理员身份”打开的PowerShell中执行wsl --install装完默认会安装Ubuntu发行版。然后重启电脑再次打开终端执行wsl --set-default-version 2 wsl --update最后安装Ubuntuwsl --install -d Ubuntu-22.04第一次进入Ubuntu会让你创建用户名和密码这个密码和Windows账户密码是两套建议别搞混。装好后在终端里输入wsl就能进入Linux环境输入exit就能退回Windows。4.3 Docker Desktop安装Docker在Windows上有两种运行模式一种是基于Hyper-V的一种是基于WSL2的。我强烈建议选择基于WSL2的模式性能更好资源占用也更低。下载Docker Desktop安装包安装过程中会询问用哪种后端勾选“Use WSL 2 instead of Hyper-V”。安装完成后启动Docker Desktop在Settings里确认WSL2集成选项。如果你已经装好了Ubuntu这里应该能看到它的名字勾选上就可以让Ubuntu里直接使用docker命令。验证是否正常docker version docker run hello-world如果hello-world正常打印信息说明Docker环境没问题。4.4 WSL2常见资源占用处理WSL2虽然方便但默认会占用不少内存。尤其是长时间跑Docker和模型推理时你会看到电脑内存被一个叫vmmem的进程占掉很大比例。此时不要慌可以在Windows用户目录下创建一个.wslconfig文件限制WSL2的资源用量[wsl2] memory6GB processors4 swap2GB这个配置的意思是给WSL2分配最大6GB内存、4个CPU核心、2GB的swap空间。实际数值可以根据你电脑总内存调整。改完配置后在PowerShell里执行wsl --shutdown重启WSL2才生效。5. 本地大模型部署Ollama全流程基础环境就绪接下来进入核心环节把大模型跑到本地。我选择Ollama作为模型运行时原因很简单它对Windows的支持足够好安装简单而且提供OpenAI兼容的API接口后面接VS Code插件很方便。5.1 安装Ollama去Ollama官网下载Windows安装包或者直接用命令winget install Ollama.Ollama安装完成后终端执行ollama --version如果显示版本号说明安装成功。默认情况下Ollama会以服务方式在后台运行监听在11434端口。你可以打开浏览器访问http://localhost:11434能看到Ollama is running的输出。有一点我踩过坑如果你之前自定义过系统代理相关的配置可能会导致本地端口访问异常。遇到这种情况先检查本地服务是否正常监听不要盲目调整网络设置。5.2 选择并下载合适的模型Ollama支持的模型都在它的模型库里我强烈建议从Code类模型入手。下面是几款在Windows本地环境验证过的模型选择表模型名称参数规模量化后体积推荐内存适用场景qwen2.5-coder:3b3B约2.0GB8GB轻量补全、解释代码qwen2.5-coder:7b7B约4.7GB16GB主流代码生成、对话deepseek-coder-v2:lite16B约8.9GB32GB长上下文代码理解llama3.1:8b8B约4.7GB16GB通用对话、代码混合场景下载模型的命令非常简单ollama pull qwen2.5-coder:7b这一步会消耗一定时间因为模型文件比较大。下载完成后你会看到进度条走满。之后可以查看本机已有模型ollama list要临时和模型对话测试一下直接运行ollama run qwen2.5-coder:7b输入“写一个Python快速排序”模型有回复就说明一切正常。5.3 调整模型上下文与量化参数Ollama默认的上下文长度是2048也就是模型一次最多看到2048个token大约一两千字。做代码生成时这个长度有点不够用尤其是面对较长的函数或文件时模型容易“忘掉”前面内容。我建议通过创建Modelfile来调整默认参数。新建一个文本文件命名为Modelfile内容如下FROM qwen2.5-coder:7b PARAMETER temperature 0.7 PARAMETER num_ctx 8192 PARAMETER top_p 0.9其中temperature控制回答的随机性0.7是比较平衡的创作值num_ctx是指上下文窗口这里设为8192top_p是采样参数0.9能让输出稳定性和多样性之间取得平衡。创建完成后执行ollama create my-coder -f ./Modelfile这样就会生成一个名为my-coder的自定义模型。之后运行它就用ollama run my-coder。关于参数量我多说一句你不需要一味追求大模型。在8GB内存的机器上跑3B模型都能有不错的体验硬上7B反而会让系统卡顿得不偿失。5.4 为模型加一个网页聊天界面Ollama本身只提供命令行接口使用起来不够直观。我建议用Open WebUI给本地模型加一个网页界面效果类似网页版AI聊天工具但所有数据和请求都留在这台机器上。Open WebUI推荐用Docker来跑docker run -d -p 3000:8080 --add-hosthost.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main启动完成后浏览器访问http://localhost:3000注册一个本地的管理员账号在设置里把Ollama的地址填成http://host.docker.internal:11434就能在网页上看到你刚才下载的模型。问它几个问题测试一下体验很接近在线聊天产品。6. 把AI接进编辑器Continue与Codex部署好模型只是第一步对开发者来说真正提升效率的场景是“编辑器里就能用AI”。这一章我把两个主流接入方式都讲清楚一个是界面化的Continue插件一个是命令行风格的Codex CLI。6.1 安装Continue插件并配置Ollama在VS Code扩展商店搜索Continue并安装。装完后它需要配置文件来告诉它“你要调用哪个模型、模型地址在哪”。打开命令面板CtrlShiftP输入Continue: Open Config会打开一个配置文件。推荐用JSON格式配置下面是我验证过可直接用的配置{ models: [ { title: Qwen2.5 Coder, provider: ollama, model: my-coder } ], tabAutocompleteModel: { title: Qwen2.5 Coder, provider: ollama, model: my-coder }, embeddingsProvider: { provider: ollama, model: nomic-embed-text } }这里需要注意几点provider要写ollamaContinue内部有现成的Ollama适配器。model名称最好是你自定义过的my-coder如果你没有创建自定义模型也可以直接填qwen2.5-coder:7b。embeddingsProvider是可选项作用是开启“针对当前代码库提问”的检索功能。需要先执行ollama pull nomic-embed-text把这个向量模型下载下来。配置完成后重启VS Code打开任意代码文件点击Continue侧边栏选中Qwen2.5 Coder就可以开始对话了。选中一段代码按CtrlL它就会把这段代码作为上下文带入提问框。6.2 配置云端API作为备选本地模型的能力毕竟是有限的在架构设计、跨国团队协作这类场景里我还是习惯切到云端API。Continue同样支持云端接口只需要在配置文件里多添加一个模型条目{ models: [ { title: Qwen2.5 Coder, provider: ollama, model: my-coder }, { title: Cloud API, provider: openai, model: gpt-4o-mini, apiKey: sk-你的密钥 } ] }在实践上有两个细节不要把API密钥直接硬编码提交到Git仓库环境变量是更稳妥的做法另外用量需要控制平时写代码很少需要那么大参数的云端模型用小一点的型号就够用。6.3 使用OpenAI Codex CLICodex是OpenAI推出的命令行AI编程工具可以直接让AI在终端里读取代码、执行命令、生成文件。Windows上安装Codex CLI不难但有不少人会遇到“安装未完成”的问题这里我重点讲讲怎么绕开。先确认Node.js环境Codex需要Node.js 18及以上版本node --version没有的话用winget装一个winget install OpenJS.NodeJS.LTS然后全局安装Codexnpm install -g openai/codex安装完成后设置API密钥。在终端执行codex login或者直接把环境变量配好set OPENAI_API_KEYsk-你的密钥注意如果你在Windows原生命令行里配置环境变量要使用set如果在PowerShell里则使用$env:OPENAI_API_KEYsk-你的密钥。配置完成后进入一个项目目录输入codex 用Python写一个读取CSV文件并统计每列空值的脚本Codex会给出方案并询问你是否执行。它会自动读取当前目录下的文件生成代码后还可以帮你直接运行。这块体验比单纯在聊天窗口里对话再手动复制粘贴要顺畅得多。如果Codex在Windows上安装总是中断我建议把运行环境切到WSL2里再执行。很多Linux下验证过的问题在WSL2里不会出现这也是上一章铺垫WSL2的另一个价值。6.4 AI提示词的一些实用技巧工具就位后真正决定好用不好用的其实是“会不会提问”。我总结几个写AI编程提示词的经验明确角色和背景。开头先说明“你是一位精通Python后端开发的工程师”模型输出会明显更贴近专业语法。把需求写具体。与其说“优化这段代码”不如说“这段代码处理1万条数据时有性能问题请找出瓶颈并优化保持函数签名不变”。给出约束条件。比如“不要用第三方库”“输出格式为Markdown表格”模型会在限定范围内生成。让AI先解释再改。对复杂逻辑说“先解释这段代码的作用再提出修改建议”能降低改错的风险。把报错信息完整粘贴。报错信息里包含文件名、行号、错误类型这些信息是AI排错的关键不要只截个一两行。7. 典型问题排查与性能优化整个环境搭完并不意味着万事大吉。我在实际使用过程中遇到过不少问题这里把高频问题和解决办法整理出来你可以直接对照排查。7.1 常见问题速查表问题现象可能原因解决办法Ollama本地端口无法访问服务未启动或端口被占用执行ollama serve手动启动查看11434端口占用VS Code Continue无法连接Ollama自动补全模型配置错误检查配置里的模型名、确认Ollama服务在运行WSL2占用内存过高默认资源上限过大在.wslconfig里限制memory和processorsDocker启动失败虚拟化未开启去BIOS开启Intel VT-x或AMD SVM启用Windows Hypervisor Platform模型回答质量差上下文长度太短、温度太高修改Modelfile里的num_ctx和temperature显存耗尽后卡死模型过大或量化层级低换更小模型或使用q4_K_M等量化版本Codex安装未完成Node版本过低或npm缓存问题升级Node到LTS清npm缓存重装7.2 模型加载慢或内存不足怎么办如果你本机内存只有16GB跑7B模型时明显感觉吃力这里有两个方向可以尝试。第一把Ollama的模型存储路径改到空间充足的硬盘。默认模型存放在C:\Users\你的用户名\.ollama\models可以通过设置环境变量OLLAMA_MODELS指定到D盘setx OLLAMA_MODELS D:\ollama_models设置后重启Ollama服务然后重新ollama pull一次模型。这个操作可以避免C盘被模型文件塞满也能提升读取速度。第二调整模型并发数和上下文长度。如果你的任务是“代码补全”而不是“长文档分析”可以把上下文长度调小到4096内存压力会明显下降。另外Ollama默认会把模型常驻内存如果想减少占用可以在运行时设置OLLAMA_KEEP_ALIVE环境变量来控制释放时间例如setx OLLAMA_KEEP_ALIVE 5m表示空闲5分钟后释放模型内存。7.3 Codex安装失败的排查思路“codex windows安装未完成”这个现象我在多个机器上都遇到过大概率不是Codex本身的问题而是Windows环境下Node工具链的毛病。排查顺序建议如下先确认nmp全局安装目录是否在PATH里。有时npm安装时没有把全局bin目录加入环境变量导致codex命令无法识别。执行npm config get prefix然后把输出目录加入系统环境变量。再清一次npm缓存npm cache clean --force然后重新安装npm install -g openai/codex如果依然失败建议直接切换到WSL2的Ubuntu环境再装一次。WSL2里的Node.js和npm更接近主流开发场景命令行工具的兼容性也更好。就我自己的经验在WSL2里安装Codex几乎没遇到任何问题。7.4 从入门到进阶的优化建议环境能跑起来只是第一步想让它真正成为日常开发搭档还可以做三件事。第一建立“模型速切换”的工作流。在Continue配置里同时留下本地模型和云端模型普通语法检查和写工具函数用本地做架构设计和代码评审用云端。两者互补既省钱又不牺牲效率。第二把本地模型接到更丰富的工具链中。Ollama的API接口是OpenAI兼容的这意味着你写的任何Python脚本、自动化工具、甚至日志分析脚本都可以调用它。比如用Requests库写一个小脚本把一段代码发给本地模型让它生成注释再批量处理所有源码文件这种自动化能降低不少重复劳动。第三注意模型版本更新。开源模型迭代很快新版本往往在代码能力上有明显改进。建议每过一两个月去模型库看看有没有新的Code模型用ollama pull拉下来对比测试一下。本地部署最大的乐趣就是换模型几乎零成本。最后分享一点我的实际体会把Windows上这套AI编程环境搭完之后我最大的感受是门槛真的被压下来了。十年前想做本地自然语言处理光是编译工具链就能折腾一周现在只需要一个Ollama加VS Code插件整个流程几乎都是“下一步”按钮。但工具越简单越考验你对整个链路的理解——因为问题往往不是出在某一步而是出在层与层之间的衔接上。我个人在Windows上踩过最深的坑一个是WSL2的内存配置一个是Ollama的模型路径。这两个问题看似不起眼但一旦环境跑一段时间就会暴露出来内存占用高导致电脑卡顿模型路径在C盘占满系统盘空间。如果你按这篇指南操作我建议一开始就把这两个配置处理好能省掉后面很多烦恼。最后再分享一个小技巧本地模型和云端模型不是二选一的关系。我日常会把Continue的默认补全设为本地模型遇到复杂重构或写测试用例时再手动切换到云端API。这套组合让我既保住了代码隐私和低成本又没牺牲天花板的AI能力。工具只是为了更好地写代码别让搭建环境这件事本身变成另一种消耗。 Windows本地AI编程环境搭建指南：WSL2+Ollama+VSCode实战
1. 为什么要在Windows上搭一套AI编程环境先说结论在Windows上搭建一套完整的AI编程环境这件事听起来像是在跟整个开源圈的主流建议对着干——因为绝大多数AI开发工具的首选平台都是Linux。但我自己这几年一直把Windows当作主力系统白天在办公机上写业务代码晚上也用Windows跑本地大模型、做代码补全。如果你也想在同一台Windows机器上完成从环境准备到AI辅助编程的全流程这篇指南就是按我实际验证过的步骤整理出来的。这套环境装完之后你能得到什么打开VS Code写代码时按下TAB键就有本地大模型帮你补全终端里敲一段自然语言描述AI直接生成可运行的代码片段还能帮你解释报错信息Ollama里跑着7B到14B参数的开源模型即使临时断网也能继续用。适合的人群很明确不想把完整业务代码传到云端API的开发者、还在观望AI编程但被订阅费劝退的学生、以及单纯想把本地算力利用起来的折腾型选手。1.1 这篇指南能解决什么问题网上写Windows安装AI开发环境的教程不少但问题也很明显碎片化严重。有人只讲怎么装Python有人只讲怎么部署大模型很少有人把整条链路捋顺。更麻烦的是大多数AI工具文档默认你用的是Linux以致于你在Windows上照着命令敲经常会碰到路径符号不对、编译工具链缺失、权限模型不同等一堆问题。我的经验是在Windows上搭AI编程环境的核心难点不在工具本身而在“依赖关系”。你装好Python发现某个模型运行库需要Linux的glibc版本你装好Docker发现容器里跑的服务和Windows文件系统之间有性能损耗你配置好代码补全插件发现模型服务没监听对端口。所以这篇指南不打算只扔给你一串命令而是把每一层依赖为什么要装、装到哪里、和上下层怎么衔接全部交代清楚。1.2 这套环境由哪几部分构成整套环境拆开来看就是四层系统兼容层WSL2。让Linux原生的AI生态工具能直接在Windows里跑。模型运行层Ollama。负责下载、运行、管理本地大模型。编辑器接入层VS Code Continue插件。把模型能力接进最常用的代码编辑器。辅助运行环境Docker Desktop。用来跑网页聊天界面、向量数据库这类周边服务。后续所有操作都会围绕这四层展开。我建议你先扫一眼整体结构再一步一步跟着做这样即使中间出问题也容易判断是哪一层出了问题。2. 方案选型本地模型还是云端接口先说清楚一个概念AI编程环境里的“模型”不是只有一个来源。现在主流的用法分两种一种是调用云端大模型API一种是本地部署开源模型。这两种方式没有绝对的好坏只有适不适合你当前的场景。2.1 两种接入方式的对比对比维度本地部署云端API成本一次配置硬件后续免费按token计费用量大成本高数据隐私代码不出本机代码会发送到服务方网络依赖无依赖断网可用必须联网响应速度取决于本地显卡和CPU受网络延迟影响模型能力7B~14B参数量为主可用的模型规模更大配置门槛需要满足硬件要求只需注册账号和密钥从表里能看出来这两条路其实是互补的。本地部署胜在隐私、离线、可反复折腾云端API胜在模型更强、上手更快。我个人的选择是“本地为主云端兜底”——日常写业务代码用本地模型遇到复杂架构设计这类高难度任务再切到云端接口问一遍两者对比着看。2.2 我选定的技术栈与理由技术栈围绕“Windows能稳定跑起来”这个前提来选核心组合如下Windows 11 专业版版本号不必刻意追求最新但建议保持系统更新。WSL2 Ubuntu 22.04用来运行Linux原生工具链。Miniconda做Python环境隔离避免不同项目依赖打架。Ollama作为本地模型运行时一条命令就能完成模型的下载和启动。VS Code Continue编辑器AI插件支持补全和对话式编程。Docker Desktop采用WSL2后端整体更稳定。Open WebUI给本地模型加一个类网页版AI助手的界面。选这几个工具是因为它们之间衔接得足够顺滑。Ollama提供OpenAI兼容的接口Continue直接把这个接口当作模型提供商来配置Docker Desktop天然适配WSL2后端Miniconda创建的虚拟环境可以同时被VS Code和终端识别。这套组合几乎不需要写胶水代码。2.3 硬件门槛什么配置能跑如果你想流畅运行7B参数的模型我建议至少满足以下配置CPU4核以上8核体验会好不少。内存16GB起步32GB比较舒服。显卡8GB显存以上最好。没有独立显卡也能跑CPU推理只是慢一些。硬盘建议预留80GB左右空间模型文件和Docker镜像都挺占地方。另外系统盘最好选固态。以qwen2.5-coder:7b为例这个模型量化后的文件大约4.7GB加载时还需要几GB的上下文内存。如果你的电脑只有16GB内存跑7B模型会比较紧张建议选3B或4B的小尺寸模型。后面我在模型选择部分会给你一张对照表方便按硬件选。3. 基础环境准备Git、Miniconda、VS CodeAI编程环境真正动手装各种模型之前需要先把最底层的基础工具铺好。这些工具看起来不起眼但每一步都直接影响后面的使用体验。我按实际安装顺序来写你照着走就行。3.1 安装Git并配置基础信息Git是代码管理的基础工具几乎任何编程项目都离不开。在Windows上安装Git最简单的方式是用winget命令winget install --id Git.Git -e --source winget如果你不太习惯命令行也可以去Git官网下载安装包一路点下一步即可。需要注意一个关键配置安装过程中会询问默认编辑器建议选VS Code如果已经装了这样以后提交信息时可以直接用VS Code编辑。安装完成后打开新的终端窗口先确认版本再配置全局用户信息git --version git config --global user.name 你的名字 git config --global user.email 你的邮箱这两个配置必须做否则后面提交代码时会一直报错。另外建议顺手把默认分支名改成main跟当前主流习惯保持一致git config --global init.defaultBranch main3.2 用Miniconda管理Python环境AI开发需要装各种Python库而这些库对Python版本的要求往往互相冲突。Miniconda的作用就是创建彼此隔离的Python环境需要哪个版本就建哪个环境互不干扰。下载安装包时注意选Windows 64位版本安装路径建议保持默认但有一个勾选项需要特别注意是否把conda加入PATH。我的建议是首次安装时不勾选然后用“Anaconda Prompt”或终端手动初始化这样能少很多环境变量上的麻烦。安装完成后打开新的终端执行conda init重启终端你应该能看到命令行前面多了一个(base)前缀。接着创建一个专用的AI开发环境conda create -n ai python3.11 -y conda activate ai python --version我习惯一直用3.11这个版本的第三方库兼容性已经非常成熟。如果你有版本洁癖可以选3.10或3.12不过AI生态里有些库对3.11适配得最好稳妥起见还是跟着我走。3.3 安装VS Code并补齐插件VS Code可以说是当前对AI编程支持最好的编辑器之一扩展生态非常庞大。同样可以用winget安装winget install Microsoft.VisualStudioCode安装完成后在扩展商店里建议至少补上这几个Python提供语法高亮、调试、代码外观支持。PylancePython语言服务器代码提示更快更准。Remote - WSL让你可以直接把VS Code连接到WSL2环境里开发。Continue后面章节要重点讲的AI编程插件。Chinese Language Pack如果看英文界面费劲可以先装这个之后随时可以切换。装完插件后按Ctrl呼出内置终端确认终端能识别conda。如果识别不到可能是环境变量没刷新重新打开VS Code即可。4. Windows下的关键一步WSL2与Docker到了这一步你已经有了最基础的开发环境。但如果现在就急着装Ollama和大模型后面大概率会撞上一堆Linux相关的兼容问题。我建议先把WSL2和Docker准备好这一步能让整个AI编程环境稳定不少。4.1 为什么要装WSL2WSL2是Windows官方提供的Linux子系统简单理解就是Windows里跑了一个轻量级虚拟机这个虚拟机启动速度很快和Windows的文件系统也能互通。很多AI相关工具原生支持Linux比如某些模型推理库、特定的编译工具链它们依赖的C库版本在Windows原生环境里很难满足。与其强行去装各种兼容层不如直接提供一个Linux运行时环境。可能你会问我跑的是Python跨平台性很好为什么还要Linux环境问题在于AI生态里很多底层库比如某些涉及CUDA的加速组件、音频视频处理工具它们对操作系统的版本非常敏感。WSL2的出现让Windows开发者能用Linux的软件包管理器和运行时同时保留Windows的图形界面和日常办公工具。4.2 快速启用WSL2启用WSL2本身并不难麻烦的是很多人第一步就卡住。我的操作建议如下在“管理员身份”打开的PowerShell中执行wsl --install装完默认会安装Ubuntu发行版。然后重启电脑再次打开终端执行wsl --set-default-version 2 wsl --update最后安装Ubuntuwsl --install -d Ubuntu-22.04第一次进入Ubuntu会让你创建用户名和密码这个密码和Windows账户密码是两套建议别搞混。装好后在终端里输入wsl就能进入Linux环境输入exit就能退回Windows。4.3 Docker Desktop安装Docker在Windows上有两种运行模式一种是基于Hyper-V的一种是基于WSL2的。我强烈建议选择基于WSL2的模式性能更好资源占用也更低。下载Docker Desktop安装包安装过程中会询问用哪种后端勾选“Use WSL 2 instead of Hyper-V”。安装完成后启动Docker Desktop在Settings里确认WSL2集成选项。如果你已经装好了Ubuntu这里应该能看到它的名字勾选上就可以让Ubuntu里直接使用docker命令。验证是否正常docker version docker run hello-world如果hello-world正常打印信息说明Docker环境没问题。4.4 WSL2常见资源占用处理WSL2虽然方便但默认会占用不少内存。尤其是长时间跑Docker和模型推理时你会看到电脑内存被一个叫vmmem的进程占掉很大比例。此时不要慌可以在Windows用户目录下创建一个.wslconfig文件限制WSL2的资源用量[wsl2] memory6GB processors4 swap2GB这个配置的意思是给WSL2分配最大6GB内存、4个CPU核心、2GB的swap空间。实际数值可以根据你电脑总内存调整。改完配置后在PowerShell里执行wsl --shutdown重启WSL2才生效。5. 本地大模型部署Ollama全流程基础环境就绪接下来进入核心环节把大模型跑到本地。我选择Ollama作为模型运行时原因很简单它对Windows的支持足够好安装简单而且提供OpenAI兼容的API接口后面接VS Code插件很方便。5.1 安装Ollama去Ollama官网下载Windows安装包或者直接用命令winget install Ollama.Ollama安装完成后终端执行ollama --version如果显示版本号说明安装成功。默认情况下Ollama会以服务方式在后台运行监听在11434端口。你可以打开浏览器访问http://localhost:11434能看到Ollama is running的输出。有一点我踩过坑如果你之前自定义过系统代理相关的配置可能会导致本地端口访问异常。遇到这种情况先检查本地服务是否正常监听不要盲目调整网络设置。5.2 选择并下载合适的模型Ollama支持的模型都在它的模型库里我强烈建议从Code类模型入手。下面是几款在Windows本地环境验证过的模型选择表模型名称参数规模量化后体积推荐内存适用场景qwen2.5-coder:3b3B约2.0GB8GB轻量补全、解释代码qwen2.5-coder:7b7B约4.7GB16GB主流代码生成、对话deepseek-coder-v2:lite16B约8.9GB32GB长上下文代码理解llama3.1:8b8B约4.7GB16GB通用对话、代码混合场景下载模型的命令非常简单ollama pull qwen2.5-coder:7b这一步会消耗一定时间因为模型文件比较大。下载完成后你会看到进度条走满。之后可以查看本机已有模型ollama list要临时和模型对话测试一下直接运行ollama run qwen2.5-coder:7b输入“写一个Python快速排序”模型有回复就说明一切正常。5.3 调整模型上下文与量化参数Ollama默认的上下文长度是2048也就是模型一次最多看到2048个token大约一两千字。做代码生成时这个长度有点不够用尤其是面对较长的函数或文件时模型容易“忘掉”前面内容。我建议通过创建Modelfile来调整默认参数。新建一个文本文件命名为Modelfile内容如下FROM qwen2.5-coder:7b PARAMETER temperature 0.7 PARAMETER num_ctx 8192 PARAMETER top_p 0.9其中temperature控制回答的随机性0.7是比较平衡的创作值num_ctx是指上下文窗口这里设为8192top_p是采样参数0.9能让输出稳定性和多样性之间取得平衡。创建完成后执行ollama create my-coder -f ./Modelfile这样就会生成一个名为my-coder的自定义模型。之后运行它就用ollama run my-coder。关于参数量我多说一句你不需要一味追求大模型。在8GB内存的机器上跑3B模型都能有不错的体验硬上7B反而会让系统卡顿得不偿失。5.4 为模型加一个网页聊天界面Ollama本身只提供命令行接口使用起来不够直观。我建议用Open WebUI给本地模型加一个网页界面效果类似网页版AI聊天工具但所有数据和请求都留在这台机器上。Open WebUI推荐用Docker来跑docker run -d -p 3000:8080 --add-hosthost.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main启动完成后浏览器访问http://localhost:3000注册一个本地的管理员账号在设置里把Ollama的地址填成http://host.docker.internal:11434就能在网页上看到你刚才下载的模型。问它几个问题测试一下体验很接近在线聊天产品。6. 把AI接进编辑器Continue与Codex部署好模型只是第一步对开发者来说真正提升效率的场景是“编辑器里就能用AI”。这一章我把两个主流接入方式都讲清楚一个是界面化的Continue插件一个是命令行风格的Codex CLI。6.1 安装Continue插件并配置Ollama在VS Code扩展商店搜索Continue并安装。装完后它需要配置文件来告诉它“你要调用哪个模型、模型地址在哪”。打开命令面板CtrlShiftP输入Continue: Open Config会打开一个配置文件。推荐用JSON格式配置下面是我验证过可直接用的配置{ models: [ { title: Qwen2.5 Coder, provider: ollama, model: my-coder } ], tabAutocompleteModel: { title: Qwen2.5 Coder, provider: ollama, model: my-coder }, embeddingsProvider: { provider: ollama, model: nomic-embed-text } }这里需要注意几点provider要写ollamaContinue内部有现成的Ollama适配器。model名称最好是你自定义过的my-coder如果你没有创建自定义模型也可以直接填qwen2.5-coder:7b。embeddingsProvider是可选项作用是开启“针对当前代码库提问”的检索功能。需要先执行ollama pull nomic-embed-text把这个向量模型下载下来。配置完成后重启VS Code打开任意代码文件点击Continue侧边栏选中Qwen2.5 Coder就可以开始对话了。选中一段代码按CtrlL它就会把这段代码作为上下文带入提问框。6.2 配置云端API作为备选本地模型的能力毕竟是有限的在架构设计、跨国团队协作这类场景里我还是习惯切到云端API。Continue同样支持云端接口只需要在配置文件里多添加一个模型条目{ models: [ { title: Qwen2.5 Coder, provider: ollama, model: my-coder }, { title: Cloud API, provider: openai, model: gpt-4o-mini, apiKey: sk-你的密钥 } ] }在实践上有两个细节不要把API密钥直接硬编码提交到Git仓库环境变量是更稳妥的做法另外用量需要控制平时写代码很少需要那么大参数的云端模型用小一点的型号就够用。6.3 使用OpenAI Codex CLICodex是OpenAI推出的命令行AI编程工具可以直接让AI在终端里读取代码、执行命令、生成文件。Windows上安装Codex CLI不难但有不少人会遇到“安装未完成”的问题这里我重点讲讲怎么绕开。先确认Node.js环境Codex需要Node.js 18及以上版本node --version没有的话用winget装一个winget install OpenJS.NodeJS.LTS然后全局安装Codexnpm install -g openai/codex安装完成后设置API密钥。在终端执行codex login或者直接把环境变量配好set OPENAI_API_KEYsk-你的密钥注意如果你在Windows原生命令行里配置环境变量要使用set如果在PowerShell里则使用$env:OPENAI_API_KEYsk-你的密钥。配置完成后进入一个项目目录输入codex 用Python写一个读取CSV文件并统计每列空值的脚本Codex会给出方案并询问你是否执行。它会自动读取当前目录下的文件生成代码后还可以帮你直接运行。这块体验比单纯在聊天窗口里对话再手动复制粘贴要顺畅得多。如果Codex在Windows上安装总是中断我建议把运行环境切到WSL2里再执行。很多Linux下验证过的问题在WSL2里不会出现这也是上一章铺垫WSL2的另一个价值。6.4 AI提示词的一些实用技巧工具就位后真正决定好用不好用的其实是“会不会提问”。我总结几个写AI编程提示词的经验明确角色和背景。开头先说明“你是一位精通Python后端开发的工程师”模型输出会明显更贴近专业语法。把需求写具体。与其说“优化这段代码”不如说“这段代码处理1万条数据时有性能问题请找出瓶颈并优化保持函数签名不变”。给出约束条件。比如“不要用第三方库”“输出格式为Markdown表格”模型会在限定范围内生成。让AI先解释再改。对复杂逻辑说“先解释这段代码的作用再提出修改建议”能降低改错的风险。把报错信息完整粘贴。报错信息里包含文件名、行号、错误类型这些信息是AI排错的关键不要只截个一两行。7. 典型问题排查与性能优化整个环境搭完并不意味着万事大吉。我在实际使用过程中遇到过不少问题这里把高频问题和解决办法整理出来你可以直接对照排查。7.1 常见问题速查表问题现象可能原因解决办法Ollama本地端口无法访问服务未启动或端口被占用执行ollama serve手动启动查看11434端口占用VS Code Continue无法连接Ollama自动补全模型配置错误检查配置里的模型名、确认Ollama服务在运行WSL2占用内存过高默认资源上限过大在.wslconfig里限制memory和processorsDocker启动失败虚拟化未开启去BIOS开启Intel VT-x或AMD SVM启用Windows Hypervisor Platform模型回答质量差上下文长度太短、温度太高修改Modelfile里的num_ctx和temperature显存耗尽后卡死模型过大或量化层级低换更小模型或使用q4_K_M等量化版本Codex安装未完成Node版本过低或npm缓存问题升级Node到LTS清npm缓存重装7.2 模型加载慢或内存不足怎么办如果你本机内存只有16GB跑7B模型时明显感觉吃力这里有两个方向可以尝试。第一把Ollama的模型存储路径改到空间充足的硬盘。默认模型存放在C:\Users\你的用户名\.ollama\models可以通过设置环境变量OLLAMA_MODELS指定到D盘setx OLLAMA_MODELS D:\ollama_models设置后重启Ollama服务然后重新ollama pull一次模型。这个操作可以避免C盘被模型文件塞满也能提升读取速度。第二调整模型并发数和上下文长度。如果你的任务是“代码补全”而不是“长文档分析”可以把上下文长度调小到4096内存压力会明显下降。另外Ollama默认会把模型常驻内存如果想减少占用可以在运行时设置OLLAMA_KEEP_ALIVE环境变量来控制释放时间例如setx OLLAMA_KEEP_ALIVE 5m表示空闲5分钟后释放模型内存。7.3 Codex安装失败的排查思路“codex windows安装未完成”这个现象我在多个机器上都遇到过大概率不是Codex本身的问题而是Windows环境下Node工具链的毛病。排查顺序建议如下先确认nmp全局安装目录是否在PATH里。有时npm安装时没有把全局bin目录加入环境变量导致codex命令无法识别。执行npm config get prefix然后把输出目录加入系统环境变量。再清一次npm缓存npm cache clean --force然后重新安装npm install -g openai/codex如果依然失败建议直接切换到WSL2的Ubuntu环境再装一次。WSL2里的Node.js和npm更接近主流开发场景命令行工具的兼容性也更好。就我自己的经验在WSL2里安装Codex几乎没遇到任何问题。7.4 从入门到进阶的优化建议环境能跑起来只是第一步想让它真正成为日常开发搭档还可以做三件事。第一建立“模型速切换”的工作流。在Continue配置里同时留下本地模型和云端模型普通语法检查和写工具函数用本地做架构设计和代码评审用云端。两者互补既省钱又不牺牲效率。第二把本地模型接到更丰富的工具链中。Ollama的API接口是OpenAI兼容的这意味着你写的任何Python脚本、自动化工具、甚至日志分析脚本都可以调用它。比如用Requests库写一个小脚本把一段代码发给本地模型让它生成注释再批量处理所有源码文件这种自动化能降低不少重复劳动。第三注意模型版本更新。开源模型迭代很快新版本往往在代码能力上有明显改进。建议每过一两个月去模型库看看有没有新的Code模型用ollama pull拉下来对比测试一下。本地部署最大的乐趣就是换模型几乎零成本。最后分享一点我的实际体会把Windows上这套AI编程环境搭完之后我最大的感受是门槛真的被压下来了。十年前想做本地自然语言处理光是编译工具链就能折腾一周现在只需要一个Ollama加VS Code插件整个流程几乎都是“下一步”按钮。但工具越简单越考验你对整个链路的理解——因为问题往往不是出在某一步而是出在层与层之间的衔接上。我个人在Windows上踩过最深的坑一个是WSL2的内存配置一个是Ollama的模型路径。这两个问题看似不起眼但一旦环境跑一段时间就会暴露出来内存占用高导致电脑卡顿模型路径在C盘占满系统盘空间。如果你按这篇指南操作我建议一开始就把这两个配置处理好能省掉后面很多烦恼。最后再分享一个小技巧本地模型和云端模型不是二选一的关系。我日常会把Continue的默认补全设为本地模型遇到复杂重构或写测试用例时再手动切换到云端API。这套组合让我既保住了代码隐私和低成本又没牺牲天花板的AI能力。工具只是为了更好地写代码别让搭建环境这件事本身变成另一种消耗。