最近在尝试将大模型部署到手机端时发现从零开始理解整个训练流程到最终落地资料非常零散。预训练、SFT、RLHF、量化、蒸馏……每个环节都像一座孤岛网上要么是艰深的论文要么是零碎的代码片段很难串成一个完整的、可实操的闭环。本文将为你彻底打通这条路径从零开始手把手带你跑通一个类似Qwen或DeepSeek这样的开源大模型历经全流程训练最终将其量化并部署到手机端运行。无论你是想深入理解大模型技术栈的学生还是希望将大模型能力集成到移动应用中的开发者这篇系统性的实战指南都能提供从理论到代码的完整参考。1. 大模型训练全流程核心概念拆解在动手之前我们必须清晰地理解大模型从“出生”到“上岗”的完整生命周期。这并非一个单一的步骤而是一个层层递进、逐步优化的管道。1.1 预训练赋予模型“通识”预训练是大模型学习的起点其目标是从海量无标注文本如网页、书籍、代码中学习语言的统计规律和世界知识。你可以把它想象成让一个“婴儿”通过阅读整个互联网来建立对世界的基本认知。核心任务下一个词预测。给定一段文本的前面部分模型需要预测最可能出现的下一个词是什么。数据TB级别的纯文本数据。算力消耗极大通常需要成千上万的GPU卡训练数月。产出得到一个基座模型。这个模型拥有强大的语言理解和生成能力但还不具备遵循人类指令、进行安全对话等特性。1.2 监督微调教会模型“听话”经过预训练的基座模型很“博学”但可能不“听话”。它可能无法理解“帮我写一封邮件”这样的指令或者生成的内容不符合人类偏好。SFT的目标就是解决这个问题。核心任务指令跟随。使用高质量的“指令-回答”配对数据对模型进行有监督训练。数据数万到数十万条人工精心编写的对话或任务数据。算力消耗中等通常可以在单机多卡或小规模集群上完成。产出得到一个指令微调模型。模型学会了如何理解并响应人类的指令变得更有用。1.3 基于人类反馈的强化学习让模型“更善解人意”SFT后的模型虽然能响应指令但其回答的质量、安全性、有用性可能参差不齐。RLHF通过引入人类偏好让模型学习生成更符合人类价值观的回答。核心流程收集偏好数据人类标注员对同一个问题的多个模型回答进行排序哪个更好。训练奖励模型用一个较小的模型学习人类偏好能够对任何回答给出一个“好”或“坏”的分数。强化学习微调使用PPO等算法以奖励模型的分数为引导进一步优化SFT后的模型使其生成能获得更高奖励即更符合人类偏好的回答。产出得到一个对齐模型。例如ChatGPT、Claude等对话模型的核心技术之一。1.4 模型压缩让模型“轻装上阵”经过上述步骤得到的模型参数量巨大如7B、14B无法在手机等资源受限的设备上运行。模型压缩技术旨在减少模型大小、降低推理延迟同时尽可能保持性能。量化将模型权重和激活值从高精度如FP32, FP16转换为低精度如INT8, INT4。这是最常用、最有效的压缩手段能显著减少内存占用和加速计算。知识蒸馏用一个庞大的“教师模型”来指导一个较小的“学生模型”进行学习让学生模型模仿教师模型的行为从而在小模型中保留大模型的知识和能力。产出得到一个轻量化模型可以在消费级硬件如手机CPU/GPU上实时推理。2. 环境准备与工具链搭建我们的实战目标是选择一个开源基座模型 - 进行SFT - 进行RLHF可选流程复杂 - 量化 - 最终部署到Android/iOS。为了高效完成我们依赖一系列优秀的开源工具。2.1 硬件与基础环境训练环境至少需要一台具备多块GPU如2-4块RTX 3090/4090或A100的服务器。内存建议64GB以上。部署测试环境一台Android手机或iOS设备以及对应的开发机。操作系统Linux (Ubuntu 20.04/22.04) 用于训练macOS/Windows/Linux可用于部分转换和部署步骤。Python: 3.8 - 3.10。CUDA: 根据你的GPU驱动安装对应版本如11.7, 11.8, 12.1。2.2 核心软件工具介绍我们将构建一个以LLaMA-Factory和ollama为核心的工具链。LLaMA-Factory: 一个功能强大且易于使用的大模型训练与评估框架。它统一了多种训练方法预训练、SFT、RLHF等的接口并支持众多主流开源模型Qwen, LLaMA, DeepSeek, ChatGLM等极大降低了微调门槛。Transformers (Hugging Face): 模型加载、转换和推理的核心库。bitsandbytes: 支持LLM的8-bit和4-bit量化训练与推理。vLLM: 一个高效的大模型推理和服务库特别适合批量推理我们将用它来测试量化后的模型。ollama: 一个强大的本地大模型运行框架支持在本地CPU/GPU上运行量化后的GGUF格式模型并提供了简单的API。它是连接“训练后模型”和“手机端”的关键桥梁。Android Studio / Xcode: 用于构建手机端演示应用。2.3 环境安装步骤首先创建并激活一个Python虚拟环境。conda create -n llm_train python3.10 conda activate llm_train安装核心的PyTorch请根据你的CUDA版本到 PyTorch官网 获取准确命令。# 示例CUDA 11.8 pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118安装LLaMA-Factory及其他依赖。# 克隆 LLaMA-Factory 仓库 git clone https://github.com/hiyouga/LLaMA-Factory.git cd LLaMA-Factory pip install -e .[torch,metrics] # 安装其他必要库 pip install transformers datasets accelerate peft trl bitsandbytes scipy sentencepiece安装vLLM和ollamaollama需要单独下载安装包。# 安装 vLLM pip install vllm # 安装 ollama (以Linux为例其他系统请查官网) curl -fsSL https://ollama.com/install.sh | sh3. 实战第一步使用LLaMA-Factory进行SFT我们选择Qwen2-1.5B这个相对较小的模型作为起点以便在有限资源下快速演示全流程。你可以根据需要替换为Qwen2-7B、DeepSeek-Coder-1.3B等模型。3.1 准备SFT数据集SFT需要指令-回答对数据。我们使用一个经典的指令数据集alpaca-gpt4-data-zh的中文翻译版。# download_dataset.py from datasets import load_dataset # 加载数据集 dataset load_dataset(shibing624/alpaca-zh, splittrain) # 查看一条样本 print(dataset[0]) # 输出结构通常为{instruction: ..., input: ..., output: ...}将数据集保存为LLaMA-Factory支持的JSON格式。import json # 转换格式 formatted_data [] for item in dataset: # LLaMA-Factory 通常接受 instruction, input, output 格式 # 对于没有input的情况可以将instruction和input合并 messages [] if item.get(input, ).strip(): content item[instruction] \n item[input] else: content item[instruction] messages.append({role: user, content: content}) messages.append({role: assistant, content: item[output]}) formatted_data.append({messages: messages}) # 保存 with open(alpaca_zh_sft.json, w, encodingutf-8) as f: json.dump(formatted_data, f, ensure_asciiFalse, indent2) print(f数据集已保存共 {len(formatted_data)} 条样本。)3.2 配置与启动SFT训练LLaMA-Factory提供了便捷的命令行工具llamafactory-cli。我们创建一个训练配置文件。# train_sft.yml model_name_or_path: Qwen/Qwen2-1.5B # 基座模型 dataset: alpaca_zh_sft.json template: qwen2 # 使用Qwen2对应的对话模板 finetuning_type: lora # 使用LoRA进行高效微调大幅减少显存 lora_target: all # 对所有线性层应用LoRA output_dir: ./sft_output # 输出目录 per_device_train_batch_size: 4 # 根据GPU调整 gradient_accumulation_steps: 4 learning_rate: 1e-4 num_train_epochs: 3 logging_steps: 10 save_steps: 200 eval_steps: 200启动训练llamafactory-cli train train_sft.yml训练开始后你会看到损失下降的日志。训练完成后在sft_output目录下会得到适配器权重adapter_model.bin和完整的模型合并文件如果指定了合并。3.3 测试SFT模型使用LLaMA-Factory的Web UI或脚本来测试微调效果。# 启动Web UI进行交互测试 llamafactory-cli webui --model_name_or_path ./sft_output --template qwen2你也可以编写脚本测试# test_sft.py from transformers import AutoTokenizer, AutoModelForCausalLM import torch model_path ./sft_output tokenizer AutoTokenizer.from_pretrained(model_path) model AutoModelForCausalLM.from_pretrained(model_path, torch_dtypetorch.float16, device_mapauto) prompt 用Python写一个快速排序函数。 inputs tokenizer(prompt, return_tensorspt).to(model.device) with torch.no_grad(): outputs model.generate(**inputs, max_new_tokens256) print(tokenizer.decode(outputs[0], skip_special_tokensTrue))4. 实战第二步模型量化与格式转换为了部署到手机我们必须对模型进行量化。我们将SFT后的模型量化为流行的GGUF格式被ollama和llama.cpp支持。4.1 使用 llama.cpp 工具进行量化首先我们需要将Hugging Face格式的模型转换为llama.cpp支持的GGUF格式。克隆并编译 llama.cpp:git clone https://github.com/ggerganov/llama.cpp.git cd llama.cpp make -j4 # 根据你的CPU核心数调整将PyTorch模型转换为GGUF FP16格式: 我们需要先将模型转换为llama.cpp中间格式。这里使用llama.cpp仓库中的转换脚本。# 回到LLaMA-Factory的输出目录 cd /path/to/your/sft_output # 假设你的模型是PyTorch格式使用转换脚本 # 首先需要将模型和tokenizer复制到llama.cpp的目录下或使用python转换脚本 # 更简单的方法是使用 huggingface-hub 和 llama.cpp的python转换脚本一个更通用的方法是使用transformers库加载模型然后用llama.cpp的convert.py如果存在或convert_hf_to_gguf.py。由于步骤稍复杂我们推荐使用一个集成的转换工具ctransformers的转换功能或者直接使用ollama的Modelfile从Hugging Face创建但为了清晰我们展示手动转换思路实际上llama.cpp项目提供了convert_hf_to_gguf.py脚本。确保你安装了protobuf和sentencepiece。cd /path/to/llama.cpp python convert_hf_to_gguf.py /path/to/your/sft_output --outtype f16 --outfile qwen2_1.5b_sft.gguf此命令会生成一个FP16精度的GGUF文件。将GGUF文件量化到更低精度:llama.cpp的quantize工具可以将FP16模型量化为INT8, INT4等格式。./quantize ./qwen2_1.5b_sft.gguf ./qwen2_1.5b_sft_q4_0.gguf q4_0q4_0是一种4位量化格式在精度和速度之间取得了很好的平衡非常适合移动端。你还可以尝试q5_0,q8_0等。4.2 使用 ollama 加载量化模型ollama让本地运行GGUF模型变得极其简单。我们需要创建一个Modelfile来定义模型。# Modelfile FROM ./qwen2_1.5b_sft_q4_0.gguf TEMPLATE {{ if .System }}|im_start|system {{ .System }}|im_end| {{ end }}{{ if .Prompt }}|im_start|user {{ .Prompt }}|im_end| {{ end }}|im_start|assistant PARAMETER temperature 0.7 PARAMETER top_p 0.9 # 指定使用的GPU层数如果为0则使用CPU PARAMETER num_gpu 20然后使用这个Modelfile创建ollama模型ollama create my-qwen-sft -f ./Modelfile现在你可以通过命令行与你的模型对话了ollama run my-qwen-sft 你好请介绍一下你自己。如果一切顺利你将看到模型生成的回答。这证明你的量化模型已经在本地成功运行。5. 实战第三步构建手机端应用Android示例手机端需要通过网络请求与本地运行的ollama服务进行交互。我们构建一个简单的Android应用。5.1 确保ollama服务可被访问默认情况下ollama服务运行在http://localhost:11434。为了让手机能访问我们需要让服务监听局域网IP。启动ollama时指定主机OLLAMA_HOST0.0.0.0:11434 ollama serve # 或者修改ollama的系统服务配置注意这会使服务暴露在局域网中请确保你的网络环境安全。在手机上你需要知道运行ollama的电脑的局域网IP地址如192.168.1.100。5.2 创建Android应用使用Android Studio创建一个新的Empty Views Activity项目。添加网络权限(app/manifests/AndroidManifest.xml):uses-permission android:nameandroid.permission.INTERNET /添加依赖(app/build.gradle.kts的dependencies块):implementation(com.squareup.okhttp3:okhttp:4.12.0) implementation(org.jetbrains.kotlinx:kotlinx-coroutines-android:1.7.3)设计简单UI(app/res/layout/activity_main.xml): 添加一个EditText用于输入一个Button用于发送一个TextView或ScrollView用于显示对话。编写网络请求逻辑(app/java/.../MainActivity.kt):import android.os.Bundle import android.widget.* import androidx.appcompat.app.AppCompatActivity import kotlinx.coroutines.* import okhttp3.* import okhttp3.MediaType.Companion.toMediaType import okhttp3.RequestBody.Companion.toRequestBody import org.json.JSONObject import java.io.IOException class MainActivity : AppCompatActivity() { private val client OkHttpClient() // 替换为你的电脑IP地址 private val OLLAMA_URL http://192.168.1.100:11434 private val MODEL_NAME my-qwen-sft override fun onCreate(savedInstanceState: Bundle?) { super.onCreate(savedInstanceState) setContentView(R.layout.activity_main) val inputEditText findViewByIdEditText(R.id.input_edittext) val sendButton findViewByIdButton(R.id.send_button) val responseTextView findViewByIdTextView(R.id.response_textview) sendButton.setOnClickListener { val prompt inputEditText.text.toString() if (prompt.isNotEmpty()) { responseTextView.text 思考中... // 在后台协程中发起网络请求 CoroutineScope(Dispatchers.IO).launch { val response chatWithOllama(prompt) withContext(Dispatchers.Main) { responseTextView.text response ?: 请求失败 } } } } } private fun chatWithOllama(prompt: String): String? { val json JSONObject().apply { put(model, MODEL_NAME) put(prompt, prompt) put(stream, false) } val mediaType application/json; charsetutf-8.toMediaType() val requestBody json.toString().toRequestBody(mediaType) val request Request.Builder() .url($OLLAMA_URL/api/generate) .post(requestBody) .build() return try { client.newCall(request).execute().use { response - if (!response.isSuccessful) { returnuse HTTP Error: ${response.code} } val responseBody response.body?.string() val jsonResponse JSONObject(responseBody) jsonResponse.getString(response) } } catch (e: IOException) { e.printStackTrace() 网络错误: ${e.message} } catch (e: Exception) { e.printStackTrace() 解析错误: ${e.message} } } }运行与测试:确保手机和电脑在同一局域网。在电脑上运行ollama run my-qwen-sft确保模型已加载。在Android Studio中运行应用。输入问题点击发送应用会调用本地ollama服务并返回结果。6. 常见问题与排查思路问题现象可能原因排查与解决思路训练时GPU内存不足1. 模型太大。2. 批次大小过大。3. 未使用梯度累积或LoRA。1. 换用更小模型如1.5B。2. 减小per_device_train_batch_size。3. 增加gradient_accumulation_steps。4.务必启用LoRA (finetuning_type: lora)这是节省显存的关键。SFT后模型输出乱码或胡言乱语1. 学习率过高。2. 训练轮次过多导致过拟合。3. 数据格式或模板不匹配。1. 降低学习率如从1e-4降到5e-5。2. 减少训练轮次或在验证集上早停。3. 检查数据集格式和template参数是否与模型匹配如Qwen2模型用qwen2模板。量化后模型效果严重下降1. 量化方法过于激进如q2_K。2. 基座模型本身不适合低比特量化。1. 尝试更高精度的量化如q8_0-q4_K_M-q4_0。2. 尝试使用llama.cpp的--imatrix功能进行数据感知量化提升低比特下的精度。手机App无法连接到ollama1. 电脑防火墙阻止了端口。2. IP地址错误。3. ollama未监听0.0.0.0。1. 检查电脑防火墙放行11434端口。2. 在电脑终端用ipconfig(Windows) 或ifconfig(Linux/macOS) 确认IP。3. 确保启动ollama时设置了OLLAMA_HOST0.0.0.0:11434。ollama拉取或创建模型慢1. 网络问题。2. 从Hugging Face下载模型慢。1. 对于GGUF文件可以手动下载后通过FROM ./model.gguf本地创建。2. 使用国内镜像源加速Hugging Face下载环境变量HF_ENDPOINThttps://hf-mirror.com。7. 最佳实践与进阶路线7.1 训练阶段最佳实践数据质量高于数量SFT阶段1万条高质量数据远胜于100万条噪声数据。仔细清洗和构造你的指令数据。使用LoRA/QLoRA对于绝大多数微调任务使用LoRA或其量化版本QLoRA是最高效的选择它能用极少的可训练参数通常不到原模型的1%达到接近全参数微调的效果。逐步扩大规模先从一个小模型如1.5B和一个小数据集开始快速验证整个pipeline然后再扩展到更大模型和数据。持续评估在训练过程中定期在保留的验证集上评估模型监控损失和生成样本的质量防止过拟合。7.2 量化与部署最佳实践量化策略选择速度优先q4_0,q5_0。精度优先q8_0,q4_K_M。内存极度紧张q2_K但效果损失可能较大。使用llama.cpp的perplexity评估命令来比较不同量化配置对模型能力的影响。移动端优化模型选择手机端优先考虑参数量小于3B的模型并确保使用量化版本。推理引擎除了通过ollama的HTTP API调用对于性能要求极高的场景可以研究直接将llama.cpp库编译到Android/iOS应用中进行本地推理避免网络延迟。功耗管理持续推理会消耗大量电量应用中应提供手动触发或合理的休眠机制。7.3 全流程进阶学习路线完成本教程后你可以沿着以下方向深入深入RLHF尝试使用trl库和LLaMA-Factory的RLHF模块亲自训练一个奖励模型并用PPO算法优化你的SFT模型体验ChatGPT风格的对齐过程。尝试更多模型架构从Qwen/LLaMA转向更高效的架构如Gemma、Phi-3或国产的DeepSeek、ChatGLM。探索全参数微调在拥有足够算力时尝试关闭LoRA进行全参数微调观察效果差异。研究更高效的推理深入vLLM、TensorRT-LLM等推理优化框架学习注意力优化、连续批处理等高级特性为生产环境部署做准备。构建复杂应用将你的手机端模型与语音识别、图像理解等多模态模块结合或将其作为智能助手集成到更复杂的业务流程中。从零开始手撕大模型训练到部署的全流程是一次对现代AI技术栈的深度遍历。你不仅学会了如何使用工具LLaMA-Factory, ollama快速实现更重要的是理解了背后每个环节预训练、SFT、RLHF、量化的目的与联系。这套方法论可以迁移到任何开源大模型上。记住在资源有限的情况下优先保证数据质量和实验迭代速度用小模型跑通闭环再逐步放大是最高效的学习和研发路径。现在你已经拥有了将一个大模型从“炼成”到“送入掌心”的完整能力接下来就是发挥创意用它去构建有趣的应用了。如果在实践中遇到任何问题欢迎在社区交流共同解决。 从零到一：大模型训练、量化与移动端部署全流程实战指南
最近在尝试将大模型部署到手机端时发现从零开始理解整个训练流程到最终落地资料非常零散。预训练、SFT、RLHF、量化、蒸馏……每个环节都像一座孤岛网上要么是艰深的论文要么是零碎的代码片段很难串成一个完整的、可实操的闭环。本文将为你彻底打通这条路径从零开始手把手带你跑通一个类似Qwen或DeepSeek这样的开源大模型历经全流程训练最终将其量化并部署到手机端运行。无论你是想深入理解大模型技术栈的学生还是希望将大模型能力集成到移动应用中的开发者这篇系统性的实战指南都能提供从理论到代码的完整参考。1. 大模型训练全流程核心概念拆解在动手之前我们必须清晰地理解大模型从“出生”到“上岗”的完整生命周期。这并非一个单一的步骤而是一个层层递进、逐步优化的管道。1.1 预训练赋予模型“通识”预训练是大模型学习的起点其目标是从海量无标注文本如网页、书籍、代码中学习语言的统计规律和世界知识。你可以把它想象成让一个“婴儿”通过阅读整个互联网来建立对世界的基本认知。核心任务下一个词预测。给定一段文本的前面部分模型需要预测最可能出现的下一个词是什么。数据TB级别的纯文本数据。算力消耗极大通常需要成千上万的GPU卡训练数月。产出得到一个基座模型。这个模型拥有强大的语言理解和生成能力但还不具备遵循人类指令、进行安全对话等特性。1.2 监督微调教会模型“听话”经过预训练的基座模型很“博学”但可能不“听话”。它可能无法理解“帮我写一封邮件”这样的指令或者生成的内容不符合人类偏好。SFT的目标就是解决这个问题。核心任务指令跟随。使用高质量的“指令-回答”配对数据对模型进行有监督训练。数据数万到数十万条人工精心编写的对话或任务数据。算力消耗中等通常可以在单机多卡或小规模集群上完成。产出得到一个指令微调模型。模型学会了如何理解并响应人类的指令变得更有用。1.3 基于人类反馈的强化学习让模型“更善解人意”SFT后的模型虽然能响应指令但其回答的质量、安全性、有用性可能参差不齐。RLHF通过引入人类偏好让模型学习生成更符合人类价值观的回答。核心流程收集偏好数据人类标注员对同一个问题的多个模型回答进行排序哪个更好。训练奖励模型用一个较小的模型学习人类偏好能够对任何回答给出一个“好”或“坏”的分数。强化学习微调使用PPO等算法以奖励模型的分数为引导进一步优化SFT后的模型使其生成能获得更高奖励即更符合人类偏好的回答。产出得到一个对齐模型。例如ChatGPT、Claude等对话模型的核心技术之一。1.4 模型压缩让模型“轻装上阵”经过上述步骤得到的模型参数量巨大如7B、14B无法在手机等资源受限的设备上运行。模型压缩技术旨在减少模型大小、降低推理延迟同时尽可能保持性能。量化将模型权重和激活值从高精度如FP32, FP16转换为低精度如INT8, INT4。这是最常用、最有效的压缩手段能显著减少内存占用和加速计算。知识蒸馏用一个庞大的“教师模型”来指导一个较小的“学生模型”进行学习让学生模型模仿教师模型的行为从而在小模型中保留大模型的知识和能力。产出得到一个轻量化模型可以在消费级硬件如手机CPU/GPU上实时推理。2. 环境准备与工具链搭建我们的实战目标是选择一个开源基座模型 - 进行SFT - 进行RLHF可选流程复杂 - 量化 - 最终部署到Android/iOS。为了高效完成我们依赖一系列优秀的开源工具。2.1 硬件与基础环境训练环境至少需要一台具备多块GPU如2-4块RTX 3090/4090或A100的服务器。内存建议64GB以上。部署测试环境一台Android手机或iOS设备以及对应的开发机。操作系统Linux (Ubuntu 20.04/22.04) 用于训练macOS/Windows/Linux可用于部分转换和部署步骤。Python: 3.8 - 3.10。CUDA: 根据你的GPU驱动安装对应版本如11.7, 11.8, 12.1。2.2 核心软件工具介绍我们将构建一个以LLaMA-Factory和ollama为核心的工具链。LLaMA-Factory: 一个功能强大且易于使用的大模型训练与评估框架。它统一了多种训练方法预训练、SFT、RLHF等的接口并支持众多主流开源模型Qwen, LLaMA, DeepSeek, ChatGLM等极大降低了微调门槛。Transformers (Hugging Face): 模型加载、转换和推理的核心库。bitsandbytes: 支持LLM的8-bit和4-bit量化训练与推理。vLLM: 一个高效的大模型推理和服务库特别适合批量推理我们将用它来测试量化后的模型。ollama: 一个强大的本地大模型运行框架支持在本地CPU/GPU上运行量化后的GGUF格式模型并提供了简单的API。它是连接“训练后模型”和“手机端”的关键桥梁。Android Studio / Xcode: 用于构建手机端演示应用。2.3 环境安装步骤首先创建并激活一个Python虚拟环境。conda create -n llm_train python3.10 conda activate llm_train安装核心的PyTorch请根据你的CUDA版本到 PyTorch官网 获取准确命令。# 示例CUDA 11.8 pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118安装LLaMA-Factory及其他依赖。# 克隆 LLaMA-Factory 仓库 git clone https://github.com/hiyouga/LLaMA-Factory.git cd LLaMA-Factory pip install -e .[torch,metrics] # 安装其他必要库 pip install transformers datasets accelerate peft trl bitsandbytes scipy sentencepiece安装vLLM和ollamaollama需要单独下载安装包。# 安装 vLLM pip install vllm # 安装 ollama (以Linux为例其他系统请查官网) curl -fsSL https://ollama.com/install.sh | sh3. 实战第一步使用LLaMA-Factory进行SFT我们选择Qwen2-1.5B这个相对较小的模型作为起点以便在有限资源下快速演示全流程。你可以根据需要替换为Qwen2-7B、DeepSeek-Coder-1.3B等模型。3.1 准备SFT数据集SFT需要指令-回答对数据。我们使用一个经典的指令数据集alpaca-gpt4-data-zh的中文翻译版。# download_dataset.py from datasets import load_dataset # 加载数据集 dataset load_dataset(shibing624/alpaca-zh, splittrain) # 查看一条样本 print(dataset[0]) # 输出结构通常为{instruction: ..., input: ..., output: ...}将数据集保存为LLaMA-Factory支持的JSON格式。import json # 转换格式 formatted_data [] for item in dataset: # LLaMA-Factory 通常接受 instruction, input, output 格式 # 对于没有input的情况可以将instruction和input合并 messages [] if item.get(input, ).strip(): content item[instruction] \n item[input] else: content item[instruction] messages.append({role: user, content: content}) messages.append({role: assistant, content: item[output]}) formatted_data.append({messages: messages}) # 保存 with open(alpaca_zh_sft.json, w, encodingutf-8) as f: json.dump(formatted_data, f, ensure_asciiFalse, indent2) print(f数据集已保存共 {len(formatted_data)} 条样本。)3.2 配置与启动SFT训练LLaMA-Factory提供了便捷的命令行工具llamafactory-cli。我们创建一个训练配置文件。# train_sft.yml model_name_or_path: Qwen/Qwen2-1.5B # 基座模型 dataset: alpaca_zh_sft.json template: qwen2 # 使用Qwen2对应的对话模板 finetuning_type: lora # 使用LoRA进行高效微调大幅减少显存 lora_target: all # 对所有线性层应用LoRA output_dir: ./sft_output # 输出目录 per_device_train_batch_size: 4 # 根据GPU调整 gradient_accumulation_steps: 4 learning_rate: 1e-4 num_train_epochs: 3 logging_steps: 10 save_steps: 200 eval_steps: 200启动训练llamafactory-cli train train_sft.yml训练开始后你会看到损失下降的日志。训练完成后在sft_output目录下会得到适配器权重adapter_model.bin和完整的模型合并文件如果指定了合并。3.3 测试SFT模型使用LLaMA-Factory的Web UI或脚本来测试微调效果。# 启动Web UI进行交互测试 llamafactory-cli webui --model_name_or_path ./sft_output --template qwen2你也可以编写脚本测试# test_sft.py from transformers import AutoTokenizer, AutoModelForCausalLM import torch model_path ./sft_output tokenizer AutoTokenizer.from_pretrained(model_path) model AutoModelForCausalLM.from_pretrained(model_path, torch_dtypetorch.float16, device_mapauto) prompt 用Python写一个快速排序函数。 inputs tokenizer(prompt, return_tensorspt).to(model.device) with torch.no_grad(): outputs model.generate(**inputs, max_new_tokens256) print(tokenizer.decode(outputs[0], skip_special_tokensTrue))4. 实战第二步模型量化与格式转换为了部署到手机我们必须对模型进行量化。我们将SFT后的模型量化为流行的GGUF格式被ollama和llama.cpp支持。4.1 使用 llama.cpp 工具进行量化首先我们需要将Hugging Face格式的模型转换为llama.cpp支持的GGUF格式。克隆并编译 llama.cpp:git clone https://github.com/ggerganov/llama.cpp.git cd llama.cpp make -j4 # 根据你的CPU核心数调整将PyTorch模型转换为GGUF FP16格式: 我们需要先将模型转换为llama.cpp中间格式。这里使用llama.cpp仓库中的转换脚本。# 回到LLaMA-Factory的输出目录 cd /path/to/your/sft_output # 假设你的模型是PyTorch格式使用转换脚本 # 首先需要将模型和tokenizer复制到llama.cpp的目录下或使用python转换脚本 # 更简单的方法是使用 huggingface-hub 和 llama.cpp的python转换脚本一个更通用的方法是使用transformers库加载模型然后用llama.cpp的convert.py如果存在或convert_hf_to_gguf.py。由于步骤稍复杂我们推荐使用一个集成的转换工具ctransformers的转换功能或者直接使用ollama的Modelfile从Hugging Face创建但为了清晰我们展示手动转换思路实际上llama.cpp项目提供了convert_hf_to_gguf.py脚本。确保你安装了protobuf和sentencepiece。cd /path/to/llama.cpp python convert_hf_to_gguf.py /path/to/your/sft_output --outtype f16 --outfile qwen2_1.5b_sft.gguf此命令会生成一个FP16精度的GGUF文件。将GGUF文件量化到更低精度:llama.cpp的quantize工具可以将FP16模型量化为INT8, INT4等格式。./quantize ./qwen2_1.5b_sft.gguf ./qwen2_1.5b_sft_q4_0.gguf q4_0q4_0是一种4位量化格式在精度和速度之间取得了很好的平衡非常适合移动端。你还可以尝试q5_0,q8_0等。4.2 使用 ollama 加载量化模型ollama让本地运行GGUF模型变得极其简单。我们需要创建一个Modelfile来定义模型。# Modelfile FROM ./qwen2_1.5b_sft_q4_0.gguf TEMPLATE {{ if .System }}|im_start|system {{ .System }}|im_end| {{ end }}{{ if .Prompt }}|im_start|user {{ .Prompt }}|im_end| {{ end }}|im_start|assistant PARAMETER temperature 0.7 PARAMETER top_p 0.9 # 指定使用的GPU层数如果为0则使用CPU PARAMETER num_gpu 20然后使用这个Modelfile创建ollama模型ollama create my-qwen-sft -f ./Modelfile现在你可以通过命令行与你的模型对话了ollama run my-qwen-sft 你好请介绍一下你自己。如果一切顺利你将看到模型生成的回答。这证明你的量化模型已经在本地成功运行。5. 实战第三步构建手机端应用Android示例手机端需要通过网络请求与本地运行的ollama服务进行交互。我们构建一个简单的Android应用。5.1 确保ollama服务可被访问默认情况下ollama服务运行在http://localhost:11434。为了让手机能访问我们需要让服务监听局域网IP。启动ollama时指定主机OLLAMA_HOST0.0.0.0:11434 ollama serve # 或者修改ollama的系统服务配置注意这会使服务暴露在局域网中请确保你的网络环境安全。在手机上你需要知道运行ollama的电脑的局域网IP地址如192.168.1.100。5.2 创建Android应用使用Android Studio创建一个新的Empty Views Activity项目。添加网络权限(app/manifests/AndroidManifest.xml):uses-permission android:nameandroid.permission.INTERNET /添加依赖(app/build.gradle.kts的dependencies块):implementation(com.squareup.okhttp3:okhttp:4.12.0) implementation(org.jetbrains.kotlinx:kotlinx-coroutines-android:1.7.3)设计简单UI(app/res/layout/activity_main.xml): 添加一个EditText用于输入一个Button用于发送一个TextView或ScrollView用于显示对话。编写网络请求逻辑(app/java/.../MainActivity.kt):import android.os.Bundle import android.widget.* import androidx.appcompat.app.AppCompatActivity import kotlinx.coroutines.* import okhttp3.* import okhttp3.MediaType.Companion.toMediaType import okhttp3.RequestBody.Companion.toRequestBody import org.json.JSONObject import java.io.IOException class MainActivity : AppCompatActivity() { private val client OkHttpClient() // 替换为你的电脑IP地址 private val OLLAMA_URL http://192.168.1.100:11434 private val MODEL_NAME my-qwen-sft override fun onCreate(savedInstanceState: Bundle?) { super.onCreate(savedInstanceState) setContentView(R.layout.activity_main) val inputEditText findViewByIdEditText(R.id.input_edittext) val sendButton findViewByIdButton(R.id.send_button) val responseTextView findViewByIdTextView(R.id.response_textview) sendButton.setOnClickListener { val prompt inputEditText.text.toString() if (prompt.isNotEmpty()) { responseTextView.text 思考中... // 在后台协程中发起网络请求 CoroutineScope(Dispatchers.IO).launch { val response chatWithOllama(prompt) withContext(Dispatchers.Main) { responseTextView.text response ?: 请求失败 } } } } } private fun chatWithOllama(prompt: String): String? { val json JSONObject().apply { put(model, MODEL_NAME) put(prompt, prompt) put(stream, false) } val mediaType application/json; charsetutf-8.toMediaType() val requestBody json.toString().toRequestBody(mediaType) val request Request.Builder() .url($OLLAMA_URL/api/generate) .post(requestBody) .build() return try { client.newCall(request).execute().use { response - if (!response.isSuccessful) { returnuse HTTP Error: ${response.code} } val responseBody response.body?.string() val jsonResponse JSONObject(responseBody) jsonResponse.getString(response) } } catch (e: IOException) { e.printStackTrace() 网络错误: ${e.message} } catch (e: Exception) { e.printStackTrace() 解析错误: ${e.message} } } }运行与测试:确保手机和电脑在同一局域网。在电脑上运行ollama run my-qwen-sft确保模型已加载。在Android Studio中运行应用。输入问题点击发送应用会调用本地ollama服务并返回结果。6. 常见问题与排查思路问题现象可能原因排查与解决思路训练时GPU内存不足1. 模型太大。2. 批次大小过大。3. 未使用梯度累积或LoRA。1. 换用更小模型如1.5B。2. 减小per_device_train_batch_size。3. 增加gradient_accumulation_steps。4.务必启用LoRA (finetuning_type: lora)这是节省显存的关键。SFT后模型输出乱码或胡言乱语1. 学习率过高。2. 训练轮次过多导致过拟合。3. 数据格式或模板不匹配。1. 降低学习率如从1e-4降到5e-5。2. 减少训练轮次或在验证集上早停。3. 检查数据集格式和template参数是否与模型匹配如Qwen2模型用qwen2模板。量化后模型效果严重下降1. 量化方法过于激进如q2_K。2. 基座模型本身不适合低比特量化。1. 尝试更高精度的量化如q8_0-q4_K_M-q4_0。2. 尝试使用llama.cpp的--imatrix功能进行数据感知量化提升低比特下的精度。手机App无法连接到ollama1. 电脑防火墙阻止了端口。2. IP地址错误。3. ollama未监听0.0.0.0。1. 检查电脑防火墙放行11434端口。2. 在电脑终端用ipconfig(Windows) 或ifconfig(Linux/macOS) 确认IP。3. 确保启动ollama时设置了OLLAMA_HOST0.0.0.0:11434。ollama拉取或创建模型慢1. 网络问题。2. 从Hugging Face下载模型慢。1. 对于GGUF文件可以手动下载后通过FROM ./model.gguf本地创建。2. 使用国内镜像源加速Hugging Face下载环境变量HF_ENDPOINThttps://hf-mirror.com。7. 最佳实践与进阶路线7.1 训练阶段最佳实践数据质量高于数量SFT阶段1万条高质量数据远胜于100万条噪声数据。仔细清洗和构造你的指令数据。使用LoRA/QLoRA对于绝大多数微调任务使用LoRA或其量化版本QLoRA是最高效的选择它能用极少的可训练参数通常不到原模型的1%达到接近全参数微调的效果。逐步扩大规模先从一个小模型如1.5B和一个小数据集开始快速验证整个pipeline然后再扩展到更大模型和数据。持续评估在训练过程中定期在保留的验证集上评估模型监控损失和生成样本的质量防止过拟合。7.2 量化与部署最佳实践量化策略选择速度优先q4_0,q5_0。精度优先q8_0,q4_K_M。内存极度紧张q2_K但效果损失可能较大。使用llama.cpp的perplexity评估命令来比较不同量化配置对模型能力的影响。移动端优化模型选择手机端优先考虑参数量小于3B的模型并确保使用量化版本。推理引擎除了通过ollama的HTTP API调用对于性能要求极高的场景可以研究直接将llama.cpp库编译到Android/iOS应用中进行本地推理避免网络延迟。功耗管理持续推理会消耗大量电量应用中应提供手动触发或合理的休眠机制。7.3 全流程进阶学习路线完成本教程后你可以沿着以下方向深入深入RLHF尝试使用trl库和LLaMA-Factory的RLHF模块亲自训练一个奖励模型并用PPO算法优化你的SFT模型体验ChatGPT风格的对齐过程。尝试更多模型架构从Qwen/LLaMA转向更高效的架构如Gemma、Phi-3或国产的DeepSeek、ChatGLM。探索全参数微调在拥有足够算力时尝试关闭LoRA进行全参数微调观察效果差异。研究更高效的推理深入vLLM、TensorRT-LLM等推理优化框架学习注意力优化、连续批处理等高级特性为生产环境部署做准备。构建复杂应用将你的手机端模型与语音识别、图像理解等多模态模块结合或将其作为智能助手集成到更复杂的业务流程中。从零开始手撕大模型训练到部署的全流程是一次对现代AI技术栈的深度遍历。你不仅学会了如何使用工具LLaMA-Factory, ollama快速实现更重要的是理解了背后每个环节预训练、SFT、RLHF、量化的目的与联系。这套方法论可以迁移到任何开源大模型上。记住在资源有限的情况下优先保证数据质量和实验迭代速度用小模型跑通闭环再逐步放大是最高效的学习和研发路径。现在你已经拥有了将一个大模型从“炼成”到“送入掌心”的完整能力接下来就是发挥创意用它去构建有趣的应用了。如果在实践中遇到任何问题欢迎在社区交流共同解决。