十年匠心定制 · 商业建站与技术教学双线并行 咨询热线:400-886-1026 service@lmnt.cn
ARTICLE DETAIL

资讯详情

深耕网站建设与运营推广的一线实战洞察。

WeClone:用你的微信聊天记录微调大模型,养一个替你回话的数字分身

WeClone:用你的微信聊天记录微调大模型,养一个替你回话的数字分身 WeClone用你的微信聊天记录微调大模型养一个替你回话的数字分身【免费下载链接】WeClone One-stop solution for creating your AI twin from chat history Fine-tune LLMs with your chat logs to capture your unique style, then bind to a chatbot to bring your digital self to life.项目地址: https://gitcode.com/GitHub_Trending/we/WeCloneWeClone 做的事很直接拿你的微信聊天记录微调 chatglm3-6b 大模型学出你的口吻再绑到微信机器人上。链路就是三步——聊天记录进SFT 微调中数字分身出从此私聊群聊都有人替你回话。 显存先算账16GB 够微调 6B 模型够。默认基座模型是 chatglm3-6bLoRA 是在原模型旁边挂一个小适配器、只训适配器不碰全部参数所以 SFT 阶段实际显存开销落在 16GB 上下。显存更紧张的话把 settings.json 里的per_device_train_batch_size和gradient_accumulation_steps调小来省显存再不够就换 QLoRA 量化方案。先克隆仓库搭好环境git clone https://gitcode.com/GitHub_Trending/we/WeClone conda create -n weclone python3.10 conda activate weclone cd WeClone pip install -r requirements.txt 聊天记录怎么变成训练集数据质量决定效果上限这是项目方反复强调的一句话。用 PyWxDump 工具把微信聊天记录导出成 CSV每个联系人或群聊对应一个 csv 文件夹统一放进仓库的./data/csv目录下再跑一次预处理python make_dataset/csv_to_json.py脚本会自动剔掉手机号、身份证号、邮箱、网址这类敏感信息含禁用词的整句直接丢弃词库在 make_dataset/blocked_words.json。同一个人连回多句时默认合并成一句想保留成多轮历史对话就换 make_dataset/csv_to_json-单句多轮.py 处理。一条命令开始训练训练前先下载 chatglm3-6b 权重放到./chatglm3-6b目录Hugging Face 首选网络不稳就用魔搭社区并在训练和推理前设置USE_MODELSCOPE_HUB1。批次大小、学习率、LoRA 秩、训练轮数这些参数都集中在 settings.json克隆到本地后只改这个文件就行代码不用动。接着跑 SFT 微调python src/train_sft.py仓库也留了 PT预训练阶段的脚本但实测提升不明显直接从 SFT 开跑就行。手头有两块以上显卡先装 deepspeed再用deepspeed --num_gpus2 src/train_sft.py多卡分摊。loss 降到 3.5 左右就差不多降得太多容易过拟合。浏览器里先验一把效果训完不用急着上机器人先起本地页面聊天试试python src/web_demo.py回复的语气像你就成了。下图是训好的 WeClone 数字分身在微信里跟朋友聊天的实际画面 两条命令上线微信分身机器人两个终端各跑一个进程顺序是 API 服务在前、机器人随后python src/api_service.py python src/wechat_bot/main.py终端会打印登录二维码用微信扫一下即可。私聊它、或在群里 它就开始回话对话历史由 src/wechat_bot/main.py 负责维护。想让机器人换个角色说话去 src/template.py 改默认的系统提示词。⚠️ 先说清楚微信上跑机器人有封号风险尽量用小号并且账号需要绑定银行卡。建议先拿一两个密友的聊天记录把全流程跑通验证效果后再逐步补充更多人的数据重新训练。提升效果最直接的往往就是这一步——数据多、质量高分身才更像你。【免费下载链接】WeClone One-stop solution for creating your AI twin from chat history Fine-tune LLMs with your chat logs to capture your unique style, then bind to a chatbot to bring your digital self to life.项目地址: https://gitcode.com/GitHub_Trending/we/WeClone创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
返回列表