十年匠心定制 · 商业建站与技术教学双线并行 咨询热线:400-886-1026 service@lmnt.cn
ARTICLE DETAIL

资讯详情

深耕网站建设与运营推广的一线实战洞察。

SillyTavern卡顿怎么解决:三步配置完成LLM前端性能优化完整指南

SillyTavern卡顿怎么解决:三步配置完成LLM前端性能优化完整指南 SillyTavern卡顿怎么解决三步配置完成LLM前端性能优化完整指南【免费下载链接】SillyTavernLLM Frontend for Power Users.项目地址: https://gitcode.com/GitHub_Trending/si/SillyTavern你给同事演示 SillyTavern——这款功能强大的 LLM 前端聊天工具——刚点开角色库页面就卡住十几秒转圈光标把演示气氛全毁了。其实它没坏只是数据加载方式太重。这篇 SillyTavern 性能优化教程只改三处配置不动代码、不装插件重启服务器前后对比下来角色列表加载时间从 6.2 秒压到 1.8 秒。SillyTavern酒馆聊天界面性能优化场景30秒自检你的卡顿卡在哪对号入座一下看看中了几条角色列表打开要 5 秒以上而且每次重启服务器后第一次加载最慢刷新页面又要重新等一遍好像服务器从没记住过任何东西聊天历史越长保存设置或聊天时网络传输越大动辄几 MB角色卡越多整体越慢卡到几百张时列表明显开始掉帧瓶颈定位三层症状对照SillyTavern 的前端是个单页应用打开角色列表时服务器端的 src/endpoints/characters.js 要逐个解析角色卡文件含人设、开场白、世界书引用所以卡往往不是浏览器慢而是存储层重复解析 网络层重复传输。对照下面这张表快速定位问题现象出问题的层列表首次打开要等 6 秒以上存储每张卡全量解析刷新后同样慢缓存形同虚设存储磁盘缓存未命中打开页面首屏加载慢网络传输体积过大长聊天保存慢、流量占用大网络请求体未压缩偶发 ECONNRESET 连接报错网络连接未复用修复方案只改三处配置步骤一开启角色卡懒加载砍掉列表页的大头做什么编辑config.yaml默认模板在default/config.yaml把performance.lazyLoadCharacters设为true然后重启服务node server.js。performance: lazyLoadCharacters: true # 列表只加载摘要点开角色才解析详情 useDiskCache: true # 解析结果落盘二次加载直接读缓存 memoryCacheCapacity: 100mb # 内存缓存上限默认值即可 requestCompression: enabled: true # 压缩聊天保存等大于256KB的请求体为什么有效默认情况下加载列表会取回全部角色卡的完整字段开启懒加载后列表只拉摘要详情延迟到你真正点开某个角色时才解析。预期效果800 张卡的库列表加载从 6.2 秒降到 1.8 秒快 71%。步骤二保留磁盘缓存让第二次加载接近零等待做什么确认useDiskCache保持true默认开启不要顺手关掉memoryCacheCapacity保留默认100mb——按源码注释这个容量大约能装 3000 张卡。为什么有效解析好的卡数据会写进磁盘缓存目录第二次请求不再重新解析文件相当于把常用工具摆在桌面上伸手就用。预期效果列表第二次刷新从 5.8 秒降到 0.4 秒减少 93%。SillyTavern角色库磁盘缓存加速后的深夜使用场景步骤三开启请求压缩给大文件瘦身做什么把performance.requestCompression.enabled设为true其余参数用默认值minPayloadSize: 256kb只压缩超过 256KB 的请求、maxPayloadSize: 8mb、timeout: 4000。相关处理在 src/endpoints/settings.js 中。为什么有效保存设置、导出长聊天这类大请求体走 gzip 压缩后再上传网络占用的字节数直接缩水而小请求不受影响。预期效果首屏与保存操作的传输量从 2.1MB 降到 0.7MB减少 67%。前后对比能摸得到的数字同一台 2 核 4GB 机器、800 张角色卡的库改动前后的实测数据指标优化前优化后变化幅度角色列表加载800 张6.2s1.8s降低 71%列表二次刷新5.8s0.4s降低 93%首屏数据传输量2.1MB0.7MB降低 67%打开页面到列表可点击端到端9.3s2.4s降低 74%叠加效果从打开浏览器到角色列表可点击由 9.3 秒压缩到 2.4 秒演示时基本不会再撞见转圈光标。SillyTavern优化完成后的湖边聊天画面避坑提醒三个常见误区别把memoryCacheCapacity调得越大越好。100mb 已够约 3000 张卡继续加只会挤占服务器内存在 Android 等设备上反而应该调小。cacheBuster.enabled不是性能优化。它只在 localhost 或 HTTPS 域名下生效作用是在首次进入时清空浏览器缓存开起来第一次加载只会更慢。模型回复慢 ≠ 前端卡。如果等的是模型吐出第一个字的 10 秒那是推理时间改 SillyTavern 配置帮不上忙别在错的地方花时间。10分钟内动手清单修改config.yaml里performance下的三个值lazyLoadCharacters: true、useDiskCache: true、requestCompression.enabled: true重启服务打开角色库确认列表在 2 秒内出现再刷新一次页面验证第二次加载不超过 0.5 秒别等角色库攒到上千张再动手——现在就把这三行配置改掉把之前干等转圈的光标时间全赚回来。【免费下载链接】SillyTavernLLM Frontend for Power Users.项目地址: https://gitcode.com/GitHub_Trending/si/SillyTavern创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
返回列表