1. RAG评估体系概述检索增强生成Retrieval-Augmented Generation系统的评估需要从三个维度进行综合考量检索质量、生成质量和系统效率。其中召回率Recall和准确率Precision是衡量检索环节的核心指标而相关性Relevance则是连接检索与生成的关键桥梁。在真实业务场景中我们经常遇到这样的困境当知识库包含100篇文档时系统可能只检索到其中3篇相关文档召回率低或者返回的5篇文档中仅有2篇真正相关准确率低。更棘手的是有时系统返回的文档虽然与查询词匹配但内容相关性不足如仅包含关键词而缺乏实质信息。2. 核心指标精解2.1 召回率Recall召回率衡量系统发现全部相关文档的能力计算公式为召回率 检索到的相关文档数 / 知识库中所有相关文档数典型优化场景当用户查询Transformer模型原理时知识库中存在10篇相关文档系统只返回了其中4篇召回率 4/10 40%提升策略改进chunk划分策略建议长度500-800字符尝试混合检索模式关键词向量添加文档标题等元数据增强2.2 准确率Precision准确率衡量返回结果的相关性质量计算公式为准确率 检索到的相关文档数 / 检索到的全部文档数典型场景对比查询词返回总数相关数准确率RAG优化5360%知识图谱8675%优化方法引入reranker模型如Cohere的rerank-english-v2.0设置相似度阈值建议0.75-0.85添加负样本训练2.3 相关性Relevance相关性评估需要人工或LLM辅助常用方法人工评分体系5分制完全相关 - 完全不相关要求至少3人独立评分LLM自动评估def evaluate_relevance(query, doc): prompt f判断以下文档与查询的相关性(1-5分): 查询: {query} 文档: {doc[:1000]}... response llm.generate(prompt) return int(response)Spearman相关系数 用于比较不同评估方法的一致性3. 评估集构建方法论3.1 构建原则覆盖性包含高频查询20%边界案例30%负样本50%标注规范- 相关文档直接回答问题 - 部分相关包含相关信息但不完整 - 不相关内容无关或误导性3.2 工业级实践文档处理流程PDF/Word解析建议使用Apache Tika文本清洗去除页眉页脚智能分块按语义而非固定长度评估矩阵示例维度评估指标目标值权重检索召回率5≥65%30%检索准确率5≥80%30%生成事实准确率≥90%20%系统响应延迟2s20%4. 典型问题解决方案4.1 低召回率调优案例Dify知识库召回率低检查chunk大小建议调整至512-768token添加标题嵌入提升20%召回测试不同embedding模型对比模型召回率5准确率5bge-small58%82%bge-large65%78%OpenAI72%85%4.2 混合检索实现Spring AI Elasticsearch混合方案// 伪代码示例 ListDocument results new ArrayList(); results.addAll(keywordSearch(query)); results.addAll(vectorSearch(query)); return rerank(results);4.3 评估自动化流水线建议架构评估数据集JSON格式自动化测试脚本结果可视化面板关键指标监控每日召回率波动准确率趋势响应时间P995. 高级优化技巧Query改写使用LLM生成同义查询示例prompt 生成5个与RAG评估方法语义相同的查询动态分块技术文档按章节划分会议记录按议题划分论文按章节摘要组合元数据增强添加文档类型标签注入时间戳信息附加作者专业领域在实际项目中我们通过组合这些方法将电商客服系统的召回率从52%提升至78%同时保持准确率在82%以上。关键是要建立持续评估机制建议每周运行全量测试监控指标变化趋势。