聚合查询基础回顾Elasticsearch 聚合是一种强大的数据分析功能允许用户在不返回原始文档的情况下对数据进行统计分析和汇总操作。聚合查询与搜索查询并行执行实现了高效的实时数据分析能力。聚合的基本结构由三部分组成桶Bucket用于将文档分组类似于 SQL 中的 GROUP BY度量Metric用于对每个桶中的文档进行计算类似于 SQL 中的聚合函数管道Pipeline用于处理其他聚合的结果实现更复杂的数据分析聚合查询的基本语法结构如下GET /index/_search { size: 0, aggs: { aggregation_name: { aggregation_type: { aggregation_options } } } }其中size: 0 表示不返回文档只返回聚合结果。Bucket 聚合详解Bucket 聚合的核心功能是将文档分成不同的组桶每个桶包含满足特定条件的文档集合。以下是常用的 Bucket 聚合类型及其应用场景Terms 聚合基于字段值的精确匹配进行分组Range 聚合基于数值范围进行分组Date Histogram 聚合基于时间间隔进行分组Filters 聚合基于自定义过滤器进行分组Terms 聚合示例统计不同类别的商品数量GET /products/_search { size: 0, aggs: { by_category: { terms: { field: category.keyword, size: 10 } } } }Date Histogram 聚合示例按天统计订单数量并计算每天的销售总额GET /orders/_search { size: 0, aggs: { by_day: { date_histogram: { field: order_date, calendar_interval: day }, aggs: { total_amount: { sum: { field: amount } } } } } }Bucket 聚合可以嵌套使用实现多层级的数据分析如先按地区分组再在每个地区内按产品类别分组。Metric 聚合深入Metric 聚合用于对文档的数值字段进行数学计算。主要分为以下几类单值指标聚合返回单个结果值如 min、max、avg、sum多值指标聚合返回多个结果值如 stats、extended_stats、percentilesStats 聚合示例获取商品价格的统计数据GET /products/_search { size: 0, aggs: { price_stats: { stats: { field: price } } } }Percentiles 聚合示例计算订单金额的百分位数分布GET /orders/_search { size: 0, aggs: { amount_percentiles: { percentiles: { field: amount, percents: [25, 50, 75, 90, 99] } } } }Metric 聚合可以与 Bucket 聚合结合使用在每个桶内进行独立的计算。例如在按地区分组的同时计算每个地区的平均销售额GET /orders/_search { size: 0, aggs: { by_region: { terms: { field: region.keyword }, aggs: { avg_amount: { avg: { field: amount } } } } } }Pipeline 聚合与组合分析Pipeline 聚合处理其他聚合的结果而不是直接处理文档。这使得我们可以创建更复杂的分析链。Pipeline 聚合主要分为两类父级聚合管道使用同级聚合的结果作为输入兄弟级聚合管道使用父级聚合的结果作为输入Moving Average 聚合示例计算移动平均销售额GET /sales/_search { size: 0, aggs: { sales_per_month: { date_histogram: { field: date, calendar_interval: month }, aggs: { total_sales: { sum: { field: amount } }, moving_avg: { moving_avg: { buckets: 5, model: simple } } } } } }Derivative 聚合示例计算销售额的月度增长率GET /sales/_search { size: 0, aggs: { sales_per_month: { date_histogram: { field: date, calendar_interval: month }, aggs: { total_sales: { sum: { field: amount } } } }, monthly_growth: { derivative: { buckets_path: sales_per_monthtotal_sales } } } }Bucket Script 聚合示例计算每个类别中价格高于平均值的商品比例GET /products/_search { size: 0, aggs: { by_category: { terms: { field: category.keyword }, aggs: { avg_price: { avg: { field: price } }, above_avg: { filter: { script: { source: doc[price] params.avg_price, params: { avg_price: { avg: { field: price } } } } } } } } } }复杂场景实战示例下面是一个综合使用各种聚合解决实际问题的案例电商平台销售数据分析目标分析不同地区、不同商品类别的销售表现找出高价值客户群体并计算销售增长率。GET /ecommerce_sales/_search { size: 0, aggs: { by_region: { terms: { field: region.keyword, size: 5 }, aggs: { by_category: { terms: { field: product_category.keyword, size: 5 }, aggs: { total_sales: { sum: { field: amount } }, avg_order_value: { avg: { field: amount } }, high_value_customers: { filter: { range: { amount: { gte: 1000 } } } }, monthly_sales: { date_histogram: { field: order_date, calendar_interval: month }, aggs: { monthly_total: { sum: { field: amount } } } } } }, region_sales_growth: { derivative: { buckets_path: by_categorymonthly_salesmonthly_total } }, top_customers: { terms: { script: { source: doc[customer_id].value, lang: painless }, size: 5, order: { total_sales: desc } }, aggs: { total_sales: { sum: { field: amount } }, order_count: { cardinality: { field: order_id } } } } } } } }这个复杂查询展示了多层级 Bucket 聚合地区→类别Metric 聚合总和、平均值、基数统计Pipeline 聚合计算增长率脚本字段用于提取客户ID执行流程输入销售文档数据按地区分组按商品类别分组计算销售额总和计算平均订单值筛选高价值客户按月份分组销售数据计算月度销售趋势计算地区销售增长率识别高价值客户生成聚合结果返回完整销售分析报告最小示例基本的多级聚合查询GET /sales_data/_search { size: 0, aggs: { by_region: { terms: { field: region.keyword }, aggs: { avg_sales: { avg: { field: amount } } } } } }注意事项聚合查询会消耗大量内存和CPU资源特别是在大数据集上应合理设置 bucket 的数量对于时间序列数据date_histogram 比 terms 聚合更高效使用子聚合时注意层级深度避免过深的嵌套导致性能问题Pipeline 聚合会增加计算复杂度仅在必要时使用对于高基数字段如用户ID考虑使用 cardinality 聚合替代 terms 聚合以节省资源合理使用 script 参数避免使用复杂脚本导致查询性能下降在生产环境中建议先使用小数据集测试聚合查询再应用到全量数据聚合类型对比表聚合类型主要功能适用场景示例用途Bucket 聚合将文档分组分类统计按日期、地区、商品类别分组Metric 聚合计算数值统计数据分析计算平均值、最大值、最小值Pipeline 聚合处理已有聚合结果高级分析计算比率、移动平均、衍生指标