设计Elasticsearch聚合查询统计电商订单数据

题目

设计Elasticsearch聚合查询统计电商订单数据

信息

• 类型：问答
• 难度：⭐⭐

考点

聚合查询设计,嵌套桶聚合,过滤条件处理,性能优化

快速回答

实现步骤：

1. 使用range过滤过去一年的数据
2. 通过date_histogram按月分桶
3. 嵌套terms聚合按支付状态分组
4. 在顶层添加filter聚合筛选金额>100的订单

关键优化：

• 使用filter聚合而非查询条件保证统计完整性
• 设置size:0避免返回命中文档
• 合理使用execution_hint优化分桶性能

问题场景

电商系统需要分析过去一年每月订单数据：
1. 按月统计订单总量
2. 在月粒度下按支付状态（success/failed）分组统计
3. 仅统计金额大于100的订单

解决方案

GET /orders/_search?size=0
{
  "query": {
    "range": {
      "order_date": {
        "gte": "now-1y/d",
        "lte": "now/d"
      }
    }
  },
  "aggs": {
    "large_orders": {
      "filter": {
        "range": {
          "amount": {
            "gt": 100
          }
        }
      },
      "aggs": {
        "monthly_stats": {
          "date_histogram": {
            "field": "order_date",
            "calendar_interval": "month",
            "format": "yyyy-MM"
          },
          "aggs": {
            "payment_status": {
              "terms": {
                "field": "payment_status.keyword",
                "execution_hint": "map"
              }
            }
          }
        }
      }
    }
  }
}

核心组件解析

• filter聚合：顶层过滤金额>100的条件，避免污染原始查询
• date_histogram：按月分桶（calendar_interval），format控制输出格式
• terms子聚合：在月桶内按支付状态分组统计
• range查询：限定时间范围提升性能，与聚合过滤解耦

最佳实践

1. 过滤位置选择：金额过滤放在聚合层而非查询层，确保月聚合包含完整数据集
2. 性能优化：
   • size:0：不返回文档只返回聚合结果
   • execution_hint: "map"：对高基数字段使用map方式加速分桶
   • 预过滤：通过range查询缩小数据集范围
3. 映射设计：payment_status应使用keyword类型，避免text类型的分词问题

常见错误

扩展知识

• 聚合类型选择：
  • 固定间隔用fixed_interval（如30d）
  • 日历月用calendar_interval（自动处理月份天数差异）
• 深度分页优化：对于超大数据集，考虑使用composite聚合替代terms聚合
• 内存控制：
  • 监控circuit_breaker异常
  • 对高基数字段添加size参数限制桶数量
• 实时性权衡：对精度要求不高的场景，可设置search.allow_expensive_queries=false禁用高开销聚合