Elasticsearch深度分页优化

发表于2023-12-12字数统计1.4k阅读时长8分

在 Elasticsearch 中，深度分页（Deep Pagination）是指查询结果的分页参数 from 值较大的情况（例如 from=10000）。深度分页会导致性能问题，因为 Elasticsearch 需要从每个分片中获取大量的文档，并在协调节点上合并和排序这些文档，这会消耗大量的内存和 CPU 资源。以下是优化 Elasticsearch 深度分页性能的几种常见策略：

1. 避免深度分页

深度分页通常不是用户实际需要的场景。可以通过以下方式避免深度分页：

  • 限制分页深度：
    • 在前端或 API 层面限制 from 的最大值（例如 from <= 1000）。
  • 优化用户体验：
    • 提供更精确的搜索条件，减少结果集的大小。
    • 使用排序和过滤条件，帮助用户快速定位所需数据。

2. 使用 search_after 参数

search_after 是一种基于游标的分页方式，适合深度分页场景。它通过指定上一页最后一条记录的排序值来获取下一页数据，避免了传统分页的性能问题。

使用方法：

  1. 在查询中指定排序字段（必须包含唯一字段，如 _id）。
  2. 使用 search_after 参数传递上一页最后一条记录的排序值。

示例：

1
2
3
4
5
6
7
8
9
GET /my_index/_search
{
  "size": 10,
  "sort": [
    { "timestamp": "desc" },
    { "_id": "asc" }
  ],
  "search_after": [1696166400000, "abc123"]
}

优点：

  • 避免了传统分页的性能瓶颈。
  • 适合深度分页和实时数据查询。

缺点：

  • 需要客户端维护游标状态。
  • 不支持跳转到任意页码。

3. 使用滚动查询（Scroll API）

滚动查询（Scroll API）适合一次性获取大量数据的场景（如数据导出）。它通过创建一个快照（Snapshot）来保持查询的上下文，允许分批次获取数据。

使用方法：

  1. 初始化滚动查询，设置滚动时间窗口（如 1m）。
  2. 使用 scroll_id 获取下一批数据。

示例：

初始化滚动查询：

1
2
3
4
5
6
7
POST /my_index/_search?scroll=1m
{
  "size": 100,
  "query": {
    "match_all": {}
  }
}

获取下一批数据：

1
2
3
4
5
POST /_search/scroll
{
  "scroll": "1m",
  "scroll_id": "DnF1ZXJ5VGhlbkZldGNoBQAAAAAAAABIFj..."
}

优点：

  • 适合一次性获取大量数据的场景。
  • 避免了深度分页的性能问题。

缺点：

  • 滚动查询会占用资源，直到滚动时间窗口过期。
  • 不适合实时分页场景。

4. 使用 Point In Time（PIT）

Point In Time（PIT）是 Elasticsearch 7.10 引入的功能，用于在滚动查询的基础上提供更高效的分页方式。它通过创建一个时间点视图（Point-in-Time View），允许在固定的数据视图上进行分页。

使用方法：

  1. 创建一个 PIT。
  2. 使用 search_after 和 PIT 进行分页。

示例：

创建 PIT：

1
POST /my_index/_pit?keep_alive=1m

使用 PIT 和 search_after 分页：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
GET /_search
{
  "size": 10,
  "query": {
    "match_all": {}
  },
  "pit": {
    "id": "46ToAwMDaWR5BXV1aWQyKwZub2RlXzMAAAAAAAAAACoBYwADaWR4BXV1aWQxAgZub2RlXzEAAAAAAAAAAAEBYQADaWR5BXV1aWQyKgZub2RlXzIAAAAAAAAAAAwBYgACBXV1aWQyAAAFdXVpZDEAAQltYXRjaF9hbGw_gAAAAA==",
    "keep_alive": "1m"
  },
  "sort": [
    { "timestamp": "desc" },
    { "_id": "asc" }
  ],
  "search_after": [1696166400000, "abc123"]
}

优点：

  • 提供更高效的分页方式。
  • 适合实时分页场景。

缺点：

  • 需要 Elasticsearch 7.10 及以上版本。

5. 使用 slice 分片查询

slice 分片查询允许将查询分成多个子查询，每个子查询处理数据的一个子集。通过并行执行这些子查询，可以提高查询性能。

使用方法：

  1. 指定 slice 参数，将查询分成多个子查询。
  2. 并行执行这些子查询。

示例：

1
2
3
4
5
6
7
8
9
10
GET /my_index/_search
{
  "slice": {
    "id": 0,
    "max": 2
  },
  "query": {
    "match_all": {}
  }
}

优点：

  • 提高查询性能，适合大数据集。
  • 可以并行执行多个子查询。

缺点：

  • 需要客户端合并多个子查询的结果。
  • 不适合实时分页场景。

6. 优化索引设计

通过优化索引设计，可以减少查询时需要扫描的数据量，提高查询性能。

优化策略：

  • 使用合适的字段类型：
    • 选择合适的数据类型（如 keyword、text、date 等），避免不必要的分词和分析。
  • 使用过滤条件：
    • 在查询中添加过滤条件，减少需要扫描的数据量。
  • 使用索引模板：
    • 使用索引模板统一管理索引的配置和映射。

7. 使用缓存

对于不经常变化的数据，可以使用缓存（如 Redis）来存储分页结果，减少 Elasticsearch 的查询压力。

示例：

  1. 将查询结果缓存到 Redis 中。
  2. 从缓存中获取分页数据。

优点：

  • 减少 Elasticsearch 的查询压力。
  • 提高查询性能。

缺点：

  • 数据变化时需要更新缓存。
  • 适合不经常变化的数据。

总结

优化 Elasticsearch 深度分页性能的常见策略包括：

  1. 避免深度分页：限制分页深度，优化用户体验。
  2. 使用 search_after：适合深度分页和实时数据查询。
  3. 使用滚动查询（Scroll API）：适合一次性获取大量数据的场景。
  4. 使用 Point In Time（PIT）：提供更高效的分页方式，适合实时分页场景。
  5. 使用 slice 分片查询：提高查询性能，适合大数据集。
  6. 优化索引设计：减少查询时需要扫描的数据量。
  7. 使用缓存：减少 Elasticsearch 的查询压力，适合不经常变化的数据。

根据具体的业务场景和数据特点，选择合适的优化策略，可以显著提高 Elasticsearch 深度分页的性能。