【Elasticsearch】Elasticsearch动态映射与静态映射详解

文章目录

• 📑前言
• 一、Elasticsearch 映射概述
• • 1.1 什么是映射？
  • 1.2 映射的分类
  • 二、动态映射
  • • 2.1 动态映射的定义
    • 2.2 动态映射的优点
    • 2.3 动态映射的缺点
    • 2.4 动态映射的应用场景
    • 2.5 动态映射的配置示例
    • 三、静态映射
    • • 3.1 静态映射的定义
      • 3.2 静态映射的优点
      • 3.3 静态映射的缺点
      • 3.4 静态映射的应用场景
      • 3.5 静态映射的配置示例
      • 四、动态映射与静态映射的比较
      • • 4.1 应用场景
        • 4.2 配置和管理
        • 4.3 性能和风险
        • 五、动态映射和静态映射的最佳实践
        • • 5.1 动态映射的最佳实践
          • 5.2 静态映射的最佳实践
          • 5.3 动态映射与静态映射结合使用
          • 六、小结

            

            📑前言

            Elasticsearch 是一个分布式搜索和分析引擎，广泛应用于实时数据分析和全文检索中。在使用 Elasticsearch 时，映射（Mapping）是定义索引中文档结构和字段类型的过程。映射主要分为动态映射和静态映射两种方式。本文将详细介绍这两种映射的区别及其在不同场景中的应用。

            一、Elasticsearch 映射概述

            1.1 什么是映射？

            映射是 Elasticsearch 中定义索引中文档结构、字段类型及其属性的过程。通过映射，Elasticsearch 可以理解数据的结构和类型，从而进行有效的存储和检索。映射可以定义字段的类型（如字符串、整数、日期等）、字段是否可以被索引、是否存储原始值等属性。

            1.2 映射的分类

            映射主要分为两类：

            • 动态映射（Dynamic Mapping）
            • 静态映射（Static Mapping）

              这两种映射方式在字段定义和管理上存在显著区别，适用于不同的数据处理场景。

              二、动态映射

              2.1 动态映射的定义

              动态映射是 Elasticsearch 自动推断和创建字段类型的过程。当索引中插入新文档时，如果文档包含了映射中尚未定义的新字段，Elasticsearch 会根据字段的值自动推断其类型并将其添加到映射中。

              2.2 动态映射的优点

              • 方便快捷：无需提前定义所有字段类型，减少了开发和配置的工作量。
              • 适应性强：适用于字段结构不固定或变化频繁的场景，能够自动适应新字段的加入。

                2.3 动态映射的缺点

                • 不精确性：自动推断的类型可能不完全符合预期，例如字符串类型的日期被推断为文本类型。
                • 风险控制：在高并发写入时可能会引起映射爆炸（Mapping Explosion）问题，导致内存和性能问题。
                • 不可预测性：映射变化可能会影响查询性能和结果的准确性。

                  2.4 动态映射的应用场景

                  动态映射适用于以下场景：

                  • 数据结构不固定或频繁变化的应用，例如日志分析、社交媒体数据采集等。
                  • 开发阶段或快速原型设计时，用于快速验证数据模型。

                    2.5 动态映射的配置示例

                    PUT /my_index
                    {
                      "mappings": {
                        "dynamic": true
                      }
                    }
                    PUT /my_index/_doc/1
                    {
                      "name": "John Doe",
                      "age": 30,
                      "join_date": "2024-07-04"
                    }
                    

                    上述示例中，my_index 索引配置了动态映射，当插入文档时，Elasticsearch 自动推断 name 为文本类型，age 为整数类型，join_date 为日期类型。

                    三、静态映射

                    3.1 静态映射的定义

                    静态映射是提前定义好索引中文档结构和字段类型的过程。通过静态映射，用户可以明确指定每个字段的类型及其属性，从而控制数据的存储和检索行为。

                    3.2 静态映射的优点

                    • 精确控制：用户可以精确定义字段类型，避免类型推断错误。
                    • 性能优化：通过合理的映射设计，可以提升索引和查询性能。
                    • 风险降低：避免了动态映射可能引起的映射爆炸和性能问题。

                      3.3 静态映射的缺点

                      • 灵活性差：需要提前定义所有字段，无法自动适应新字段的加入。
                      • 配置复杂：对于字段多且复杂的数据结构，映射配置工作量较大。

                        3.4 静态映射的应用场景

                        静态映射适用于以下场景：

                        • 数据结构相对固定且字段类型明确的应用，例如电商平台商品数据、用户信息管理等。
                        • 对性能要求较高，需要精确控制字段类型和索引行为的场景。

                          3.5 静态映射的配置示例

                          PUT /my_index
                          {
                            "mappings": {
                              "properties": {
                                "name": {
                                  "type": "text"
                                },
                                "age": {
                                  "type": "integer"
                                },
                                "join_date": {
                                  "type": "date"
                                }
                              }
                            }
                          }
                          PUT /my_index/_doc/1
                          {
                            "name": "John Doe",
                            "age": 30,
                            "join_date": "2024-07-04"
                          }
                          

                          上述示例中，my_index 索引配置了静态映射，明确指定了 name 为文本类型，age 为整数类型，join_date 为日期类型。

                          四、动态映射与静态映射的比较

                          4.1 应用场景

                          • 动态映射适用于数据结构不固定或频繁变化的场景，方便快速适应新字段。
                          • 静态映射适用于数据结构固定且字段类型明确的场景，能够精确控制字段类型和索引行为。

                            4.2 配置和管理

                            • 动态映射无需提前定义字段类型，配置简单，减少了开发和配置工作量。
                            • 静态映射需要提前定义所有字段，配置复杂，但能够精确控制字段类型和索引行为。

                              4.3 性能和风险

                              • 动态映射可能引发映射爆炸和性能问题，尤其在高并发写入时风险较大。
                              • 静态映射通过合理设计可以提升索引和查询性能，降低动态映射带来的风险。

                                五、动态映射和静态映射的最佳实践

                                5.1 动态映射的最佳实践

                                • 限制字段类型：可以通过设置 dynamic_templates 来限制字段类型，避免推断错误。
                                • 控制字段数量：限制动态映射创建的字段数量，防止映射爆炸。
                                • 监控映射变化：定期监控索引映射变化，及时发现和处理异常字段。

                                  5.2 静态映射的最佳实践

                                  • 合理设计映射：根据业务需求和查询场景合理设计映射，优化性能。
                                  • 定期评审映射：定期评审和优化映射配置，适应业务变化。
                                  • 利用模板管理：通过索引模板管理映射配置，简化多索引管理。

                                    5.3 动态映射与静态映射结合使用

                                    在实际应用中，可以结合使用动态映射和静态映射。例如，在开发阶段使用动态映射，快速验证数据模型；在生产阶段使用静态映射，确保数据结构和类型的稳定性和性能。

                                    六、小结

                                    Elasticsearch 的动态映射和静态映射各有优缺点，适用于不同的数据处理场景。动态映射方便快捷，适应性强，但可能带来不精确性和风险；静态映射精确控制，性能优化，但配置复杂，灵活性差。