基本概念 - shuiyuebingdian/ElasticSearch GitHub Wiki

近实时(NRT)

Elasticsearch是近实时搜索平台。这意味着从索引文档到可搜索的这段时间之间存在少许延迟(通常为一秒钟)。

Cluster

群集是一个或多个节点(服务器)的集合,这些节点一起保存您的全部数据,并在所有节点之间提供联合索引和搜索功能。集群由唯一名称标识,默认情况下为“ elasticsearch”。此名称很重要,因为如果节点被设置为通过其名称加入群集,则该节点只能是群集的一部分。

确保不要在不同的环境中重复使用相同的集群名称,否则最终可能会导致节点加入了错误的集群。例如,您可以将logging-dev,logging-stage和logging-prod 用于开发,登台和生产集群。

请注意,只有一个节点在其中的集群是有效且完全可以的。此外,您可能还具有多个独立的群集,每个群集都有其自己的唯一群集名称。

Node

节点是单个服务器,它是群集的一部分,存储数据并参与群集的索引和搜索功能。就像群集一样,节点由名称标识,该名称默认为在启动时分配给该节点的随机通用唯一标识符(UUID)。如果不想使用默认的节点名称,则可以定义任何节点名称。此名称对于管理目的很重要,在管理中您要识别网络中的哪些服务器与Elasticsearch群集中的哪些节点相对应。

可以将节点配置为通过集群名称加入特定集群。默认情况下,每个节点都设置为加入一个名为的集群elasticsearch,这意味着如果您在网络上启动了多个节点,并且假设它们可以相互发现,它们将全部自动形成并加入一个名为的集群elasticsearch。

在单个群集中,您可以根据需要拥有任意数量的节点。此外,如果您的网络上当前没有其他Elasticsearch节点在运行,则默认情况下启动单个节点将形成一个名为的新单节点集群elasticsearch。

Index 索引

index是具有相似特征的文档的集合。例如,您可以为客户数据创建索引,为产品目录创建另一个索引,为订单数据创建另一个索引。索引由名称标识(必须全为小写),并且对该索引中的文档执行索引,搜索,更新和删除操作时,该名称用于引用索引。

在单个群集中,您可以定义任意多个index。

Type 类型

在index中,您可以定义一个或多个type。type是index的逻辑类别/分区,其语义完全取决于您。通常,为具有一组公共字段的文档定义一种type。例如,假设您运行一个博客平台并将所有数据存储在一个index中。在此index中,您可以为用户数据定义一种type,为博客数据定义另一种type,并为注释数据定义另一种type。

Document 文档

document是可以建立index的基本信息单位。例如,您可以拥有一个针对单个客户的document,一个针对单个产品的document,以及另一个针对单个订单的document。document以JSON(JavaScript对象表示法)表示,JSON是一种普遍存在的Internet数据交换格式。

在index/type中,您可以存储任意数量的document。请注意,尽管document实际上位于index中,但实际上必须将document编入index/分配给index内的type。

Shards & Replicas 分片和副本

索引可能会存储大量数据,这些数据可能超过单个节点的硬件限制。例如,十亿个文档的单个索引占用了1TB的磁盘空间,可能不适合单个节点的磁盘,或者可能太慢而无法单独满足来自单个节点的搜索请求。

为了解决此问题,Elasticsearch提供了将索引细分为多个碎片的功能。创建索引时,只需定义所需的分片数量即可。每个分片本身就是一个功能齐全且独立的“索引”,可以托管在群集中的任何节点上。

分片很重要,主要有两个原因:

  • 允许您水平分割/缩放内容量
  • 允许您跨碎片(可能在多个节点上)分布和并行化操作,从而提高性能/吞吐量

分片如何分布以及其文档如何聚合回到搜索请求中的机制由Elasticsearch完全管理,并且对您作为用户是透明的。

在随时可能发生故障的网络/云环境中,非常有用,强烈建议您使用故障转移机制,以防碎片/节点因某种原因脱机或消失。为此,Elasticsearch允许您将索引分片的一个或多个副本制作为所谓的副本分片(简称副本)。

复制很重要,主要有两个原因:

  • 如果分片/节点发生故障,它可提供高可用性。因此,重要的是要注意,副本碎片永远不会与从其复制原始/主要碎片的节点分配在同一节点上。
  • 由于可以在所有副本上并行执行搜索,因此它可以扩展搜索量/吞吐量。

总而言之,每个索引可以分为多个碎片。索引也可以复制零(表示没有副本)或多次。复制后,每个索引将具有主碎片(从中进行复制的原始碎片)和副本碎片(主碎片的副本)。可以在创建索引时为每个索引定义分片和副本的数量。创建索引后,您可以随时动态更改副本数,但不能事后更改分片数。

默认情况下,Elasticsearch中的每个索引分配有5个主碎片和1个副本,这意味着如果集群中至少有两个节点,则索引将具有5个主碎片和另外5个副本碎片(1个完整副本),总共每个索引10个碎片。

每个Elasticsearch分片都是一个Lucene索引。一个Lucene索引中可以包含的文档数量上限。截至LUCENE-5843,限制为2,147,483,519(= Integer.MAX_VALUE-128)个文档。您可以使用_cat/shardsAPI 监控分片大小。