Elasticsearch 分布式集群

ES的集群#

分片 shard
最小的工作单元
是一个lucene的index。
在lucene中，单个倒排索引文件称为segment，多个segments汇总在一起称为lucence的index
主分片（Primary Shard）
主分片数设置好后不能变更，如要修改, 需要重建索引。
副本分片（Replica Shard）
数据可用性
副本数可以动态调整，提高读取的吞吐量

节点类型	配置参数	默认值
master 要部署多个master节点
master eligible master的候选节点	node.master	true
data 保存分片数据	node.data	true 默认是数据节点，可以禁止掉
ingest	node.ingest	true
coordinating only	无	每个节点默认都是coordinating节点。设置其他类型全部为false。
machine learning	node.ml	true（需enable x-pack）

7.0之前的版本
- 只有在Master eligible节点数大于quorum时, 才能进行选举
- quorum = master/2 + 1
- 3个Master eligible时, 设置discovery.zen.minimum_master_nodes为2, 可以避免脑裂
7.0开始
- 无需配置minimum_master_nodes

Elasticsearch 数据写入

write：文档数据到内存缓存，并存到 translog
- translog
  高版本， tanslog默认落盘.
  每个shard有一个translog
refresh
内存缓存中的文档数据，到文件缓存中的segment
此时可以被搜到
flush
- 缓存中的 segment 文档数据写入到磁盘
- 触发条件
  默认30min调用一次
  或者 tanlogs写满(512MB)
- 过程
  1. 调用refresh
  2. 调用fsync， segments写入磁盘
  3. 清空translog
merge
- segments 定期合并
  自动进行merge操作
- 真正删除已经惰性删除的文档
refresh过程
- index buffer 写入segment的过程
  index buffer会被清空, translog不会清空。
  断电后, 可以从tanslog中做索引的recover
- 不会执行fsync操作
- 一秒一次
- refresh之后，数据就可以被搜索到