Elasticsearch 存储方式和管理优化细节1
需积分: 0 193 浏览量
2022-08-03
16:15:25
上传
评论
收藏 110KB PDF 举报
Elasticsearch 存储⽅式和管理优化细
节
Elasticsearch 的数据存储⽅式：
Lucene 把每次⽣成的倒排索引，叫做⼀个段(segment).然后另外使⽤⼀个
commit ⽂件记录索引内所有的 segment，⽣成 segment 的数据来源，refresh
到内存中的 buffer。
从写⼊refresh到⽂件缓存buffer中默认设置为 1 秒。
Elasticsearch 在把数据写⼊到内存 buffer 的同时，其实还另外记录了⼀个
translog ⽇志。通过translog ⽇志真正把 segment 刷到磁盘，同时commit ⽂
件进⾏更新，然后translog ⽂件才清空。这
⼀步，叫做 flush。默认设置为：每 30 分钟主动进⾏⼀次 flush。
上述两个过程保证数据实时查询和持久化数据。
注：5.0 中还提供了⼀个新的请求参数：?refresh=wait_for，可以在写⼊数据
后不强制刷新但⼀直等到刷新才返回。对于⽇志记录，可以等到时间缓冲后
再刷新，不需要保证实时，"refresh_interval":
"10s"；对于归档的数据导⼊时，可以先设置"refresh_interval": "-1"关闭刷
新，导⼊完后⼿动刷新即可。
注：为了减⼩系统开销，⼩的segment归并成⼤的segment再提交保存。
segment 归并的过程，需要先读取 segment，归并计算，再写⼀遍 segment，
最后还要保证刷到磁盘。5.0后引⼊Lucene的CMS⾃动调
整机制，默认设置是 10240 MB；封装
了"indices.store.throttle.max_bytes_per_sec" 该配置，不需要再设置。归并线
程保持默认即可。index.merge.scheduler.max_thread_count=3
归并策略优化：
资源评论
