01 elasticsearch - lilydanyanpi/test1 GitHub Wiki

toc

1、大数据es集群风险评估

||~序号||风险点||风险程度||优化方案||优化可执行性|| ||1 ||安全风险：1.kibana暴露在办公网环境，无账号密码控制；2.可删除，风险巨大 || 高||1.控制网络策略，堡垒机访问； 2.添加禁止批量删除参数 || 简单 || ||2 ||存储风险：1.目前整个集群使用量达到70%，存在存储瓶颈 ||高 ||1.后续新增索引模板添加压缩参数；2.扩容节点，利用空闲资源 || 一般|| ||3 || 性能风险：1.高峰期hive离线数据推送，单个索引写入最高达到近60万/s的速率，影响集群写入和查询性能||高 ||1.控制推送并发和速率；2.延长推送时间；3.中间添加消息队列 ||一般 || ||4 ||架构风险：1.多套es集群部署在一起；2.多个节点部署同台物理机，共享网络带宽和系统资源，一旦物理机宕机，集群恢复缓慢，严重影响集群健康 ||中 || 1.建议虚拟机分布式部署，减少集群风险||困难 || ||5 || 运维风险：1.服务启停全靠手动命令；2.部署目录结构嵌套过长和复杂，节点存储目录不统一，大大加大了集群的运维力度和风险 ||中 ||1.统一服务启停；2.统一目录结构 || 困难|| ||6||监控风险：1.监控项不完善，缺乏性能健康等基本监控||低||1.优化监控模板，增加es主要监控指标||简单