保障保障IDC安全：分布式安全：分布式HIDS集群架构设计集群架构设计
背景
近年来，互联网上安全事件频发，企业信息安全越来越受到重视，而IDC服务器安全又是纵深防御体系中的重要一环。保障
IDC安全，常用的是基于主机型入侵检测系统Host-based Intrusion Detection System，即HIDS。在HIDS面对几十万台甚至上
百万台规模的IDC环境时，系统架构该如何设计呢？复杂的服务器环境，网络环境，巨大的数据量给我们带来了哪些技术挑战
呢？
需求描述
对于HIDS产品，我们安全部门的产品经理提出了以下需求：
1.满足50W-100W服务器量级的IDC规模。
2.部署在高并发服务器生产环境，要求Agent低性能低损耗。
3.广泛的部署兼容性。
4.偏向应用层和用户态入侵检测（可以和内核态检测部分解耦）。
5.针对利用主机Agent排查漏洞的最急需场景提供基本的能力，可以实现海量环境下快速查找系统漏洞。
6.Agent跟Server的配置下发通道安全。
7.配置信息读取写入需要鉴权。
8.配置变更历史记录。
9.Agent插件具备自更新功能。
分析需求
首先，服务器业务进程优先级高，HIDS Agent进程自己可以终止，但不能影响宿主机的主要业务，这是第一要点，那么业务
需要具备熔断功能，并具备自我恢复能力。
其次，进程保活、维持心跳、实时获取新指令能力，百万台Agent的全量控制时间一定要短。举个极端的例子，当Agent出现
紧急情况，需要全量停止时，那么全量停止的命令下发，需要在1-2分钟内完成，甚至30秒、20秒内完成。这些将会是很大的
技术挑战。
还有对配置动态更新，日志级别控制，细分精确控制到每个Agent上的每个HIDS子进程，能自由地控制每个进程的启停，每个
Agent的参数，也能精确的感知每台Agent的上线、下线情况。
同时，Agent本身是安全Agent，安全的因素也要考虑进去，包括通信通道的安全性，配置管理的安全性等等。
最后，服务端也要有一致性保障、可用性保障，对于大量Agent的管理，必须能实现任务分摊，并行处理任务，且保证数据的
一致性。考虑到公司规模不断地扩大，业务不断地增多，特别是美团和大众点评合并后，面对的各种操作系统问题，产品还要
具备良好的兼容性、可维护性等。
总结下来，产品架构要符合以下特性：
1.集群高可用。
2.分布式，去中心化。
3.配置一致性，配置多版本可追溯。
4.分治与汇总。
5.兼容部署各种Linux 服务器，只维护一个版本。
6.节省资源，占用较少的CPU、内存。
7.精确的熔断限流。
8.服务器数量规模达到百万级的集群负载能力。
技术难点
剩余12页未读，继续阅读
资源评论
