原子网络科技 原子网络科技

服务器日志远程集中采集方案:RSyslog+Logstash实现多机房日志实时汇聚与敏感信息过滤

a169kai 2026年11月16日 · 阅读约 2 分钟

跨机房日志链路一般分为三层来实施:边缘节点使用 rsyslog 监听 TCP/UDP 514 端口收集 auth、kern、nginx 等本地日志,根据设施进行初步筛选,通过 RELP 协议加上 TLS 加密和磁盘辅助队列的方式把数据发送到区域汇聚节点上,在断线的时候可以重连并且不会丢失任何一条信息。

区域层把多个机房的数据流统一成RFC5424格式后发送给中心Logstash,在grok中解析出host、program和timestamp三个字段,在filter里对message进行正则脱敏处理:手机号只保留前三位和后四位,邮箱、身份证号等敏感信息用*代替,password/token/secret等字段用占位符替代,JWT以及鉴权头全部被遮挡起来,REST接口中存在的敏感信息也被一并清除掉。

经过处理后,日志被写入到Elasticsearch中,按照机房和日期来划分索引,在Kibana上进行查询和告警操作。整个过程中都使用了证书验证以及最小权限原则来进行访问控制,重要的转发行为都会留下审计记录,在保证时效性的同时满足完整性和合规性的要求。

用rsyslog做轻量级的前端处理,Logstash进行集中式的解析和脱敏操作,实现多个机房之间的日志实时收集以及敏感信息的出口控制,适用于中等规模以上的运维审计环境。

0 0 投票数
文章评分
订阅评论
提醒
guest
0 评论
最旧
最新 最多投票