【安全运营】安全运营关于告警降噪的一些梳理

媒介

日常安全运营碰面对海量的告警，怎么对告警举行过滤和降噪是一个一定的问题，也是一个被问最多的问题，本日我就做个统一梳理。
说起方式方法实在很多，例如智能降噪，关联分析，业务白名单，主动化归并，数据尺度化，攻击乐成判定，主动化等等，但是实际上现在用的比较多的还是加白，各种各样的加白（比较传统但有效），业务相干加白，IP 加白，文件加白，md5 加白，标签加白，进程加白，域名加白等等
一、智能技术层面

1、呆板学习和 AI 模型训练

• 误报过滤：利用呆板学习算法对汗青告警信息举行训练，进步辨认并过滤误报的本领。例如，通过流量模式分析、用户行为分析等方法。这方面的代表如 AISOC。
  
• 动态调整：根据新型攻击方式，动态优化模型并调整规则。
  

2、攻击乐成判定

• 验证攻击的有效性：通太过析攻击哀求与服务器响应的关联（如HTTP状态码、回显内容），判断攻击是否乐成。例如，SQL注入攻击若返回“数据库错误”则大概是真实攻击，而状态码200大概是误报。
  
• BAS验证：安全防护本领验证，了解自身的防护本领水平。
  
• 威胁谍报关联：关联威胁谍报对攻击的有效性举行辅助判定。
  

二、多源关联分析

1、多源装备关联（跨装备日志整合）

• 将防火墙、IDS、终端日志等多源数据关联分析，构建攻击全景图。例如，通过MITRE ATT&CK框架辨认攻击链中的TTP（战术、技术、过程）。案例：发现内网IP同时爆破多个主机或使用多个用户名，大概表明横向移动，需触发应急响应。
  

2、上下文信息增强

• 业务场景联合：联合业务流量特性（如特定时间段的正当登录行为）过滤误报。例如，清除业务脚本的暗码错误或周期性测试行为。
  
• 时间戳与时区统一：确保日志时间戳格式一致，制止因时间错位导致误判（如知乎讨论中提到的微软SOC实践）。
  

三、业务白名单和计谋优化

1、动态白名单机制

• 正当 IP/行为加白：深入了解业务，将业务所需的IP、行为和操作加入白名单以减少误报。
  
• 限时降噪：对业务的测试行为或者脚本设置临时加白和报备。例如，产线需要举行漏扫时举行扫描报备。
  
• 各种加白方式：文件加白、MD5加白、域名加白、进程加白、标签加白（标签资产体系）。
  

2、阈值和规则调整

• 智能阈值设定：根据业务流量基线动态调整告警阈值。例如，对SSH登录失败次数的阈值区分内外网（内网阈值可更低）。
  
• 告警规则过滤：对业务一些已知正常行为举行过滤（包括红队行为等已知行为）。
  

四、主动化和流程化

1、告警归并与去重

• 同类告警归并：将同一攻击源、目的或模式的告警归并为一条，减少重复处理（如微步TDP的同类告警归并计谋）。
  
• 优先级排序：根据攻击严峻性（如CVSS评分）或来源（内网/外网）对告警分级，优先处理高风险事件。
  
• 频率克制：同类的告警克制告警的频率，例如根据攻击IP或者模式限制告警为每4小时产生一次。
  

2、同类型事件自学习

• 呆板学习：借助呆板学习中的监督学习范式，将运营人员日常运营的告警事件当作训练资料喂给模型，让模型学习和进化。建议用作辅助判断，例如告诉运营人员汗青上同类型的事件是怎么处理的，并给出处理建议，不建议放开让呆板自己操作。
  

3、主动化响应与 SOAR（安全编排主动化响应）集成

• 主动化处理：对低风险告警（如已知误报）主动标记或关闭，开释分析师资源。
  
• SOAR（安全编排主动化响应）：通过预设脚本（Playbook）主动执行部分响应动作（如阻断IP、收集日志）。
  

4、借助UEBA（用户与实体行为分析）

• 告警降噪：面对海量的日志和告警信息，UEBA层层抽取实体和行为的理念自己也具备很好的降噪效果。例如从告警中抽象出实体，定义规则抽取实体的行为，定义规则对实体的异常行为生成告警，还可以方便地定义告警生成后的处理动作和是否需要关联人工分析等。
  
• 时序检测：利用UEBA理念做到时序检测（或者叫行为序列），在一段时间内，多个行为有序或无序被触发生成的告警。例如攻击IP批量SSH爆破后，触发对受害IP的SSH登录乐成行为，这种判断就很准确了。
  
• 关于 UEBA：【安全运营】用户与实体行为分析（UEBA）浅析
  

5、借助 AI flow 工作流

• AI工作流：现在比较先进的告警处理手段，依靠前期的基础建设。通过定义智能体、工作流和插件的方式处理告警事件。理论上AI工作流可以处理任何工作。
  
  
  
  • 概念关系：
    
    
    
    • 智能体：可以包罗多个工作流，智能体的上限是应用。
      
    • 工作流：可以包罗多个单位工具插件（或功能节点），和多个AI本领调用。
      
    • 插件（功能节点）：原子功能单位，代码或者服务的情势出现。
      
    
    
  • 计划思路：
    
    
    
    • 创建处理差异来源的告警事件的智能体，例如专门处理天眼告警的智能体，专门处理NGSOC告警的智能体，或者直接处理告警的智能体（类型在工作流中区分）等。
      
    • 工作流的计划发挥的空间更大，先将处理事件的步调分别出来（变成节点），有几个步调，每个步调完成什么样的输入和输出，哪个步调需要AI本领的加持，需要给这个AI本领预设的提示词是什么，温度值是多少，输出统一什么结构等等。
      
    • 插件（功能节点）：插件可以是一个AI模型的调用，可以是一个公共的服务接口调用，可以是一段Python代码实现了某种功能等等，插件的串联形成了工作流，多个工作流汇聚成了智能体的本领。
      
    
    
  • 如何告警降噪：
    
    
    
    • 将更定制化的事件交由智能体主动处理，人工只负责审核智能体处理的效果。
      
    • 智能体不能主动判断或处理的事件将转交人工分析，大大减少了分析师成本。
      
    
    
  
  

五、数据尺度化与工程化

1、日志格式统一

• 尺度化数据输入：确保所有安全装备的日志格式、时间戳、字段一致，便于关联分析。
  
• 字段拓展：添加上下文字段（如用户身份、资产归属），辅助判断告警正当性。
  
• 字段映射：将多种安全装备的日志字段映射成通用的“元字段”，这些元字段多为一些基础字段，例如attack_ip、device_ip、source_ip、destination_ip等，其他个性化的字段则作为扩展字段补充。
  

2、特性提取与标签化

• 攻击特性库构建：通过时序发掘技术提取攻击模式（如暴力破解的频率、IP分布），并标注为已知威胁。
  
• 异常检测：利用统计模型（如孤立森林）辨认偏离正常模式的流量，减少误报。
  

六、人员协同

1、业务侧措施

• 业务侧协作：加深安全运营人员对业务的了解深度，减少业务操作引发的事件告警处理。
  
• 敏感操作报备：业务在特定时间内举行一些敏感操作或大概触发安全事件的提前举行告知，制止和安全人员之间的乌龙。
  
• 业务安全接口人机制：接口人在安全部门培训学习，了解哪些操作违规违法或者数据敏感操作，及时反馈到业务并起到监督和和谐安全部作用。
  

2、安全团队

• 事件分级处理：将告警事件分类分级，对应差异的处理方式，如主动化处理告警，人工参与简单分析告警，人工参与复杂分析告警，应急响应告警等（对应微软的一级响应、二级响应、三级响应等）。
  
• 知识库构建：创建常见的安全场景、业务场景案例及处理方案，减少重复分析。
  

by 久违