大数据安全分析09_关联分析简介

大数据关联分析提供了基于规则、基于统计的关联分析功能，能够实现对于安全事件的误报排除、事件源推论、安全事件级别重新定义等效能。

▼▼关联分析简介

关联分析是在大规模数据集中寻找有趣关系的任务。这些关系可以有两种形式：频繁项集、关联规则。频繁项集是经常出现在一块儿的物品的集合，关联规则暗示两种物品之间可能存在很强的关系。

例如网络中的防火墙日志和入侵检测日志都是对进入网络的安全事件的流量的刻画,针对某一个可能的攻击事件,会产生大量的日志和相关报警记录,这些记录存在着很多的冗余和关联。

因此首先要对得到的原始日志进行单源上的关联分析,把海量的原始日志转换为直观的、能够为人所理解的、可能对网络造成危害的安全事件。

基于多源日志的态势获取方法采用基于相似度的报警关联,可以较好地控制关联后的报警数量,有利于减少复杂度。

▼▼关联规则匹配介绍

安全事件关联分析是采用基于规则匹配的方法，对多条异源异构事件进行匹配分析，当符合关联规则条件时得出事件分析结论的过程。规则匹配分析方法包括关联分析和统计分析两种。

基于规则的关联分析条件为安全事件中某些属性的限制条件，即规则的激活条件，具有检测事实存在与否、比较事实、根据标志检验事实等功能。条件可以由单个检测属性组成，也可以由多个检测属性组成，且各属性用逻辑符号OR、AND、NOT来表示多属性的逻辑关系。结果是新证据的断言或某个用户行为的可疑度，具有产生一条高优先级关联事件的功能。

事件统计分析是指采用统计学方法，对各类事件的状态、频次、发生周期等数据量化特征进行计算、得出事件数据的分布状况、主要特征、时间序列的趋势性、是否存在异常值、事件汇总结果等内容，事件统计分析结果可直接用于事件性质的判定、解释和决策。

▼▼关联分析举例

恶意扫描主要指针对WEB站点或者特定端口的扫描攻击行为的检测。通过分析安全设备检测日志、WEB站点日志和服务器日志，识别以及发现针对WEB站点的恶意扫描行为进行检测分析。

• 输入数据

WEB中间件访问日志、安全设备告警日志。

• 检测与分析方法

WEB站点恶意扫描识别，根据WEB日志、WAF告警信息，以源IP为唯一标识，针对不同的扫描特征，分析识别出针对WEB的恶意扫描，并汇总事件发生的时间、协议、源IP、目的IP、URL集、扫描步长、事件等级；

主机恶意扫描识别，根据安全设备告警日志，以源IP和扫描端口为唯一标识，针对不同的扫描特征，分析识别出针对主机的恶意扫描，并汇总事件发生的时间、协议、源IP、目的IP、目的端口、扫描次数、事件等级。

 扩展  ·  本文相关链接  

· 大数据安全分析08_大数据处理框架介绍

· 大数据安全分析07_大数据存储技术介绍

· 大数据安全分析06_数据解析技术

· 大数据安全分析05_数据采集技术

· 大数据安全分析04_数据传输方式

· 大数据安全分析03_数据采集对象与数据类型

· 大数据安全分析02_大数据安全分析技术框架 

· 大数据安全分析01_为什么要用大数据技术进行安全分析？