freeBuf
主站

分类

漏洞 工具 极客 Web安全 系统安全 网络安全 无线安全 设备/客户端安全 数据安全 安全管理 企业安全 工控安全

特色

头条 人物志 活动 视频 观点 招聘 报告 资讯 区块链安全 标准与合规 容器安全 公开课

官方公众号企业安全新浪微博

FreeBuf.COM网络安全行业门户,每日发布专业的安全资讯、技术剖析。

FreeBuf+小程序

FreeBuf+小程序

NTA全流量大数据架构VS传统单机设备,底层差别到底在哪?
2020-07-28 15:12:27

如今实战攻防对抗的形势下,基于全流量的安全分析技术扮演着越来越重要的角色。尽管NTA技术已在市场中得到广泛认同,但用户在对NTA与全流量技术的理解上依然存在差异。

Gartner提出并定义网络流量分析(Network Traffic Analysis, NTA)技术成为流量分析领域的新宠,它被认为是五种检测高级威胁的重要手段之一。

Gartner 对NTA定义:以网络流量为基础,应用人工智能、大数据处理等先进技术,基于流量行为的实时分析,展示异常事件的客观事实。

新一代NTA技术,强调对大数据和人工智能技术的深度应用,具备满足对更复杂网络环境的精准探测能力。目前市场上对NTA流量分析类产品的主流应用主要包括以下几种形态:

第一代:传统单机流量设备

以IDS为代表的单机流量设备,通常为维持流量采集性能,协议解析种类与粒度浅,数据采集选择性缺失,仅留存报警信息,无法实现上下文关联分析、事件溯源分析和历史数据留存。单纯依赖特征规则进行检测,误报和漏报相对较高。

第二代:可横向扩展的传统流量设备

为应对大流量、高并发的刚性需求,第二代NTA支持了横向扩展,通过多台流量设备级联,在一定程度上提升了性能和存储。但在企业实际应用中,横向扩展的级联设备随着大流量的长期接入,数据量不断累积,最终只能在性能和质量之间做取舍:如只检测网络数据包头信息,只分析少量网络协议......进而使得网络会话级分析缺失,有效“分析材料”留存时间短(PCAP原始凭证难以规模性分析),数据量越大检索数据越缓慢,历史数据回溯困难——底层瓶颈成为无法逾越的障碍。

第三代:基于大数据架构的全流量分析集群

利用分布式文件系统、实时计算等成熟大数据技术,新一代NTA通常采用分布式部署,架构上支持水平扩展,同时具备高可用。在网络协议解析深度、网络会话分析完整性(存储完整Request/Response报文)、数据留存时间、海量数据检索速度、系统稳定性方面具备极大优势。正因为底层技术的不同,大数据架构的NTA在安全能力上可充分应用机器学习模型,跨时间周期的高级计算统计等全新智能安全分析技术,具备更复杂的关联分析和事件溯源能力。

斗象智能安全PRS-NTA

be7fc72f24534e3d94ed534ad8367bf3.jpegPRS-NTA大数据版处理流程

PRS-NTA通过旁路部署镜像流量,实时采集并深度解析全流量数据,采用大数据技术结合AI智能、高级统计模型、动态沙箱和实战驱动的安全规则,通过交互式数据图谱,应用事件关联与自定义实体网络分析,识别和检测流量中的攻击、威胁、风险、异常行为、恶意文件等安全事件与隐患。

PRS-NTA大数据版底层差异对比

PRS-NTA大数据版处理能力

50+协议深度解析,50+G流量实时处理

PRS-NTA利用高性能报文捕获技术实时采集镜像原始流量,通过DPI/DFI技术进行超过50种通信协议的深度解析,通过对流量的特征识别(IP重组、连接会话重构和统计分析等),完整提取协议数据、文件数据、资产数据等类型数据。项目实测数据实时处理50+Gbps流量,每秒处理协议数据数十万条

强大的海量数据检索能力,PB级数据秒级查询

对于安全监控分析类设备来说,检出、查询、分析的延迟不仅影响安全运营效率和体验,在攻防实战中,更可能造成不可估计的损失。尤其在如今,随着海量网络数据接入NTA,数据的检索效率显得尤为重要。PRS-NTA项目实测数据显示,PRS-NTA集群PB级的数据检索可达秒级

PRS-NTA大数据版存储能力

多数据存储引擎,流量会话级别完整留存

PRS-NTA大数据版充分考虑数据类型(会话数据、协议日志、PCAP数据、网络文件)、大小、存储周期、用途、使用频率等因素,按需适配。采用多数据存储引擎,有效保证流量会话数据的完整性,为不同场景下的安全分析、溯源以及安全运营所需要的数据挖掘工作提供有力支撑。

在PRS-NTA的金融级实际应用中,每日超过50亿+条数据的存储能力,达到数千亿级数据量级。不仅在保障各类数据实时处理状态的同时,兼顾低延迟、高吞吐,容错性高的优势,还满足《网安法》要求不少于6个月数据日志存储需求,支持全量PCAP原始凭证留存和文件还原。

PRS-NTA大数据版实战能力

数百台集群稳定运行,满足多样化实战要求

在大型网络中,依赖单机流量设备无法解决‘不同网络大流量高并发高负载性能压力’的问题。PRS-NTA分布式架构支持灵活的横向拓展,在金融级实际应用中,由数百台服务器构建的全流量安全集群高效稳定运行,在大型攻防演练以及日常安全运营中,满足用户对实时攻击检出、高速信息索引、事件深度分析&溯源、预警策略弹性变更等高标准的实战要求。

PRS-NTA支持基于Restful API和Syslog两种方式进行数据共享与产品联动。

# 大数据 # 流量 # PRS
本文为 独立观点,未经允许不得转载,授权请联系FreeBuf客服小蜜蜂,微信:freebee2022
被以下专辑收录,发现更多精彩内容
+ 收入我的专辑
+ 加入我的收藏
相关推荐
  • 0 文章数
  • 0 关注者