WitAwards 2017“年度创新产品”参评巡礼 | 观数Hadoop安全防护产品BIG DAF

2017-11-28 184374人围观 ,发现 1 个不明物体 活动

大数据彻底改变了资源利用配置的模式,但是其引发的安全问题,尤其是在大数据安全防护的最后一公里上,还没有引起企业的足够重视。

当今时代是数据的时代,数据时代的浪潮下 Hadoop 成为日渐成熟的利器,但在企业复杂的生态环境中应用Hadoop,同时也是对企业的数据管理提出的一个挑战。现实情况中, Hadoop 上还没有出现统一的安全标准。另一方面,在开发大数据系统的时候,企业受制于投入成本时间等因素的影响,他们更容易聚焦在性能与业务问题上,安全问题则很容易遭到忽略。

secure-hadoop-cluster.png

背景介绍

由于大数据相关的运营模式以及技术体现与传统方案有着巨大的差异性,在数据存储、数据处理、数据交换、数据采集、数据挖掘等数据的全生命周期中,产生了新的安全风险和攻击方法,给大数据系统带来了数据滥用、敏感数据泄漏、数据污染、数据篡改、拒绝服务等诸多安全隐患。

据调查统计,目前在我国 90 %以上的大数据系统都运行在以 Hadoop 为核心的基础软件生态中。

尽管 Hadoop 一直是大数据分析平台的主流产品,但其安全性一直深受诟病,而针对安全的各种配置也都比较复杂。

早期的 Hadoop1.0.0 之前版本,开发者假设集群内节点都是可信的,因此在 HDFS 或 mapreduce 操作时无需认证,导致出现恶意用户可任意提交或终止作业,并可随意篡改HDFS数据,或出现节点冒充等问题。HDFS本身继承了 linux 的账户权限体系,因此具有一定的访问控制功能,但是在没有认证机制,导致这些权限体系如同虚设。

后来加入了 Kerboers 认证机制之后。实现了节点之间采用密钥进行认证,只有被认证过的节点才可以正常交互,未认证的节点则无法正常使用,防止了恶意用户访问 Hadoop 集群的问题,就使用了 kerboers 协议。然而 kerboers 也有自身的问题,由于 kerboers 需要与每台节点进行认证,因此在每一个节点和组件上,都需要开启 kerboers 的组件开关,加上有大量繁琐的配置工作,往往会在部署上显得十分困难,特别是集群组件的更新、升级、更改,以及节点的增减,都要对 kerboers 进行相应的配置,稍有偏差,就会导致集群无法启动,以至于在实际使用的过程中,许多用户在多次尝试以后,选择放弃。

0929000.jpg

目前,Hadoop 最常见的安全问题有,账户冒充、数据泄露、网络扫描、勒索攻击、物理攻击、暴力破解、越权访问等。具体的安全隐患描述如下:

  1. Hadoop的认证机制不够完善,不开启kerberos的身份认证用户可以随意访问大数据系统。开启kerberos的认证机制会降低整个集群的效率。
  2. 授权单一,能够登录集群的用户,就可以访问任何数据。对于主客体访问控制的类型不够丰富,不足以满足不同业务的需求。
  3. Hadoop只有粗略的访问日志,没有具体的审计记录,无法对大数据平台各组件全面可视化审计。
  4. 大数据平台组件及应用系统众多,增加了操作员统一管理集群所有组件的难度,同时Hadoop本身的系统也会存在漏洞,因此实现大数据平台的漏洞扫描显得尤为重要。
  5. 敏感信息泄露威胁,个人数据的传输过程、存储过程、处理过程、使用过程等还无法实施有效控制,给个人信息的泄露造成威胁。
  6. 大数据网络安全威胁;黑客可以通过大数据技术收集、漏洞分析和挖掘情报,使得各种高级持续性威胁攻击更容易成功,并从原有海量、低价值的数据中获取有用的数据信息,从而引发数据泄露,造成更大的危害。

公司介绍

观数科技,成立于2015年,分别在北京中关村、贵阳(“中国数谷”) 大数据安全产业园设有分公司。是目前国内掌握大数据Hadoop安全防护核心技术的高科技公司,大数据安全解决方案的提供商。公司于 2016 年推出国内首个获得公安部认证的 Hadoop 安全防护产品 BIG DAF,完全自主知识产权。

1.png

BIG DAF 架构图

BIG DAF 产品介绍

BIGDAF 是国内首个网关级 Hadoop 大数据安全防火墙,也是目前唯一通过公安部认证的 Hadoop 安全防护产品,具有用户管理、角色管理、权限管理、操作行为管控、任务管控、基线检测与漏洞扫描等安全防护功能。

这款产品主要由三部分组成:网关代理Gateway管理后台Admin插件。网关代理Gateway等于在物理隔离区和公共区有一个桥梁,所有人都必须通过身份验证后才能提交相关数据或分析任务;管理后台Admin主要配置相应的用户和权限,采取图形界面,不需要进行代码级操作;插件可以对用户资源设置不同的访问权限。

产品架构图.png

BIG DAF 产品架构图

在分布式的大数据 IT 架构下,针对大数据的全生命周期,BIG DAF主要提供如下的功能。

一、BIG DAF账户及认证管理

账户管理:继承并接管Hadoop原生账户,完全重构了一套权限机制,将ACL独立于Hadoop之外,单独管理账户,形成独立的账户管理体系。

身份认证:为Hadoop中所有组件,提供SSO,单点登录授权,提供用户名+密码的身份验证方式。

网络控制:支持基于IP、端口的黑白名单控制。

登录控制:支持用户+时间+IP 的登录控制。

账号安全:密码复杂度、登录失败处理策略。

大数据 Hadoop 平台的账户添加以及权限管理是在 BIG DAF 的 admin 后台管理模块来实现的, BIG DAF产品的用户及权限包括但不限于 HDFS 、Hive、Zookeeper、Hbase等,在试用时,暂时只能看到 Hbase 的后台界面。

身份认证.png

二、BIG DAF下的授权和访问控制

BIG DAF提供了细粒度级的授权及访问控制,可以对用户和应用程序提供精确的访问级别。

分权管理:安全、审计和操作,拥有安全权限的使用者,只能设置安全策略;审计权限的人员只能查看相应的日志,掌握关键数据的使用情况;操作权限的人员只能根据安全策略进行数据使用。三种身份相互制约,避免权限集中带来的安全风险。

授权管理:针对主客体的授权管理,独立维护一套访问控制列表ACL,针对大数据平台上的几乎所有组件进行单独授权管理(Hdfs、Hbase、Strom、Knox、solr、Kafka)。

访问控制:实现多种安全模式(DAC、MAC 、RBAC、TBAC)细粒度访问控制,自主访问控制(DAC),解决大数据平台超级用户一权独大的问题,文件所属用户不能被更改;强制访问控制(MAC),对用户及资源进行级别划分,不上读,不下写。

用户权限管理.png

网关代理 GateWay 的 RBAC 权限管控

三、任务沙箱

任务沙箱:针对计算任务jar包,可通过沙箱预执行,判断访问资源是否越权,通过后台管理统一管理JAR包,上传JAR包、检测JAR包,浏览JAR包执行返回的状态;通过后台管理可以查看历史任务;导出JAR包上传以及执行结果的相关日志。

沙箱.png

四、数据安全

BIG DAF还可以定义敏感数据、制定规则,防止敏感数据外流,或者进行敏感字段的识别和部分脱敏。其次,比如手机号经识别引擎可以划分为:网络识别号(3)+地区编码(4~7)+用户号码(8~11)3个敏感区域。BIG DAF 可以根据需求对敏感区域进行,替换、重排、加密、截断、掩码。

其次,在数据通讯上,BIG DAF的 GateWay 是 https 的通信加密方式,同时本身支持 kerberos 认证方式,同时也支持 KMS。

五、监控与审计

产品可以对整体资源的状况进行监控,BIG DAF 可以对大数据环境中组件节点状态,以及资源的使用情况进行监控展示,包括节点正常运行时间、节点存活状态和内存、CPU、硬盘的使用情况。

其次,BIG DAF 可对用户、应用、使用数据资源情况进行排序、查询、分析。可对节点性能、流量、任务等进行监控。可设置预警值,当资源紧张时报警。

图片 1.png

六、安全审计

安全审计:BIG DAF 可以将主客体的访问形成详细日志,包含用户名、IP、操作、资源、访问类型、时间、授权结果。可以根据用户、时间、认证结果进行筛选分析,做到事中监控、事后审计追溯安全事件。Admin server则可以进行操作日志记录,为事后追责提供依据。

紧急日志:非法访问、口令破解、网络攻击、系统错误、性能告急。

常规日志:登录日志、维护日志、ACL修改、系统运维。

平台日志的统一管控:能够丰富补充大数据各个组件以及访问所产生的日志,能够从这些日志里分析出可阅读的报告,能够发现安全事件。 

1.png

BIG DAF 产品优势

我们可以看到,BIG DAF 在性能上的消耗,主要通过 ACL 和审计实现,不会对集群造成性能影响。其次,其系统独立在Hadoop系统之外,对通用版和发行版都具有良好的兼容性,会对厂商的后续更新具备支持能力。最后在安全性上,日志、配置和各种安全模型都进行了备份保存。

在当今大数据时代下,不少企业拥抱变化加强了数据方面的基础设施建设,大数据安全作为保障业务健康发展的基础需要得到更多的关注。

第三方安全工具和解决方案提供了了更集成和便捷的方式供企业选择。企业应用此类解决方案能够更完善地掌握大数据系统中关键数据的使用情况、进行权限控制、数据隔离、日志审计、系统资源和性能监控。在复杂环境下,企业选择第三方的安全管理方案也不失为一种可以考虑的选择。


WitAwards 2017 颁奖盛典 |  FIT 2018 互联网创新大会即将揭晓

WitAwards年度互联网安全评选活动由国内信息安全新媒体领导者 FreeBuf.COM 主办。评选周期历时3个月,评委包括顶尖行业专家、行业媒体和安全从业者,颁奖盛典将在FreeBuf 互联网安全创新大会(FIT 2018)举办。「FIT 2018大会官网

 FIT 2018 互联网创新大会

WitAwards 2017互联网安全年度评选,旨在发掘全年卓越的安全产品和杰出人物;给予在2017年为安全行业做出贡献的个人、团队及产品以掌声和肯定。

历时55天,近500项申报及提名,经WIT组委会严格审核,共预录取71席入围项目。FreeBuf现邀请每一位安全领域从业者、爱好者,共同选出安全领域Top Icon,一起见证年度安全盛誉的诞生,为数万名从业者和数百款安全产品的努力与创新喝彩!

 FIT 2018 互联网创新大会

除此之外,我们还送上「对话WitAdwards 2017专家评委」系列人物专访:

默安科技联合创始人兼CTO云舒 探访普华永道高级经理刘广坤 独角兽安全团队创始人杨卿 君源创投管理合伙人金湘宇(Nuke)

更多精彩
相关推荐
发表评论

已有 1 条评论

取消
Loading...
Elaine_z

What's past is prologue. 有缘再见!

146 文章数 35 评论数 0 关注者

特别推荐

填写个人信息

姓名
电话
邮箱
公司
行业
职位
css.php