freeBuf
主站

分类

漏洞 工具 极客 Web安全 系统安全 网络安全 无线安全 设备/客户端安全 数据安全 安全管理 企业安全 工控安全

特色

头条 人物志 活动 视频 观点 招聘 报告 资讯 区块链安全 标准与合规 容器安全 公开课

官方公众号企业安全新浪微博

FreeBuf.COM网络安全行业门户,每日发布专业的安全资讯、技术剖析。

FreeBuf+小程序

FreeBuf+小程序

GOSINT:开源威胁情报收集与处理框架
2017-08-18 10:19:41

今天给大家介绍一款名叫 GOSINT 的框架,这个项目可以用来收集、处理和输出高质量的入侵威胁指标(IoC)。

GOSINT 框架

GOSINT是一款开源威胁情报收集与处理框架,它可以收集、处理和输出高质量的入侵威胁指标(IoC)。GOSINT允许安全分析专家收集标准或非标准结构的威胁情报,并将这些情报应用到安全操作中以丰富警报数据。这也就意味着,你可以将很多优秀的第三方威胁情报资源整合到自己的安全活动中,以识别更多复杂的恶意行为。该框架采用Go语言开发,前端采用的是JavaScript。

工具安装

我们建议用户在安装有最新版本Go语言的GNU/Linux系统上使用GOSINT,本文给出的安装与操作文档只针对Ubuntu Server 16.04.2 LTS。

依赖环境

GOSINT需要以下依赖环境:

-可用的最新版Go语言环境

-Mongo DB数据库(社区版即可)

-一台反向代理/Web服务器(最好是Nginx)

-PHP环境

你可以使用你最喜欢的包管理器来安装上述环境以及应用程序。使用aptitude安装:

sudo apt-get install mongodb php-fpm nginxgit

注意:某些包管理器可能提供的并非软件的最新版本,我们强烈建议用户从https://golang.org/dl/获取最新版本 Go 语言环境。除此之外,某些包管理器对相同的包也有可能取名不同,例如php-fom可能会搜索不到,有时你需要输入php7.0-fom才行。

按照步骤操作

创建一个GOSINT用户,以最小权限运行。这个用户将会运行负责获取威胁指标并给前端提供API的后台代码:

sudo useradd -m gosint
sudo su gosint

安装并测试Go环境。完成下列步骤以安装Go 1.8:

1. 下载GNU/Linux Go 1.8安装包

64位:cd ~ && wgethttps://storage.googleapis.com/golang/go1.8.linux-amd64.tar.gz
32位:cd ~ && wget https://storage.googleapis.com/golang/go1.8.linux-386.tar.gz

2. 解压文档

64位:tar zxvf go1.8.linux-amd64.tar.gz
32位:tar zxvf go1.8.linux-386.tar.gz

3. 创建项目工作区

mkdir ~/projects

4. 安装并配置环境

export GOROOT=$HOME/go
export PATH=$PATH:$GOROOT/bin
export GOPATH=$HOME/projects
export GOBIN=$GOPATH/bin
export PATH=$GOPATH:$GOBIN:$PATH

5. 使用【这里】给出的方法测试Go语言环境

6. 安装godep

go get github.com/tools/godep    
go install github.com/tools/godep

7. 将GOSINT代码库克隆到Go语言环境的src目录中,然后构建项目代码

cd ~/projects/src
git clone https://github.com/ciscocsirt/GOSINT
cd GOSINT
godep go build -o gosint
chmod +x gosint

8. 测试GOSINT构建结果

./gosint

注:GOSINT将会启动,如果MongoDB没有正确安装,则会报错。

安装MongoDB并确保只有它在监听你的本地回调接口(127.0.0.1/localhost),允许你的数据库监听任意外部端口的话则会存在一定的安全风险。

你可以使用下列命令安装MongoDB,或者你也可以按照【这里】给出的方法安装最新版的MongoDB。

sudo apt-get install mongodb

安装PHP v5或更高版本,并确保安装和配置已成功。

安装Nginx(其他Web服务器也可以),并配置Nginx监听一个公共端口。我们建议用户安装一个可用的HTTPS证书,并启用某种形式的身份验证功能(LDAP或本地验证)以防止未经授权的用户访问GOSINT。

下面给出的是一份配置样本:

server {
   ssl_certificate /etc/nginx/ssl/nginx.crt;
   ssl_certificate_key /etc/nginx/ssl/nginx.key;
   listen 443 ssl;
   root /var/wwwroot;
   index index.php index.html index.htm;
   try_files $uri $uri/ @apachesite;
   server_name someserver.yourcompany.com;
   gzip on;
   gzip_proxied any;
   gzip_types
       text/css
       text/javascript
       text/xml
       text/plain
       application/javascript
       application/x-javascript
       application/json;
   #location / {
    #   try_files $uri $uri/ =404;
   #}
   error_page 404 /404.html;
   error_page 500 502 503 504 /50x.html;
   location = /50x.html {
       root /usr/share/nginx/html;
    }
   location @apachesite {
       auth_basic           "closedsite";
       auth_basic_user_file /etc/nginx/.htpasswd;
       proxy_pass http://localhost:8000;
    }
   location ~ \.php$ {
       auth_basic           "closedsite";
       auth_basic_user_file /etc/nginx/.htpasswd;
       try_files $uri =404;
       fastcgi_split_path_info^(.+\.php)(/.+)$;
       fastcgi_pass unix:/var/run/php/php7.0-fpm.sock;
       fastcgi_index index.php;
       fastcgi_param SCRIPT_FILENAME $document_root$fastcgi_script_name;
       include fastcgi_params;
    }
}

注:如果需要修改MongoDB服务器所使用的IP地址,你可以使用-mongo参数来进行修改。

输入" ./gosint -h"查看所有可用的参数。

如果GOSINT能够正确运行并且不报错的话,说明你的Nginx已配置完成,你现在就可以访问你指定的IP地址以及端口号来访问GOSINT的Web接口了。

修改配置

在使用完整的框架功能之前,GOSINT需要进行一些简单的初始化配置,所有的配置都位于Web界面的"Settings"标签下。

工具使用

Pre-Processing

概述

这个预处理页面负责显示GOSINT从其他源(例如Twitter或其他的指标Feed)解析得到的威胁指标。

指标搜索/排序

GOSINT允许对指标进行搜索和排序。默认配置下,指标会按照时间进行排序,不过用户也可以按照field、type、source以及context来进行指标排序。除此之外,用户还可以通过搜索栏来搜索特定的指标。

编辑指标

如果我们发现某个指标的解析存在错误的话,或者我们需要为某个指标添加额外的内容,我们可以手动对指标进行编辑。

查询第三方API

预处理页面是一个用来确定指标恶意性的分析工作区,GOSINT拥有丰富的第三方工具来获取原始指标信息。默认配置下,GOSINT支持Sisco Umbrella、ThreatCrowd和VirusTotal。你可以通过点击相应的按钮来启动这些API。

如果这些第三方API没有配置妥当的话,GOSINT将会显示提示信息。

删除指标

你可以通过点击橙色的X按钮来删除某个指标,删除之后它将不会再预处理表中显示,但它会永久存储在GOSINT的后台。

Post-Processing

概述

这个页面显示的是那些再预处理页面中被标记为恶意的指标。

搜索/排序/编辑/删除指标

这部分操作跟之前的一样,因此不再进行赘述。

Transfer Station

在这个页面中,我们可以选择Post-Processing这一步中需要导出的指标,目前GOSINT仅支持的导出格式为CSV和CRITs(著名的开源恶意软件与威胁库),将来还会支持更多的导出格式。

后话

GOSINT目前仍处于开发阶段,希望有能力的用户能够为我们贡献代码,并帮助我们继续完善GOSINT。如果使用过程中遇到了任何的问题,可以在GOSINT的GitHub主页中留言。

* 参考来源:GOSINT, FB小编Alpha_h4ck编译,转载请注明来自FreeBuf.COM

本文作者:, 转载请注明来自FreeBuf.COM

# GOSINT
被以下专辑收录,发现更多精彩内容
+ 收入我的专辑
评论 按时间排序

登录/注册后在FreeBuf发布内容哦

相关推荐
  • 0 文章数
  • 0 评论数
  • 0 关注者
登录 / 注册后在FreeBuf发布内容哦
收入专辑