愈来愈多的网络攻击迫使企业将网络活动控制作为其安全策略的一部分。

入侵检测系统(Intrusion Detection Systems, IDS)被设计用于帮助企业保护网络基础设施。但是一款商业化 IDS 通常价值不菲，对于一些小企业来说这可能是一笔相当大的财务负担。幸运的是，还有一些开源的 IDS 可供使用。它们提供的可修改插件可用来动态扫描网络和检测来自网络的入侵。

本文会向大家展示一份我们使用 Bro IDS 和 Intel Critical Stack 分析网络活动的研究报告，从结果中将可以看到这些系统在实时检测网络入侵方面表现得相当不错。

目录：

本次研究的目标为使用开源工具搭建一个高效的网络入侵分析环境。

我们选择了 Bro IDS 作为监测工具，它可以收集一个企业内部所有的网络活动信息并生成大量的日志记录，不过这些数据如果不经过分离或者可视化，系统管理员是很难进行分析的。因此，为了方便进一步的网络入侵分析，我们需要定义出哪些日志所对应的网络活动是可疑的，以及如何将这些数据可视化为表格形式。

在研究中，我们希望用最少的组件搭建一套监控系统。首先测试环境中运行该系统获得结果，然后对这些结果进行分析，最后对在真实网络环境中的部署提供参考。

监控系统包含以下部分：

产生网络活动的监控对象

网络入侵检测系统

分析并可视化数据的系统

支撑以上操作的操作系统

监测系统实际所用软件如下：

入侵检测系统：Bro Network Security Monitor](https://www.bro.org/) 和 {Intel Critical Stack。

数据可视化：ELK Stack，其中包含了 Elasticsearch、Logstash 和 Kibana。

操作系统：Ubuntu 16.04 虚拟机，配置为网关。

我们通过以下方式对监控系统进行测试：

一个客户端向互联网发送请求，这样目标就产生了网络活动。

Bro 使用 tcpdump 分析 enp0s8(eth1) 接口的网络情况并利用插件将记录保存到日志。

Elasticsearch 使用 Logstash 分析 Bro 日志并将它们收集到本地数据库中。

Kibana 从数据库中提取数据并建立视图。

为了将网络数据可视化为便于分析网络可疑活动的形式，我们使用了 Kibana。

我们将数据可视化为以下图表的形式：

The connections count per minute chart 展示了每分钟的连接数。非正常活动的一个标志是在非工作时段的连接数很多。

The top protocols chart 展示了网络上流量的类型和数量。

The top 10 talkers chart 展示了最活跃的主机，这些很可能是受感染主机。

The top 10 HTTP requests chart 展示了未经加密的请求，这些网站可能被恶意软件所感染。

The top 10 remote ports chart 展示了请求数最多的10个远程端口。如果某些端口每分钟的连接数和请求数很多的话，很可能就是可疑的活动。

Bro log files 展示了 Bro 文件中的记录数目和 Bro IDS 的总体状态。

The top 10 malware domains chart 包含了 Intel Critical Stack 提供的来自恶意软件数据库的提要数据。

前文提到过，在正常操作过程中 Bro 会产生大量的日志文件。如果你的数据库存储空间很有限，你可以选择在一个特定时间段清空数据库。为了删除不必要的数据，我们为 Logstash 使用了 Curator，并在 Crontab 中添加了一个日常任务来删除旧的 ELK 数据。

关于哪个 Curator 选择要清空的数据，请看下面 actionfile.yml 文件的内容。

经过分析实验室环境下的测试结果，我们总结出在一个真实网络中部署该系统需要以下条件：

A switch with port mirroring

A server with 32+ GB RAM and 6–10 TB HDD

需要注意的是，所需的系统配置取决于网络服务提供商的带宽。如果你有好几个 1 Gbps 的信道，那么你就得安装高性能的网络设备了。

下面介绍如何安装监控系统所需的组件并进行配置。

我们的研究中使用的虚拟机有两块网络适配器：第一块用于广域网连接，第二块用于局域网连接。

注意，以下所有命令均需要 root 权限。

首先安装 DHCP 服务器：

apt-get install isc-dhcp-server

然后进行配置。添加以下内容到 /etc/default/isc-dhcp-server 文件中

INTERFACES="enp0s8"

打开 /etc/sysctl.conf 文件注释掉

#net.ipv4.ip_forward=1

执行以下命令

sysctl -p /etc/sysctl.conf

在 /etc/network/interfaces 文件中指定以下内容

为了主机能连接局域网和广域网，需要配置路由，首先打开防火墙

ufw enable

然后运行 rc-local，这是为了在机器重启后恢复 IP 表

systemctl enable rc-local.service

打开 /etc/rc.local 文件并添加以下内容

/sbin/iptables-restore < /etc/iptables/rules.v4

然后运行以下命令

接着配置 DHCP 服务器自动接收 IP 地址。打开 /etc/dhcp/dhcpd.conf 文件并添加以下内容

为了 Bro 能正常运行，需要安装一些特定的包，运行以下命令

为了安装 Bro IDS，运行以下命令

cd ~

下载 Bro IDS

wget https://www.bro.org/downloads/release/bro-2.4.1.tar.gz

解压文件

配置安装选项并安装 Bro IDS

在 node.cfg 文件中指定要监控经过哪块网卡的网络流量

nano /nsm/bro/etc/node.cfg

在 networks.cfg 文件中指定要监控哪个子网

nano /nsm/bro/etc/networks.cfg

为了启动 Bro，运行以下命令

编辑 rc.local 文件

sudo nano /etc/rc.local

添加以下内容

/nsm/bro/bin/broctl start

然后重启虚拟机

shutdown -r now

WatchDog 会在 Bro 崩溃之后的一段特定时间后自动启动 Bro

为了将 Intel Critical Stack 添加到 Bro IDS，你需要访问 https://intel.criticalstack.com/，创建 sensor，订阅 feeds，然后在安装了 Bro IDS 的虚拟机上面运行以下命令

使用以下命令配置 sensor

为了接收 feeds 需要检查并安装更新

安装 Java Development Kit

安装 ElasticSearch

安装 Logstash

安装并配置 Kibana

使用以下命令配置 Logstash

注意：应该将 conf 文件中的路径改为 log 文件所在路径。

然后为 Logstash 安装 Filter Translate 插件

将以下 JSON (JavaScript Object Notation) 文件导入 Kibana，目的是为了生成网络中可疑活动的可视化图表。

下面的 JSON 文件描述了图表是以何种顺序显示在面板上的。

大功告成！现在你可以开始监控网络活动了。

本文我们介绍了一种使用开源工具分析网络活动的方法，其中重点使用了 BRO IDS 和 Intel Critical Stack。这种方法对于探测受感染的主机是行之有效的，而且除了搭建环境外并不需要任何其他方面的投资。

我们还提供了一份如何配置 Bro 和 Critical Stack Agent 来进行网络监控和数据收集的指南。最后我们解释了如何使用 ELK Stack 来可视化数据和生成图表。

https://en.wikipedia.org/wiki/Intrusion_detection_system

https://www.bro.org/

https://intel.criticalstack.com/

https://www.elastic.co/

示例下载：

visualizations.zip

dashboard.zip

原文链接 Analyzing Network Activities with Bro IDS and Intel Critical Stack

本文由 看雪翻译小组 hesir 编译

转载请注明来源

[招生]系统0day安全班，企业级设备固件漏洞挖掘，Linux平台漏洞挖掘！