IT安全的发展是围绕数据，生成、收集、收集、存储和分析数据是安全日志的重要部分，但这些大型数据集给存储和处理资源带来巨大压力。

[[165217]]

在专业生产环境中，应该部署着良好的数据收集和分析基础设施，并有足够的资源进行可靠和稳定的设置。

然而，现实情况是，由于预算限制以及对更大灵活性的需求，安全专家通常需要在更小的环境中实施和测试数据分析及处理。幸运的是，即使预算低且时间有限，我们仍然有办法可以测试数据分析。本文中，让我们看看在小环境中有限预算情况下测试数据分析的方法。并且，让我们看看在小型环境有效运行数据分析的方法。

虚拟化

为了保持低成本以及高配置灵活性，我们应该尽可能多地利用虚拟化硬件。Vmware ESXi是数据分析测试实验室的不错选择，Parallels、VirtualBox和Hyper-V等其他产品也可以使用。在这个例子中，我们将使用Vmware。在免费注册许可证后，这个管理程序可安装在相对廉价的硬件中—但是要注意支持的CPU要求，否则也可能会很昂贵。在管理程序上，我们可以通过虚拟网络安装和连接很多不同的虚拟主机。例如，这包括基于Linux和Unix的代理服务器、IDS和防火墙设备，以及Splunk和Syslog服务器。

代理服务器

代理服务器可提供对网络流量的可视性，并可处理流量直到ISO模型的应用层。例如，它可显示HTTP和FTP特定通信。现在有很多免费的开源代理服务器，例如ClearOS、CacheGuard和pfSense。pfSense是基于FreeBSD，这是最容易管理的代理服务器之一，并且它内置很多高级功能，例如Squid Proxy、SSL检查、防病毒和VPN。远程Syslog是防火墙日志的可选项，但为了输出代理服务器日志，还需要在代理服务器设置的自定义选项字段添加以下命令行：access_log syslog:LOG_LOCAL4，这之后会进行重新启动。对于SSL检查，则需要通过Web UI安装Squid 3 Proxy软件包，SSL检查可提供hTTPS代理日志记录。

Splunk

Splunk Light是集中日志记录的起点，它还可以为安全性运行测试数据分析程序。在注册后，它免费可供使用，并可很容易地安装在Ubuntu服务器。考虑到主机本身是虚拟化，整个服务器不会增加任何成本。另一个选择是Splunk企业免费版，它提供60天免费试用，允许每天索引500 MB数据，但在60天后需要付费转为永久Splunk企业版。

在pfSense Remote Syslog的情况下，我们需要Splunk通用转发器来收集日志以及转发日志到Splunk索引。这个转发器可与Splunk Light Search Head(上文所述的Web UI)相同的主机或者在单独主机上。我们可通过Splunk Web界面来完成对这个Splunk通用转发器的数据来源和监听端口的配置和自定义。

Hadoop

数据挖掘和数据科学是目前的热门话题。对于任何想要深入研究这个问题的人来说，可以选择运行Hadoop测试服务器。通常情况下，Hadoop运行在群集配置中，但这也可以降至单节点群集，这种单台服务器将同时包含数据节点和名称节点。为了互换Splunk和Hadoop服务器之间的数据，可以下载和安装Hadoop Connect。这需要安装Splunk Enterprise Free，并由于Splunk内的应用支持要求，它将无法在Splunk Light运行。安装手册和视频提供在Splunk网站。

总结

总之，安全完全是关于数据。在设置这个测试实验室后，需要生成可用数据。这需要虚拟网络内的一些活动，例如通过代理服务器运行家庭LAN、在网络外围设置蜜罐或者在网络内运行模拟攻击。由于使用了虚拟组件，这个测试实验室将具有足够的灵活性以适应所要求的情况，并将能够生成很多类型的数据用于分析。