zoukankan      html  css  js  c++  java
  • snort + barnyard2如何正确读取snort.unified2格式的数据集并且入库MySQL(图文详解)

    不多说,直接上干货!

    为什么,要写这篇论文?

       是因为,目前科研的我,正值研三,致力于网络安全、大数据、机器学习研究领域!

      论文方向的需要,同时不局限于真实物理环境机器实验室的攻防环境、也不局限于真实物理机器环境实验室的大数据集群平台。在此,为了需要的博友们,能在自己虚拟机里(我这里是CentOS6.5)来搭建部署snort+barnyard2+base的入侵检测系统。分享与交流是进步的阶梯!

      同时,本人还尝试过在Ubuntu14.04里搭建这入侵检测系统的环境。同时,还尝试过在win7win10里搭建这入侵检测系统的环境。

       同时,也欢迎做报警数据方向的烟酒僧留言评论加好友交流。欢迎指正!谢谢。

    前期博客

    基于CentOS6.5下snort+barnyard2+base的入侵检测系统的搭建(图文详解)(博主推荐)

       注意:看过我这篇前期博客的朋友们,我这里的主机名更改了,由datatest改为snort了。这个其实就是个主机名。

    数据的准备

      我这里,数据集用的是,自己抓取采集到的数据集,即/root/data/guet/snort目录下。假设部分数据如下

    [root@snort snort]# pwd
    /root/data/guet/snort
    [root@snort snort]# ll
    total 316
    -rw-r--r--. 1 root root  16540 Jan 16  2017 snort.unified2.1484570063
    -rw-r--r--. 1 root root 302796 Jan 17  2017 snort.unified2.1484572750
    [root@snort snort]# 

       切换到这个目录下,即把之前的什么,snort.log.***都给删除。

    [root@snort snort]# ll
    total 8192
    -rw-r--r--. 1 root root    2056 Aug 11 15:01 barnyard2.waldo
    [root@snort snort]# pwd
    /var/log/snort
    [root@snort snort]# 

     

      将snort.conf里

    output unified2: filename snort.log,limit 128

    改为

    output unified2: filename snort.u2,limit 128

     或者不改

       我这里啊,为了表达我自己采集的数据,特意新建了个数据库guetsnort,来存储。

     

     

       对应,在/etc/snort/barnyard2.conf里将

       output database: log, mysql, user=snort password=snort dbname=snort host=localhost

     

       改为

       output database: log, mysql, user=snort password=snort dbname=guetsnort host=localhost

    自定义规则local.rules

    [root@snort rules]# pwd
    /etc/snort/rules
    [root@snort rules]# cat local.rules 
    alert ip any any -> any any (msg: "IP Packet detected";sid:1000001;)

      

      得注释掉,/etc/snort下的barnyard2.conf配置文件。

    #config waldo_file: /var/log/snort/barnyard2.waldo

    执行顺序

      执行,启动barnyard2

    [root@snort ~]# barnyard2 -c /etc/snort/barnyard2.conf -d /var/log/snort -f snort.u2 -w /var/log/snort/barnyard2.waldo 

      也许这个命令不行。

      得为如下。(下面这个操作是可行的)

    [root@snort ~]# barnyard2 -c /etc/snort/barnyard2.conf -d /root/data/guet/snort -f snort.unified2

       

      这是,fast模式

      http://man.chinaunix.net/network/snort/Snortman.htm

      即,因为,是snort.fast模式,所以需要在/etc/snort下的barnyard2.conf里

    output alert_fast: stdout

      则打印出如下。

      成功!

      或者

       或者

     

      那么, 对于,有时候,我们需要full模式呢,怎么来做?(这才是最重要和最关心的)

      http://man.chinaunix.net/network/snort/Snortman.htm

      因为,这里,其实数据是通过snort来产生得到的snort.unified2数据。

      所以,只需用到barnyard2即可。

     即,因为,是snort.full模式,所以需要在/etc/snort下的barnyard2.conf里

    output alert_full: alert.full

    [root@snort snort]# pwd
    /root/data/guet/snort
    [root@snort snort]# ll
    total 20
    -rw-r--r--. 1 root root 16540 Jan 16  2017 snort.unified2.1484570063
    [root@snort snort]# barnyard2 -c /etc/snort/barnyard2.conf -d /root/data/guet/snort -f snort.unified2

      

      由

       变成

     

    [root@snort barnyard2]# pwd
    /var/log/barnyard2
    [root@snort barnyard2]# ll
    total 0
    [root@snort barnyard2]# ll
    total 4
    -rw-r--r--. 1 root root 2930 Aug 13 14:42 alert.full
    [root@snort barnyard2]# 

      成功!

       也就是说,这个alert.full就是snort.unified2.1484570063这个文件的内容。

      

      或者,比如,假设,我这目录下很多数据。

       则,可以这样来一次性收到一个txt里。则是

    [root@snort snort]# barnyard2 -c /etc/snort/barnyard2.conf -d /root/data/guet/snort/nssa-sensor3 -f snort.unified2 > nssa-sensor3_snort.txt

    [root@snort snort]# barnyard2 -c /etc/snort/barnyard2.conf -d /root/data/guet/snort/nssa-sensor4 -f snort.unified2 > nssa-sensor4_snort.txt

        这样也是可行。

    output alert_full: stdout含义和output alert_full:  alert.full 

      前者stdout直接是打印到屏幕上

      后者alert.full是输出到/var/log/barnyard2下的alert.full文件里。

      barnyard2的github网站

    https://github.com/firnsy/barnyard2

      或者以下也是可以的

    mysql> show databases;
    +--------------------+
    | Database           |
    +--------------------+
    | information_schema |
    | mysql              |
    | snort              |
    | test               |
    +--------------------+
    4 rows in set (0.01 sec)
    
    mysql> create database guetsnort;
    Query OK, 1 row affected (0.00 sec)
    
    mysql> show databases;
    +--------------------+
    | Database           |
    +--------------------+
    | information_schema |
    | guetsnort          |
    | mysql              |
    | snort              |
    | test               |
    +--------------------+
    5 rows in set (0.00 sec)
    
    mysql> 

       然后

       然后,注释掉/etc/snort/barnyard2.conf里

    #config waldo_file: /var/log/snort/barnyard2.waldo

       以下是我数据放置的目录

        然后执行

    [root@snort snort]# barnyard2 -c /etc/snort/barnyard2.conf -d /root/data/guet/snort/nssa-sensor3 -f snort.unified2 

      我这里,经多次尝试,依然还是无法用新建的数据库来导入。

      所以,我这就把导好的DARPA 1999数据库给删除掉了。

      这里教大家的是,如何在base界面里快速删除数据。

     

       成功删除。

       或者在base界面里快速清空里面的数据。

      操作如下:

       得到的

       成功!

      然后,继续尝试

    [root@snort ~]# barnyard2 -c /etc/snort/barnyard2.conf -d /root/data/guet/snort/nssa-sensor3 -f snort.unified2 

       成功!

    欢迎大家,加入我的微信公众号:大数据躺过的坑        人工智能躺过的坑
     
     
     

    同时,大家可以关注我的个人博客

       http://www.cnblogs.com/zlslch/   和     http://www.cnblogs.com/lchzls/      http://www.cnblogs.com/sunnyDream/   

       详情请见:http://www.cnblogs.com/zlslch/p/7473861.html

      人生苦短,我愿分享。本公众号将秉持活到老学到老学习无休止的交流分享开源精神,汇聚于互联网和个人学习工作的精华干货知识,一切来于互联网,反馈回互联网。
      目前研究领域:大数据、机器学习、深度学习、人工智能、数据挖掘、数据分析。 语言涉及:Java、Scala、Python、Shell、Linux等 。同时还涉及平常所使用的手机、电脑和互联网上的使用技巧、问题和实用软件。 只要你一直关注和呆在群里,每天必须有收获

          对应本平台的讨论和答疑QQ群:大数据和人工智能躺过的坑(总群)(161156071) 

     

  • 相关阅读:
    一LWIP学习笔记之数据包管理
    智能家居的发展趋势
    break和continue的区别
    TCP与UDP区别总结
    C语言变量和函数命名规范
    常用电子元件
    php 1018
    php 1016
    mysql 应用查询 三个表(学生表,课程表,学生课程分数表) student, course, score表
    mysql 聚合函数
  • 原文地址:https://www.cnblogs.com/zlslch/p/7347854.html
Copyright © 2011-2022 走看看