[学些东西]用爬虫练习网站来练习burp suite

最近看爬虫的内容。刚好看到黑板客爬虫第二关http://www.heibanke.com/lesson/crawler_ex01。

ADO的i春秋课程里面提到的。另外推荐学习爬虫的好书《web scraping with python》以及《Python 3网络爬虫开发实战》。

具体操作如下：

打开burp suite，设置好firefox的代理为127.0.0.1:8080

在burp suite的proxy的intercept选卡，打开intercept is on，抓包。

然后将抓到的包发送到intruder，

POST /lesson/crawler_ex01/ HTTP/1.1
Host: www.heibanke.com
User-Agent: Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:64.0) Gecko/20100101 Firefox/64.0
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
Accept-Language: zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2
Accept-Encoding: gzip, deflate
Referer: http://www.heibanke.com/lesson/crawler_ex01/
Content-Type: application/x-www-form-urlencoded
Content-Length: 79
Connection: close
Cookie: csrftoken=v6poA9E21BxApaxDI3Gmsg83oGlUo9Pi; Hm_lvt_74e694103cf02b31b28db0a346da0b6b=1545474035; Hm_lpvt_74e694103cf02b31b28db0a346da0b6b=1545475923
Upgrade-Insecure-Requests: 1

csrfmiddlewaretoken=v6poA9E21BxApaxDI3Gmsg83oGlUo9Pi&username=admin&password=§12§

在intruder模块要选中数字部分，见最后一行的$12$。

然后在payload里面选中numbers那里。设置sequential，从1到30，步长设置为1

options里面的number of threads设置为1。

这里是关键的点，否则做不出来。估计网站设置了对多线程的限制。

选择start attack。可以看到在数字变为2的时候，返回的长度（length）那里不同。

查看response里的内容，可以看到下一关地址了。