今天测试接口,总是出问题,测试了两天,整个流程就卡在最后一步。
每次采用curl,request等请求访问我的服务器都会返回403状态码,网上找了很多资料
有权限的,有静态文件的,然而很多都没有什么卵用,天下文章一大抄
找了公司的技术总监帮我看了下,原来是nginx里配置了反爬策略,导致有些请求过不来
server { listen 80; server_name xxx.xxx.com; charset utf-8; #include /etc/nginx/anti_spider.conf; ###就这个破玩意, # max upload size client_max_body_size 75M; location /static { alias /home/data/my_web_project/idfa_switch/allstatic; } location / { uwsgi_pass django; include uwsgi_params; } }
接下来看看这个破东西到底是什么
#禁止Scrapy等工具的抓取 if ($http_user_agent ~* (Scrapy|Curl|HttpClient)) { return 403; } #禁止指定UA及UA为空的访问 if ($http_user_agent ~ "WinHttp|WebZIP|FetchURL|node-superagent|java/|FeedDemon|Jullo|JikeSpider|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|Java|Feedly|Apache-HttpAsyncClient|UniversalFeedParser|ApacheBench|M icrosoft URL Control|Swiftbot|ZmEu|oBot|jaunty|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|HttpClient|MJ12bot|heritrix|EasouSpider|Ezooms|BOT/0.1|YandexBot|FlightDeckReports|Linguee Bot|^$" ) { return 403; } #禁止非GET|HEAD|POST方式的抓取 if ($request_method !~ ^(GET|HEAD|POST)$) { return 403; } #屏蔽单个IP的命令是 #deny 123.45.6.7 #封整个段即从123.0.0.1到123.255.255.254的命令 #deny 123.0.0.0/8 #封IP段即从123.45.0.1到123.45.255.254的命令 #deny 124.45.0.0/16 #封IP段即从123.45.6.1到123.45.6.254的命令是 #deny 123.45.6.0/24 # 以下IP皆为流氓 # deny 58.95.66.0/24;
可以看到很多请求过来都是返回403.。这次教训记住了,第二次犯错。。