大概了解的有几种
一、封ip
通过监控追踪日志，找出异常来源ip，在防火墙拦截掉。在iptables中给禁掉。这种情况对有限个ip有效，若出现大量ip攻击，则不可取。
可以封单个ip，也可以封ip所在的网段，这种方式也容易误伤。
二、返回错误数据
分析爬虫来源，将请求转发到另一个平台，返回一些无效数据。
三、需要验证
客户端与服务端约定好一个算法，每个请求都带有一个header字段，在服务端校验，验证不通过则认为是恶意攻击导致，直接拦截。
虽然不能从根本上拦截爬虫，但是可以在一定程度上增加爬虫难度。
四、接口数据加密
服务端接口定义一个数字及文字的字典库，对数字及文字进行加密之后再响应。客户端拿到响应数据，再利用解密算法解密之后，展示给客户。