近期我们在统计数据的时候发现了大量来自于南京的IP，经过nslookup权威确认该IP为搜狗蜘蛛的主机，请问你们有什么办法不统计进去吗？这里开启了排除爬虫，不过没有效，麻烦协助看看
1. 可以根据U-Web访问明细中的IP去观察爬虫是否出自某个IP的网段，或是出自某个云服务器机房，利用IP地址黑名单，批量阻止这些地址的流量进入网站。 2. 限制同一IP的在一定时间范围内的请求次数，超过这些次数阻止其流量进入网站。 3. 通过对请求的header进行校验，
官方小二官方小二