考虑在万事屋把DataForSeoBot蜘蛛给禁了

收到通知，万事屋又嘎了，以为是谁cc或者dd我，登陆宝塔面板看到是DataForSeoBot不断爬万事屋网页。

查了查DataForSeo蜘蛛是干嘛的，原来是收集网站数据给SEO专业人士分析用的，对网站本身没什么好处，带不来流量还无端消耗资源，禁了吧。

1、robots.txt先禁一波DataForSeoBot：

User-agent: DataForSeoBot
Disallow: /

2、Nginx禁掉DataForSeoBot：

Nginx禁止DataForSeoBot爬虫规则如下：

if ($http_user_agent ~ \"DataForSeoBot/1.0\" )
{
      return 403;
}

至于禁止IP段，这家人好像有随机IP，估计就是防着别人禁呢，挺鸡贼的