宝塔面板免费版+NGINX防采集实战：三步打造网站安全防线

一、为什么你的网站需要防采集？

最近帮站长朋友处理采集问题，发现某企业站每天被爬取3万多次，导致服务器频繁宕机。采集器不仅盗取内容，更会拖垮服务器性能——这正是咱们今天要解决的痛点。

二、宝塔免费武器库准备

2.1 安装Nginx防火墙插件

面板 → 软件商店 → 搜索「免费Nginx防火墙」→ 安装（注意需卸载付费版）

2.2 核心功能启用

• 开启CC防御：周期1秒/频率15次/封锁1小时（个人博客推荐）
• 激活User-Agent过滤：拦截Scrapy、Python-urllib等30+采集特征

三、三层防御体系构建

3.1 网络层拦截（NGINX配置）

# 在/www/server/nginx/conf下新建agent_deny.conf
if ($http_user_agent ~* "Scrapy|Curl|HttpClient|Python|MJ12bot") {
    return 444;
}
# 网站配置文件中添加
include agent_deny.conf;

3.2 应用层防护（防火墙设置）

3.3 数据层过滤（特色方案）

1. 在/wp-content/uploads/目录添加伪静态规则，阻止.php执行
2. 设置IP黑名单自动同步（每天18点导出攻击日志自动封禁）

四、高级防护技巧

五、避坑指南

• ⚠️ 禁止封禁空UA请求（会误伤部分搜索引擎）
• ✅ 每周分析/www/wwwlogs/站点名.error.log优化规则
• 🔥 重要！修改配置前务必创建服务器快照