SEO优化遇到令人纠结的问题,屏蔽Censys是会影响SEO的! - 技术宅银魂 - 科技改变生活 - 万事屋

SEO优化遇到令人纠结的问题,屏蔽Censys是会影响SEO的!

Censys这玩意有点臭名昭著,它会扫描你的网站,尤其是套壳CDN,它会找你服务器源地址,包括证书信息、域名信息,以及80、443、8000、8080、4433等服务器常用端口,让网站备受风险。

但是,屏蔽Censys由会影响正常的爬虫,所以啊,很纠结。

屏蔽Censys IP段到很简单,Censys的IP段可以查看官方给的信息:

https://support.censys.io/hc/en-us/articles/360043177092-Opt-Out-of-Data-Collection

复制以下命令到SSH终端屏蔽Censys:

sudo ufw deny from 162.142.125.0/24
sudo ufw deny from 167.94.138.0/24
sudo ufw deny from 167.94.145.0/24
sudo ufw deny from 167.94.146.0/24
sudo ufw deny from 167.248.133.0/24
sudo ufw deny from 199.45.154.0/24
sudo ufw deny from 199.45.155.0/24
sudo ufw deny from 206.168.34.0/24
sudo ufw deny from 2602:80d:1000:b0cc:e::/80
sudo ufw deny from 2620:96:e000:b0cc:e::/80
sudo ufw deny from 2602:80d:1003::/112
sudo ufw deny from 2602:80d:1004::/112

重载ufw生效,最好再重启下nginx:

sudo ufw reload     #重载ufw

ufw status          # 查看状态

sudo systemctl reload nginx # 重启nginx

如果不方便IP屏蔽,也可以屏蔽Censys的UA,对CDN用户格外有用。

Censys 扫描使用的 UA 如下:

Mozilla/5.0 (compatible; CensysInspect/1.1; +https://about.censys.io/)

 

 

    没有回复内容

万事屋新帖