嗨!大家好,我是66分享网(66fxw.com)的六六站长,我又来给大家分享WordPress教程了。今天六六站长要跟大家分享的WordPress教程是一篇关于如何封禁恶意爬虫蜘蛛的内容,大家如果有遇到过WordPress网站内容被恶意采集或者经常有不知名的爬虫蜘蛛访问的情况,那么这个教程可能对你有所帮助。

WordPress如何封禁恶意爬虫蜘蛛
首先跟大家讲一下,我们接下来的内容主要分为两部分,一部分是通过安装相关的WordPress插件来实现封禁恶意爬虫蜘蛛,另一部分是通过服务器端防火墙进行User-Agent过滤来封禁恶意爬虫蜘蛛。由于这里使用到的WordPress插件是收费插件,所以建议大家将两种方法结合使用,使用WordPress插件来发现恶意爬虫蜘蛛,然后再通过务器端防火墙对其进行User-Agent过滤。
好了,大家准备好了吗?下面我们就一起来看看WordPress封禁恶意爬虫蜘蛛的完整教程吧。在教程结尾,六六站长会把我目前收集到的一些非搜索引擎恶意爬虫蜘蛛分享出来,大家可以直接对他们进行User-Agent过滤拦截。

WordPress插件封禁恶意爬虫蜘蛛

这里六六站长使用的WordPress封禁恶意爬虫蜘蛛插件叫做Spider Analyser,插件在WordPress后台可以直接搜索下载并启用。该插件免费版不支持爬虫蜘蛛拦截,大家需要使用它奋进恶意爬虫蜘蛛的话,可以升级Pro版本。但是如果你只想白嫖的话,建议大家只使用它找到你要封禁的恶意爬虫蜘蛛,然后将相关蜘蛛通过下面讲到的方法进行封禁拦截。
服务器防火墙User-Agent过滤封禁恶意爬虫蜘蛛

这里小编以BT宝塔面板的Nginx免费防火墙为例,大家在BT宝塔面板后台软件商店中找到第三方应用,然后安装该防火墙即可,然后我们在防火墙的全局配置中找到User-Agent过滤功能,把我们要封禁的恶意爬虫蜘蛛添加进规则里即可。六六站长这里已经把一些我认为无用的恶意爬虫蜘蛛整理好了,就在下方,大家直接复制并添加进去就可以了。
恶意爬虫蜘蛛
(www.seokicks.de|YYSpider|Mattermost|Discord|CCBot|RepoLookoutBot|tracking|serpstatbot|Pinterestbot|SurdotlyBot|DataForSeoBot|DigExt|HttpClient|MJ12bot|heritrix|EasouSpider|Ezooms|FlightDeckReports|Linguee Bot|Web-Crawler|WellKnownBot|Yellowbrandprotectionbot|ev-crawler|NE Crawler|Facebot|GrapeshotCrawler|SemrushBot|DotBot|MegaIndex.ru|MauiBot|AhrefsBot|MJ12bot|BLEXBot|HubSpot Crawler|CriteoBot|Web-Crawler|web-crawlers|DataForSeoBot|YaK|Mail.RU_Bot|Barkrowler|crawler|SEOkicks-Robot|vxiaotou-spider|telegram|dingtalk|Twitterbot|DuckDuckGo|applebot|webprosbot|AwarioBot|Amazonbot|AmazonAdBot|YouBot/)结语
恶意爬虫蜘蛛过多,会造成我们的服务器负载过高,出现各种问题。而且这些恶意爬虫蜘蛛对于我们的网站没有丝毫的益处,甚至其中还有很多是来盗取你网站数据的,所以及时封禁这些恶意爬虫蜘蛛,对我们的WordPress网站来说,可以显著提高站点性能,并且保护我们的数据安全。
最后,在跟大家分享一些常见的搜素引擎蜘蛛吧,大家可以根据自己的需求进行拦截,但是六六站长的建议是不要拦截,毕竟它们都能给我们网站带来真实的搜索用户。
| Baiduspider 百度蜘蛛(国内) | bingbot 必应蜘蛛(国内) |
| Googlebot 谷歌蜘蛛(国外) | Bytespider 头条蜘蛛(国内) |
| sogou spider 搜狗蜘蛛(国内) | YisouSpider 神马蜘蛛(国内) |
| 360Spider 360蜘蛛(国内) | YandexBot Yandex蜘蛛(国外) |
| coccocbot Coc Coc蜘蛛(国外) | SeznamBot Seznam蜘蛛(国外) |
| Qwantify Qwant蜘蛛(国外) | Neevabot Neeva蜘蛛(国外) |


微信扫一扫
支付宝扫一扫

