按：

近日，网站被垃圾蜘蛛干扰，不胜其烦。大量无用蜘蛛充斥服务器，造成资源占用。之前做过一次配置，不过蜘蛛统计的不够全面，今天在网上看到黄文博客这篇分享比较全面，于是采用。

以免文章丢失，遂转载如下。

第一步： 创建自定义配置文件

1，登录宝塔面板：

打开宝塔面板，使用管理员账号登录。

2，进入文件管理：

在左侧导航栏中选择“文件”。

导航到 /www/server/nginx/conf 目录。,

3，新建配置文件：

在该目录下新建一个空白文件，命名为 kill_bot.conf。

4，编辑配置文件：

将以下代码复制并粘贴到 kill_bot.conf 文件中：

# 禁止垃圾搜索引擎蜘蛛抓取
if ($http_user_agent ~* "CheckMarkNetwork|Synapse|Nimbostratus-Bot|Dark|scraper|LMAO|Hakai|Gemini|Wappalyzer|masscan|crawler4j|Mappy|Center|eright|aiohttp|MauiBot|Crawler|researchscan|Dispatch|AlphaBot|Census|ips-agent|NetcraftSurveyAgent|ToutiaoSpider|EasyHttp|Iframely|sysscan|fasthttp|muhstik|DeuSu|mstshash|HTTP_Request|ExtLinksBot|package|SafeDNSBot|CPython|SiteExplorer|SSH|MegaIndex|BUbiNG|CCBot|NetTrack|Digincore|aiHitBot|SurdotlyBot|null|SemrushBot|Test|Copied|ltx71|Nmap|DotBot|AdsBot|InetURL|Pcore-HTTP|PocketParser|Wotbox|newspaper|DnyzBot|redback|PiplBot|SMTBot|WinHTTP|Auto Spider 1.0|GrabNet|TurnitinBot|Go-Ahead-Got-It|Download Demon|Go!Zilla|GetWeb!|GetRight|libwww-perl|Cliqzbot|MailChimp|SMTBot|Dataprovider|XoviBot|linkdexbot|SeznamBot|Qwantify|spbot|evc-batch|zgrab|Go-http-client|FeedDemon|JikeSpider|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|UniversalFeedParser|ApacheBench|Microsoft URL Control|Swiftbot|ZmEu|jaunty|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|YisouSpider|HttpClient|MJ12bot|EasouSpider|LinkpadBot|Ezooms") {
    return 403;
    break;
}

# 禁止扫描工具客户端
if ($http_user_agent ~* "crawl|curb|git|Wtrace|Scrapy") {
    return 403;
    break;
}

第二步： 修改网站配置文件,

1，进入网站设置：

在宝塔面板左侧导航栏中选择“网站”。
找到并点击您要配置的网站，进入网站设置页面。

2，编辑配置文件：

在网站设置页面左侧导航栏中选择“配置文件”。,

3，插入自定义配置：

在 #SSL-START SSL相关配置，请勿删除或修改下一行带注释的404规则 上方空白行插入以下代码：

include kill_bot.conf;

4，保存配置：

保存并应用配置文件。

第三步：验证配置

1，重启Nginx：

在宝塔面板左侧导航栏中选择“软件商店”。
找到并点击“Nginx”，然后点击“重启”按钮。,

2，测试配置：

使用不同的User-Agent访问网站，确保被屏蔽的User-Agent无法访问网站，并返回403错误。

至此完结，感谢网友的分享。