通过 CloudFlare 拦截除搜索引擎以外的蜘蛛

经验
已认证 Yiove 7月前

868 0

引言

以前我都没怎么重视蜘蛛这个问题,我想着有蜘蛛来是好事。

实际上,我想的简单了,我以为的蜘蛛只是搜索引擎。然而还有各种各样seo分析蜘蛛,这些蜘蛛是真的狠,根本就没有速率限制这一说。

今天我把它限制只有搜索引擎蜘蛛可以访问,内存一下子从 85% 降到 35%。可想而知,恶意蜘蛛对服务器的负担有多大。(服务器的内存是 5GB)

规则

image-20240417224040859

结语

这些蜘蛛会让网站的并发特别高,这种压力就直接给到了数据库,相当于另类DDos了,如果不明确写规则,cloudflare也不会拦截。

这家伙太懒了,什么也没留下。
最新回复 (0)
    • YiOVE论坛
      2
         
返回