以前我都没怎么重视蜘蛛这个问题，我想着有蜘蛛来是好事。
实际上，我想的简单了，我以为的蜘蛛只是搜索引擎。然而还有各种各样seo分析蜘蛛，这些蜘蛛是真的狠，根本就没有速率限制这一说。
今天我把它限制只有搜索引擎蜘蛛可以访问，内存一下子从 85% 降到 35%。可想而知，恶意蜘蛛对服务器的负担有多大。（服务器的内存是 5GB）
这些蜘蛛会让网站的并发特别高，这种压力就直接给到了数据库，相当于另类DDos了，如果不明确写规则，cloudflare也不会拦截。
