Cloudflare推AI Labyrinth对抗恶意网络爬虫

Cloudflare推新工具对抗网络爬虫 全球知名网络基础设施公司Cloudflare，推出名为“AILabyrinth”的工具，旨在应对未经授权抓取网站数据的网络爬虫。当监测到不当爬虫行为时，该工具会引导爬虫进入AI生成的虚假页面，“拖延、迷惑并浪费”其资源。

传统方式遇挑战长期以来，网站管理员依靠“robots.txt”文件管理爬虫访问权限，但不少AI公司常忽视此规则。Cloudflare每天面临超500亿个爬虫请求，简单阻止易引发攻击者策略调整。

AI Labyrinth主动出击该工具让爬虫处理无关信息，将其困在虚假信息中。它不仅是“下一代诱饵”，还能帮助识别恶意爬虫，了解新爬虫模式。且虚假链接对普通人不可见，避免干扰用户。

启用方式与未来规划 网站管理员可在Cloudflare仪表板的“爬虫管理”部分选择启用AILabyrinth。这只是用生成AI对抗爬虫的第一步，Cloudflare还计划构建更复杂的链接网络。此外，AILabyrinth与Nepenthes工具类似，后者能让爬虫长时间沉浸在垃圾数据中。