Cloudflare推AI Labyrinth对抗恶意网络爬虫

AI快讯2个月前发布 niko
7 0
AiPPT - 一键生成ppt

Cloudflare推新工具对抗网络爬虫 全球知名网络基础设施公司Cloudflare,推出名为“AILabyrinth”的工具,旨在应对未经授权抓取网站数据的网络爬虫。当监测到不当爬虫行为时,该工具会引导爬虫进入AI生成的虚假页面,“拖延、迷惑并浪费”其资源。

传统方式遇挑战长期以来,网站管理员依靠“robots.txt”文件管理爬虫访问权限,但不少AI公司常忽视此规则。Cloudflare每天面临超500亿个爬虫请求,简单阻止易引发攻击者策略调整。

AI Labyrinth主动出击该工具让爬虫处理无关信息,将其困在虚假信息中。它不仅是“下一代诱饵”,还能帮助识别恶意爬虫,了解新爬虫模式。且虚假链接对普通人不可见,避免干扰用户。

启用方式与未来规划 网站管理员可在Cloudflare仪表板的“爬虫管理”部分选择启用AILabyrinth。这只是用生成AI对抗爬虫的第一步,Cloudflare还计划构建更复杂的链接网络。此外,AILabyrinth与Nepenthes工具类似,后者能让爬虫长时间沉浸在垃圾数据中。

© 版权声明
Trea - 国内首个原生AI IDE