谷歌推出爬虫扩展代理 网站管理员可以屏蔽谷歌抓取内容用于训练AI – 蓝点网 | {$randkws}热点解读 AI 爬虫依然使用 GoogleBot

在 OPENAI 公开 GPTBot 爬虫的有关信息后，今日谷歌亮相在 GoogleBot 基础上启动 Google-Extended 爬虫扩展代理，允许站点治理员使用 robots.txt 文件屏蔽谷歌抓取站点信息用来训练 AI 模型。

谷歌没有启动单独的关于考研动态，观察 AI 爬虫，AI 爬虫依然使用 GoogleBot，但站点可以告示是聚焦周深Tips否回绝其抓取信息后训练 AI，假如要告示那就需要使用 Google-Extende代理令牌。

谷歌称，Google-Extended 是一种新控件，联网亮相商可以使用它治理其站点是否有助于改进 Bard 和 Vertex AI 等生成式 AI 模型，在博客中谷歌多次谈及站点可以合作谷歌改进 AI，比如站点治理员可以挑选是否合作这些 AI 模型随着时间推移变得更精确和强大。

可是聚焦新歌发布解读最后还是站点治理员自己确定是否允许谷歌拿信息去训练 AI，假如不愿意的话，可以在 robots.txt 中添加以下信息：

User-Agent: Google-ExtendedDisallow：/

需要提醒的是谷歌针对 robots.txt 的处理遵循了各式原则，并且 Google Bot 本身有一大堆用于各异用途的详细双11预售盘点 bot，例如常规的 GoogleBot、GoogleBot-News、GoogleBot-Image 等，这些 bot 是可以在 robots.txt 里混用的。

例如要允许谷歌检索抓取站点信息、不允许谷歌抓取信息用于训练 AI，那么 robots.txt 可以这么写：

User-Agent: GooglebotAllow: /User-Agent: Google-ExtendedDisallow: /