OpenAI、谷歌、微软与 Anthropic 将支持 AI 抓取偏好通用标准

根据IT之家报道，OpenAI、谷歌、微软和 Anthropic 近日宣布将采用一项通用标准，让网站发布者能够统一表达是否允许 AI 抓取其内容用于模型训练。

这项标准由 Anthropic 技术负责人 Kevin Kelley 向互联网工程任务组提出，计划集成到网站的 robots.txt 文件中，减少网站逐家向 AI 企业声明内容使用偏好的需要。Anthropic 已率先采纳；OpenAI 计划在未来几个月内落实，谷歌和微软预计于明年支持。Meta 表示支持建立此类通用信号，但尚未公布具体落地计划。