OpenAI 的新 GPTBot 可能正在抓取您的网站

OpenAI'GPTBot 的发布。最新网络爬虫机器人 这也激起了人们对即将发布的 GPT-5 的期待。商标申请 .

此举虽然旨在加强人工智能培训，但也引发了有关同意和透明度的讨论。

OpenAI 推出了 GPTBot，为其下一代人工智能系统积累更广泛的数据源。

公司的目的是扩大数据集，同时采取措施解决隐私问题和版权问题。

GPTBot 的设计目的是从网站收集可公开访问的数据，采用与 Google、Bing 和 Yandex 等流行搜索引擎类似的退出系统。

它假定数据是可用的，除非网站所有者在服务器文件中使用禁止规则来阻止爬虫访问其内容。

OpenAI 声称，GPTBot 会主动扫描收集到的数据，删除敏感信息和违反其政策的内容。

一些技术伦理学家对 "选择退出 "方法持保留意见，并指出与同意有关的潜在挑战。

虽然一些用户支持OpenAI'对全面数据的需求，但另一些用户则对适当的归属和透明度表示担忧，并将这种做法比作未注明出处的衍生作品。

商标"GPT-5"的申请使人们更加确信，OpenAI 正在准备发布他们的下一个人工智能模型。

这一步骤表明，应转向更广泛的数据收集方法，强调更新和多样化培训数据的重要性。

ChatGPT 拥有庞大的用户群，月活跃用户超过 15 亿。

限制 GPTBot 访问

如果网站所有者打算限制 GPTBot'访问其网站，他们可以调整 robots.txt 文件。

如果他们希望这样做，可以阻止 GPTBot'进入他们的整个网站。

User-agent：GPTBot Disallow：/

不过，想要授予部分访问权限的用户可以通过自定义 GPTBot 可以访问的目录来实现。

为此，他们必须编辑 robots.txt 文件。

User-agent：GPTBot Allow：/directory-1/ 禁止：/directory-2/