外部精选
软件工程
#开发者实时流13,938个网站要求AI爬虫遵守规则:可抓取内容训练,但不得保留答案
来源标题:Block training, keep answers? What 13,938 sites ask of AI bots
一项针对13,938个网站robots.txt文件的分析显示,这些网站对AI爬虫提出了有别于传统搜索引擎的规则要求。它们普遍允许AI抓取内容用于模型训练,但要求不得保留或复用抓取到的答案内容。这一发现反映了网站对AI训练数据使用与内容留存的不同立场。
Hacker News 最新researchaiexe2026/11/4 · 13 天前1 分钟阅读
这个来源的 RSS 只提供摘要,下面是原文导语;完整论述请点「打开原文」。
一项针对13,938个网站robots.txt文件的分析显示,这些网站对AI爬虫提出了有别于传统搜索引擎的规则要求。它们普遍允许AI抓取内容用于模型训练,但要求不得保留或复用抓取到的答案内容。这一发现反映了网站对AI训练数据使用与内容留存的不同立场。
本条为导读摘要,完整论述请以原文为准。