Google、OpenAI、微软和Anthropic支持共享robots.txt标准

来源标题：Google, OpenAI, Microsoft, and Anthropic back a shared robots.txt

Google、OpenAI、微软和Anthropic共同支持一项共享robots.txt标准，用于规范AI爬虫访问网站内容。该标准旨在让网站所有者通过统一文件控制哪些AI系统可以抓取其内容。四家公司均表态支持这一做法。