Reddit将更新《机器人排除协议》 以阻止自动数据搜刮

格隆汇6月26日｜社交媒体平台Reddit表示，将更新该平台使用的一项网络标准，以阻止从其网站上进行自动数据搜刮，此前有报道称人工智能初创公司绕过该规则为其系统收集内容。此举正值人工智能公司被指控剽窃出版商的内容来创建人工智能生成的摘要而不注明出处或征求许可之际。Reddit表示将更新《机器人排除协议》(Robots Exclusion Protocol)，也被称为爬虫协议，是一种网站与网络爬虫之间的通信协议。通过这个协议，网站管理员可以指定哪些页面是允许爬虫抓取的，哪些页面是不允许的。