Meta推出全新网络爬虫程序以训练AI模型

格隆汇8月21日｜据Business Insider，Meta推出全新网络爬虫程序Meta-External Agent和Meta-External Fetcher，用于收集互联网数据以训练其AI模型，该程序可绕过robots.txt规则，从而无限制地获取数据。