短讯 | Meta推出全新网络爬虫程序以训练AI模型

佚名 ☉ 文来源：港股那点事
2024-08-22 @ 哈希力量文库

文库划重点：该程序可绕过robots.txt规则，从而无限制地获取数据。

格隆汇8月21日｜据Business Insider，Meta推出全新网络爬虫程序Meta-External Agent和Meta-External Fetcher，用于收集互联网数据以训练其AI模型，该程序可绕过robots.txt规则，从而无限制地获取数据。