Cloudflare周一宣布计划在明年推出一个市场，网站所有者可以向 AI 模型提供商出售抓取其网站内容的权限。该市场是 Cloudflare 首席执行官 Matthew Prince 更大计划的最后一步，该计划旨在让出版商更好地控制 AI 机器人抓取其网站的方式和时间。
普林斯在接受 TechCrunch 采访时表示：“如果你不以某种方式补偿创作者，那么他们就会停止创作，这就是必须要解决的问题。”
作为新计划的第一步，Cloudflare 于周一向客户推出了一款名为 AI Audit 的免费可观察性工具。网站所有者将获得一个仪表板，用于查看 AI 模型为何、何时以及多久抓取一次其网站以获取信息的分析。Cloudflare 还允许客户通过单击按钮阻止 AI 机器人访问其网站。网站所有者可以使用 AI Audit 阻止所有网络抓取工具，或者如果他们有交易或发现抓取有益，则允许某些网络抓取工具通过。
与 TechCrunch 分享的 AI Audit 演示展示了网站所有者如何使用该工具，该工具能够查看访问你网站的每个抓取工具来自哪里，并提供选择性窗口来查看来自 OpenAI、Meta、亚马逊和其他 AI 模型提供商的抓取工具访问你网站的次数。
Cloudflare 正试图解决 AI 行业面临的一个问题：如果人们访问 ChatGPT 而不是他们的网站，小型出版商将如何在 AI 时代生存？如今，AI 模型提供商会从数千个小型网站中搜索信息，以支持他们的 LLM。虽然一些大型出版商已经与 OpenAI 达成协议，获得内容许可，但大多数网站一无所获，但他们的内容仍然每天被输入到流行的 AI 模型中。这可能会破坏许多网站的商业模式，减少他们急需的流量。
今年夏初，人工智能搜索初创公司Perplexity 被指控使用机器人排除协议抓取故意表示不想被抓取的网站。不久之后，Cloudflare 发布了一款按钮，确保客户只需单击一下即可阻止所有人工智能机器人。
普林斯说：“我们听到的都是人们感到沮丧的声音，他们感觉自己的内容被盗了。”
一些网站所有者告诉《商业内幕》，人工智能机器人对他们的网站进行了大量抓取，感觉就像 DDoS 攻击正在破坏他们的服务器一样。网站被抓取不仅令人心烦意乱，而且还会增加您的云费用并影响您的服务。
但是，如果你想要阻止 Perplexity 的机器人，而不是 OpenAI 的机器人，该怎么办？Prince 告诉 TechCrunch，Cloudflare 的客户要求提供工具，让他们能够选择哪些 AI 模型可以访问他们的网站。Cloudflare 今天推出的新工具将允许客户阻止一些 AI 爬虫，同时让其他爬虫通过。
Prince 表示，即使是与 OpenAI 达成许可协议的大型出版商（例如《时代》杂志、康泰纳仕集团和《大西洋月刊》）也对 ChatGPT 抓取其网站的数据量了解甚少。他们中的许多人不得不接受 OpenAI 告诉他们的一切，但答案决定了出版商是否获得了良好的许可协议。
但 Cloudflare 的市场将于明年某个时候推出，旨在允许小型出版商与 AI 模型提供商达成交易。
“让我们让你们所有人都能做到只有 Reddit、Quora 和世界大型出版商才能做到的事情，”普林斯说。“如果我们让你有效地设定访问和将你的内容纳入这些系统的价格，那会怎样呢？”
虽然这是一个大胆的想法，但 Cloudflare 并未透露其市场的完整构想。Prince 表示，网站可以根据他们抓取单个网站的数据的费率向 AI 模型提供商收费，但目前尚不清楚他们实际会支付多少钱。此外，他说，网站可以收取被抓取的数据的金钱费用，或者只是要求 AI 实验室给予他们信用。细节尚不清楚。
尽管人工智能公司最初可能并不热衷于为目前免费获得的内容付费，但 Cloudflare 的首席执行官表示，他认为这最终对人工智能生态系统有利。普林斯表示，目前一些人工智能公司从不为内容付费的现状是不可持续的。
