近日，Firecrawl 推出了一项全新的功能 ——LLMs.txt 生成器接口（Alpha 版），旨在帮助用户将任何网站的内容转化为清晰、适用于大语言模型(LLM)训练的文本文件。用户只需提供一个网站的 URL，Firecrawl 便会对该网站及其链接页面进行抓取，生成两种格式的文本文件:llms.txt 和 llms-full.txt，便于后续的分析和训练。
该生成器的工作流程相对简单。用户只需提供一个网址，系统便会自动爬取该网站的内容，提取出干净且有意义的文本信息。生成的文件分为两种类型:llms.txt 是对网站内容的简明总结，包含关键的信息;而 llms-full.txt 则是更为详细的完整文本内容，适合需要深入分析的用户。
在使用过程中，用户可以设置一些关键参数。首先是 “url”，即希望生成 LLMs.txt 文件的网址。用户还可以选择 “maxUrls” 参数，控制最多爬取的页面数量，范围在1到100之间，默认值为10。此外，用户还可以选择是否生成 llms-full.txt，默认设置为不生成。
值得注意的是，LLMs.txt 生成器的工作是异步进行的，用户可以发起请求并实时监测生成状态。系统会提供状态更新，例如 “正在进行中” 或 “已完成”，方便用户随时掌握进度。
然而，由于目前处于 Alpha 阶段，该功能也存在一些已知限制。首先，仅支持公开可访问的页面，登录保护或付费墙内容无法处理。其次，在 Alpha 阶段，处理的网站数量上限为5000个 URL。此外，作为一项 Alpha 特性，输出格式和处理流程可能会根据用户反馈进行调整。
在计费方面，使用 LLMs.txt 生成器的费用是基于处理的 URL 数量，基本费用为每处理一个 URL 消耗1个积分。用户可以通过设置 maxUrls 参数来控制费用。
划重点:
🌐 提供网站 URL，即可快速生成适用于 LLM 的文本文件。
📝 生成两种文本格式，便于不同需求的用户选择使用。
🔒 仅支持公开页面处理，且 Alpha 阶段有数量限制。
