Firecrawl推出LLM.txt API:提供网址即可生成任意网站的LLM.txt

80
2025-03-10

近日,Firecrawl 推出了一项全新的功能 ——LLMs.txt 生成器接口(Alpha 版),旨在帮助用户将任何网站的内容转化为清晰、适用于大语言模型(LLM)训练的文本文件。用户只需提供一个网站的 URL,Firecrawl 便会对该网站及其链接页面进行抓取,生成两种格式的文本文件:llms.txt 和 llms-full.txt,便于后续的分析和训练。



该生成器的工作流程相对简单。用户只需提供一个网址,系统便会自动爬取该网站的内容,提取出干净且有意义的文本信息。生成的文件分为两种类型:llms.txt 是对网站内容的简明总结,包含关键的信息;而 llms-full.txt 则是更为详细的完整文本内容,适合需要深入分析的用户。


在使用过程中,用户可以设置一些关键参数。首先是 “url”,即希望生成 LLMs.txt 文件的网址。用户还可以选择 “maxUrls” 参数,控制最多爬取的页面数量,范围在1到100之间,默认值为10。此外,用户还可以选择是否生成 llms-full.txt,默认设置为不生成。


值得注意的是,LLMs.txt 生成器的工作是异步进行的,用户可以发起请求并实时监测生成状态。系统会提供状态更新,例如 “正在进行中” 或 “已完成”,方便用户随时掌握进度。


然而,由于目前处于 Alpha 阶段,该功能也存在一些已知限制。首先,仅支持公开可访问的页面,登录保护或付费墙内容无法处理。其次,在 Alpha 阶段,处理的网站数量上限为5000个 URL。此外,作为一项 Alpha 特性,输出格式和处理流程可能会根据用户反馈进行调整。


在计费方面,使用 LLMs.txt 生成器的费用是基于处理的 URL 数量,基本费用为每处理一个 URL 消耗1个积分。用户可以通过设置 maxUrls 参数来控制费用。


划重点:


🌐 提供网站 URL,即可快速生成适用于 LLM 的文本文件。


📝 生成两种文本格式,便于不同需求的用户选择使用。


🔒 仅支持公开页面处理,且 Alpha 阶段有数量限制。

78848
文章来源于网络,如有侵权请联系本站删除
精选二手好课
更多>>
次卡|徐州44节课!!!4600徐州蓝旗亲子游泳卡转卖 艾贝瑞国际亲子游泳早教中心
早教课
¥4600
次卡|太原海帆亲子游泳课,剩20节,周末周中都可以上,诚意转卖
早教课
¥4650
次卡|泰州万达宝贝王早教课包73节,因为宝宝已经上托班了,所以现在便宜转卖
早教课
¥4890
次卡|徐州艾贝瑞亲子游泳 50课时!!!5000元转卖 (可拆) 艾贝瑞国际亲子游泳早教中心
早教课
¥5000
次卡|郑州(低价转让)闲置早教课程,余96节,可换三个月托班
早教课
¥5200
次卡|武汉早教课转让
早教课
¥5300
次卡|转卖长清红黄蓝早教课
早教课
¥5500
年卡|深圳卓越七田国际教育(松岗校区)
早教课
¥5600
次卡|三亚市阳光金融A栋3楼的新爱婴早教
早教课
¥5600
次卡|重庆Enwise 早教课,由于家里情况有变,现转57节课
早教课
¥5700
73
AI资讯

Firecrawl推出LLM.txt API:提供网址即可生成任意网站的LLM.txt

收录于合集

近日,Firecrawl 推出了一项全新的功能 ——LLMs.txt 生成器接口(Alpha 版),旨在帮助用户将任何网站的内容转化为清晰、适用于大语言模型(LLM)训练的文本文件。用户只需提供一个网站的 URL,Firecrawl 便会对该网站及其链接页面进行抓取,生成两种格式的文本文件:llms.txt 和 llms-full.txt,便于后续的分析和训练。



该生成器的工作流程相对简单。用户只需提供一个网址,系统便会自动爬取该网站的内容,提取出干净且有意义的文本信息。生成的文件分为两种类型:llms.txt 是对网站内容的简明总结,包含关键的信息;而 llms-full.txt 则是更为详细的完整文本内容,适合需要深入分析的用户。


在使用过程中,用户可以设置一些关键参数。首先是 “url”,即希望生成 LLMs.txt 文件的网址。用户还可以选择 “maxUrls” 参数,控制最多爬取的页面数量,范围在1到100之间,默认值为10。此外,用户还可以选择是否生成 llms-full.txt,默认设置为不生成。


值得注意的是,LLMs.txt 生成器的工作是异步进行的,用户可以发起请求并实时监测生成状态。系统会提供状态更新,例如 “正在进行中” 或 “已完成”,方便用户随时掌握进度。


然而,由于目前处于 Alpha 阶段,该功能也存在一些已知限制。首先,仅支持公开可访问的页面,登录保护或付费墙内容无法处理。其次,在 Alpha 阶段,处理的网站数量上限为5000个 URL。此外,作为一项 Alpha 特性,输出格式和处理流程可能会根据用户反馈进行调整。


在计费方面,使用 LLMs.txt 生成器的费用是基于处理的 URL 数量,基本费用为每处理一个 URL 消耗1个积分。用户可以通过设置 maxUrls 参数来控制费用。


划重点:


🌐 提供网站 URL,即可快速生成适用于 LLM 的文本文件。


📝 生成两种文本格式,便于不同需求的用户选择使用。


🔒 仅支持公开页面处理,且 Alpha 阶段有数量限制。

78848
收录于合集
文章来源于网络,如有侵权请联系本站删除
二手好课
更多>>
次卡|徐州44节课!!!4600徐州蓝旗亲子游泳卡转卖 艾贝瑞国际亲子游泳早教中心
早教课
¥4600
次卡|太原海帆亲子游泳课,剩20节,周末周中都可以上,诚意转卖
早教课
¥4650
次卡|泰州万达宝贝王早教课包73节,因为宝宝已经上托班了,所以现在便宜转卖
早教课
¥4890
次卡|徐州艾贝瑞亲子游泳 50课时!!!5000元转卖 (可拆) 艾贝瑞国际亲子游泳早教中心
早教课
¥5000
次卡|郑州(低价转让)闲置早教课程,余96节,可换三个月托班
早教课
¥5200
次卡|武汉早教课转让
早教课
¥5300
次卡|转卖长清红黄蓝早教课
早教课
¥5500
年卡|深圳卓越七田国际教育(松岗校区)
早教课
¥5600
次卡|三亚市阳光金融A栋3楼的新爱婴早教
早教课
¥5600
次卡|重庆Enwise 早教课,由于家里情况有变,现转57节课
早教课
¥5700