一家名为Letta的初创公司刚刚脱颖而出，其技术可以帮助人工智能模型记住用户和对话。该公司由加州大学伯克利分校著名的实验室创业工厂创建，还宣布获得由 Felicis 的 Astasia Myers 领投的 1000 万美元种子资金，投资后估值为 7000 万美元。
Letta 还得到了人工智能领域众多天使投资人的支持，其中包括谷歌的 Jeff Dean、Hugging Face 的 Clem Delangue、Runway 的 Cristóbal Valenzuela 和 Anyscale 的 Robert Nishihara 等。
这家由伯克利博士生 Sarah Wooders 和 Charles Packer 创办的 AI 初创公司备受期待。这是因为它是伯克利 Sky Computing Lab 的子公司，也是热门开源项目 MemGPT 的商业实体。
伯克利的 Sky Computing Lab 由著名教授兼 Databricks 联合创始人 Ion Stoica 领导，是 RISELab 和 AMPLab 的后代，这两个实验室催生了 Anyscale、Databricks 和 SiFive 等公司。尤其是 Sky Lab，它催生了许多流行的开源大型语言模型 (LLM) 项目，例如 Gorilla LLM、vLLM 和 LLM 结构化语言 SGLang。
“在一年的时间内，实验室里很快就诞生了大量项目。就只有坐在我们旁边的人，”伍德斯描述道。“所以那真是一段不可思议的时光。”
MemGPT 就是这样一个项目，它是一个非常热门的商品，甚至在推出之前就已经风靡一时。
“有人抢先了我们的消息，”帕克告诉 TechCrunch。创始人于 2023 年 10 月 12 日星期四发布了一份白皮书，并计划于下周一在 GitHub 上发布一份更深入的论文和代码。某个随机的人发现了这篇论文，并于周日将其发布到了 Hacker News 上，它“在我们有机会正式发布代码、发布论文，或者发布推文或类似的事情之前，就在 Hacker News 上疯传了，”他说。
令人兴奋的原因是 MemGPT 缓解了 LLM 的一个恶性问题：在原生形式中，ChatGPT 等模型是无状态的，这意味着它们不会将历史数据存储在长期记忆中。这对于依赖于随着时间的推移了解和学习用户的 AI 应用来说是个问题——从客户支持机器人到医疗保健症状跟踪应用。MemGPT 管理数据和内存，以便 AI 代理和聊天机器人能够记住以前的用户和对话。
Packer 回忆说，这篇论文的帖子在 Hacker News（Y Combinator 运营的程序员热门网站）上停留了 48 小时。因此，他花了整个周末和接下来的几天时间在网站上回答问题，同时努力让代码准备好发布。一旦该项目在 GitHub 上发布，它的链接再次在 Hacker News 上疯传。YouTube上的采访和教程、Medium 上的帖子、11,000 个星标和 1.2K 个GitHub 上的分支很快就出现了。
VC Felicis 的 Myers 也在阅读有关 MemGPT 的文章时发现了 Wooders 和 Packer，并立即意识到这项技术的商业可能性。
“这篇论文发布时我就看到了，”她告诉 TechCrunch，并立即联系了创始人。“我们的投资主题是围绕人工智能代理基础设施，我们意识到，数据和内存管理是其中非常重要的组成部分，这使得这些对话聊天机器人和人工智能代理更加有效。”
在找到最先喜欢他们的那家公司之前，创始人实际上仍然在沙丘路 (Sand Hill Road) 附近徘徊，通过 Zoom 与风投公司进行通话。
与此同时，斯托伊卡还帮助人们结识迪恩、西原和其他知名的硅谷天使投资人。帕克回忆说，“伯克利的许多教授都因为在伯克利工作过而人脉广泛。他们关注的是这个实验室即将实现商业化的项目。”
竞争和 OpenAI o1 的威胁
虽然 MemGPT 已经广泛使用，但 Letta 的商业版本 Letta Cloud 尚未开放。截至周一，Letta 正在接受测试版用户的请求。它将提供托管代理服务，允许开发人员在云中部署和运行有状态代理，可通过 REST API（一种可以维护状态的编程接口）访问。Letta Cloud 将存储执行此操作所需的长期数据。Letta 还将提供用于构建 AI 代理的开发人员工具。
伍德斯认为 MemGPT 有广泛的用途。“我认为我们看到的首要用例基本上是高度个性化、非常吸引人的聊天机器人，”她说。但也有前沿用途，例如“癌症患者的聊天机器人”，患者可以上传自己的病史，然后分享持续的症状，这样机器人就可以随着时间的推移学习并提供指导。
值得注意的是，MemGPT 并不是唯一一家致力于此的公司。LangChain 可能是其最知名的竞争对手，并且已经提供了商业选择。最大的模型制造商也提供 AI 代理制作工具，例如 OpenAI 的 Assistants API。
OpenAI 的新 o1 模型可能会让用户不再需要修复状态。由于它是一个多步骤模型，因此从根本上讲，它必须在一定程度上保持状态，以便在回复之前“思考”和核实事实。
但 Wooders、Packer 和 Myers 认为 Letta 提供的产品与市场巨头 OpenAI 提供的产品之间存在一些关键差异。Letta 声称它可以与任何 AI 模型配合使用，并希望其用户使用其中的许多模型：OpenAI、Anthropic、Mistral 以及他们自己开发的模型。OpenAI 的技术目前仅适用于其自身。
更重要的是，Letta 正在使用开源 MemGPT，并坚定地加入 FOSS 与黑盒 LLM 之争的开源阵营，称开源是 AI 应用程序员的更好选择。
“我们将自己定位为 OpenAI 的开放替代品，”Packer 说道。“我认为开发出色的人工智能应用程序实际上非常非常困难，尤其是当你关心幻觉之类的问题时，如果你看不到引擎盖下发生了什么。”
